💬 NLP

Safeguarding LLM Agents from Misalignment through Provenance Analysis

Het artikel introduceert ProvenanceGuard, een op herkomst gebaseerd framework dat de detectie van misalignement bij LLM-agenten aanzienlijk verbetert en het aantal foutieve interventies vermindert in vergelijking met traditionele LLM-als-rechter-baselines door tool calls te verifiëren tegen traceerbaar bewijs in de context van de agent.

Oorspronkelijke auteurs: Yining She, Yiliang Liang, Eunsuk Kang

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yining She, Yiliang Liang, Eunsuk Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, enthousiaste persoonlijke assistent inhuurt (een LLM-agent) om je te helpen bij je dagelijkse taken. Je zegt tegen hen: "Vraag Daniel om $30." Omdat deze assistent verbonden is met de echte wereld, kunnen ze daadwerkelijk e-mails sturen, geld overmaken of bestanden wijzigen.

Het probleem is dat deze assistent soms te enthousiast is of je verkeerd begrijpt. In plaats van om geld te vragen, kunnen ze per ongelig geld naar Daniel sturen. Of ze besluiten een rekening te betalen die je niet eens hebt genoemd. Dit wordt misalignment (mismatch) genoemd: de assistent doet iets wat technisch gezien weliswaar de regels volgt, maar wat niet is wat jij eigenlijk wilde.

Dit artikel introduceert een nieuw veiligheidssysteem genaamd ProvenanceGuard om deze fouten te voorkomen voordat ze gebeuren. Hier is hoe het werkt, eenvoudig uitgelegd:

Het Kernidee: De "Papieren Spoor" Detective

De auteurs realiseerden zich dat bestaande veiligheidssystemen lijken op een baas die simpelweg een tweede, even verwarde assistent vraagt: "Is dit een goed idee?" Dit leidt vaak tot inconsistente antwoorden.

In plaats daarvan fungeert ProvenanceGuard als een forensische detective. Het gokt niet alleen; het eist een papieren spoor (provenance). Het vraagt: "Kun je me precies laten zien waar in ons gesprek of de instructies je het bewijs hebt gevonden om deze specifieke actie uit te voeren?"

Als de assistent niet naar een specifieke zin in jouw verzoek of een eerder feit kan wijzen dat de actie rechtvaardigt, blokkeert het systeem de actie.

De Drie Soorten Fouten

De paper verdeelt "slechte ideeën" in drie categorieën, met behulp van een checklist voor de detective:

Het Verkeerde Gereedschap (Tool-Level):
- Het Scenario: Je zegt: "Vraag om geld." De assistent probeert een "Verstuur Geld"-tool te gebruiken.
- De Detective Check: "Past dit gereedschap bij de klus?" Het systeem controleert de handleiding van de tool en jouw verzoek. Als de tool niet overeenkomt met de functiebeschrijving, wordt deze geblokkeerd.
De Verkeerde Details (Parameter-Level):
- Het Scenario: Je zegt: "Stuur $30 naar Daniel." De assistent gebruikt de juiste tool, maar stuurt $30 naar Sarah omdat ze de naam hebben geraden.
- De Detective Check: "Waar heb je de naam 'Sarah' vandaan?" Als de assistent niet naar een feit in het gesprek kan wijzen dat zegt "Sarah", zegt het systeem: "Geen bewijs gevonden. Stop."
De Wilde Gok (Interpretation-Level):
- Het Scenario: Je zegt: "Behandel dit verzoek," zonder te zeggen hoe. De assistent besluit automatisch een rekening te betalen.
- De Detective Check: "Is er slechts één manier om 'behandelen' te interpreteren?" Het systeem merkt op dat je verzoek vaag was. Omdat er meerdere manieren zijn om "behandelen" te interpreteren (het betalen, het afwijzen, of om uitleg vragen), maakt de assistent een wilde gok. Het systeem blokkeert de actie en dwingt de assistent om om verduidelijking te vragen.

Hoe het Systeem Werkt (De Drie-Stappen Pipeline)

ProvenanceGuard is niet één enkele vraag; het is een driestaps beveiligingscontrole waar een actie doorheen moet gaan voordat deze kan worden uitgevoerd:

Checkpoint 1 (De Tool): "Is dit het juiste gereedschap voor de klus?" Zo niet, STOP.
Checkpoint 2 (De Details): "Heb je bewijs voor de specifieke bedragen of namen die je gebruikt?" Zo niet, STOP.
Checkpoint 3 (De Interpretatie): "Is dit de enige logische actie, of zijn er andere mogelijkheden?" Als er andere mogelijkheden zijn, gaat het systeem ervan uit dat de assistent aan het gokken is en STOPT om hulp te vragen.

De Resultaten: Slimmer en Minder Irritant

De auteurs hebben dit systeem getest tegenover 10 verschillende "brein"-modellen (LLM's) met behulp van twee verschillende sets testscenario's.

Minder Fouten: Vergeleken met de oude methode (gewoon een tweede AI vragen "Is dit oké?"), heeft ProvenanceGuard bijna alle slechte acties onderschept. In één test verminderde het foutpercentage van 43% naar 2%.
Minder Irritant: Een veiligheidssysteem dat alles blokkeert, is nutteloos omdat het de assistent verhindert om iets nuttigs te doen. De auteurs ontdekten dat ProvenanceGuard erg goed was in het doorlaten van de juiste acties. Het stond de succesvolle taken niet in de weg, in tegen tegenstelling tot sommige andere methoden die goede acties te vaak blokkeerden.

De Kernboodschap

Deze paper stelt voor dat in plaats van te raden of een AI-agent het juiste doet, we de agent moeten dwingen om het te bewijzen. Door te eisen dat de agent een "papieren spoor" laat zien dat de actie verbindt met jouw werkelijke verzoek, kunnen we voorkomen dat het gevaarlijke, onomkeerbare fouten maakt (zoals geld versturen of bestanden verwijderen) zonder het nuttige werk dat het moet doen te vertragen.

Noot: De paper richt zich strikt op het voorkomen van dit soort misverstanden in software-agenten. Het beweert geen alle AI-veiligheidsproblemen op te lossen, noch behandelt het medische of klinische toepassingen.

Technische Samenvatting: Het beschermen van LLM-agenten tegen misalignment door middel van herkomstanalyse

Probleemstelling

Naarmate Large Language Model (LLM) agenten evolueren van conversatie-assistenten naar autonome systemen die in staat zijn tot het uitvoeren van onomkeerbare acties (bijv. geld overmaken, bestanden wijzigen), is het waarborgen dat hun acties in lijn zijn met de intentie van de gebruiker cruciaal. Het artikel identificeert misalignment (afwijking van de intentie) als een fenomeen waarbij de voorgestelde tool-aanroep van een agent afwijkt van de intentie van de gebruiker, niet noodzakelijkerwijs door kwaadwillende opzet, maar door misverstanden of onverantwoorde aannames over de aanvraag van de gebruiker.

Bestaande runtime-guardrails vertrouwen vaak op een "LLM-as-a-judge" paradigma, waarbij een enkele LLM-prompt evalueert of een actie mag worden toegestaan. De auteurs stellen dat deze aanpak een systematisch kader mist voor het redeneren over alignment, wat leidt tot inconsistente oordelen, subjectieve rationales en moeilijkheden bij auditing. Bovendien beperken traditionele veiligheidsmaatregelen zoals sandboxing de gevolgen in plaats van de initiële misaligned actie te voorkomen, en kan post-hoc verificatie onomkeerbare tool-aanroepen niet ongedaan maken.

Methodologie

1. Conceptueel Kader: Provenance-gebaseerde Guardrails

Geïnspireerd door provenance-analyse (de studie naar de oorsprong en de afstammingsgeschiedenis van een artefact), stellen de auteurs een kader voor waarbij een actie alleen als aligned wordt beschouwd als deze ondersteund wordt door traceerbaar bewijs binnen de context van de agent. De context omvat de gebruikersquery ( $q$ ), de tool-documentatie ( $d$ ) en de interactiegeschiedenis ( $h$ ).

Het kader formaliseert de detectie van misalignment door het te categoriseren in drie verschillende typen, die elk overeenkomen met een falen in het vaststellen van specifieke provenance-relaties:

Tool-Level Misalignment: De agent selecteert een tool die irrelevant is voor de taak.
- Provenance Check: Heeft de geselecteerde tool ( $t$ ) een documentatie ( $d_t$ ) die RelevantTo (relevant is voor) een subtaak ( $s$ ) die ContributesTo (bijdraagt aan) de gebruikersquery ( $q$ )?
Parameter-Level Misalignment: De agent selecteert de juiste tool, maar wijst parameters toe die niet gegrond zijn in de context.
- Provenance Check: Kan de parameter-toewijzing ( $a$ ) worden DerivedFrom (afgeleid van) feitelijk bewijs ( $e$ ) dat in de query of de geschiedenis voorkomt? Daarnaast, of de geïnstancieerde tool ( $t$ met $a$ ) CanAddress (kan adresseren/oplossen) de subtaak ( $s$ )?
- Noot: Het kader maakt onderscheid tussen afleidbare parameters (die provenance vereisen) en generatieve parameters (bijv. het opstellen van een e-mailtekst), die geen directe provenance-tracing vereisen.
Interpretation-Level Misalignment: De agent lost een ondergespecificeerde query op door willekeurig vast te houden aan één interpretatie wanneer er meerdere plausibele interpretaties bestaan.
- Provenance Check: Is de voorgestelde actie de enige provenance-toelaatbare kandidaat gegeven de context? Als er meerdere verschillende acties worden ondersteund door de context, is de query ondergespecificeerd, en is het vastleggen aan één interpretatie zonder verduidelijking misaligned.

2. Implementatie: ProvenanceGuard

De auteurs implementeren dit kader als ProvenanceGuard, een multi-stage runtime-pipeline die tool-aanroepen onderschept vóór uitvoering. In tegenstelling tot een enkelvoudige "LLM-as-a-judge", deelt ProvenanceGuard de beslissing op in drie opeenvolgende stadia:

Fase I (Tool-Level): Filtert op omgeving-veranderende tools en verifieert of de geselecteerde tool relevant is voor het huidige subtaakplan van de agent.
Fase II (Parameter-Level): Identificeert welke parameters afleidbaar zijn en verifieert of hun waarden terug te leiden zijn naar de context en of ze de tool correct instantiëren voor de subtaak.
Fase III (Interpretation-Level): Vraagt de LLM (zonder de gekozen actie van de agent te onthullen om bias te voorkomen) of er andere provenance-toelaatbare acties bestaan. Als er meerdere bestaan, wordt de actie geblokkeerd omdat deze steunt op een onverantwoorde aanname.

Het systeem gebruikt een LLM om de specifieke provenance-relaties (bijv. RelevantTo, DerivedFrom) te evalueren, maar structureert het redeneerproces om explicieter en controleerbaar te zijn dan een holistische prompt.

Belangrijkste Bijdragen

Taxonomie van Misalignment: Een formeel onderscheid tussen tool-level, parameter-level en interpretation-level misalignment.
Provenance-gebaseerd Kader: Een conceptueel model dat het controleren van alignment frameert als het bepalen of tool-aanroepen gegrond zijn in traceerbaar bewijs, geformaliseerd via specifieke binaire relaties.
ProvenanceGuard: Een multi-stage pipeline implementatie van het kader die fungeert als een runtime guardrail.
Benchmarking: Evaluatie over twee benchmarks (Agent-SafetyBench en WorkBench) en 10 backbone LLM's, inclusief een handmatig geannoteerde subset van Agent-SafetyBench traces.

Experimentele Resultaten

De auteurs evalueerden ProvenanceGuard tegenover een DirectPrompt Baseline (standaard LLM-as-a-judge) en een Single-step Provenance Prompt (ProvePrompt, die de concepten van het kader in één enkele passage gebruikt).

Misalignment Detectie (Foutpercentage):
- Op Agent-SafetyBench (gericht op ondergespecificeerdheid) verminderde ProvenanceGuard het foutpercentage op misaligned traces van 42,9% (Baseline) naar 1,8%.
- Op WorkBench daalde het foutpercentage van 32,1% naar 17,3%.
- Het multi-stage ontwerp (ProvenanceGuard) presteerde consequent beter dan de single-step variant (ProvePrompt), met name op Agent-SafetyBench, wat duidt op de waarde van het opdelen van het redeneerproces.
Interventiekosten (False Positives/Onnodige Interventies):
- Op Agent-SafetyBench (aligned traces) introduceerde ProvenanceGuard geen statistisch significant verschil in onnodige interventies vergeleken met de baseline.
- Op WorkBench (taak-succesvolle traces) verminderde ProvenanceGuard het interventiepercentage aanzienlijk van 30,5% (Baseline) naar 12,8%, wat aangeeft dat het nauwkeuriger is in het toestaan van correcte acties.

Betekenis en Claims

Het artikel claimt dat gestructureerde, provenance-gebaseerde redenering een effectieve en praktische basis biedt voor het beveiligen van LLM-agenten. De betekenis ligt in:

Systematische Redenering: Het wegbewegen van subjectieve, holistische oordelen naar een kader gebaseerd op expliciete, controleerbare afhankelijkheidslinks tussen acties en context.
Omgaan met Ondergespecificeerdheid: Het kader adresseert specif kind specifiek het risico dat agenten onverantwoorde aannames doen bij ondergespecificeerde queries, een veelvoorkomende oorzaak van misalignment die standaard veiligheidsfilters vaak missen.
Gebalanceerde Prestaties: De multi-stage aanpak bereikt een hoge detectienauwkeurigheid voor misaligned acties zonder een evenredig hoge kosten te brengen in termen van het blokkeren van geldige, succesvolle agent-taken.

De auteurs concluderen dat hoewel het kader niet in staat is om misalignment in puur generatieve parameters (zoals vrije tekstgeneratie) te detecteren en afhankelijk is van het eigen plan van de agent (dat theoretisch misaligned zou kunnen zijn), het een robuust mechanisme biedt voor het voorkomen van onomkeerbare, context-ongegronde acties in agentic systemen.