Technische Samenvatting: Het Begrijpen van Persuasie in Langlopende Agenten

Probleemstelling

Moderne AI-agenten combineren conversatieve interactie steeds vaker met autonome taakuitvoering (bijvoorbeeld webonderzoek, coderen). Een cruciale veiligheidsvraag rijst: hoe beïnvloedt blootstelling aan gebruikerspersuasie het gedrag van een agent in taken met een lange horizon? Bestaand onderzoek naar persuasie door Large Language Models (LLM) richt zich voornamelijk op interacties van één keer, waarbij men houdingsconformiteit of vatbaarheid meet. Deze studies adresseren echter niet of persuasie een aanhoudende overtuigingstoestand induceert die de uitvoeringsgedragingen in multi-stap, tool-gebruikende agenten in downstream taken verandert.

De auteurs identificeren een specifiek fenomeen dat persuasiepropagatie wordt genoemd: een situatie waarin een voor de taak irrelevante persuasieve boodschap een overtuigingstoestand induceert die verder reikt dan de initiële interactie, en systematisch beïnvloedt hoe een agent plannen maakt, informatie exploreert of tools uitvoert in daaropvolgende, niet-gerelateerde taken. In tegenstelling tot prompt-injectie, waarbij ingevoegde inhoud deel uitmaakt van de taakcontext, omvat persuasiepropagatie overtuigingstoestanden die mogelijk nooit expliciet worden verwezen in de uiteindelijke output, maar die toch subtiel de uitvoeringstrajecten veranderen (bijvoorbeeld het verkleinen van de brondiversiteit of het wijzigen van zoekstrategieën).

Methodologie

De studie hanteert een pijplijn van vier fasen: (1) Persona-configuratie, (2) Persuasie, (3) Uitvoering, en (4) Analyse. De experimenten maken gebruik van een multi-agent systeem (AutoGen) met backbone LLM's (GPT-4.1-nano, Mistral-Nemo-12b, LLaMA-3.1-8b) en diverse persona-stijlen.

Voorwaarde voor Overtuiging

De auteurs onderscheiden tussen twee experimentele instellingen om de effecten van overtuiging te isoleren:

1. Persuasie 'On-the-Fly': De agent engageert in een multi-turn dialoog voordat de taak begint. Dit omvat:
   • Initiële Verkenning: Het vastleggen van de natuurlijke houding van de agent.
   • Inhoudelijke Injectie: Het introduceren van een persuasief argument (met tactieken zoals autoriteitsbevestiging, bewijsgebaseerde framing of logische appel) dat de initiële houding tegenspreekt.
   • Versterking van Toewijding: De agent vragen om de nieuwe houding te herhalen.
   • Verkenning na Blootstelling: Verifiëren of de houdingsverandering aanhield na afleidende interacties.
2. Vooraf ingevulde Overtuigingsconditie: Een controlemethode waarbij de overtuigingstoestand van de agent (Overtuiging, Ongeloof of Neutraliteit) expliciet wordt gespecificeerd in de systeemprompt voordat de taak begint, waardoor het conversatieve persuasieproces wordt omzeild. Dit isoleert het gedrags-effect van de overtuigingstoestand zelf van de mechanismen van persuasie.

Downstream Taken

Agenten werden geëvalueerd op drie taaktypen waarbij het persuasieve onderwerp semantisch irrelevant was voor de taak:

• Opinion Change Task: Een afleidende dialoog om houdingspersistentie te testen.
• Coderingstaak: Het schrijven van Python-code om aan specificaties te voldoen, waarbij het volume van iteraties en de structuur van revisies worden gemeten.
• Webonderzoekstaak: Het uitvoeren van open-ended onderzoek, waarbij zoekopdrachten, het bezoeken van externe bronnen en het synthetiseren van rapporten vereist zijn.

Evaluatiemetrics

De studie gaat verder dan de kwaliteit van de uiteindelijke output naar gedragsanalyse op procesniveau:

• Coderingsmetrics: Time-and-Revision Score (TRS) en Edit Volatility Score (EVS) om uitvoeringstijd, iteratievolume en revisiestructuur vast te leggen.
• Webonderzoeksmetrics: Constructen voor Activiteit (interactievolume), Breedte (brondiversiteit) en Diepte (semantische focus), geaggregeerd via PCA.
• Proxy voor Lange Horizon: Drie webonderzoektaken werden samengevoegd om langlopende uitvoering te simuleren, waardoor observatie van cumulatieve gedragsverschuivingen mogelijk werd.

Belangrijkste Resultaten

1. Persuasie-Vatbaarheid en Persistentie

Persuasietactieken slaagden erin om vermelde overtuigingen te verschuiven voor sommige modellen (bijvoorbeeld GPT, Mistral), waarbij "Autoriteitsbevestiging" en "Bewijsgebaseerde" tactieken de hoogste persistentie toonden. Echter, LLaMA vertoonde een hoge basisvatbaarheid zelfs zonder specifieke tactieken, en persuasie verhoogde de persistentie niet significant verder.

2. Effecten van Persuasie 'On-the-Fly'

Wanneer persuasie in real-time plaatsvond voorafgaand aan de taak:

• Zwakke Aggregaatverschuivingen: Over coderings- en webonderzoektaken heen waren de aggregaat-gedragsverschuivingen tussen gepersuadeerde en niet-gepersuadeerde agenten zwak en statistisch niet significant.
• Hoge Heterogeniteit: Persona-niveau effecten waren zeer variabel en heffen elkaar vaak op in gepoolde gemiddelden. Bijvoorbeeld, in webonderzoek verkleinden sommige persona's hun brondiversiteit terwijl anderen deze uitbreidden, wat resulteerde in een netto gemiddelde verandering dicht bij nul.
• Conclusie: Real-time persuasie induceert heterogene, persona-afhankelijke verschuivingen die geen consistente directionele verandering in gedrag over de hele linie opleveren.

3. Effecten van Vooraf Ingevulde Overtuiging

Wanneer overtuigingen expliciet vooraf werden ingevuld (door het persuasiedialoog te omzeilen):

• Significante Gedragsdrift: Agents met vooraf ingevulde overtuigingen voerden 26,9% minder zoekopdrachten uit en bezochten 16,9% minder unieke bronnen in vergelijking met agents met vooraf ingevulde neutraliteit.
• Mechanisme: Het effect werd gedreven door de overtuigingsstaat zelf in plaats van het persuasieproces. Agents die een specifieke overtuiging hanteerden (zelfs als deze taak-irrelevant was), veranderen hun exploratiestrategie, waardoor ze efficiënter werden maar minder divers in hun informatieverzameling.

4. Implicaties voor Lange Horizon

In samengevoegde langlopende taken:

• Persuasie-injectie-runnen toonden een grotere drift in zoekgedrag in vergelijking met injecties in neutrale context.
• Hoewel scores voor de kwaliteit van de uiteindelijke output (beoordeeld door een LLM-as-a-Judge) enige degradatie in dekking en instructievolging toonden voor gepersuadeerde agenten, was de belangrijkste bevinding de drift op procesniveau. De informatiepijplijnen van de agenten werden veranderd, wat leidde tot een selectie van bredere bronnen en verschillende formuleringen van zoekopdrachten, zelfs wanneer het uiteindelijke rapport plausibel leek.

Bijdragen

1. Probleemformulering: Introductie van het concept persuasiepropagatie, waarbij wordt gedefinieerd hoe taak-irrelevante persuasie downstream uitvoeringsgedrag in agentische systemen kan beïnvloeden.
2. Evaluatiekader: Voorstellen van een gecontroleerd kader dat overtuigingstoestand ontkoppelt van persuasietijdstip, met onderscheid tussen persuasie 'on-the-fly' en vooraf ingevulde overtuigingsconditie.
3. Evaluatie op Trace-niveau: Aantonen dat persuasiepropagatie zich manifesteert als gedragsdrift (bijvoorbeeld zoekbreedte, revisievolatiliteit) die niet waarneembaar is vanuit alleen de uiteindelijke output, wat de noodzaak motiveert van trace-gebaseerde metrics voor het auditen van LLM-agenten.
4. Empirisch Bewijs: Leveren van bewijs dat terwijl persuasie 'on-the-fly' inconsistente aggregaat-effecten oplevert, expliciet gespecificeerde overtuigingsstaten (een proxy voor succesvolle persuasie) meetbare, systematische verminderingen veroorzaken in de diversiteit van informatieverkenning.

Betekenis en Aanspraken

Het artikel betoogt dat persuasiepropagatie een apart betrouwbaarheidsprobleem voor agentische systemen vertegenwoordigt, los van standaard prompt-injectie of beleidsovertredingen.

• Subtiele Risico's: Het risico is niet noodzakelijk een catastrofale storing of een beleidsovertreding, maar een subtiele verschuiving in hoe een agent bewijs verzamelt. Een agent kan een vloeiend, taak-conform antwoord produceren dat disproportioneel wordt gevormd door een beperkte set bronnen als gevolg van een eerdere overtuigingsstaat.
• Noodzaak van Evaluatie: De auteurs beweren dat het evalueren van agenten uitsluitend op basis van uiteindelijke output onvoldoende is. Omdat persuasie de "informatiepijplijn" (zoekopdrachten, bronselectie, stopcriteria) kan veranderen zonder de oppervlakkige kwaliteit van het uiteindelijke antwoord te wijzigen, is gedragsniveau-evaluatie vereist om deze risico's te detecteren.
• Kwetsbaarheid op Lange Horizon: De studie suggereert dat bij langlopende agenten kleine afwijkingen in exploratie of toewijzing van inspanning in de loop van de tijd kunnen cumuleren, waardoor de effecten van persuasie moeilijker te detecteren zijn maar potentieel schadelijker voor de betrouwbaarheid en gronding van de output van de agent.

De auteurs blijven bescheiden, en merken op dat hun langlopende setting een vereenvoudigde proxy is en dat de omvang van de waargenomen verschuivingen aanzienlijk varieert per persona en model. Zij concluderen dat hoewel vatbaarheid voor overtuiging alleen geen onmiddellijk gedragscompromitteren garandeert, aanhoudende overtuigingsconditie downstream gedrag kan veranderen, wat robuuste, gedragsgerichte evaluatiekaders vereist voor ingezette agenten.