Technische Samenvatting: PAVE – Een Cognitieve Architectuur voor Legitieme Overtreding in Sociëteiten van Generatieve Agenten

1. Probleemstelling

Generatieve agenten gebaseerd op Large Language Models (LLM's) hebben de capaciteit aangetoond om geloofwaardig menselijk gedrag te simuleren in coöperatieve omgevingen. Hun vermogen om te redeneren in scenario's waar regel overtreding noodzakelijk is—zoals brandevacuatie, medische noodsituaties of situaties met conflicterende autoriteit—blijft echter slecht gekarakteriseerd. Bestaande architecturen, zoals de fundamentele Generative Agents van Park et al. [2023], richten zich voornamelijk op normconformiteit en samenwerking. Ze falen vaak in het onderscheid maken tussen "gemakkelijke" overtredingen en "legitieme" overtredingen die gedreven worden door noodzaak.

Huidige modellen worstelen met drie specifieke faalmodi:

1. Over-conformiteit: Agenten volgen regels zelfs wanneer een echte noodsituatie anders vereist (bijvoorbeeld wachten bij een rood licht tijdens een brand).
2. Over-overtreding: Agenten breken regels louter voor gemak of door groepsdruk zonder een rechtvaardige trigger.
3. Onbegrensde Besmetting: Agenten kopiëren de overtredingen van anderen totdat het breken van de regel de nieuwe norm wordt, waardoor ze niet herstellen naar basisconformiteit zodra de trigger verdwijnt.

De kernuitdaging is niet het gebrek aan regels, maar het mechanisme waarmee agenten die regels wegen tegen situationele urgentie, autoriteit en sociale context.

2. Methodologie: De PAVE Architectuur

Om deze hiaten aan te pakken, stellen de auteurs PAVE (Perception, Assessment, Verdict, Emulation) voor, een cognitieve architectuur met vier modules die ontworpen is om het besluitvormingsproces van het breken van regels op een principiële manier te modelleren. PAVE breidt de geheugen-reflectie-planning lus van Park et al. [2023] uit door specifieke redeneringsmodules voor regel overtreding in te voeren.

2.1 De Vier Modules

1. Perceptie:

   • Functie: Extraheert een gestructureerde context uit de omgeving voordat de redenering begint.
   • Output: Een contextobject $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$.
   • Belangrijke Kenmerken: Scheidt expliciet de aanwezigheid van autoriteit ($apres$) van de afstand ($dauth$). Het labelt situationele cues ($ucue$) met type, afstand en ernst (1–100). Cruciaal is dat het gedrag van peers ($B_{peer}$) vastlegt als een momentopname van het huidige tafereel, waardoor langdurige accumulatie van peer-invloed die de agent kan beïnvloeden wordt voorkomen.

2. Beoordeling:

   • Functie: Converteert de perceptieve context naar vijf verschillende scalare factoren (1–100) die de beslissing sturen.
   • Factoren:
     • $r$ (Risico): Waargenomen waarschijnlijkheid van detectie/sanctie, gewogen naar afstand tot autoriteit.
     • $p_{emp}$ (Empirische Verwachting): Aandeel van nabijgelegen agenten dat momenteel conform is.
     • $p_{norm}$ (Normatieve Verwachting): Het geloof van de agent over wat anderen zouden moeten doen.
     • $b$ (Baten): Waargenomen nut van overtreding (urgentie of noodzaak).
     • $\ell$ (Legitimiteit): De kernbijdrage. Deze scalar beoordeelt of de situatie overtreding rechtvaardigt op basis van drie strikte criteria: Noodzaak (zou conformiteit echte schade veroorzaken?), Proportionaliteit (is de overtreding minimaal?) en Afwezigheid van Alternatieven (is er een conform handeling met hetzelfde resultaat?).

3. Vonnis:

   • Functie: Beslist om te conformeren of overtreden.
   • Mechanisme: De beslissing wordt beheerst door een Harde Legitimiteitspoort.
     • Als $\ell < \tau$ (waarbij $\tau$ een agent-specifieke drempel is die wordt afgeleid uit hun persona), moet het vonnis conform zijn, ongeacht hoge baten of laag risico.
     • Als $\ell \ge \tau$, is de agent toegestaan overtreding, waarbij de uiteindelijke beslissing wordt beïnvloed door risico, peer-gedrag en persona.
   • Output: Een binaire beslissing ($y$), een natuurlijke taal rechtvaardiging ($j$) en een betrouwbaarheidsscore ($\kappa$).

4. Emulatie:

   • Functie: Voert het vonnis uit en verspreidt het resultaat naar de samenleving.
   • Actieafbakening: Bij overtreding breekt de agent alleen de specifieke regel die wordt gerechtvaardigd door de trigger (bijvoorbeeld een rood licht oversteken om aan een brand te ontsnappen, maar geen fiets stelen).
   • Resultaatverspreiding: Update het geheugen van de handelende agent en zaait de perceptieve context van nabijgelegen agenten. Dit zorgt dat peer-invloed ($p_{emp}$) kan updaten, maar de Legitimiteitspoort in de volgende cyclus zorgt ervoor dat verhoogde groepsdruk geen overtreding kan afdwingen tenzij de situatie zelf legitiem is.

2.2 Experimentele Omgeving: VOVILLE

De auteurs hebben PAVE geïmplementeerd in VOVILLE, een tegelgebaseerde verkeersomgeving die is geforkt van de Smallville sandbox.

• Kenmerken: Bevat configureerbare verkeerslichten, eenrichtingsstraten en scriptgedreven gevaren (branden) en autoriteiten (verkeersagenten).
• Agenten: 10 PAVE-agenten (8 cafébezoekers, 2 omstanders) en scriptgedreven NPC's (confederaten, agenten).
• Scenario's:
  1. Brandevacuatie (Geen Autoriteit): Test of agenten overtreden om te ontsnappen en conformiteit herstellen zodra de brand eindigt.
  2. Brandevacuatie (Met Autoriteit): Test onderwerping aan instructies van agenten en ruimtelijke onderdrukking van overtredingen.
  3. Groepsdruk (Verkeersregels overtreden): Test weerstand tegen imitatie wanneer peers overtreden onder tijdsdruk maar zonder noodsituatie.

3. Belangrijkste Bijdragen

1. PAVE Architectuur: Een nieuw cognitief kader dat gezamenlijk noodsituatie-gedreven regel overtreding, peer-besmetting en autoriteitsonderdrukking modelleert, en voorbijgaat aan het behandelen van overtreding als een incidenteel emergent resultaat.
2. VOVILLE Omgeving: Een ruimtelijk verankerde simulatieomgeving die fysiek waarneembare conformiteits- en overtredingsgebeurtenissen mogelijk maakt, onderscheiden van puur conversationele simulaties.
3. Empirische Karakterisering: Door middel van ablatiestudies over drie scenario's, vijf condities en vier LLM-backbones (GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini) karakteriseren de auteurs de specifieke condities waaronder agenten regels overtreden of regelbreken onderdrukken.

4. Resultaten

De evaluatie richtte zich op vier eigenschappen: Legitieme Overtreding (P1), Autoriteitsonderwerping (P2), Conformiteitsherstel (P3) en Beperkte Omvang (P4).

• Legitieme Overtreding (P1): PAVE-agenten traden alleen overtredingen op wanneer een trigger (bijvoorbeeld brand) dit rechtvaardigde. In het scenario "Verkeersregels overtreden" weerstonden PAVE-agenten peer-imitatie (overtredingspercentage 0,04) in vergelijking met Vanilla-agenten (0,58), aangezien de trigger "te laat komen" de legitimiteitscontrole niet doorstond.
• Autoriteitsonderwerping (P2): Agenten onderwierpen zich aan instructies van agenten, zelfs wanneer hun interne legitimiteitsscore ($\ell$) hoog was. In bewaakte kruispunten was de conformiteit 0,94. Overtredingspercentages daalden aanzienlijk met de nabijheid van de agent (0,05 binnen 3 tegels versus 0,65 buiten 12 tegels), wat menselijke politiemodellen reproduceert.
• Conformiteitsherstel (P3): Agenten keerden binnen ongeveer 4 ticks na het verlaten van de straal van de brand terug naar basisconformiteit. Autoriteitseffecten bleven niet bestaan; zodra de agent vertrok of de brand eindigde, keerden agenten terug naar standaardgedrag.
• Beperkte Omvang (P4): Overtredingen waren beperkt tot de gerichte regel. Ongerelateerde regel overtredingen (bijvoorbeeld het betreden van privégebouwen) bleven dicht bij nul (0,02), terwijl Vanilla-agenten hoge percentages vertoonden (0,31).

Ablatiebevindingen:

• Verwijderen van de Legitimiteitspoort: Zonder de poort gedroegen PAVE-agenten zich als "Vanilla"-agenten met betrekking tot gemak-gedreven overtredingen. Het overtredingspercentage voor ongerelateerde regels steeg van 0,02 naar 0,21, en peer-gedreven conversie steeg van 0,04 naar 0,39.
• Vanilla Baseline: Vanilla-agenten faalden voornamelijk door een "belang-bottleneck". Het onderliggende belangsscoresysteem (Park et al.) gaf prioriteit aan sociale zeldzaamheid boven fysiek gevaar. Bijgevolg werd een brand vaak gewaardeerd met hetzelfde belang als een routinematig rood licht, wat leidde tot onderreactie (falen om te evacueren) of ongescopeerde reacties.

Menselijke Evaluatie:
Menselijke beoordelaars beoordeelden PAVE-agenten significant hoger (5,78/7) dan Vanilla-agenten (3,42/7) op plausibiliteit, met name in cue-salientie en legitimiteitsbeoordeling.

5. Betekenis en Claims

Het artikel claimt dat PAVE een structurele oplossing biedt voor de besluitvormingspijplijn van generatieve agenten. De betekenis ligt niet in het resultaat (agenten die een brand evacueren), maar in het mechanisme:

• Differentiatie van Motieven: PAVE scheidt succesvol "gemak" van "legitimiteit", waardoor overtredingen alleen plaatsvinden wanneer noodzaak, proportionaliteit en gebrek aan alternatieven zijn voldaan.
• Schaalbaarheid van Redenering: De architectuur maakt variatie op agent-niveau mogelijk (via afgeleide drempels $\tau$) terwijl een principiële poort tegen willekeurige regelbreken wordt gehandhaafd.
• Herstel en Weerstand tegen Besmetting: Het systeem toont aan dat het sociale weefsel kan herstellen zodra een trigger verdwijnt en dat agenten peer-gedreven besmetting kunnen weerstaan als de onderliggende situatie geen legitimiteit mist.

De auteurs merken bescheiden beperkingen op: regels zijn handmatig gespecificeerd in plaats van geleerd, en de studie richt zich op scenario's met één trigger zonder betwiste autoriteiten of gecoördineerde multi-agent overtredingen. Ze stellen echter dat de patronen van onderdrukking-afstand en herstel over dagen die in VOVILLE worden waargenomen, menselijke veldstudies reproduceren (bijvoorbeeld Koper [1995]) zonder expliciet daarop te zijn gericht, wat suggereert dat de architectuur fundamentele dynamieken van regelbreken in veiligheidsrelevante omgevingen vastlegt.