12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation

Technische Samenvatting: 12 Geïrriteerde AI-Agenten

Probleemstelling
Het artikel adresseert een kritieke leemte in de evaluatie van multi-agent Large Language Model (LLM)-systemen. Hoewel multi-agentkaders steeds vaker worden ingezet voor taken die deliberatie, debat en consensus vereisen (bijvoorbeeld jurypanelen, code-review, beleidsraden), is er onvoldoende empirisch bewijs dat deze agenten daadwerkelijk delibereren. De auteurs stellen dat huidige LLM's zich mogelijk enkel "verankeren" op hun initiële standpunten, argumenten opdreunen zonder tegenargumenten te integreren, en zo de schijn van deliberatie wekken zonder de substantie van meningverandering. Om dit te toetsen, vereist de studie een benchmark met een bekende ground-truth-sequentie van overtuiging en geïndividualiseerde deelnemers, waarvoor de auteurs de film 12 Angry Men van Sidney Lumet uit 1957 gebruiken.

Methodologie
De studie instantieert het scenario van de film als een multi-agent benchmark met behulp van het SelectorGroupChat-patroon van Microsoft AutoGen.

• Agenten: Twaalf agenten, elk geconditioneerd op een filmtrouwe persona (beroep, vooroordelen, spreekstijl, initiële stem en kernargumenten). De initiële staat weerspiegelt de film: 11 juryleden stemmen "SCHULDIG", en één (Juror_8) stemt "NIET-SCHULDIG".
• Modellen: Twee modellen die tegenovergestelde uiteinden van het Reinforcement Learning from Human Feedback (RLHF)-spectrum vertegenwoordigen, werden getest:
  • GPT-4o: Een gesloten-bronmodel met zware RLHF-afstemming (veiligheid eerst, consistentie-gericht).
  • Llama-4-Scout: Een open-gewichtmodel met een lichtere, publiek gedocumenteerde RLHF-stack (flexibiliteit eerst).
• Experimenteel Ontwerp: Een $2 \times 3$ factorieel ontwerp met $N=3$ replicaties per cel (in totaal 18 runs).
  • Modellen: GPT-4o versus Llama-4-Scout.
  • Condities:
    1. Basislijn: Standaard persona-prompten met vaste initiële stemmen.
    2. Geen Initiële Stem: Conditionering op de initiële stem verwijderd; juryleden beslissen vanaf nul.
    3. Open-minded Prompt: Toegevoegde instructie om "ALLE bewijzen eerlijk te wegen" en posities bij te werken als tegenargumenten overtuigend zijn.
• Beëindiging: Deliberaties lopen maximaal 150 beurten, maar maken gebruik van een early-stoppingmechanisme: als drie opeenvolgende stemrondes nul stemveranderingen opleveren, eindigt de run als een "HUNG_JURY" (geen meerderheid).
• Metrieken: Verdictuitkomst, totaal aantal beurten, aantal stemveranderingen, cascade-snelheid en de volgorde van eerste omschakelingen (vergeleken met de canonieke volgorde van de film via Spearman $\rho$).

Belangrijkste Bijdragen

1. Een Film-gegronde Benchmark: Introduceert een nieuw evaluatiekader voor multi-agent deliberatie met 12 Angry Men, wat een bekende ground-truth-cascade en twaalf canonieke persona's biedt.
2. Vergelijking van RLHF-Paradigma's: Biedt een gecontroleerde vergelijking van zware versus lichte RLHF-afstemming, en levert bewijs dat de intensiteit van afstemming, en niet modelgrootte of -capaciteit, de deliberatieve rigiditeit bepaalt.
3. Identificatie van Falingsmodi: Identificeert "verankering" als de dominante falingsmodus in multi-agent settings en toont aan dat interventies om verankering te doorbreken (prompten, initiële condities verwijderen) asymmetrisch werken over afstemmingsregimes heen.
4. Kwalitatieve Divergentie-analyse: Onderscheidt tussen de oppervlaktekenmerken die LLM's reproduceren (persona's, bewijsverwijzingen) en de mechanismen die ze niet reproduceren (emotionele breuk, coalitievorming, echte overtuiging).

Resultaten

• Prevalentie van Hung Juries: 17 van de 18 runs eindigden in een "HUNG_JURY". Het centrale gebeurtenis van de film – de geleidelijke overtuiging van minderheid naar meerderheid – gebeurde bijna nooit.
• Modeldivergentie (Rigiditeit versus Flexibiliteit):
  • GPT-4o: Vertoonde extreme rigiditeit in alle condities. Het gemiddelde aantal stemveranderingen per run was 1,0 (basislijn), 0,7 (geen initiële stem) en 1,0 (open-minded prompt). Het produceerde hung juries in alle 9 runs, en negeerde expliciete instructies om open-minded te blijven.
  • Llama-4-Scout: Vertoonde aanzienlijke flexibiliteit. Het gemiddelde aantal stemveranderingen was 2,0 (basislijn), 3,3 (geen initiële stem) en 6,0 (open-minded prompt). Het was het enige model dat een unaniem "NIET-SCHULDIG"-verdict bereikte (1 van 3 runs in de conditie zonder initiële stem).
• Asymmetrische Promptgevoeligheid: De "open-minded" instructie verdrievoudigde de stemveranderingsrate van Llama, maar had nul effect op GPT-4o.
• Early Stopping: GPT-4o-deliberaties waren korter (gemiddeld 44–64 beurten) door snelle stagnatie, terwijl Llama-deliberaties langer waren (gemiddeld 60–72 beurten) door voortdurende stembeweging.

Betekenis en Aanspraken
Het artikel stelt dat bij multi-agent deliberatie flexibiliteit, niet capaciteit, de primaire determinant is van menselijke overtuigingsdynamiek.

• De RLHF-Rigiditeitshypothese: De auteurs betogen dat de dominante falingsmodus (verankering) wordt gedreven door de intensiteit van RLHF-training. Modellen die zwaar zijn afgestemd op "veiligheid" en "consistentie" (zoals GPT-4o) leren dat het opgeven van een bevestigde positie ongewenst gedrag is, waardoor ze rigide deliberatoren worden. Omgekeerd behouden modellen met lichtere afstemmingsstacks (zoals Llama-4-Scout) het vermogen om posities bij te werken onder sociale druk.
• Inversie van "Groter is Beter": De studie daagt de aanname uit dat grotere of hoger gerangschikte modellen uniform betere taakprestaties voorspellen. In dit domein presteerde het meer "capabele" model (GPT-4o) slechter in deliberatie dan het meer flexibele model.
• Substitutie van Mechanismen: Het artikel concludeert dat LLM's de kostuum van deliberatie reproduceren (persona's, bewijs, bezwaren) maar niet het spel (het mechanisme van meningverandering). Ze vervangen emotionele breuk door vlakke beleefdheid, sociaal gemedieerde overtuiging door systeem-promptinstructies, en door argumenten gedreven twijfel door sampling-temperatuur.
• Praktische Implicaties: Voor praktici die LLM-panelen gebruiken (bijvoorbeeld voor evaluatie of debat) suggereren de resultaten dat panelverdicten mogelijk slechts ruizige versies zijn van eerste indrukken als leden verankeren op hun eerste stemmen. Bovendien kunnen multi-agent debatkaders breekbaar zijn voor modelkeuze, waardoor monologen op zwaar afgestemde modellen ontstaan in plaats van echte meningsverschillen die aan het licht komen.

Het werk wordt gepresenteerd als een verkennende studie, waarbij beperkingen worden erkend zoals de kleine steekproefgrootte ($N=3$), het gebruik van slechts twee modellen, en de ondoorzichtigheid van specifieke RLHF-procedures voor gesloten-bronmodellen. De auteurs suggereren dat toekomstig werk moet onderzoeken of het rigiditeitseffect een onvermijdelijk neveneffect van afstemming is of een aanpasbaar ontwerpkeuze.