Technische Samenvatting: Auditing van Geloof-geconditioneerde LLM-agenten in Social Deduction Games met Verborgen Informatie

Probleemstelling

Het evalueren van Large Language Model (LLM) agenten in omgevingen met verborgen informatie en meerdere agenten is uitdagend omdat uiteindelijke uitkomsten (bijv. winst/verlies) hoog-variabele signalen zijn die zelden de causale mechanismen achter de beslissingen van agenten onthullen. In sociale deductiespellen zoals Weerwolf opereren agenten onder gedeeltelijke observeerbaarheid, moeten zij redeneren over private informatie, deceptieve communicatie interpreteren en beslissingen nemen waarbij de kwaliteit pas achteraf duidelijk wordt. Standaard black-box evaluatie faalt om te onderscheiden of een fout voortkomt uit ontbrekende bewijslast, gebrekkige belief-tracking, door prompts geïnduceerd gedrag, infrastructuurbelasting of een geldige strategische override. Er is behoefte aan een evaluatie-infrastructuur die de cognitie van de agent observeerbaar, auditeerbaar en reproduceerbaar maakt.

Methodologie

De auteurs implementeren een 9-speler Weerwolf-omgeving die is ontworpen als een auditeerbaar experimenteel platform. Het systeem handhaaft strikte code-niveau informatie-isolatie, waardoor agenten alleen publieke gebeurtenissen en rol-specifieke private observaties ontvangen, terwijl de spelengine de grondwaarheid van de roltoewijzingen behoudt voor post-hoc evaluatie.

Het framework bestaat uit vijf kerncomponenten:

1. Auditable Belief Layer: Een extern systeem onderhoudt een belief-state (rol-kansen voor alle spelers) die wordt bijgewerkt op basis van gestructureerde spelgebeurtenissen. Deze laag werkt in twee modi:
   • Shadow Mode: Beliefs worden bijgehouden voor evaluatie alleen, niet getoond aan de agent.
   • Active Mode: Belief-samenvattingen (bijv. de meest verdachte weerwolven) worden in de context van de agent geïnjecteerd als besluitvormingsondersteuning.
2. Factorized Belief Updates: In plaats van een monolithische regel-tabel, worden belief-updates gedecomposeerd in interpreteerbare factoren: type gebeurtenis (basisgewicht), richting van het bewijs en de geloofwaardigheid van de bron. Updates vinden plaats in de log-odds ruimte om stabiliteit en traceerbaarheid te garanderen.
3. Deviation-Guided Diagnosis: Het systeem vergelijkt de actie die door de belief wordt gesuggereerd met de werkelijke actie van de LLM. Afwijkingen worden conceptueel geclassificeerd als harmful (het negeren van nuttige signalen), justified (override op basis van andere context) of strategic (opzettelijke deceptie).
4. Defensive Offline Improvement Loop: Strategische updates worden niet toegepast na individuele spellen. In plaats daarvan aggregeert het systeem batches van spellen, mijnt "bad cases" (bijv. schadelijke afwijkingen, foutieve vergiftigingsacties), genereert kandidaat-inzichten en vereist menselijke review voordat er versies van prompts of regelwijzigingen worden gemaakt.
5. Strict Information Isolation: De context-builder zorgt ervoor dat agenten alleen legale, rol-zichtbare data ontvangen. De grondwaarheid wordt nooit tijdens runtime gebruikt, alleen voor de berekening van post-game metrieken.

De evaluatie omvatte 1.080 bevroren spellen over meerdere experimentele armen, inclusief belief-disabled ablations, active-belief condities, camp-restricted varianten (belief gegeven aan alleen de goede of slechte teams), kernel ablations (additief vs. factorized) en high-load replica's.

Belangrijkste Bijdragen

1. Auditable Framework: Een systeem voor games met verborgen informatie met strikte informatie-isolatie, gestructureerde event-logging, reproduceerbare staat en post-game evaluatie.
2. External Belief Layer: Een mechanisme voor redeneren over verborgen rollen dat shadow/active varianten, factorized updates en traceerbare snapshots bevat, dienend als een cognitieve baseline in plaats van een harde controller.
3. Deviation Instrumentation: Een conceptuele taxonomie voor post-hoc inspectie van belief-actie afwijkingen (harmful, justified, strategic) en een workflow voor grootschalige automatische classificatie.
4. Defensive Offline Loop: Een workflow die bad cases uit batches van spellen mijnt om gereviewde, versiebeheerde strategie-updates te ondersteunen, waarbij de risico's van online learning per enkel spel worden vermeden.
5. Empirische Bewijsvoering: Een grootschalige evaluatie (1.080 spellen) die de associatie tussen actieve belief en verbeterde uitkomsten aantoont, terwijl het audit-layer tegelijkertijd wordt gebruikt om lage consistentie te diagnosticeren en onbetrouwbare interventies af te wijzen.

Resultaten

De studie presenteert een coherente maar voorzichtige set bevindingen uit een 200-seed gepaard A/B-vergelijking (A0: belief-disabled vs. A1: active-belief):

• Outcome Shift: De active-belief conditie is geassocieerd met een significant hoger winpercentage voor de goede kant, stijgend van 0.205 naar 0.390 (gepaarde McNemar $\chi^2 = 16.4, p < 0.001$).
• Error Reduction: De active-belief conditie gaat samen met een reductie in onomkeerbare "wrong poison" fouten door de Heksen-rol (het foutieve vergiftigingspercentage daalde van 76% naar 36%).
• Lage Directe Consistentie: Ondanks de verbetering in uitkomst is de directe actie–belief consistentie laag ($\approx$0.21). Agenten wijken frequent af van de top belief aanbeveling.
• Camp-Restricted Anomaly: Het geven van belief alleen aan de weerwolven verbeterde het winpercentage van de goede kant (0.313) meer dan het geven van belief alleen aan de goede kant (0.253). Dit spreekt een eenvoudige "holder-benefit" hypothese tegen waarbij belief de inferentie van de drager van de belief verbetert.
• Gefaalde Interventie: Een "forced consumption" beleid, dat probeerde alignment met de belief af te dwingen, verbeterde de winpercentages niet en verhoogde de consistentie slechts marginaal. Dit suggereert dat het dwingen van agenten om platte of zwakke belief-signalen te volgen contraproductief is.
• Load Robustness: High-concurrency replica's vertoonden geen toename in LLM-fouten of context budget schendingen, wat bevestigt dat de geobserveerde verschuivingen in uitkomsten geen artefacten zijn van infrastructuurbelasting.

Betekenis en Claims

Het paper positioneert externe belief in high-noise hidden-information games primair als een auditable cognitieve baseline in plaats van een bewezen controller van het spel.

• Meetbaarheid boven Optimaliteit: De primaire waarde van het framework is het meetbaar en reproduceerbaar maken van agent-beslissingen. Het transformeert opaak gedrag in bewijs dat kan worden betwist en geanalyseerd.
• Diagnose van Mechanisme: De auteurs stellen expliciet dat zij de winst-rate verschuiving niet specif specifiek toeschrijven aan de kwaliteit van de belief-inhoud. Vanwege de lage actie–belief consistentie en de anomale camp-restricted resultaten, blijft het causale mechanisme onopgelost. Het effect kan voortkomen uit de aanwezigheid van de belief sectie die het gedrag of de promptstructuur van de agent verandert, in plaats van de consumptie van het belief signaal zelf.
• Veiligheid in Iteratie: Het framework maakt veiligere iteratie mogelijk door onderzoekers in staat te stellen strategie-effecten te scheiden van infrastructuur-confounds (zoals load-induced failures) en interventies (zoals forced consumption) met bewijs af te wijzen.
• Generaliseerbaarheid: Hoewel getest in Weerwolf, is het onderliggende patroon toepasbaar op elke adversariële, gedeeltelijk observeerbare setting waar uiteindelijke uitkomsten ruis bevatten en beslissingen interpretatie vereisen. De auteurs argumenteren dat voordat dergelijke agenten veilig verbeterd kunnen worden, hun cognitie observeerbaar en betwistbaar moet worden gemaakt via een audit-infrastructuur.

Het paper concludeert dat evaluatie-infrastructuur een first-class component is van hidden-information LLM-agenten, noodzakelijk om te differentiëren tussen zwakke inferentie, strategische overrides en systeemfouten.