Technische Samenvatting: De Zelfverzekerde Leugenaar: Het Diagnostiseren van Multi-Agent Debat met Log-Probabiliteiten en LLM-als-Judge

1. Probleemstelling

Multi-agent debatsystemen worden steeds vaker gebruikt om de prestaties, robuustheid en consistentie van Large Language Models (LLM's) te verbeteren door taken op te splitsen in gespecialiseerde rollen (bijv. argumentatie en kritiek). Echter, huidige evaluatieparadigma's lijden aan een kritieke beperking: ze vertrouwen bijna uitsluitend op de binaire juistheid van het uiteindelijke antwoord. Deze benadering negeert de kwaliteit, coherentie en betrouwbaarheid van de tussenliggende redeneersporen die debat specifiek bedoeld is om op te roepen.

Een agent kan tot een juiste conclusie komen via gebrekkige redenering, of een hoogwaardig argument produceren dat leidt tot een marginaal onjuiste conclusie. Bovendien, naarmate multi-agent pipelines complexer worden, kunnen emergente faalmodi onzichtbaar zijn voor nauwkeurigheidsmetingen, maar wel detecteerbaar in de structuur van de redeneringen van de agents. Het paper stelt een fundamentele open vraag: Reflecteren externe evaluaties van redeneerkwaliteit (via LLM-as-Judge) systematische eigenschappen van het interne generatieproces van het model (via token-niveau log-probabiliteiten)?

2. Methodologie

De auteurs stellen een framework voor dat drie verschillende signalen gezamenlijk analyseert over multi-agent debatinstanties heen:

1. Interne Zelfverzekerdheidssignalen: Token-niveau log-waarschijnlijkheidsverdelingen ($L$) gegenereerd tijdens de decodering.
2. Externe Redeneerkwaliteit: Scores toegewezen door een LLM-as-Judge op basis van specifieke rubric-criteria.
3. Taaknauwkeurigheid: De juistheid van de uiteindelijke gesynthetiseerde output ($\hat{y}$) ten opzichte van de grondwaarheid ($y^*$).

2.1 Framework Architectuur

Het systeem werkt in drie stadia:

• Multi-Agent Debat: Een twee-agent architectuur wordt gehanteerd:
  • De Constructor: Genereert een primaire respons (kandidaat antwoord/oplossing) met ondersteunende redenering.
  • De Auditor: Onderzoekt kritisch de output van de Constructor, identificeert fouten, hiaten of ononderbouwde claims, en levert bewijs-gebaseerde tegenargumenten.
  • De Synthesizer: Leest het debattranscript en produceert de uiteindelijke taakoutput.
• Confidence Extractie: Een module legt de token-niveau log-probabiliteiten ($\ell_t$) vast voor elke gegenereerde token door de Constructor en de Auditor. Deze worden geaggregeerd in statistische kenmerken (gemiddelde, variantie, helling, entropie) over glijdende vensters (vaste lengte of percentagegebaseerd) om de evolutie van zelfverzekerdheid te analyseren.
• LLM-as-Judge Meta-Evaluatie: Een aparte LLM evalueert de redenering van elke agent tegen drie dimensies:
  1. Instruction Following: Naleving van rolbeperkingen.
  2. Justification Quality: Coherentie en substantiële betrokkenheid bij de taak.
  3. Evidence Grounding: Vertrouwen op concrete, specifieke informatie in plaats van generalisaties.
  • Een Critical-Failure Flag wordt geplaatst bij ernstige problemen (hallucinaties, tegenstrijdigheden).
  • Een geaggregeerde score $Q \in [0, 9]$ wordt berekend, waarbij deze naar 0 wordt overschreven als een kritiek falen wordt gedetecteerd.

2.2 Taakdomeinen

Om generaliseerbaarheid te waarborgen, wordt het framework geïnstantieerd over drie domeinen:

1. Rubric-gebaseerde Scoring: Het toekennen van scores aan essays/korte antwoorden op basis van expliciete rubrics (met behulp van de ASAP dataset).
2. Wiskundige Redenering: Het oplossen van meerstaps-problemen met discrete antwoorden (met behulp van GSM8K).
3. Feitelijke Vraagbeantwoording: Vragen beantwoorden op basis van opgehaalde passages (met behulp van Natural Questions).

2.3 Onderzoeksvragen (RQs)

De studie behandelt drie kern-RQs:

• RQ 1 (Logprob Dynamiek): Hoe evolueren de log-waarschijnlijkheidsverdelingen, en correleren zelfverzekerde redeneertokens met een hogere beoordeelde kwaliteit?
• RQ 2 (LLM-as-Judge): Hoe consistent zijn LLM-judges, en correleren hun scores op tussenliggende redenering met de uiteindelijke taaknauwkeurigheid?
• RQ 3 (Cross-Signaal Correlatie): Is er een systematische correlatie tussen log-probs, judge scores en nauwkeurigheid? Kan divergentie tussen deze signalen faalmodi diagnosticeren?

3. Belangrijkste Bijdragen en Resultaten

Het paper presenteert voorlopige experimentele resultaten die zich primair richten op het rubric-gebaseerde scoringdomein (ASAP dataset), gebruikmakend van GPT-4o-mini voor generatie en GPT-5-mini voor beoordeling.

3.1 Confidence Trajecten

Analyse van de token-niveau zelfverzekerdheid onthult een consistent vierfasen-traject voor beide agents:

1. Hoog-zelfverzekerde opening.
2. Scherpe daling binnen de eerste 50 tokens wanneer de substantiële redenering begint.
3. Stabiel plateau gedurende het midden van de respons.
4. Volatiel laat-respons gebied (tokens 550+), waar de zelfverzekerdheid aanzienlijk oscilleert.

3.2 Rol-Asymmetrie

Een significante bevinding is de asymmetrie tussen de Constructor en de Auditor:

• Correlatie Sterkte: De interne zelfverzekerdheid van de Constructor komt ongeveer twee keer zo sterk overeen met de externe beoordeelde kwaliteit als die van de Auditor.
  • Constructor gemiddelde correlatie ($\bar{\rho}$): 0.335
  • Auditor gemiddelde correlatie ($\bar{\rho}$): 0.177
• Detectie van Kritiek Falen: De detectie van kritieke redeneerfouten (hallucinaties) op basis van zelfverzekerdheid is aanzienlijk betrouwbaarder voor de Constructor (AUROC 0.804) dan voor de Auditor (AUROC 0.634).
• Interpretatie: Ondersteunende redenering (Constructor) volgt een meer toegewijd en voorspelbaar pad, terwijl adversariële redenering (Auditor) een breder spectrum aan kandidaat-kritieken navigeert, wat leidt tot luidruchtigere zelfverzekerdheidssignalen.

3.3 Cross-Signaal Correlaties

• Positieve Uitlijning: Er is een niet-verwaarloosbare positieve correlatie tussen de statistieken van de token-niveau log-waarschijnlijkheid en de beoordeelde redeneerkwaliteit over alle dimensies (Instruction Following, Justification, Evidence Grounding).
• Diagnostische Divergentie: Het paper identificeert specifieke gevallen van divergentie (bijv. hoge zelfverzekerdheid maar lage kwaliteit) als potentiële handtekeningen van hallucinatie of overmoed, wat suggereert dat deze signalen diagnostisch gebruikt kunnen worden.

4. Betekenis en Claims

Het paper claimt de eerste systematische onderzoek te zijn naar de relatie tussen interne zelfverzekerdheidssignalen (log-probabiliteiten), externe redeneringsevaluaties (LLM-as-Judge) en uiteindelijke taaknauwkeurigheid in een multi-agent debatsetting.

• Voorbij Finale Nauwkeurigheid: Het werk betoogt dat het evalueren van enkel het eindpunt de rijke tussenliggende sporen die debat specifiek bedoeld is te produceren, wegwerpt. Door interne generatiesignalen te koppelen aan externe kwaliteitsbeoordelingen, biedt het framework een nieuw perspectief voor het diagnosticeren van multi-agent systemen.
• Rol-Specifieke Dynamiek: De bevindingen suggeren dat zelfverzekerdheidssignalen niet uniform zijn over agent-rollen; ze zijn aanzienlijk voorspellender voor de redeneerkwaliteit voor constructieve agents dan voor kritische agents.
• Diagnostisch Potentieel: De geobserveerde divergentie tussen interne zelfverzekerdheid en externe kwaliteit (bijv. hoge zelfverzekerdheid met lage beoordeelde kwaliteit) wordt voorgesteld als een mechanisme om faalmodi zoals hallucinatie te detecteren die anders mogelijk onopgemerkt zouden blijven door nauwkeurigheidsmetingen alleen.

5. Beperkingen en Omvang

De auteurs geven expliciet aan dat de huidige empirische resultaten beperkt in omvang zijn:

• Domein: De resultaten zijn momenteel beperkt tot het rubric-gebaseerde scoringdomein; generalisatie naar wiskundige redenering en feitelijke QA wordt voorgesteld als toekomstig werk.
• Modellen: Experimenten gebruiken één modelfamilie (GPT-4o-mini/GPT-5-mini) voor zowel generatie als beoordeling, wat de vraag openlaat of de dynamiek specifiek zijn voor deze modellen of algemeen voor debatarchitecturen.
• Architectuur: De debatsetup is vereenvoudigd (twee agents, vaste volgorde) vergeleken met complexe real-world multi-agent systemen die geheugen, retrieval en iteratieve verfijning bevatten.
• Interpretatie: De auteurs waarschuwen dat log-waarschijnlijkheidstrajecten post-hoc rationalisatie kunnen reflecteren in plaats van genuante redeneerprocessen, en dat de geobserveerde correlaties met zorg geïnterpreteerd moeten worden.

Het paper concludeert dat hoewel de initiële bevindingen in het rubric-domein veelbelovend zijn, uitbreiding van deze analyse naar verschillende domeinen, modellen en debatconfiguraties noodzakelijk is om het ontwerp van interpreteerbare en betrouwbaardere multi-agent debatarchitecturen te informeren.