Technische Samenvatting: Counterfactual Graph voor Multi-Agent LLM Kalibratie

Probleemstelling

Multi-agent Large Language Model (LLM) systemen vertrouwen steeds vaker op consensus tussen agenten om de betrouwbaarheid van antwoorden te bepalen. De heersende aanname is dat een hoge mate van overeenstemming (bijv. een hoog stempercentage) correleert met een hoge mate van juistheid. Dit artikel toont echter aan dat deze aanname faalt wanneer agenten communiceren. Communicatie kan gecorreleerde fouten en valse consensus induceren, waardoor hetzelfde stempercentage ofwel een betrouwbare onafhankelijke overeenstemming weerspiegelt, ofwel overmoedige, gekoppelde fouten, afhankelijk van de communicatietopologie.

Bestaande kalibratiemethoden kampen met drie primaire beperkingen:

1. Afhankelijkheids-blinde kalibratie: De meeste methoden behandelen reacties van agenten als onafhankelijke steekproeven en comprimeren onenigheid tot scalaire metrieken (bijv. stempercentage, entropie). Hierdoor gaat structurele informatie verloren die nodig is om onderscheid te maken tussen begunstige diversiteit en schadelijke overeenstemming.
2. Heterogene-agent kalibratie: Bestaand werk gaat er vaak van uit dat agenten zijn geïnstantieerd vanuit een enkel LLM-beleid, waarbij geen rekening wordt gehouden met panels van diverse modellen met verschillende kennisgrenzen en foutmodi.
3. Topologie-generalisatie: Huidige methoden worden grotendeels gevalideerd op all-to-all (debat) systemen en generaliseren niet naar diverse topologieën zoals ketens, hub-spoke of bomen.

De auteurs identificeren twee terugkerende foutmodi in multi-agent kalibratie:

• Diversity-Induced Under-Confidence (DUC): In heterogene panels kunnen onjuiste agenten uiteenwaaieren over verschillende foute antwoorden. Dit verlaagt het stempercentage van het meerderheidsantwoord, waardoor het systeem de betrouwbaarheid onderschat, zelfs wanneer het meerderheidsantwoord correct is.
• Communication-Induced Over-Confidence (COC): Communicatie kan ervoor zorgen dat agenten convergeren naar hetzelfde foute antwoord door invloed. Dit blaast het stempercentage op, waardoor het systeem de betrouwbaarheid overschat.

Methodologie: CAGE-CAL

Om deze problemen aan te pakken, stellen de auteurs CAGE-CAL (Counterfactual Agent-Graph Calibration) voor, een framework dat de vertrouwen-kalibratie aanpakt door de afhankelijkheidsstructuur achter de overeenstemming van agenten te modelleren.

Kernmechanisme: Counterfactual Graph Shift

Voor elke query construeert CAGE-CAL twee bijbehorende grafen over dezelfde set agenten:

1. Geobserveerde Graaf ($G^T_x$): Representeert de afhankelijkheden van de agenten na hun communicatie onder een specifieke topologie $T$.
2. Counterfactual Graaf ($G^0_x$): Representeert de afhankelijkheden van dezelfde agenten als zij onafhankelijk (IID) hadden geantwoord zonder communicatie.

Het framework berekent de counterfactual shift ($\Delta h^T_x = h^T - h^0$) tussen de geobserveerde en de counterfactual representaties. Deze verschuiving isoleert de afhankelijkheid die specifiek door communicatie is geïnduceerd, waardoor de kalibrator onderscheid kan maken tussen onafhankelijke bewijsvoering en gecorreleerde fouten.

Graafconstructie

Het framework modelleert afhankelijkheden op twee niveaus:

• Paarwise Dependency Edges: Leggen lokale afhankelijkheid tussen agenten vast op basis van communicatie-nabijheid en instantie-conditionele correctheid-correlaties (geschat uit trainingsdata).
• Group-Level Hyperedges: Leggen hogere-orde afhankelijkheden vast die voortkomen uit gedeelde modelfamilies, prompting-rollen, antwoordclusters en topologie-blootstelling. Deze worden behandeld als afhankelijkheidseenheden in plaats van metadata.

Architectuur

1. Calibration Agent Graph Encoder: Een gedeelde graph neural network codeert zowel de geobserveerde als de counterfactual grafen. Het werkt de representaties van agenten bij door het aggregeren van pairwise edge-features en group-level hyperedge-informatie.
2. Counterfactual Shift Calibration Learning: De encoder geeft representaties uit voor de geobserveerde staat ($h^T$), de counterfactual staat ($h^0$) en hun verschil ($\Delta h^T_x$). Deze worden geconcateneerd met benchmark-identificatoren en gevoed aan een Multi-Layer Perceptron (MLP) om de gekalibreerde waarschijnlijkheid van juistheid te voorspellen.
3. Trainingsdoelstelling: Het model wordt getraind met een combinatie van gesmoothde binary cross-entropy (voor discriminatie) en een Brier-penalty (voor waarschijnlijkheidskalibratie).

De auteurs breiden het framework uit naar CAGE-SELECT, een routing-mechanisme dat de gekalibreerde vertrouwensscores gebruikt om dynamisch de meest betrouwbare communicatietopologie voor elke query te selecteren, in plaats van vast te houden aan één enkele vaste topologie.

Belangrijkste Bijdragen

1. Analyse van Foutmodi: Het artikel biedt een systematische analyse die DUC en COC identificeert als tegengestelde foutmodi, gedreven door de interactie tussen agent-diversiteit en communicatietopologie.
2. CAGE-CAL Framework: Een nieuw kalibratieframework dat de geobserveerde grafen contrasteert met IID counterfactual grafen om fout-afhankelijkheden te modelleren, waarbij effectief rekening wordt gehouden met heterogene agenten en diverse topologieën.
3. Empirische Validatie: Evaluatie over vijf benchmarks (TriviaQA, TruthfulQA, MMLU-Pro, GSM8K, BIG-Bench Hard) en vijf topologieën (IID, debat, keten, hub-spoke, boom).

Experimentele Resultaten

• Kalibratieprestaties: CAGE-CAL bereikt de beste gemiddelde Expected Calibration Error (ECE) van 5.56 en de hoogste gemiddelde Area Under the Receiver Operating Characteristic (AUROC) van 83.61, waarmee het sterke baselines zoals DiscoUQ-LLM (ECE 7.08, AUROC 73.46) overtreft.
• Robuustheid: De methode vertoont sterke generalisatie in "leave-one-topology-out" settings, waarbij een hoge AUROC (82.21) behouden blijft op onbekende topologieën, terwijl scalaire-gebaseerde baselines significant degraderen.
• Correctie van Foutmodi: Visuele analyse bevestigt dat CAGE-CAL succesvol onder-vertrouwen corrigeert in scenario's met veel diversiteit en over-vertrouwen in scenario's met veel communicatie, waardoor de betrouwbaarheidscurves dichter bij de perfecte kalibratielijn komen.
• Topologie Selectie: CAGE-SELECT verbetert de uiteindelijke panel-nauwkeurigheid naar 67.23%, een winst van +2.05 procentpunt ten opzichte van de beste vaste-topologie strategie (65.18%), wat aantoont dat gekalibreerd vertrouwen vergelijkbaar is over verschillende topologieën.

Betekenis en Claims

Het artikel claimt dat overeenstemming alleen een onbetrouwbaar vertrouwenssignaal is in multi-agent systemen. De betekenis van dit werk ligt in de verschuiving van het kalibratieparadigma van het tellen van stemmen naar het analyseren van hoe die stemmen tot stand zijn gekomen. Door de counterfactual shift veroorzaakt door communicatie expliciet te modelleren, scheidt CAGE-CAL onafhankelijke bewijsvoering van gecorreleerde fouten.

De auteurs benadrukken dat deze aanpak niet louter een verbetering is in metriekscores, maar een vereiste voor de betrouwbare en veilige inzet van multi-agent systemen, waarbij vertrouwenssignalen direct beslissingen in de downstream beïnvloeden (bijv. automatische acceptatie versus menselijke controle). Het vermogen van het framework om te generaliseren over topologieën en heterogene populaties van agenten aan te pakken, adresseert kritieke hiaten in het huidige onderzoek naar de betrouwbaarheid van multi-agent systemen.

Beperkingen: De auteurs merken op dat de deelname van agenten niet is geoptimaliseerd (panels worden getrokken uit een vaste pool) en dat communicatie niet gezamenlijk wordt geoptimaliseerd met kalibratie, wat suggereert dat toekomstig werk adaptieve agent-selectie en routing zou kunnen verkennen.