🤖 machine learning

Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

Dit paper introduceert MATU, een nieuw framework dat via tensorontbinding de onzekerheid van LLM-gebaseerde multi-agent systemen kwantificeert door volledige redeneertrajecten te analyseren in plaats van alleen de einduitvoer, waarmee het de beperkingen van bestaande methoden voor complexe interacties overbrugt.

Oorspronkelijke auteurs: Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

Gepubliceerd 2026-04-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe we de "zenuwen" van een team van AI's kunnen meten

Stel je voor dat je een heel groot, complex probleem moet oplossen, zoals het diagnosticeren van een zeldzame ziekte of het bouwen van een nieuwe brug. In plaats van één slimme computer (een AI) aan het werk te zetten, heb je een team van verschillende AI's die samenwerken. Sommigen zijn experts in wiskunde, anderen in taal, en weer anderen in het zoeken naar informatie. Ze praten met elkaar, wisselen ideeën uit en bouwen stap voor stap aan een oplossing.

Dit klinkt geweldig, maar er zit een groot risico in: wat als één van hen een klein foutje maakt? Of wat als ze het niet eens worden over de richting? In een team kan één klein misverstand in het begin leiden tot een rampzalig resultaat aan het einde. Dit noemen we onzekerheid.

De onderzoekers van dit paper (MATU) hebben een nieuwe manier bedacht om te meten hoe "zenuwachtig" of onzeker zo'n AI-team is, zelfs als ze op heel verschillende manieren werken.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: Het is niet alleen het antwoord dat telt

Vroeger keken onderzoekers alleen naar het eindantwoord van een AI. Was het antwoord goed of fout? Maar bij een team van AI's is het antwoord niet het enige belangrijke.

Het probleem: Stel je voor dat je een team hebt dat een reis plant. Als ze het eens zijn over de bestemming, maar één persoon heeft de verkeerde route gekozen en de rest heeft daarop gebouwd, is het eindresultaat misschien toevallig goed, maar het proces was erg onstabiel.
De uitdaging: Bestaande methoden kijken alleen naar de tekst aan het einde. Ze zien niet dat de AI's halverwege in paniek raakten, elkaar tegenwerkten of dat ze in de ene keer 5 stappen deden en in de andere keer 20 stappen. Ze zien ook niet dat de manier waarop ze met elkaar praten (de "topologie") elke keer anders kan zijn.

2. De Oplossing: MATU (De "3D-Foto" van het team)

De onderzoekers hebben een nieuwe methode bedacht, genaamd MATU. Ze gebruiken een wiskundig trucje dat tensor-decompositie heet. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel als je het zo voorstelt:

Stap 1: De vertaling (Embedding)
In plaats van te kijken naar de woorden die de AI's zeggen, vertalen ze elke zin, elk idee en elk tool-gebruik naar een soort "gevoelsnummer" (een vector). Het is alsof je elke zin in het team omzet in een kleur. Als twee zinnen hetzelfde betekenen, krijgen ze dezelfde kleur, zelfs als ze heel anders klinken.
Stap 2: De 3D-structuur (De Ragged Tensor)
Nu nemen ze alle gesprekken die het team heeft gevoerd (bijvoorbeeld 10 keer hetzelfde probleem oplossen).
- Soms duurt een gesprek 5 minuten, soms 10.
- Soms praten ze in een cirkel, soms in een ster.
- Normale wiskunde kan hier niet mee, omdat het niet in een strakke tabel past.
- MATU maakt een 3D-structuur (een soort kubus) van al deze gesprekken. Het is als een foto van het team dat niet statisch is, maar beweegt en verandert.
Stap 3: Het "Reconstrueren" (Tensor Decompositie)
Dit is het magische deel. De computer probeert deze complexe 3D-structuur te "simplificeren". Het probeert te zeggen: "Oké, als we kijken naar alle 10 gesprekken, wat is het gemeenschappelijke patroon?"
- Als het team heel stabiel is en altijd op dezelfde manier werkt, is het heel makkelijk om dit patroon te vinden. De computer kan de structuur makkelijk "reconstrueren" (nabouwen) met weinig fouten.
- Maar! Als het team onzeker is, als ze vaak van mening veranderen of als ze in de war raken, is het patroon erg rommelig. De computer kan de structuur dan niet goed nabouwen. Er blijft veel "ruis" over.

3. De Meting: Hoeveel ruis is er?

De hoeveelheid "ruis" of fout die overblijft na het proberen te reconstrueren, is hun onzekerheidsscore.

Weinig ruis = Laag onzekerheid: Het team werkt soepel, ze zijn het eens, en je kunt vertrouwen op hun antwoord.
Veel ruis = Hoog onzekerheid: Het team is in de war, ze praten langs elkaar heen, of ze maken veel fouten. Dan moet je het antwoord van het team niet vertrouwen.

Waarom is dit zo belangrijk?

Stel je voor dat je een AI-team gebruikt om medicijnen te ontwerpen.

Met oude methoden zou je denken: "Het antwoord klinkt logisch, dus het is goed."
Met MATU zou je zeggen: "Het antwoord klinkt logisch, maar de manier waarop ze erbij zijn gekomen was chaotisch en onstabiel. Er is een grote kans dat dit medicijn gevaarlijk is. Wees voorzichtig!"

Samenvatting in één zin

MATU is als een thermometer voor de "zenuwen" van een AI-team: het kijkt niet alleen naar of ze het antwoord hebben, maar meet hoe stabiel en betrouwbaar hun samenwerking was om daar te komen, zelfs als ze op heel verschillende manieren werken.

Dit helpt ons om AI-systemen veiliger en betrouwbaarder te maken, vooral in belangrijke gebieden zoals de gezondheidszorg, wetenschap en vervoer.

Probleemstelling

Hoewel Multi-Agent Systemen (MAS) gebaseerd op Large Language Models (LLM) complexe taken vaak beter uitvoeren dan single-agent systemen, introduceren hun ingewikkelde interacties kritieke betrouwbaarheidsuitdagingen. Bestaande methoden voor Uncertainty Quantification (UQ) zijn grotendeels ontworpen voor single-turn outputs en falen in de context van MAS om drie specifieke redenen:

Cascaderende onzekerheid in multi-stap redenering: Bestaande methoden analyseren vaak alleen het eindresultaat. Ze negeren echter de onzekerheid die zich opbouwt tijdens het redeneerproces. Een kleine fout in een vroeg stadium kan doorwerken in latere stappen, wat leidt tot een volledig afwijkend eindresultaat.
Variabiliteit in communicatiepaden: Voor dezelfde query kunnen agents in verschillende runs verschillende volgorde van interacties, verschillende lengtes van antwoorden of verschillende tool-gebruikspatronen vertonen. Bestaande methoden zijn hier "blind" voor.
Diversiteit in communicatietopologieën: MAS kunnen verschillende structuren hebben (bijv. star, keten, dynamisch). Methoden die voor één vaste structuur zijn ontworpen, generaliseren niet goed naar deze diverse en complexe systemen.

Het gebrek aan een robuuste UQ-methode voor MAS is riskant, vooral in kritieke domeinen zoals gezondheidszorg of wetenschappelijke ontdekking, waar een vroege misdiagnose of fout door het hele systeem kan cascaderen.

Methodologie: MATU (Multi-Agent Tensor Uncertainty)

De auteurs stellen MATU voor, een nieuw framework dat onzekerheid kwantificeert door het gebruik van tensordecompositie. In plaats van alleen de tekst te analyseren, modelleert MATU het volledige redeneertraject als een wiskundige structuur.

Het proces verloopt als volgt:

Embedding voor Multi-stap Redenering:
- Elk tussenresultaat van een agent (zowel natuurlijke taal als tool-call resultaten) wordt geëncodeerd in een gedeelde latente ruimte met behulp van een vooraf getraind embedding-model (bijv. Qwen3-embedding).
- Voor elke agent $k$ in een run $j$ wordt een reeks van $T_{j,k}$ stappen omgezet in een matrix $E^{(j,k)}$ van dimensie $T_{j,k} \times d$ . Dit lost het probleem van variabele lengtes en heterogene outputtypes op.
Tensor Representatie voor Inter-agent Communicatie:
- De verzameling van alle embedding-matrices over meerdere runs ( $N$ ) en agents ( $K$ ) wordt georganiseerd in een onregelmatige tensor (ragged tensor).
- Dit is cruciaal omdat de lengte van het traject ( $T_{j,k}$ ) per agent en per run kan verschillen. Een standaard tensor zou deze variabiliteit verliezen of vereisen dat alle trajecten worden opgevuld (padding), wat ruis introduceert.
Tensordecompositie (PARAFAC2 / CP-2):
- De kern van MATU is het toepassen van PARAFAC2-decompositie (ook wel CP-2 genoemd). Deze methode is specifiek ontworpen voor onregelmatige tensorstructuren.
- CP-2 zoekt een laag-rang benadering van de onregelmatige tensor. Het veronderstelt dat consistente interacties over verschillende runs een gemeenschappelijke, laag-rang structuur delen.
- Onzekerheidsmeting: De onzekerheid wordt gemeten via de reconstructiefout (reconstruction loss). Als de trajecten zeer inconsistent zijn (hoge onzekerheid), is het moeilijk om ze goed te benaderen met een laag-rang structuur, wat resulteert in een hoge reconstructiefout.
- De uiteindelijke onzekerheidsscore $U$ is de som van de reconstructiefouten over verschillende rangen ( $R$ ).

Belangrijkste Bijdragen

Systematische Definitie: De eerste systematische definitie van UQ voor LLM-based MAS, die specifieke bronnen van onzekerheid identificeert (tool-gebruik, multi-stap redenering, inter-agent communicatie).
Novel Framework (MATU): Een framework dat onzekerheidssignalen integreert op zowel het niveau van het antwoord als het niveau van de hele run, gebruikmakend van tensordecompositie voor een holistische schatting.
Generaliseerbaarheid: Het framework is ontworpen om te werken met diverse communicatietopologieën (statisch en dynamisch) zonder dat de architectuur van het MAS aangepast hoeft te worden.
Interpreteerbaarheid: Door de latent-factoren van de decompositie te analyseren, kan MATU terugvinden welke specifieke redeneerstappen of agent-interacties verantwoordelijk zijn voor onzekerheid of fouten.

Resultaten

De auteurs hebben MATU uitgebreid getest op diverse datasets (MATH, MoreHopQA, MMLU, HumanEval) en met verschillende LLM's (GPT-4o, Qwen2.5, Llama3.1) en MAS-architecturen (Camel, AutoGen, AnyMac).

Superieure Prestaties: MATU overtrof consistent bestaande baselines zoals Eigv(Agre) (gebaseerd op semantische consistentie), P(true) (LLM zelf-evaluatie) en SAUP (stap-voor-stap analyse).
- In statische systemen (Camel, AutoGen) leverde MATU hogere AUROC en AUARC scores op, wat aangeeft dat het onzekerheid beter correleert met feitelijke fouten.
- In dynamische systemen (AnyMac), waar de volgorde van agents varieert, bleek MATU aanzienlijk robuuster dan traditionele methoden die vastzitten aan vaste paden.
Tool Integratie: Op de HumanEval dataset (code generatie met tools) presteerde MATU beter dan concurrenten, wat aantoont dat het werkt in omgevingen met externe tool-interacties.
Out-of-Distribution (OOD) Detectie: MATU slaagde erin om duidelijk te onderscheiden tussen in-distribution data en OOD data (bijv. wiskundeprompten op een algemene kennisdataset), terwijl baselines hierin faalden.
Downstream Toepassing (Model Selection): Wanneer MATU werd gebruikt om de meest betrouwbare agent-configuratie te selecteren voor een gegeven query, resulteerde dit in een hogere algehele nauwkeurigheid van het systeem vergeleken met willekeurige selectie of andere onzekerheidsmetingen.

Betekenis en Impact

Dit paper is een doorbraak in het betrouwbaarheidsdomein van Multi-Agent Systemen.

Van Output naar Traject: Het verschuift de focus van het analyseren van het eindantwoord naar het analyseren van het hele redeneertraject, wat essentieel is voor complexe taken.
Wiskundige Rigor: Door gebruik te maken van tensordecompositie voor onregelmatige data, biedt het een wiskundig onderbouwde manier om de complexiteit van MAS-interacties te "ontwarren" en te kwantificeren.
Praktische Toepasbaarheid: De methode biedt niet alleen een onzekerheidsscore, maar ook inzicht in waarom een systeem onzeker is, wat cruciaal is voor het vertrouwen in AI-systemen in kritieke toepassingen zoals zorg en wetenschap.
Robuustheid: Het bewijst dat onzekerheid kwantificatie mogelijk is in dynamische en heterogene omgevingen, wat een belangrijke stap is naar het veilige inzetten van autonome agenten in de echte wereld.

Kortom, MATU biedt een robuust, schaalbaar en interpreteerbaar framework om de "reliability" van complexe multi-agent systemen te meten, waarbij het de inherente variabiliteit van deze systemen omarmt in plaats van te proberen die te negeren.