💻 computer science

CORRECT: COndensed eRror RECognition via knowledge Transfer in multi-agent systems

Dit artikel introduceert CORRECT, een lichtgewicht, training-vrij framework dat een cache van gedestilleerde foutschema's benut om snelle, gerichte foutlokalisatie in multi-agent systemen mogelijk te maken, ondersteund door de nieuwe CORRECT-Error dataset en waarbij significante verbeteringen in nauwkeurigheid met bijna nul overhead worden aangetoond.

Oorspronkelijke auteurs: Yifan Yu, Moyan Li, Shaoyuan Xu, Jinmiao Fu, Xinhai Hou, Fan Lai, Bryan Wang

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yifan Yu, Moyan Li, Shaoyuan Xu, Jinmiao Fu, Xinhai Hou, Fan Lai, Bryan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke restaurantkeuken met een team van gespecialiseerde chefs (een Multi-Agent Systeem). De ene chef snijdt groenten, een andere bakt vlees, en een derde richt de gerechten op. Soms komt het uiteindelijke gerecht fout uit.

Het grote probleem is niet alleen dat het eten niet lekker is; het is het achterhalen van precies welke chef de eerste fout heeft gemaakt en op welk exact moment die fout werd gemaakt. Was het de groentesnijder die het verkeerde mes gebruikte? Of was het de chef die het vlees vijf minuten later verbrandde?

In complexe keukens verspreiden fouten zich vaak als een domino-effect. Eén kleine fout door één chef kan het hele gerecht verpesten, wat een lange, verwarrende geschiedenis van gebeurtenissen creëert. Het proberen te achterhalen van de grondoorzaak door de volledige video van 30 minuten in de keuken te bekijken, is uitputtend en traag.

Het Probleem: Waarom huidige methoden falen

Het artikel legt uit dat huidige manieren om deze fouten te vinden lijken op het oplossen van een mysterie met twee slechte hulpmiddelen:

De "Rechter"-methode: Je vraagt een slimme AI (zoals een voedselcriticus) om de hele video te bekijken en te raden wie de fout heeft gemaakt. Maar de video is zo lang en vol met saaie details (zoals "ik open de koelkast") dat de criticus in de war raakt en meestal fout raadt.
De "Retraining"-methode: Je probeert een nieuwe AI te onderwijzen door het duizenden voorbeelden van fouten te laten zien. Maar het labelen van deze fouten is ongelooflijk duur en moeilijk. Het kost experts uren om slechts één fout te ontdekken, en er zijn te veel verschillende soorten fouten om de AI alles te leren.

De Oplossing: CORRECT (Het "Spiekbriefje"-systeem)

De auteurs creëerden een systeem genaamd CORRECT. Zie dit als een slim, levend "Spiekbriefje" voor de keukenmanager.

In plaats van de AI alles opnieuw te laten leren of uren aan video te laten kijken, doet CORRECT drie slimme dingen:

Het distilleren van de "Handtekening": Wanneer er een fout wordt gemaakt, slaat CORRECT niet de hele lange video op. In plaats daarvan extraheert het de "vingerafdruk" van de fout.
- Analogie: Als een chef altijd vergeet zout toe te voegen aan de soep voordat de wortelen worden toegevoegd, dan is de "vingerafdruk" niet het hele recept; het is slechts de regel: "Geen zout vóór de wortelen."
- CORRECT zet rommelige logs om in deze kleine, herbruikbare "Error Schemata" (patronen).
De Slimme Cache (De Bibliotheek): Het slaat deze vingerafdrukken op in een kleine, georganiseerde bibliotheek.
- Wanneer er een nieuwe bestelling binnenkomt en er gaat iets mis, scant CORRECT niet de hele geschiedenis. Het zoekt snel in zijn bibliotheek om de vingerafdruk te vinden die bij de huidige situatie past.
- Analogie: Als de soep zout is, controleert de manager direct de bibliotheek, ziet de "Zout vóór Wortelen"-regel, en weet precies waar hij moet kijken.
Geen training vereist: Het beste deel? Het systeem hoeft niet terug naar school. Het leert on the fly. Als het een nieuw type fout ziet, maakt het direct een nieuwe vingerafdruk aan en voegt het deze toe aan de bibliotheek.

Het "Trainingsdata"-probleem opgelost

Om te bewijzen dat dit werkt, hadden de onderzoekers een enorme lijst met fouten nodig om op te testen. Maar echte fouten zijn moeilijk te vinden. Daarom bouwden ze een synthetische foutenfabriek (genaamd CORRECT-Error).

Ze namen succesvolle keukenruns en gebruikten een slimme AI om realistische fouten in te injecteren, geleid door de patronen die ze in het echte leven zagen.
Ze testten dit op menselijke experts, en de experts konden het verschil niet zien tussen de "nep" geïnjecteerde fouten en de echte fouten. Dit bewees dat hun systeem eindeloze, hoogwaardige oefendata kon generen zonder dat mensen elke fout handmatig hoefden te labelen.

De Resultaten

Toen ze CORRECT testten op zeven verschillende soorten "keukens" (van wiskundeproblemen tot webnavigatie):

Nauwkeurigheid: Het vond de exacte fout tot wel 20% beter dan de beste bestaande methoden.
Snelheid: Het deed dit in fracties van seconden zonder dat er dure computerkracht nodig was om modellen te hertrainen.
Efficiëntie: Het werkt zelfs als de bibliotheek slechts een paar honderd vingerafdrukken bevat, omdat de meeste fouten dezelfde "vingerafdruk" delen.

In een Notendop

CORRECT is als het geven van een vergrootglas en een lijst met bekende criminele handtekeningen aan een detective, in plaats van de detective te vragen om elke pagina van een 1.000 pagina tellend boek te lezen om één typefout te vinden. Het herkent dat hoewel elke keukendisaster er aan de oppervlakte anders uitziet, ze vaak dezelfde paar patronen volgen. Door die patronen te onthouden, kan het fouten direct opsporen, wat tijd en geld bespaart.

Technische Samenvatting: CORRECT

Probleemstelling

Multi-agent systemen (MAS) worden steeds vaker ingezet voor complexe real-world taken, maar hun afhankelijkheid van inter-agent coördinatie, toolgebruik en langetermijnredenering maakt beslissende foutherkenning bijzonder uitdagend. In tegenstelling tot single-agent systemen, waarbij fouten vaak voortkomen uit een enkele defecte output, ontstaan MAS-fouten vaak door cascade-effecten waarbij een kleine fout in één agent doorwerkt in downstream interacties, wat leidt tot taalfalen.

Huidige benaderingen kampen met drie fundamentele obstakels:

Generaliseerbaarheid: MAS-toepassingen beslaan diverse domeinen met variërende foutpatronen. Bestaande "LLM-as-a-judge"-methoden bereiken een lage nauwkeurigheid (vaak $\le$ 10% op stapniveau) vanwege de moeilijkheid om over deze patronen te generaliseren.
Data-efficiëntie: Het verkrijgen van gelabelde data voor foutherkenning is even duur als inherent ambigu. Het annoteren van MAS-fouten vereist experturen om onderling afhankelijke interacties te ontrafelen, wat leidt tot een hoog mate van onenigheid tussen annotatoren.
Computationele efficiëntie: Het fine-tunen van LLM's voor foutherkenning is onpraktisch voor dynamische implementaties waarbij continu nieuwe fouttypen ontstaan. Bovendien faalt naïeve In-Context Learning (ICL) omdat executielogs meer dan 32.000 tokens kunnen bevatten en laag-entropische ruis bevatten, waardoor ze vaak slechter presteren dan zero-shot baselines.

Methodologie: CORRECT

Het artikel introduceert CORRECT (COndensed eRror RECognition via knowledge Transfer), een lichtgewicht, training-vrij framework dat gebruikmaakt van een online cache van gedestilleerde foutschema's om kennis van foutstructuren over te dragen naar nieuwe verzoeken. Het systeem werkt in drie fasen:

1. Offline Schema Extractie

In plaats van ruwe fouttrajecten op te slaan, destilleert CORRECT deze tot compacte, herbruikbare foutschema's.

Clustering: Fouttrajecten worden semantisch ingebed en geclusterd om vergelijkbare foutpatronen te groeperen.
Schema Generatie: Voor elk cluster wordt een representatief schema gegenereerd met behulp van een LLM. Elk schema legt het volgende vast:
- Foutsignaturen ( $\Sigma$ ): Karakteristieke patronen (bijv. placeholder tokens in tool calls, vage actie-beschrijvingen).
- Foutcontext Analyse ( $C$ ): Condities die leiden tot de fout (bijv. taaleisen, eerdere context).
- Detectie Heuristieken ( $H$ ): Actiegerichte regels voor het identificeren van soortgelijke fouten.
Optimalisatie: Het aantal clusters wordt bepaald door een data-gedreven criterium (silhouette score) om een balans te vinden tussen compactheid en dekking.

2. Online Schema-gestuurde Foutherkenning

Wanneer er een fout optreedt in een nieuw verzoek:

Retrieval: Het systeem haalt de top- $k$ relevante schema's op uit de cache op basis van semantische gelijkenis tussen het doeltraject en de opgeslagen schema's.
Diagnose: De LLM wordt geprompt met het doeltraject en de opgehaalde schema's. De schema's fungeren als gecondenseerde expertkennis, die de aandacht van de LLM stuurt naar relevante foutpatronen zonder de volledige historische logs te verwerken.
Output: De LLM identificeert de exacte agent en de stap die de fout initieerde (beslissende fout).

3. Dynamisch Schema Beheer

Om de relevantie en kwaliteit van de cache te behouden, gebruikt CORRECT twee mechanismen:

Schema Expansie: Als gebruikersfeedback bevestigt dat een nieuwe fout succesvol is herkend (lage gelijkenis met bestaande schema's), wordt een nieuw schema gegenereerd en gecached.
Schema Destillatie: Veelgebruikte schema's (hoge "hotness") worden verfijnd door meerdere kandidaten te genereren en de kandidaat te selecteren met de hoogste nauwkeurigheid bij herhaling tegen eerdere trajecten.

Belangrijkste Bijdragen

CORRECT Framework: De eerste schema-gestuurde detector die recurrente MAS-fouten systematisch destilleert in compacte foutschema's. In tegen tegenstelling tot fine-tuning of LLM-as-a-judge benaderingen, draagt het foutkennis over tijdens de inferentie via schema-retrieval, waarbij het tot 20 punten verbetering bereikt in de nauwkeurigheid van stap-lokalisatie terwijl het training-vrij blijft.
CORRECT-Error Dataset: Een grootschalige benchmark van meer dan 2.000 geannoteerde multi-agent trajecten. Deze dataset, gegenereerd via een innovatieve bootstrap error-injection pipeline, combineert schaalbaarheid met hoge getrouwheid. Het gebruikt een kleine set door mensen geannoteerde fouten als zaden om diverse foutscenario's te synthetiseren die niet te onderscheiden zijn van echte fouten (gevalideerd door menselijke evaluatie waarbij synthetische fouten in 47,1% van de gevallen als echt werden geclassificeerd).

Experimentele Resultaten

Experimenten werden uitgevoerd over zeven diverse MAS-toepassingen (waaronder HotpotQA, MMLU-Pro, GAIA, en de WHO&WHEN dataset) met diverse modellen (Qwen, Llama, GPT, Gemini, DeepSeek).

Nauwkeurigheidswinst: CORRECT verbetert de nauwkeurigheid van stap-foutlokalisatie aanzienlijk. Op de WHO&WHEN dataset verbeterde het de exact-stap nauwkeurigheid van Qwen-2.5-7B van 3,5% naar 12,1% en die van GPT-5 van 8,6% naar 17,2%. Over de CORRECT-Error benchmark behaalde het een gemiddelde winst van 28,7% ten opzichte van bestaande standaarden.
Generalisatie: Het framework vertoont sterke transferbaarheid; gedestilleerde schema's uit door mensen vervaardigde trajecten verbeteren de prestaties op algoritme-gegenereerde data effectief.
Efficiëntie: De benadering introduceert verwaarloosbare overhead (minder dan 3,5% latentie-toename) en vereist geen hertraining.
Robuustheid: Prestaties blijven stabiel, zelfs met kleine cache-groottes (10% van de schema-bibliotheek) en in de aanwezigheid van retrieval-ruis.
Praktisch Nut: Gerichte interventies (bijv. het herstarten van agents) gebaseerd op de lokalisatie van CORRECT verbeterden de end-to-end succesratio's van 10% naar 20%.

Betekenis en Claims

Het artikel claimt dat CORRECT een kritieke bottleneck aanpakt in de foutherkenning van schaalbare MAS-implementaties. Door de verschuiving van ruwe log-analyse naar gecondenseerde structurele kennisoverdracht, maakt het framework het volgende mogelijk:

Gerichte Debugging: De precieze lokalisatie van de "beslissende fout" (de vroegste stap waarvan de correctie de uitkomst naar succes draait) maakt gerichte interventies mogelijk (bijv. het upgraden van specifieke agents of het verfijnen van de orchestratie-logica) in plaats van kostbare systeemoverhaals.
Schaalbaarheid: Het training-vrije, cache-gebaseerde ontwerp stelt systemen in staat om zich in subseconden aan te passen aan dynamische foutpatronen zonder de data- en rekenkosten van fine-tuning.
Fundament voor Betrouwbaarheid: De introductie van CORRECT-Error biedt een rigoureus, uitbreidbaar benchmark voor de gemeenschap om de betrouwbaarheid van MAS te evalueren en te verbeteren, voorbij de beperkingen van huidige kleinschalige, handmatig geannoteerde datasets.

De auteurs benadrukken dat hun werk een fundament legt voor het bouwen van meer betrouwbare, interpreteerbare en schaalbare multi-agent systemen door foutherkenning te behandelen als een systeemprobleem dat oplosbaar is door kennisdestillatie en retrieval.