💻 computer science

Fantastic Adaptive Taxonomies and How to Use Them

Het artikel introduceert AdaMAST, een systeem dat automatisch compacte, op bewijs gebaseerde foutentaxonomieën induceert uit executietrajecten van agenten om te dienen als een herbruikbare feedbackinterface, wat de prestaties van agenten aanzienlijk verbetert bij zoek-, runtime- en trajectselectietaken in vergelijking met traditionele vrije vorm reflectiemethoden.

Oorspronkelijke auteurs: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Gepubliceerd 2026-07-21

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar ietwat onhandige robot leert om puzzels op te lossen. Elke keer als de robot een puzzel probeert op te lossen, laat hij een lang, slordig spoor van gedachten, acties en fouten achter. Dit spoor wordt een "execution trace" (uitvoeringsspoor) genoemd. Een lange tijd hadden wetenschappers die probeerden deze robots te repareren twee manieren om naar de bende te kijken. De eerste manier was simpelweg zeggen: "Je bent gefaald," en doorgaan. Dit is als een leraar die een rood "F" op een toets geeft zonder uit te leggen waarom je het fout had. De tweede manier was de robot vragen om een lang, warrig essay te schrijven over wat er misging. Dit is beter, maar het is alsof je een leerling vraagt om voor elke wiskundevraag die hij fout maakt, telkens opnieuw een nieuw essay te schrijven met andere woorden. De robot leert nooit een consistente woordenschat voor zijn fouten, en de leraar (of het computerprogramma dat de robot probeert te repareren) raakt overweldigd door al de verschillende manieren waarop dezelfde fout wordt beschreven.

De grote vraag in deze hoek van de informatica is: Hoe helpen we AI-agenten om te leren van hun fouten zonder dat ze verzuipen in eindeloze, repetitieve tekst? Het doel is om die slordige, lange sporen van fouten om te zetten in een schone, georganiseerde lijst van "foutcodes" — zoals een gestandaardiseerd woordenboek van fouten. Als de robot steeds vergeet zijn werk te controleren, in plaats van telkens een paragraaf over te schrijven, zou hij gewoon een label moeten krijgen dat zegt "Vergeten te Controleren". Dit stelt het systeem in staat om patronen te herkennen, de kernoorzaak aan te pakken en niet twee keer dezelfde fout te maken. Dit is de basis voor de nieuwe methode genaamd AdaMAST.

Het Grote Idee van het Papier: Het Persoonlijke "Foutwoordenboek" van de Robot

Dit papier introduceert een slim nieuw systeem genaamd AdaMAST (Adaptive Multi-Agent System Failure Taxonomies). Denk aan AdaMAST als een superintelligente bibliothecaris die een robotagent ziet proberen problemen op te lossen, en in plaats van alleen het slordige dagboek van de robot te lezen, een gepersonaliseerd, levend woordenboek van fouten aanlegt.

Zo werkt het in de praktijk:

De Observatie: De robot probeert een reeks taken op te lossen (zoals het schrijven van code of het oplossen van wiskundeproblemen) en faalt. Hij laat een lang, slordig spoor van tekst achter.
De Magische Vertaling: In plaats van dat mensen elk woord lezen, leest AdaMAST het spoor en zegt: "Ah, ik zie dit patroon! De robot bleef proberen een hulpmiddel te gebruiken dat niet bestaat," of "De robot stopte te vroeg met nadenken." Het zet deze slordige observaties om in korte, pakkende namen zoals "Premature_Reasoning_Truncation" of "Tool_Mismatch."
Het Levende Woordenboek: Het systeem bouwt een "taxonomie", wat gewoon een chique woord is voor een gecategoriseerde lijst. Deze lijst heeft drie planken:
- Systeemniveau: Fouten met de hele opstelling (zoals de robot die in een loop vast komt te zitten).
- Rol-specifiek: Fouten door specifieke onderdelen van het robottteam (zoals het deel dat de "checker" is dat lui is).
- Domein-specifiek: Fouten over de eigenlijke inhoud (zoals de wiskunde fout doen).
Het Beste Deel: De robot hoeft dit woordenboek nooit door een mens aangeleerd te krijgen. Het woordenboek wordt volledig opgebouwd uit de eigen fouten van de robot. Het is alsof een student zijn eigen studiegids schrijft op basis van zijn eigen slechte antwoorden, en die gids vervolgens gebruikt om voor de volgende toets te studeren.

Wat het Papier Vond: Het Woordenboek Werkt

De auteurs testten dit idee op drie verschillende manieren, en de resultaten suggereren dat het hebben van dit "Foutwoordenboek" robots aanzienlijk slimmer en betrouwbaarder maakt.

1. Betere Robotontwerpen Vinden (De Zoektocht)
Stel je voor dat je een betere robot probeert uit te vinden door onderdelen te mixen en te matchen. Meestal kijk je alleen naar de score: "Deze robot haalde 80%, die haalde 85%." Maar met AdaMAST kijelt het systeem naar de foutcodes van de gefaalde robots.

Het Resultaat: Toen de onderzoekers deze codes gebruikten om hun zoektocht naar betere robotontwerpen te sturen, presteerden de nieuwe robots veel beter. Op vijf verschillende soorten uitdagingen (van competitief programmeren tot wiskunde) verbeterden de robots die het woordenboek gebruikten hun scores met 3,4% tot 7,5% vergeleken met robots die alleen vage, vrije tekst-feedback kregen.
De Analogie: Het is als een coach die tegen een speler zegt: "Je mist de bal omdat je naar de verkeerde plek kijkt" (een specifieke code) in plaats van alleen te zeggen: "Je speelde slecht" (een generieke score). De speler weet precies wat hij moet herstellen.

2. Fouten Herstellen Tijdens het Werken (Runtime Monitoring)
Soms is een robot midden in een taak en begint hij van het pad af te wijken. Het papier testte of de robot kon stoppen, zijn eigen "Foutwoordenboek" kon controleren en zichzelf kon corrigeren voordat hij klaar was.

Het Resultheid: Wanneer de robot dit woordenboek kreeg om zichzelf te controleren, loste hij meer problemen op.
- Op een software engineering test genaamd SWE-bench, ging een robot genaamd SWE-agent van het oplossen van 60% van de problemen met normale zelfcontrole naar 70% met het woordenboek.
- Een andere robot, Claude Code, ging van 64,0% naar 70,7%.
De Les: Het woordenboek hielp de robot specifieke, terugkerende fouten te vangen (zoals het vergeten te controleren op syntactische fouten) die hij bleef missen wanneer hij alleen een generieke "controleer je werk" prompt kreeg.

3. De Beste Poging Kiezen (Trajectory Selection)
Stel je voor dat een robot vijf keer probeert een probleem op te lossen. Je weet niet welke het juiste is, maar je moet een winnaar kiezen.

Het Resultaat: De onderzoekers bouwden een "rechter" die naar de vijf pogingen keek en de "Foutcodes" telde. De poging met de minste foutcodes was meestal de winnaar.
De Cijfers: Deze methode verbeterde de nauwkeurigheid bij het kiezen van het juiste antwoord met 8 tot 15 punten vergeleken met simpelweg gokken of een standaard checklist gebruiken. Het was vooral goed in het onderscheiden van een "bijna goed maar fout" poging en een "daadwerkelijk juiste" poging.

Wat het Papier Uitsluit (En Wat Niet)

De auteurs wijzen er voorzichtig op wat dit systeem niet is.

Het is geen toverstaf voor alles: Het papier laat zien dat een vaste, vooraf gemaakte lijst van fouten (zoals een standaard tekstboeklijst) wel oké is, maar niet zo goed als een woordenboek dat specifiek voor de eigen stijl van de robot is gebouwd. Het "Adaptieve" deel is cruciaal. Als je een generieke lijst gebruikt, mis je de unieke, vreemde fouten die alleen jouw robot maakt.
Het gaat niet over het schrijven van betere essays: Het papier testte of het schrijven van de feedback in een chique, gestructureerd formaat (zoals een lijst) het geheime ingrediënt was. Ze kwamen tot de conclusie dat de inhoud van het woordenboek belangrijker was dan het formaat. De echte winst zat in het hebben van een consistente, herbruikbare lijst van namen voor de fouten, niet in de manier waarop de woorden waren gerangschikt.
Het is geen menselijke uitvinding: Het papier argumenteert expliciet tegen het handmatig door mensen schrijven van deze lijsten. Ze ontdekten dat wanneer mensen proberen te raden welke fouten een robot zal maken, ze de specifieke, vreemde fouten missen. Het eigen gedrag van de robot is de beste leraar.

Hoe Zeker Zijn We?

Het papier presenteert deze bevindingen als gemeten resultaten uit echte experimenten, niet als slechts vermoedens.

De cijfers zijn solide: De verbeteringen (zoals de sprong van 60% naar 70% in probleemoplossing) werden gemeten over meerdere verschillende tests en verschillende soorten robots.
Het "Woordenboek" is compact: De auteurs toonden aan dat dit woordenboek ongelooflijk efficiënt is. Het kan een enorme hoeveelheid slordige foutdata comprimeren tot een kleine lijst van codes (ongeveer 18 keer kleiner) zonder de belangrijke details te verliezen.
Het is mensvriendelijk: Wanneer ze het zelfgemaakte woordenboek van de robot vergeleken met een lijst gemaakt door menselijke experts, begreep de lijst van de robot de fouten zelfs beter dan de door mensen gemaakte lijst. Dit suggereert dat de robot verrassend goed is in het begrijpen van zijn eigen fouten.

Kortom, AdaMAST suggereert dat de beste manier om een slimme robot te repareren niet is door het een nieuwe handleiding te geven of een algemene berisping, maar door het zijn eigen woordenboek van fouten te laten bouwen op basis van zijn eigen mislukkingen, en dat vervolgens te gebruiken om het de volgende keer beter te leren doen. Het verandert een slordige hoop fouten in een helder, actiegericht pad naar verbetering.

Technische Samenvatting: Fantastische Adaptieve Taxonomieën en Hoe Ze Te Gebruiken (AdaMAST)

1. Probleemstelling

Huidige methoden voor het verbeteren van Large Language Model (LLM) agent-systemen zonder de modelgewichten aan te passen, vertrouwen op het consumeren van executie-traces. Deze procedures—zoals trajectselectie, prompt/workflow-optimalisatie en runtime-monitoring—extraheren feedback uit ruwe traces om falen te diagnosticeren. Het artikel betoogt echter dat ruwe traces een suboptimale media zijn voor het accumuleren van feedback omdat ze:

Lang en instantie-specifiek zijn: Ze verbruiken een aanzienlijk deel van de context window-ruimte.
Geen stabiele vocabulaire hebben: Terugkerende foutpatronen (bijv. een specifieke tool call retry of een checker die een solver blindelings goedkeurt) worden bij elke run opnieuw gediagnosticeerd in vrije tekstproza. Dit verhindert de accumulatie van een gedeelde, herbruikbare diagnostische interface.
Inefficiënt zijn voor feedbackloops: Vrije tekstkritieken worden na elke run weggegooid, terwijl scalaire uitkomsten (pass/fail) een gebrek aan diagnostische diepgang hebben.

Bestaande vaste taxonomieën (bijv. MAST) kampen met structurele beperkingen: ze veronderstellen specifieke agent-rollen en domeinkennis die mogelijk niet aanwezig zijn in een doel systeem, wat leidt tot een mismatch tussen de vocabulaire en de werkelijke foutmodi die worden waargenomen.

2. Methodologie: AdaMAST

Het artikel introduceert AdaMAST (Adaptive Multi-Agent System Failure Taxonomies), een pipeline die een compacte, op bewijs gebaseerde foutenvocabulaire induceert direct vanuit de executie-traces van een doel systeem.

Kernarchitectuur

De geïnduceerde taxonomie bestaat uit genoemde foutcodes die georganiseerd zijn langs drie vaste assen, wat vergelijkbaarheid tussen systemen garandeert terwijl de inhoud adaptief blijft:

Systeemniveau (As A): Falen die wijzigingen vereisen aan de harness of orchestratie (bijv. instructie-non-compliance, stagnatie).
Rol-specifiek (As B): Falen specifiek voor ontdekte agent-rollen (bijv. checker non-compliance, coordinator aggregatie). Deze zijn volledig trace-geïnduceerd; als een systeem geen gedifferentieerde rollen heeft, blijft deze as leeg.
Domein-specifiek (As C): Falen die taakspecifieke kennis vereisen (bijv. combinatorische misredenering, schendingen van natuurwetten).

De Inductie-pipeline

Het proces van taxonomiegeneratie is een eenmalige kost per doel systeem, bestaande uit vier fasen:

Analyse: Extraheert domeincontext, ontdekte agent-rollen en terugkerende gedragssignalen uit een steekproef van traces.
Curatie: Stelt kandidaat-codes voor elke as voor. Systeem- en domeincodes worden gevoed door brede priors voorgesteld door de pipeline; rolcodes zijn volledig geïnduceerd vanuit de architectuur.
Consolidatie: Verwijdert duplicaten, herstelt naamgevingsfouten en handhaaft de dekkingregels. Deze fase wordt gecompileerd naar ongeveer acht LLM-aanroepen.
Inter-Annotator Agreement (Deployment Gate): Vier onafhankelijke LLM-annotatoren labelen uitgesloten trajecten. De taxonomie wordt alleen geaccepteerd als de gemiddelde pairwise Cohen's $\kappa \ge 0.75$ (op het niveau van het foutgebied) is met een dekkingsvloer van 0.70. Als de doelen niet worden gehaald, stelt het systeem wijzigingen voor (mergen, toevoegen, herlabelen) en voert het de procedure opnieuw uit.

Online Verfijning

Naarmate het doel systeem evolueert (bijv. tijdens zoekgebaseerde optimalisatie), kan de taxonomie online worden verfijnd. Verfijningsgebeurtenissen voegen codes samen, voegen toe of herlabelen codes op basis van recente traces, waardoor de vocabulaire de huidige staat van het systeem volgt in plaats van een historisch snapshot.

Integratiemodi

De geïnduceerde taxonomie dient als een gedeelde feedbackinterface voor drie verschillende consumententypes:

Agent-System Search: Taxonomie-gecodeerde diagnoses (geactiveerde codes + bewijs) vervangen vrije tekstreflectie in mutatie-prompts om evolutionaire zoektochten (bijv. AdaEvolve) te sturen.
Runtime Monitoring: De taxonomie fungeert als een "runtime skill" of in-context anker, waardoor de agent tegen bekende foutmodi kan controleren op specifieke checkpoints.
Trajectory Selection: Een verifier (AdaMAST-Judge) zet geïnduceerde codes om in verificatiecriteria om kandidaat-trajecten te rangschikken zonder grondwaarheid-checkers.

3. Belangrijkste Bijdragen

Adaptieve Foutentaxonomieën: Een pipeline die compacte, op bewijs gebaseerde taxonomieën induceert uit traces langs drie vaste assen zonder handgeschreven codes of per-trace menselijke annotatie.
Meetbare Feedbackinterface: De geïnduceerde vocabulaire is aangetoond:
- Compact: Het comprimeert foutrelevante inhoud met $\sim 18\times$ terwijl onderscheid behouden blijft (89% van de traces behoudt unieke code-signatures).
- Menselijk Getrouw: Komt beter overeen met expert-foutannotaties dan handmatige vocabulaireën onder gelijke condities ( $\kappa = 0.682$ vs. $0.516$ op TRAIL).
- Adaptief: Geïnduceerde taxonomieën voor verschillende domeinen delen slechts een gemiddelde pairwise Jaccard van 0.14, wat duidt op specificiteit voor de rollen en tools van het doel systeem.
Cross-Consumer Verbetering: Dezelfde geïnduceerde taxonomie verbetert de prestaties bij drie verschillende downstream taken: agent-system search, runtime monitoring en trajectory selection.

4. Experimentele Resultaten

Het artikel evalueert AdaMAST over drie integratiesettingen en meerdere benchmarks.

Agent-System Search

Gebruikmakend van AdaEvolve als de zoekbackbone, presteerden taxonomie-gecodeerde diagnoses beter dan vrije vorm LLM-reflectie op alle vijf de benchmarks:

Frontier-CS: $26.0\% \to 32.7\%$ (+6.7 pp)
OlympiadBench: $87.9\% \to 91.9\%$ (+4.0 pp)
MMLU-Pro: $35.0\% \to 42.5\%$ (+7.5 pp)
TheoremQA: $60.0\% \to 65.0\%$ (+5.0 pp)
DROP: $88.2\% \to 91.7\%$ (+3.5 pp)
Mechanisme: In de OlympiadBench casestudy leidden specifieke codes (bijv. Coordinator Aggregation Mismatch) direct tot architecturale wijzigingen (het promoten van verificatie van een binaire gate naar een score-boost), wat leidde tot sprongen in de score.

Runtime Monitoring

Op SWE-bench Verified Mini verbeterde het verankeren van checkpoints aan de geïnduceerde vocabulaire de resolutiesnelheden:

Claude Code: $64.0\%$ (Base) $\to 70.7\%$ (AdaMAST), wat beter presteert dan vrije tekst Reflexion ( $60\%$ ) en de vaste MAST checklist ( $67.3\%$ ).
SWE-agent: $50\%$ (Base) $\to 70\%$ (AdaMAST), wat beter presteert dan Reflexion ( $60\%$ ) en MAST ( $68\%$ ).
De geïnduceerde vocabulaire verminderde specifiek de fouten in de verificatiefase en transformeerde "flaky" resoluties naar betrouwbare resultaten.

Trajectory Selection

Op Terminal-Bench 2.0 verbeterde AdaMAST-Judge de Best-of-5 selectie nauwkeurigheid ten opzichte van Pass@1 met 8–15 punten en ten opzichte van de vaste MAST vocabulaire met 3.4–4.5 punten op niet-verzadigde harnesses. Geactiveerde codes bleken succesvolle van falende trajecten te onderscheiden (mediaan 3 codes voor pass vs. 4 voor fail).

Validatie

Menselijke Alignment: Op de TRAIL dataset bereikte de geïnduceerde vocabulaire een $\kappa = 0.682$ tegen expert labels, wat de handgeschreven TRAIL vocabulaire ( $\kappa = 0.516$ ) aanzienlijk overtrof bij gebruik van hetzelfde annotatiepanel.
Compressie: De taxonomie comprimeerde de foutinhoud met $\sim 18\times$ (of $\sim 95\times$ minder tokens) terwijl de functionele equivalentie met ruwe trace-pools behouden bleef voor downstream predictie-taken.

5. Betekenis en Claims

Het artikel claimt dat adaptieve foutentaxonomieën de cirkel sluiten tussen de traces die agents produceren en de procedures die hen verbeteren.

Het centrale argument is dat de "ontbrekende representatie" tussen ruwe traces en scalaire uitkomsten een benoemde, op bewijs gebaseerde, systeem-specifieke foutenvocabulaire is. Door deze vocabulaire één keer te induceren vanuit het eigen gedrag van het systeem, wordt het een duurzaam artefact dat:

Analyse amortiseert: De kosten van diagnose worden eenmalig betaald voor de generatie van de taxonomie, die vervolgens over runs en procedures heen wordt hergebruikt.
Gerichte interventie mogelijk maakt: In tegen tegenover de vrije tekstkritiek mappen codes direct naar interventiepunten (systeem, rol of domein).
Evolutie bijhoudt: De vocabulaire past zich aan wanneer het systeem verandert, waarbij de "long tail" van rol- en domeinspecifieke fouten wordt gevangen die vaste catalogi niet kunnen voorzien.

De auteurs benadrukken dat de winst niet enkel voortkomt uit prompt-formattering of het gebruik van gestructureerde tekst, maar uit de inductie en het hergebruik van een vocabulaire die getrouw is aan de specifieke foutmodi van het doel systeem. Het artikel concludeert dat de goedkoopste verbetering aan een agent-systeem kan zijn om "eerst te leren, in zijn eigen termen, hoe hij faalt."