🤖 machine learning

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

Dit artikel introduceert de Insights Generator (IG), een multi-agent systeem dat de diagnose van LLM-agentfouten automatiseert door systematisch grote corpora van uitvoeringstraces te analyseren om door bewijs onderbouwde natuurlijke taalinzichten te produceren, waarvan is aangetoond dat ze de agentprestaties aanzienlijk verbeteren en handmatige diagnostische methoden overtreffen in diepgang en dekking.

Oorspronkelijke auteurs: Akshay Manglik (Emily), Apaar Shanker (Emily), Kaustubh Deshpande (Emily), Jason Qin (Emily), Yash Maurya (Emily), Veronica Chatrath (Emily), Vijay S. Kalmath (Emily), Levi Lentz (Emily), Yuan (Emily

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akshay Manglik (Emily), Apaar Shanker (Emily), Kaustubh Deshpande (Emily), Jason Qin (Emily), Yash Maurya (Emily), Veronica Chatrath (Emily), Vijay S. Kalmath (Emily), Levi Lentz (Emily), Yuan (Emily), Xue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een team zeer slimme, maar soms verwarde, robotassistenten. Deze robots proberen complexe puzzels op te lossen, zoals het organiseren van spreadsheets of het beantwoorden van moeilijke wetenschappelijke vragen. Soms krijgen ze het antwoord goed; andere keren falen ze.

Het Probleem: De "Naald in een Hooiberg" Debugging
Op dit moment proberen menselijke managers, wanneer een robot faalt, uit te zoeken waarom door te kijken naar een paar specifieke voorbeelden van het werk van de robot. Het is alsof je probeert te begrijpen waarom een auto-motor een vreemd geluid maakt door naar slechts één auto te luisteren die voorbijrijdt. Je hoort misschien een sputteren, maar je mist het patroon dat alle auto's sputteren wanneer ze op een regenachtige dag linksaf slaan.

Omdat de robots enorme hoeveelheden data produceren (duizenden pagina's "gedachten" en acties voor elke enkele taak), kunnen mensen het niet allemaal lezen. Ze eindigen met gokken op basis van een miniem steekproef. Dit betekent dat ze de "stille mislukkingen" missen – fouten waarbij de robot de taak afrondt zonder te crashen, maar het op de verkeerde manier doet.

De Oplossing: De "Insights Generator" (IG)
De auteurs hebben een nieuw systeem gebouwd dat de Insights Generator (IG) heet. Denk aan de IG niet als een enkele detective, maar als een gespecialiseerd detectivebureau met een specifieke workflow om het "naald in een hooiberg"-probleem op te lossen.

Hier is hoe het bureau werkt, met behulp van een eenvoudige analogie:

De Orchestrator (De Bureau Manager): Dit is de baas. Hij doet het graven zelf niet. In plaats daarvan kijkt hij naar het grote geheel en beslist wat voor soort onderzoek nodig is.
De Verkenners (De Explorers): Deze agenten worden eropuit gestuurd om te kijken naar een kleine, willekeurige steekproef van het werk van de robot. Hun taak is breed en nieuwsgierig te zijn. Ze zoeken naar vreemde patronen en komen met theorieën.
- Voorbeeldtheorie: "Hé, ik heb gemerkt dat in 80% van de gevallen dat de robot faalt in wiskunde, hij het formule verkeerd schrijft maar niet crasht. Het is een 'stille mislukking'."
De Onderzoekers (De Forensische Auditors): Zodra een Verkener een theorie heeft, nemen de Onderzoekers het over. Ze kijken niet alleen naar een paar voorbeelden; ze gaan door de hele enorme database van robotwerk (het "corpus"). Ze gebruiken krachtige tools om te tellen, te vergelijken en te bewijzen of de theorie waar is voor de hele groep, niet alleen voor de weinigen die ze zagen.
- Het Resultaat: In plaats van een gok, produceren ze een rapport waarin staat: "We hebben 1.000 mislukte pogingen gecontroleerd. 84% daarvan had deze specifieke stille wiskundefout. Hier zijn de exacte pagina's waar het gebeurde."

Waarom is dit anders?
De meeste andere systemen proberen één robot tegelijk te repareren of classificeren fouten in een vooraf gemaakte lijst (zoals "Tool Error" of "Logic Error"). De IG is anders omdat hij nieuwe patronen ontdekt waarvan niemand wist dat ze bestonden. Hij scheidt het "gokken" (Verkenners) van het "bewijzen" (Onderzoekers) zodat hij niet overweldigd raakt door de pure omvang van de data.

Wat gebeurde er toen ze het testten?
De onderzoekers testten dit systeem op twee manieren:

De "Rechter" Test: Ze lieten een super-slimme AI-rechter rapporten vergelijken die door de IG waren gemaakt met rapporten van andere systemen. De rapporten van de IG werden hoger beoordeeld omdat ze betere bewijzen en diepere verklaringen hadden. Het was alsof je een rapport vergelijkt dat zegt "De auto is kapot" (andere systemen) versus een rapport dat zegt "De auto crasht specifiek bij het linksaf slaan in de regen vanwege een losse draad, en hier is het videobewijs" (IG).
De "Menselijke Reparateur" Test: Dit was het belangrijkste deel. Ze gaven echte menselijke ingenieurs (experts die deze robots bouwen) de rapporten van de IG en van andere systemen. De ingenieurs probeerden vervolgens de robots te repareren.
- Het Resultaat: Ingenieurs die de IG-rapporten gebruikten, repareerden de robots 30% beter dan ingenieurs die het op één na beste systeem gebruikten. De IG-rapporten gaven hen de exacte "waar" en "waarom" die ze nodig hadden om de juiste wijzigingen aan te brengen, in plaats van slechts een vaag hint.

De Conclusie
Het artikel beweert dat door deze aanpak van het "Verkener en Onderzoeker" team te gebruiken, we eindelijk de verborgen patronen kunnen zien in hoe AI-agenten falen. Dit stelt menselijke experts in staat de onderliggende problemen veel effectiever op te lossen, waardoor een chaotische stapel foutenlogs wordt omgezet in een duidelijk, bewijsonderbouwd routekaart voor verbetering.

Wat het artikel niet beweert:

Het zegt niet dat dit systeem de robots automatisch repareert zonder menselijke hulp (hoewel ze een geautomatiseerde "patcher"-lus testten, lag het hoofdsucces bij menselijke experts).
Het beweert niet dat dit werkt voor elk type AI-probleem ter wereld, alleen voor het analyseren van de "sporen" (logs) van AI-agenten.
Het belooft niet om alle fouten te elimineren, maar wel om het proces van het vinden en repareren ervan veel efficiënter en accurater te maken.

Technische Samenvatting: Insights Generator: Systematische Trace-diagnostiek op Corpus-niveau voor LLM-agenten

1. Probleemdefinitie

Het diagnosticeren van fouten in Large Language Model (LLM)-agenten is momenteel sterk afhankelijk van handmatige inspectie van een klein subset van uitvoeringstraces. Beoefenaars vormen ad-hoc hypothesen op basis van deze beperkte steekproeven, een proces dat niet schaalbaar is naar productiecorypora waar individuele traces tientallen duizenden tokens kunnen beslaan. Deze handmatige aanpak mist systematische patronen die alleen naar voren komen bij populaties van traces, zoals "stille fouten" (waarbij code zonder fouten wordt uitgevoerd maar de verkeerde logica implementeert) of cohort-specifieke gedragsverschillen.

Bestaande debugmethodes vallen over het algemeen in twee categorieën:

Analyse van enkele trajecten: Technieken zoals contrafactuele replay of interventie-gedreven debugging richten zich op het isoleren van foutoorzaken in individuele runs, maar missen systemische patronen in het corpus.
Classificatie volgens vaste taxonomie: Methoden die fouten classificeren in vooraf gedefinieerde categorieën kunnen geen nieuwe foutmodi of stille inefficiënties aan het licht brengen die buiten de taxonomie vallen.

De kernuitdaging is Trace-diagnostiek op Corpus-niveau: het produceren van onderbouwde, natuurlijke taal-insights die systematische gedragspatronen over groepen traces karakteriseren, gekoppeld aan ondersteunend bewijs, zonder de contextvenstergrenzen van een enkel model te overschrijden.

2. Methodologie: De Insights Generator (IG)

De auteurs presenteren de Insights Generator (IG), een multi-agent systeem ontworpen voor iteratieve, hypothese-gedreven aggregatie over grote trace-corpora. IG scheidt het genereren van hypothesen van validatie en routeert alle trace-toegang via een stateful Python-data-laag, waardoor ruwe trace-inhoud het LLM-contextvenster niet overstroomt.

Systeemarchitectuur

IG opereert via een agent-topologie met drie rollen, gecoördineerd door een Orchestrator:

Orchestrator: De centrale coördinator die diagnostische vragen decomposeert, sub-agenten dispatcht, de toereikendheid van bevindingen evalueert en het definitieve rapport synthetiseert. Het voert minimale directe trace-inspectie uit om de contextcapaciteit te behouden.
Scout Agents (Hypothese-generatie): Deze agenten verkennen representatieve steekproeven van traces (50–200 traces) met behulp van door LLM-aangedreven samenvatting- en extractietools. Hun doel is breedte: het genereren van diverse, toetsbare hypothesen op basis van initiële patronen (bijv. "uitgebreide databasequeries correleren met null-resultaten").
Investigator Agents (Hypothese-validatie): Deze agenten ontvangen specifieke hypothesen en valideren deze op corpus-schaal. Ze gebruiken programmeerbare analysetools om distributiestatistieken te berekenen, cohortvergelijkingen uit te voeren (bijv. succes- versus faalgroepen) en bevindingen terug te geven die zijn gelabeld als bevestigd, weerlegd of inconclusief, ondersteund door kwantitatief bewijs.

Data-verwerking en Tooling

Een kritiek onderdeel van IG is de stateful Python-uitvoeringsomgeving.

Gestructureerde Data-opslag: Traces worden niet als ruwe tekst doorgegeven. In plaats daarvan worden ze verwerkt tot een gestructureerde opslag (Polars DataFrames) met een schema-cache die statistieken, null-rates en correlaties bevat.
Programmeerbare Tools: Agenten interageren met traces via aanroepbare Python-functies (bijv. load_traces, extract, compare_segments). Dit maakt willekeurige datawetenschappelijke transformaties mogelijk (group-bys, statistische tests) zonder het modelcontextvenster te traverseren.
Iteratieve Lus: Het systeem opereert in rondes. De Orchestrator beslist of er meer Scouts moeten worden gedispacht (om nieuwe patronen te vinden) of Investigators (om geprioriteerde hypothesen te valideren) totdat de dekking voldoende is, waarna het een definitief, bewijsonderbouwd rapport synthetiseert.

3. Belangrijkste Bijdragen

Het artikel formaliseert trace-diagnostiek op corpus-niveau als een distinct probleem ten opzichte van debugging van enkele trajecten en introduceert:

Iteratieve Analyse op Corpus-niveau: Een decompose-hypothese-validate-lus die opereert over corpora die groter zijn dan enkele contextvensters, en patronen aan het licht brengt (zoals stille computatiefouten) die methoden met één doorgang missen.
Evaluatiekader: Een kader met vier instellingen voor het beoordelen van trace-analysesystemen, variërend in de evaluator (gecalibreerde LLM-rechter versus menselijk expert) en de metriek (rapportkwaliteit versus prestaties van downstream-scaffolds).
Meetbare Impact op Beoefenaars: Empirisch bewijs dat aantoont dat insights gegenereerd door IG leiden tot aanzienlijk betere scaffold-aanpassingen in vergelijking met andere analysesystemen.

4. Evaluatie en Resultaten

De auteurs hebben IG geëvalueerd op twee benchmarks: SpreadsheetBench (taken voor spreadsheetmanipulatie) en HLE (Humanity's Last Exam, expert-niveau QA). Ze vergeleken IG met vier baselines: Single-Agent Coding, CC Subagents (Claude Code met taakdispatch), Trace2Skill-achtige systemen en Recursive Language Models (RLM).

LLM-as-a-Judge Evaluatie

Met behulp van een gekalibreerde LLM-rechter (Claude Opus 4.6) werden rapporten gescoord op dekking, paarwijze winratio en kwaliteit op basis van een rubric (mechanisme, specificiteit, handelingsgerichtheid).

Prestatie: IG behaalde de hoogste gemiddelde paarwijze winratio (77,9%) en een samengestelde kwaliteitsscore (1,32), en presteerde beter dan CC Subagents (62,4% winratio) en Trace2Skill (52,6%).
Diepgang: IG leidde specifiek in mechanisme-uitleg en specificiteit, wat aangeeft dat hun bevindingen beter onderbouwd waren door bewijs en gedetailleerder in hun causale uitleg.
Ablaties: Het verwijderen van de getypeerde Scout/Investigator-rollen (Generieke Subagents) of de parallelle dispatch (alleen Orchestrator) resulteerde in aanzienlijke prestatiedalingen, wat de waarde bevestigt van de specifieke roldecompositie en parallelle verwerking.

Studie met Menselijk Expert-interventie

In een studie met professionele software-engineers gebruikten deelnemers IG-rapporten of CC Subagent-rapporten om een agent-scaffold aan te passen om de prestaties op achtergehouden taken te verbeteren.

Resultaat: Beoefenaars die IG-rapporten gebruikten, verbeterden de scaffold-prestaties met 30,4 procentpunten (pp) ten opzichte van de ongewijzigde baseline.
Vergelijking: Dit was een verbetering van 14,2 pp ten opzichte van het op één na beste systeem (CC Subagents, die een verbetering van 16,2 pp behaalden). Het verschil was statistisch significant ( $p \approx 0,016$ ).
Efficiëntie: Deelnemers onder IG-conditie maakten gerichterere bewerkingen (meer bestanden aanpassend, maar met gemiddeld kleinere netto-regelwijzigingen), wat wijst op een hogere precisie in hun aanpassingen.

Iteratieve Patcher-lus

In een autonome setting waarbij een code-agent iteratief een scaffold patcht op basis van analyse-rapporten:

Systemen die rapporten gebruikten (IG, RLM, CC Subagents) convergerden naar hoge testdoorlooppercentages (~0,81–0,84).
De Pure-Patcher baseline (geen analyse-rapport) verbeterde aanvankelijk maar degradeerde vervolgens scherp (naar 0,58) door bewerkingen te verzinnen die in strijd waren met het evaluatiecontract. Dit onderstreept dat gegenereerde analyse op corpus-niveau noodzakelijk is om verbetering te handhaven naarmate de scaffold de verzadiging nadert.

Menselijk Expert-as-a-Judge

Wanneer menselijke experts de rapporten direct beoordeelden, ontvingen IG en CC Subagents vergelijkbare aggregatiescores. IG scoorde echter iets hoger op diepgang en kwaliteit van bewijs, terwijl CC Subagents iets hoger scoorden op correctheid. De auteurs suggereren dat de LLM-rechter mogelijk beter is in het beoordelen van de schaal van bewijs over grote corpora dan mensen die werken onder vaste tijdsbudgetten.

5. Betekenis en Claims

Het artikel claimt dat de Insights Generator een nieuwe standaard vestigt voor het diagnosticeren van LLM-agenten door over te stappen van handmatige, steekproefgebaseerde inspectie naar systematische, corpus-niveau patroondetectie.

Impact op Beoefenaars: De primaire betekenis is de aangetoonde link tussen diagnostische kwaliteit en effectiviteit van beoefenaars. De winst van 30,4 pp in scaffold-prestaties bewijst dat diepe, bewijsonderbouwde insights direct vertalen naar betere engineeringresultaten.
Systematische Ontdekking: IG identificeert succesvol "stille fouten" en cohort-specifiek gedrag die standaard evaluatiemetrics en debuggers voor enkele trajecten missen.
Schaalbaarheid: Door het genereren van hypothesen te ontkoppelen van validatie en gebruik te maken van een stateful data-laag, adresseert IG de schaalbaarheidsknelpunt van het analyseren van traces die contextvensters overschrijden.

De auteurs concluderen dat hoewel geautomatiseerde optimalisatiekaders bestaan, deze vaak optimaliseren naar vaste doelen. IG vult deze aan door latente gedragsinsights in trace-corpora aan het licht te brengen, die vervolgens door optimalisatiekaders in een gesloten lus kunnen worden verwerkt. Het werk is bescheiden over generaliseerbaarheid, met de opmerking dat de studie met menselijke interventie is uitgevoerd op SpreadsheetBench en verdere validatie vereist over diverse domeinen en grotere steekproefgroottes.