🤖 AI

DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems

DoVer is een interventiegestuurd auto-debugframework voor LLM multi-agent systemen dat de beperkingen van alleen op logs gebaseerde foutlokalisatie overwint door hypothesen actief te verifiëren via gerichte interventies en succes te meten via taakherstel en voortgang in plaats van attributienauwkeurigheid.

Oorspronkelijke auteurs: Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ming Ma, Jue Zhang, Fangkai Yang, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van digitale assistenten (AI-agenten) hebt die samenwerken om een complexe puzzel op te lossen, zoals het vinden van een specifiek historisch feit op het internet of het oplossen van een moeilijk wiskundig probleem. Soms loopt het team vast of geven ze het verkeerde antwoord. Dit wordt een "fout" (failure) genoemd.

Lange tijd probeerden ontwikkelaars deze teams te repareren door het "dagboek" van wat er gebeurde (de logs) te lezen en een slimme AI te vragen te raden wie de fout heeft gemaakt en wanneer. Het is als het kijken naar een film van een auto-ongeluk en proberen aan te wijzen op de exacte seconde dat de bestuurder van koers veranderde.

Het artikel stelt dat dit "gokspel" gebrekkig is om twee belangrijke redenen:

Het dagboek is verwarrend: Vaak is er niet één duidelijke fout. Het team probeert Strategie A, faalt, probeert dan Strategie B, en faalt opnieuw. Het aanwijzen van één enkele "boosdoener" is vaak onmogelijk omdat het hele proces rommelig is.
Gokken is niet genoeg: Zelfs als je de juiste persoon raadt, weet je pas of je het goed hebt als je daadwerkelijk probeert het te repareren.

De Oplossing: DoVer (Do-then-Verify)

De auteurs introduceren een nieuw systeem genaamd DoVer. In plaats van alleen te raden wie er fout zat, zegt DoVer: "Laten we proberen het te repareren en kijken of het werkt."

Denk aan DoVer als een monteur met een tijdmachine die niet alleen naar de kapotte auto kijkt; hij gaat daadwerkelijk terug in de tijd, past de motor aan en rijdt hem weer uit om te zien of hij loopt.

Zo werkt DoVer, stap voor stap, met een eenvoudige analogie:

1. Het verhaal opdelen in hoofdstukken (Trial Segmentation)

Wanneer het AI-team faalt, gaan ze vaak door verschillende "pogingen" of "hoofdstukken" heen. In het eerste hoofdstuk proberen ze het antwoord te vinden door door een website te scrollen. In het tweede hoofdstuk beseffen ze dat dat niet werkte en proberen ze een kalender-tool te gebruiken.

DoVer's zet: Het knipt het lange, rommelige verhaal op in deze duidelijke hoofdstukken (trials), zodat het elke poging afzonderlijk kan analyseren.

2. Een onderbouwde gok maken (Hypothesis Generation)

Voor elk hoofdstuk vraagt DoVer aan een slimme AI: "Waar ging het mis op basis van dit verhaal?"

De gok: "Ik denk dat het probleem was dat de 'Web Browser'-agent probeerde op een knop te klikken die niet bestond."

3. Het "Do"-gedeelte: De Interventie

Dit is de magische stap. In plaats van alleen de gok op te schrijven, verandert DoVer daadwerkelijk het verhaal. Het gaat terug naar dat specifieke moment in het "dagboek" en bewerkt de instructie.

De bewerking: Het vertelt de Web Browser-agent: "Klik niet op die knop. Scroll in plaats daarvan naar de onderkant van de pagina."
De analogie: Stel je voor dat je een toneelstuk regisseert. De acteur zegt de verkeerde tekst. DoVer schrijft niet alleen een notitie op dat "Je zei de verkeerde tekst." DoVer stopt het toneelstuk, loopt het podium op, fluistert de juiste tekst in het oor van de acteur en zegt: "Zeg dit nu in plaats daarvan."

4. Het "Verify"-gedeelte: Het toneelstuk opnieuw spelen

Na het maken van de bewerking laat DoVer het AI-team vanaf dat exacte punt verdergaan.

Als het team de puzzel oplost: Dan was de gok correct! De interventie heeft gewerkt.
Als het team nog steeds faalt: Dan was de gok fout. Misschien was het probleem niet de knop, maar iets heel anders.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op twee verschillende AI-teamopstellingen en verschillende moeilijke datasets (zoals GAIA en AssistantBench, die lijken op moeilijke examens voor AI).

Falen omzetten in winnen: DoVer slaagde erin om 18% tot 28% van de mislukte pogingen om te zetten in succesvolle pogingen. In een specifieke wiskundige dataset loste het 49% van de fouten op.
Vooruitgang boeken, zelfs als het niet wint: Zelfs wanneer het de hele puzzel niet oploste, hielp DoVer het team vaak om "verder" te komen op het pad (zoals het bereiken van de volgende mijlpaal) dan ze voorheen waren.
De gokken testen: DoVer bewees dat ongeveer 30% tot 60% van de initiële gokken over wie er fout zat, daadwerkelijk correct (of incorrect) waren. Dit is enorm, want het betekent dat we kunnen stoppen met vertrouwen op onzekere menselijke gokken en kunnen beginnen met het gebruik van echt bewijs.

Waarom dit belangrijk is (volgens het artikel)

Het artikel beweert dat interventie (daadwerkelijk repareren en opnieuw draaien) een veel betere manier is om AI-teams te debuggen dan alleen attributie (raden wie de schuld heeft).

De oude manier: "Ik denk dat Agent A een fout maakte bij Stap 5." (Onbewezen gok).
De DoVer-manier: "Ik heb de instructie van Agent A bij Stap 5 aangepast. Nu is het team geslaagd. Daarom was Agent A het probleem." (Bewezen feit).

De auteurs concluderen dat deze "Do-then-Verify"-aanpak AI-systemen betrouwbaarder maakt omdat het zich richt op resultaten (werkte het?) in plaats van alleen op schuldvraag (wie deed het?). Het benadrukt ook dat het probleem soms niet alleen een slechte instructie is, maar een gebrek aan capaciteit in de tools die de agenten gebruiken (zoals een browser die niet goed kan scrollen), wat het systeem nu kan identificeren.

Kortom: DoVer stopt de AI-debugging van een spelletje "Wie heeft het gedaan?" en maakt er een spel van: "Laten we het repareren en kijken of het werkt."

Technische Samenvatting: DoVer – Interventie-gestuurde Automatische Debugging voor LLM Multi-Agent Systemen

Probleemstelling

Op basis van Large Language Models (LLM) gebaseerde multi-agent systemen worden steeds vaker ingezet voor complexe taken, maar het debuggen van hun fouten blijft een significante bottleneck. In tegen tegenstelling tot traditionele softwarefouten (bijv. crashes), voeren deze systemen vaak zonder onderbreking uit, maar produceren ze onjuiste of onbevredigende resultaten als gevolg van lange, vertakkende interactietrajecten en misalignement tussen agenten.

De gangbare aanpak voor het debuggen van deze systemen leunt op log-gebaseerde fouttoerekening (failure attribution), waarbij een LLM de executielogs analyseert om de specifieke agent en stap te identificeren die verantwoordelijk is voor een fout. Het paper identificeert twee fundamentele beperkingen in dit paradigma:

Gebrek aan Validatie: Alleen op logs gebaseerd debuggen genereert hypothesen zonder verificatie, wat leidt tot ongeteste en potentieel onjuiste toerekeningen.
Onduidelijke Toerekening (Ill-Posed Attribution): In multi-agent settings ontstaan fouten vaak door complexe interacties waarbij meerdere verschillende interventies onafhankelijk van elkaar een taak kunnen herstellen. Bij consequent is het toeschrijven van een fout aan één enkele "beslissende" stap of agent vaak ambigu en ontbreekt een unieke grondwaarheid (ground truth).

De auteurs demonstreren via een reproductiestudie van de Who&When (WW) dataset dat annotaties van de grondwaarheid voor foutieve stappen vaak onzeker zijn (15–30% discrepantie tussen annotatoren) vanwege meerdere pogingen binnen een enkele sessie, ambiguïteit in de coördinatie tussen agenten en uitdagingen bij de afstemming tussen verschillende annotatoren. Deze onzekerheid beperkt de nauwkeurigheid van log-gebaseerde toerekeningsmodellen aanzienlijk.

Methodologie: DoVer Framework

Om deze beperkingen aan te pakken, stellen de auteurs DoVer (Do-then-Verify) voor, een interventie-gestuurd debugging framework. In plaats van uitsluitend te vertrouwen op statische loganalyse, operationaliseert DoVer debugging als een dynamisch proces van hypothesegeneratie gevolgd door actieve verificatie via gerichte interventies.

De DoVer-pipeline bestaat uit vier stadia:

Trial Segmentatie:
Het systeem segmenteert een lang executielog in afzonderlijke "trials" op basis van planning-updates (re-planning stappen). Deze decompositie erkent dat moderne agent-systemen vaak ReAct-stijl loops gebruiken met meerdere planning-executiecycli. Door het log te segmenteren, kunnen onafhankelijke, parallelle interventies op specifieke causale ketens worden uitgevoerd, in plaats van de gehele sessie als een monolithisch blok te behandelen.
Fouttoerekening (Hypothesegeneratie):
Voor elke trial genereert het systeem een hypothese ( $h_i$ ) die een vermoedelijke foutieve agent en stap identificeert, inclusief een rationale. Deze fase maakt gebruik van bestaande log-gebaseerde toerekeningsmethoden, maar behandelt de output als een toetsbare hypothese in plaats van een definitieve grondwaarheid.
Interventiegeneratie:
De hypothese wordt omgezet in een concrete, actiegerichte interventie. Het framework richt zich op orchestrator-niveau interventies om algemeen toepasbaar te blijven over verschillende agent-architecturen. Interventies worden gecategoriseerd in:
- Gewijzigde Instructies: Het aanpassen van de berichten van de orchestrator naar sub-agents om de intentie te verduidelijken, argumenten te corrigeren of ontbrekende context te leveren.
- Plan Updates: Het herzien van het hoog-niveau plan van de orchestrator (bijv. het herordenen of deconstrueren van stappen) om rond de geïdentificeerde fout heen te navigeren.
  Het systeem vermijdt het direct wijzigen van de code of capaciteiten van sub-agents, en focust in plaats daarvan op de message-passing laag.
Interventie Executie & Verificatie:
Het systeem speelt het traject opnieuw af vanaf het punt van interventie, waarbij de volledige eerdere context behouden blijft. Vervolgens evalueert het de uitkomst aan de hand van twee primaire metrieken:
- Trial Succesrate: Of de interventie een mislukte trial in een succesvolle trial verandert.
- Gemaakte Progressie: Een fijnmazige metriek die meet of de interventie het systeem richting succes brengt (bijv. het bereiken van meer mijlpalen), zelfs als volledig succes niet wordt bereikt.
- Hypothese Validatie: Het systeem classificeert uitkomsten als Gevalideerd (succes), Weerlegd (fout persisteert ondanks getrouwe uitvoering), Gedeeltelijk gevalideerd (progressie gemaakt maar geen succes) of Onconcluderend (interventie niet uitgevoerd vanwege tool-beperkingen).

Belangrijkste Bijdragen

DoVer Framework: De introductie van een interventie-gestuurde debugging-pipeline die het paradigma verschuift van statische loganalyse naar actieve "do-then-verify" debugging.
Analyse van Grondwaarheid Onzekerheid: Een gedetailleerde analyse die aantoont dat log-gebaseerde fouttoerekening fundamenteel beperkt wordt door de ambiguïteit van grondwaarheid-labels in multi-agent systemen, met name door meerdere trials en misalignement tussen agenten.
Empirische Validatie: Experimenteel bewijs dat DoVer niet alleen een aanzienlijk deel van de mislukte gevallen herstelt, maar ook expliciete validatie of weerlegging van fouthypothesen biedt, waardoor de afhankelijkheid van ruisgevoelige menselijke annotaties wordt verminderd.

Experimentele Resultaten

De auteurs evalueerden DoVer op twee agent-frameworks (Magentic-One en AutoGen2) over meerdere datasets (GAIA, AssistantBench en GSMPlus).

Foutherstel:
- Op Magentic-One met de GAIA en AssistantBench datasets, veranderde DoVer 18–28% van de mislukte trials in successen.
- Op de GSMPlus dataset met het AutoGen2 framework behaalde DoVer een flip-rate van 49% op mislukte gevallen.
Progressiemeting:
- Interventies resulteerden in kwantificeerbare progressie (gemeten aan de hand van mijlpaalbereik) in tot wel 16% van de gevallen, zelfs wanneer volledig succes niet werd bereikt.
Hypothesevalidatie:
- DoVer valideerde of weerlegde succesvol 30–60% van de fouthypothesen, afhankelijk van de complexiteit van de taak.
- Onconcludente gevallen (waarbij het systeem de interventie niet kon uitvoeren) brachten specifieke hiaten in de capaciteiten van sub-agents aan het licht (bijv. ontbrekende "scroll-to-bottom" tools), wat wijst op een pad voor gerichte tool-verbetering.
Model Agnosticisme:
- Ablatie-studies toonden aan dat DoVer effectief presteert met open-source modellen (Qwen3-8B, Qwen3-32B), waarbij het gat met propriëtaire modellen (GPT-4o) wordt verkleind door gebruik te maken van few-shot prompting.
Vergelijking:
- DoVer presteerde aanzienlijk beter dan self-improvement baselines (Self-Refine en CRIC), die 0% herstel bereikten op dezelfde datasets, wat de superioriteit van in-situ interventie boven end-of-trace verfijning aantoont.

Betekenis en Claims

Het paper claimt dat DoVer een praktische en schaalbare mechanisme vormt voor het verbeteren van de betrouwbaarheid van agentic systemen. Door de focus te verschuiven van "toerekeningsnauwkeurigheid" (wat vaak slecht gedefinieerd is) naar "uitkomstgerichte debugging" (het meten van herstel en progressie), biedt DoVer een robuustere aanpak voor debugging.

De auteurs benadrukken dat interventie dient als een praktisch hulpmiddel voor:

Vermindering van de Annotatiebelasting: Expliciete validatie via executie vermindert de afhankelijkheid van ambigue menselijke labels.
Identificatie van Systemische Bottlenecks: De "onconcludente" gevallen dienen als een diagnostisch instrument om specifieke hiaten in de capaciteiten van sub-agents (bijv. tool-beperkingen) bloot te leggen die menselijke of automatische verfijning vereisen.
Facilitering van Zelfverbeterende Systemen: Het framework slaat een brug tussen foutanalyse en praktische reparatie, wat de weg vrijmaakt voor robuustere, verifieerbare en zelfverbeterende multi-agent systemen.

De auteurs blijven bescheiden en merken op dat hun resultaten bewijs zijn van haalbaarheid binnen specifieke frameworks en taakdomeinen (web search en wiskunde), en geen universele garanties bieden; toekomstig werk is nodig om langlopende productiewerkbelastingen en veiligheidskritische beperkingen aan te pakken.