🤖 AI

Structured Feedback Improves Repair in an LLM Agent Loop

Het artikel introduceert VeriHarness, een door code gecontroleerde agent-loop die aantoont dat het voorzien van LLM's van gestructureerde feedback met daarin de foutlocatie, geobserveerde waarden en toegestane alternatieven de succesratio van reparaties in iteratieve taken aanzienlijk verbetert vergeleken met ruwe diagnostiek of incomplete feedback.

Oorspronkelijke auteurs: Jaideep Ray, Ankit Goyal

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaideep Ray, Ankit Goyal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar enigszins letterlijke robot leert hoe hij een videogame moet spelen. Je geeft de robot een doel, zoals "zoek de schat", en de robot probeert rond te bewegen in de wereld. Soms maakt de robot een fout—misschien probeert hij een deur te openen die al open staat, of probeert hij een voorwerp op te pakken dat er niet is. In de wereld van Kunstmatige Intelligentie wordt deze robot een "LLM-agent" genoemd, en het onderdeel dat controleert of de zet van de robot legaal is, wordt een "validator" genoemd.

Lange tijd, wanneer de robot een fout maakte, zei de validator simpelweg: "Nee, dat is fout," en liet de robot het opnieuw proberen. Het is als een leraar die zegt: "Probeer het opnieuw," zonder uit te leggen waarom de leerling het antwoord fout had of wat het juiste antwoord zou kunnen zijn. De robot zou dan gewoon opnieuw gokken, in de hoop op geluk. Maar wat als de validator behulpzamer zou kunnen zijn? Wat als de validator precies naar de fout kon wijzen, kon laten zien wat de robot daadwerkelijk deed, en zelfs een lijstje kon voorstellen met dingen die de robot in plaats daarvan had kunnen doen? Dit artikel stelt een eenvoudige maar krachtige vraag: helpt het geven van een gedetailleerde "reparatieset" aan informatie de robot om zijn fouten sneller en beter te herstellen dan wanneer hij alleen een simpele "probeer het opnieuw"-boodschap krijgt?

De onderzoekers achter deze studie hebben een speciale testomgeving gebouwd genaamd VeriHarness. Zie dit als een level in een videogame waar een strikte scheidsrechter (de validator) de robot (het AI-model) ziet spelen. Als de robot een slechte zet maakt, stopt de scheidsrechter het spel en overhandigt hij de robot een briefje. Het team wilde zien wat voor soort briefje het beste werkt. Ze testten vier verschillende soorten briefjes:

Het Ruwe Briefje: Alleen de foutmelding, zoals "Commando 1 is ongeldig."
Het Proza-Briefje: Een vriendelijke paragraaf die uitlegt waar de fout is opgetreden, wat de robot zag en wat de robot had moeten doen.
Het Gestructureerde Briefje: Dezelfde informatie als het Proza-briefje, maar geformatteerd als een technische lijst met labels (zoals een JSON-bestand).
Het "Alleen Locatie"-Briefje: Dat de robot vertelt waar hij de fout maakte en wat hij zag, maar zonder alternatieven voor te stellen.

Ze voerden dit experiment 50 keer uit met twee verschillende AI-modellen (één genaamd Qwen en één genaamd Llama) die tekstgebaseerde avonturenspellen speelden. Het doel was om te zien hoe vaak de robot de finishlijn kon bereiken (het spel kon winnen) binnen een limiet van vier pogingen.

De resultaten waren een enorme verrassing voor de "Raw Note"-aanhang. Wanneer de robot de gedetailleerde briefjes kreeg die inclusief waar de fout gebeurde, wat hij observeerde, en een lijst met toelaatbare alternatieven (geldige zetten die hij kon maken in plaats daarvan), werd hij een kampioen.

Voor het Qwen-model steeg het succespercentage van 28% (met de ruwe foutmelding) naar 72% (met de gedetailleerde briefjes). Dat is een verbetering van 44 procentpunt.
Voor het Llama-model steeg het van 16% naar 58%, een stijging van 42 procentpunt.

Het meest opwindende deel van de ontdekking is waarom dit werkte. De onderzoekers vermoedden dat de robot misschien gewoon hield van de nette, georganiseerde look van het "Gestructureerde Briefje" (het briefje met de technische labels). Maar ze testten dit door het "Proza-Briefje" (gewone Engelse tekst) te vergelijken met het "Gestructureerde Briefje". Het resultaat? Ze presteerden bijna exact hetzelfde. Of het advies nu in een vriendelijke paragraaf was geschreven of in een technische lijst, dat maakte niet veel uit. Het magische ingrediënt was niet de opmaak; het was de inhoud.

Specifiek het "Alleen Locatie"-briefje (dat de robot vertelde waar hij faalde en wat hij zag, maar geen nieuwe ideeën gaf) hielp eigenlijk nauwelijks. Het bleef dicht bij het lage succespercentage van de ruwe foutmeldingen. Dit bewijst dat het simpelweg aanwijzen van de fout niet genoeg is; de robot heeft een lijst met geldige alternatieven nodig om uit te kunnen kiezen. Het is het verschil tussen een leraar die zegt: "Je hebt 'kat' fout gespeld," versus "Je hebt 'kat' fout gespeld; je had ook 'mat', 'nat' of 'rat' kunnen schrijven."

De studie controleerde ook of deze truc werkt voor programmeertaken (met een reeks problemen genaamd HumanEval). Ze kwamen tot de conclusie dat de methode alleen werkt als de validator de fout daadwerkelijk kan zien. Als de robot een zichtbare test passeert maar faalt voor een verborgen test die de validator niet kan zien, kan geen enkele hoeveelheid feedback het probleem oplossen. Dit suggereert dat hoewel gedetailleerde feedback een superkracht is, het geen magie is—het kan alleen repareren wat het kan zien.

Uiteindelijk suggereert dit artikel dat als we willen dat onze AI-agenten beter worden in het herstellen van hun eigen fouten, we ze niet gewoon opnieuw moeten laten gokken. We moeten validators bouwen die optreden als behulpzame coaches: die de specifieke fout aanwijzen, laten zien wat er daadwerkelijk gebeurde, en een menu van correcte opties aanbieden om als volgende stap te proberen. Het blijkt dat voor AI een beetje specifiek, actiegericht advies meer waard is dan duizend "probeer het opnieuw"-berichten.

Technische Samenvatting: Gestructureerde Feedback Verbetert Reparatie in een LLM Agent Loop

Probleemstelling

Hoewel Large Language Model (LLM) agents frequent gebruikmaken van iteratieve loops waarbij een model een kandidaat genereert en een externe validator deze afwijst, blijft de interface tussen de validator en de daaropvolgende modeloproep ondergespecificeerd. Huidige systemen vertrouwen vaak op "ruwe diagnostiek" — eenvoudige afwijzingsberichten (bijv. "Commando 1 is niet toelaatbaar") — die mogelijk de specifieke context missen die nodig is voor het model om een succesvolle reparatie te genereren. De kernvraag is: Welke specifieke informatie moet een deterministische validator teruggeven aan de volgende modeloproep om de succesvolle reparatie te maximaliseren?

Methodologie

Systeemarchitectuur: VeriHarness

De auteurs introduceren VeriHarness, een door code gestuurde agent loop die generatie scheidt van acceptatie.

Orkestratie: Een hoofdorkestrator beheert de staat, budgetten en traces buiten het contextvenster van het model.
Workflow: De LLM-worker genereert een gestructureerde kandidaat (bijv. een JSON-plan). Externe poorten (validators) controleren de kandidaat tegen schema's, artefacten en het gedrag van de omgeving.
Feedback Loop: Als een kandidaat faalt, brengt een "failure encoder" de poortspecifieke details in kaart naar een gemeenschappelijke interface, wat een reparatie-payload naar het model teruggeeft. Het model ontvangt alleen de compacte taakstaat en de huidige reparatie-feedback; het kan zichzelf niet valideren.

Experimenteel Ontwerp

De studie evalueert feedbackbeleid over 50 gekoppelde TextWorld-games (3 kamers, 4 objecten, 2-staps quests) met behulp van twee modellen: Qwen2.5-Coder-14B en Llama-3.1-8B. De primaire beperking is een limiet van vier oproepen per game.

De auteurs vergelijken vier feedbackbeleid (Tabel 1):

RawDiag: Geeft de oorspronkelijke validatiefoutstring terug zonder expliciete reparatievelden.
SameNL: Biedt de locatie van de fout, de geobserveerde waarde en toelaatbare alternatieven aan in natuurlijke taalproza, zonder getypeerde labels.
LocObs: Biedt een foutlabel en benoemde JSON-velden voor locatie en geobserveerde waarde, maar laat toelaatbare alternatieven weg.
TypedFields: Biedt een foutlabel, benoemde JSON-velden voor locatie en geobserveerde waarde, plus een veld met de lijst van toelaatbare alternatieven.

Robuustheidstests

Budgetgevoeligheid: Getest met oproepbudgetten van 2, 4, 6 en 8 op een subset van 15 games.
Decoding Variantie: Getest met Qwen via gesamplede decoding (temperatuur 0.3, top-p 0.9) over drie seeds.
Scope Check: Een HumanEval-experiment waarbij de validator slechts één publieke assertie ziet, wat ervoor zorgt dat het mechanisme alleen wordt getest wanneer een fout daadwerkelijk wordt blootgesteld.

Belangrijkste Resultaten

1. Gestructureerde Feedback Verbetert Succes Significant

Onder een limiet van vier oproepen presteert feedback die locatie, geobserveerde waarde en toelaatbare alternatieven bevat, drastisch beter dan ruwe diagnostiek.

Qwen2.5-Coder-14B: Het succespercentage steeg van 28% (RawDiag) naar 72% (TypedFields) (+44 procentpunt).
Llama-3.1-8B: Het succespercentage steeg van 16% (RawDiag) naar 58% (TypedFields) (+42 procentpunt).
Statistische Significantie: Deze verbeteringen zijn statistisch significant (Holm-gecorrigeerde $p < 0.001$ ) met 95% bootstrap-intervallen van [28–60] voor Qwen en [28–56] voor Llama.

2. De Bron van Verbetering: Reparatie-waarden versus Formaat

Ablatiestudies isoleren de oorzaak van de prestatiewinst:

Toelaatbare Alternatieven zijn Cruciaal: Het LocObs-beleid (locatie + observatie, maar geen alternatieven) presteerde nabij de RawDiag-baseline (36% vs. 28% voor Qwen; 18% vs. 16% voor Llama). Dit geeft aan dat het simpelweg weten waar en wat er misging onvoldoende is zonder te weten wat men in plaats daarvan moet doen.
Formaat is Secundair: SameNL (proza) en TypedFields (getypeerde JSON) presteerden nagenoeg identiek.
- Qwen: SameNL (70%) vs. TypedFields (72%).
- Llama: SameNL (58%) vs. TypedFields (58%).
- Statistische tests tonen geen significant verschil ( $p=1.0$ ) tussen proza en JSON-formaten wanneer de reparatie-waarden overeenkomen. Het JSON-formaat bood geen voordeel voor het redeneervermogen, hoewel het het totale aantal vereiste oproepen licht verminderde.

3. Budget en Decoding Robuustheid

Budgetgevoeligheid: Het prestatieverschil tussen gestructureerde feedback en ruwe diagnostiek wordt groter naarmate het oproepbudget toeneemt van 2 naar 4. De RawDiag-prestaties plateauëren na 4 oproepen, terwijl gestructureerde feedback blijft verbeteren met extra oproepen.
Decoding: De volgorde van de resultaten (TypedFields/SameNL > LocObs > RawDiag) bleef standhouden onder gesamplede decoding-instellingen.

4. Beperkingen Blootgelegd door HumanEval

In de HumanEval scope check slaagde het eerste antwoord voor alle 15 taken voor de zichtbare test, wat betekent dat de validator nooit een reparatiekans teruggaf. Bijgevolg stopten alle beleid met één oproep met identieke succespercentages (14/15). Dit bevestigt dat gestructureerde feedback geen fouten kan repareren die de validator niet detecteert of blootlegt.

Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in LLM agent reparatie-loops niet het redeneervermogen van het model is, maar de informatieve inhoud van de feedback.

Validator Ontwerp: Validators moeten specifieke reparatie-informatie teruggeven — specifiek de locatie van de fout, de geobserveerde waarde en een lijst van toelaatbare alternatieven — in plaats van generieke afwijzingsberichten.
Formaat-agnosticisme: De specifieke syntaxis (JSON versus proza) is minder belangrijk dan de aanwezigheid van de reparatie-waarden zelf. Hoewel JSON helpt bij logging en routing, verbetert het het intrinsieke redeneervermogen van het model in deze context niet.
Conditionele Nuttigheid: Het mechanisme is effectief wanneer de validator in staat is de fout te exposeren. Als een validator geen alternatieven kan enumereren of de specifieke fout niet kan detecteren, kan de reparatie-loop niet functioneren.

De auteurs concluderen dat voor agent-ontwerp de focus moet verschuiven van het optimaliseren van prompt-orchestratie naar het ontwerpen van deterministische validators die bij een fout bruikbare, geënumereerde alternatieven teruggeven.