🤖 AI

Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents

Dit artikel introduceert "Reinforced Agent", een inferentietijd-framework dat een gespecialiseerde reviewer inzet om tooloproepen te evalueren voordat ze worden uitgevoerd, waardoor real-time foutcorrectie mogelijk wordt en wat via nieuwe Helpfulness-Harmfulness-metrics aantoont dat het scheiden van uitvoering en review systematische prestatiewinst mogelijk maakt via modelselectie en promptoptimalisatie zonder het basisagent opnieuw te trainen.

Oorspronkelijke auteurs: Anh Ta, Junjie Zhu, Shahin Shayandeh

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anh Ta, Junjie Zhu, Shahin Shayandeh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, snelle robotassistent (de Tool-Calling Agent) hebt wiens taak het is om voor jou taken uit te voeren, zoals het controleren van het weer, het boeken van een vlucht of het instellen van een wekker. Deze robot is uitstekend, maar maakt soms fouten: hij kan de verkeerde tool kiezen, de verkeerde eenheden gebruiken (bijvoorbeeld Celsius in plaats van Fahrenheit), of iets proberen te doen waar helemaal geen tool voor nodig is.

Meestal merken we dat de robot een fout heeft gemaakt na het feit. We zien de fout, corrigeren de instructies van de robot en hopen dat het de volgende keer niet meer gebeurt. Dit is vergelijkbaar met een leraar die een toets nakijkt nadat de leerling de klas al heeft verlaten. De schade is aangericht en de leerling kan zijn antwoord niet ter plekke wijzigen.

Dit artikel introduceert een nieuwe manier van werken: The Reinforced Agent.

De Kernidee: De "Redacteur" in de Kamer

In plaats van te wachten tot het einde, plaatsen de onderzoekers een tweede, gespecialiseerde robot (de Reviewer Agent) in de kamer voordat de eerste robot iets doet.

Denk eraan als een filmredacteur die naast een regisseur zit.

De Regisseur (Tool Agent) zegt: "Ik ga deze scène knippen!"
De Redacteur (Reviewer Agent) stopt hen en zegt: "Wacht! Je knipt de verkeerde scène. Bovendien gebruik je het verkeerde camerahoekje. Laten we dat repareren voordat we op 'opnemen' drukken."
De Regisseur past het plan aan.
Daarna gebeurt de actie.

Dit gebeurt in real-time, vlak voordat de tool daadwerkelijk wordt gebruikt. Als het plan goed is, zegt de Redacteur "Goed!" en wordt de tool uitgevoerd. Als het plan slecht is, geeft de Redacteur feedback en probeert de Regisseur het direct opnieuw.

De Grote Afweging: Behulpzaam versus Schadelijk

De onderzoekers beseften dat het hebben van een Redacteur niet altijd perfect is. Soms is de Redacteur te kieskeurig en vertelt hij de Regisseur een goed plan te veranderen, waardoor het slechter wordt. Of de Redacteur mist een fout.

Om dit te meten, bedachten ze twee simpele scores:

Behulpzaamheid: Hoe vaak ving de Redacteur een echte fout op en repareerde hij die?
Schadelijkheid: Hoe vaak verpestte de Redacteur een plan dat eigenlijk al correct was?

Ze ontdekten dat het type "brein" dat voor de Redacteur wordt gebruikt, veel uitmaakt. Ze testten een standaard slim model (GPT-4o) en een "redenerend" model (o3-mini) dat zorgvuldiger denkt.

Het Redenerende Model was als een zeer zorgvuldige, logische redacteur. Het ving veel fouten op zonder goede plannen te bederven. Voor elke 3 fouten die het repareerde, maakte het slechts 1 nieuwe fout (een verhouding van 3:1).
Het Standaard Model was iets meer haastig. Het repareerde minder fouten en verpestte per ongeluk meer goede plannen (een verhouding van 2:1).

De Resultaten: Betere Nauwkeurigheid, maar Langzamere Snelheid

Toen ze dit systeem testten op twee verschillende soorten taken:

Single-turn taken (zoals één keer vragen "Wat is het weer?"): Het systeem werd aanzienlijk beter in het weten wanneer er geen tool nodig was (een verbetering van 5,5%).
Multi-turn taken (zoals een lang gesprek over het boeken van een reis met veel stappen): Het systeem verbeterde met 7,1%.

De Vloek (Latentie):
Omdat het systeem moet pauzeren, de Redacteur om een mening moet vragen en vervolgens op een antwoord moet wachten, duurt het langer.

Voor een eenvoudige, eenmalige taak werd het proces 6 keer trager.
Voor een lang, complex gesprek was de vertraging minder opvallend (ongeveer 2,4 keer trager), omdat de tijd van de "Redacteur" wordt gespreid over vele stappen van het gesprek.

Het Geheime Ingrediënt: Auto-Optimalisatie

De onderzoekers ontdekten ook dat het met de hand schrijven van de instructies voor de Redacteur (de "prompt") moeilijk is. Ze gebruikten een systeem genaamd GEPA om de instructies van de Redacteur automatisch te herschrijven. Het systeem keek naar momenten waarop de Redacteur faalde, bedacht waarom dat zo was, en schreef een betere regelboek. Dit verbeterde automatisch de prestaties van de Redacteur met nog eens 1,5% tot 2,8%, zonder dat de hoofdrobot opnieuw getraind hoefde te worden.

Samenvatting

Het artikel toont aan dat we door een "tweede paar ogen" toe te voegen dat het werk voordat het wordt gedaan controleert, AI-agenten veel nauwkeuriger kunnen maken.

Voordelen: Minder fouten, geen noodzaak om de hoofd-AI opnieuw te trainen, en de "Redacteur" kan onafhankelijk worden geüpgraded.
Nadelen: Het kost meer tijd om een resultaat te krijgen.
Beste Toepassing: Het is perfect voor complexe, belangrijke taken waar nauwkeurigheid belangrijker is dan snelheid (zoals het boeken van een vlucht of het beheren van een database), maar het kan te traag zijn voor eenvoudige, directe vragen.

Het artikel beweert niet dat dit werkt voor medische diagnose of klinisch gebruik; het richt zich strikt op het verbeteren van hoe AI-agenten interageren met softwaretools en API's.

1. Probleemstelling

Tool-calling Large Language Models (LLM's) staan voor systematische uitdagingen bij het selecteren van de juiste tools, het construeren van accurate parameters en het herkennen wanneer geen enkele tool relevant is. Bestaande evaluatiemethoden zijn grotendeels post-hoc (plaatsvindend na uitvoering), wat betekent dat fouten te laat worden geïdentificeerd om in real-time te worden gecorrigeerd.

Bestaande oplossingen vallen in twee categorieën, beide met aanzienlijke beperkingen:

Op training gebaseerde benaderingen (bijv. GRPO): Vereisen enorme rekenkracht en hebben trage implementatiecycli.
Zelfcorrectie tijdens inferentie (bijv. Self-Refine, Reflexion): Hoewel ze trainingsvrij zijn, kampen ze met problemen bij herstel van de staat. Als een agent een destructieve actie uitvoert (bijv. het verwijderen van een alarm), kan deze de staat niet eenvoudigweg terugdraaien zonder een onpraktisch groot contextvenster om alternatieve trajecten bij te houden.

Het kernprobleem is het ontbreken van een mechanisme om tool-aanroepen proactief te evalueren en te corrigeren voor uitvoering, zonder hertraining of complexe staatbeheer te vereisen.

2. Methodologie: Reinforced Agent Architectuur

De auteurs stellen een duo-agent architectuur voor die uitvoering scheidt van review. Dit systeem introduceert een gespecialiseerde Reviewer Agent die binnen de inferentielus opereert.

Kernwerkstroom

Voorlopige Aanroep: De primaire Tool-Calling Agent genereert een tool-aanroep.
Review-lus: Voordat de aanroep wordt uitgevoerd, evalueert de Reviewer Agent deze.
- Als er fouten worden gedetecteerd, geeft de Reviewer feedback (bijv. "Gebruik Fahrenheit voor steden in de VS").
- De Tool-Calling Agent past de aanroep aan op basis van deze feedback.
- Deze lus herhaalt zich tot $N$ keer of totdat de aanroep is goedgekeurd.
Uitvoering: Alleen goedgekeurde tool-aanroepen worden naar de uitvoeringsomgeving gestuurd.

Geëvalueerde Feedbackmechanismen

Het paper vergelijkt drie samenwerkingsstrategieën:

Progressieve Feedback ( $r_N$ ): Iteratieve verfijning waarbij de reviewer feedback via systeemberichten geeft en de agent de aanroep aanpast.
Best-of-N Selectie ( $s_N$ ): De agent genereert $N$ kandidaten; een selector kiest de beste.
Best-of-N Classificatie ( $g_N$ ): De agent genereert $N$ kandidaten; een grader wijst numerieke scores en onderbouwingen toe om de beste te selecteren.

Geautomatiseerde Prompt-optimalisatie (APO)

Om het arbeidsintensieve karakter van handmatig prompt-engineering aan te pakken, gebruiken de auteurs GEPA (Genetic-Pareto prompt evolution). Dit systeem verfijnt automatisch de prompt van de Reviewer door gevallen te observeren waarin de reviewer onjuiste oordelen vatte, en iteraties doorloopt om robuustere instructies te produceren zonder de prompt van de basisagent te wijzigen.

3. Belangrijkste Bijdragen & Metrieken

Het paper introduceert een nieuw kader voor het meten van de afwegingen bij het toevoegen van een reviewer-agent.

Nut-Schade Metrieken

Om te kwantificeren of een reviewer netto meerwaarde biedt, definiëren de auteurs:

Nuttigheid: Het percentage fouten van de basisagent dat de reviewer succesvol corrigeert.
Schadelijkheid: Het percentage correcte antwoorden van de basisagent dat de reviewer ten onrechte markeert en verslechtert.
Baten-Risicoverhouding: De verhouding van Nuttigheid tot Schadelijkheid.

Deze metriek toont aan dat een reviewer alleen waardevol is als hij aanzienlijk meer fouten corrigeert dan hij introduceert.

Modelselectie

De studie vergelijkt standaard taalmodellen (GPT-4o) met redenerende modellen (o3-mini, GPT-5 mini). De hypothese is dat redenerende modellen, met hun systematische verificatiecapaciteiten, hogere nuttigheid en lagere schadelijkheid zullen vertonen.

4. Experimentele Resultaten

De aanpak werd geëvalueerd op twee benchmarks: BFCL (single-turn, stateless) en $\tau^2$ -Bench (multi-turn, stateful met domeinbeleid).

Prestatiewinst

BFCL (Single-Turn):
- Bereikte een verbetering van +5,5% in Irrelevantie-detectie (84,9% $\to$ 90,4%).
- Bereikte een verbetering van +1,6% in de Relevance Suite.
- Redenerende Modellen: De o3-mini-reviewer bereikte een baten-risicoverhouding van 3,1:1 (36,8% nuttigheid versus 11,7% schadelijkheid), wat beter presteerde dan GPT-4o (2,1:1).
$\tau^2$ -Bench (Multi-Turn):
- Bereikte een gemiddelde verbetering van +7,1% over domeinen heen (Airline, Retail, Telecom) (48,7% $\to$ 55,8%).
- Progressieve Feedback presteerde aanzienlijk beter dan Best-of-N-selectiestrategieën in stateful scenario's.
- Het systeem verlaagde effectief Schendingen van Beleidsbeperkingen (bijv. het controleren van zitplaatsbeschikbaarheid voor het boeken) met 13%.

Impact van Optimalisatie

GEPA-optimalisatie: Geautomatiseerde prompt-optimalisatie leverde een extra winst van +1,5% tot +2,8% op BFCL, met name in complexe scenario's met parallelle tool-aanroepen waar handmatige prompts subtiel onjuiste matches niet oppikten.

Latentie-analyse

Single-Turn: De latentie nam toe met 6,2 $\times$ (1,27s $\to$ 7,87s) omdat de overhead van de reviewer een enkele inferentie-aanroep domineert.
Multi-Turn: De latentie nam toe met 2,4 $\times$ (158,7s $\to$ 384,3s). De overhead wordt gespreid over ongeveer 40 beurten per episode, waardoor het levensvatbaarder is voor complexe workflows.

5. Betekenis en Conclusie

Dit werk toont aan dat het scheiden van uitvoering en review een zeer effectieve strategie is voor het verbeteren van tool-calling agents zonder hertraining.

Proactieve Foutmitigatie: Door aanroepen voor uitvoering te reviewen, voorkomt het systeem destructieve staatveranderingen en lost het het probleem van staatsherstel op dat inherent is aan zelfcorrectie.
Modulaire Verbetering: Organisaties kunnen de betrouwbaarheid van agents verbeteren door betere reviewer-modellen in te wisselen of reviewer-prompts te optimaliseren (via GEPA), zonder de training of architectuur van de basisagent aan te raken.
Redenerende Modellen als Reviewers: De studie levert empirisch bewijs dat redenerende modellen (zoals o3-mini) superieure reviewers zijn vanwege hun vermogen om beperkingen systematisch te verifiëren, wat resulteert in een hoge baten-risicoverhouding.
Implementatiehaalbaarheid: Hoewel de latentie toeneemt, is de afweging acceptabel voor nauwkeurigheidskritieke, multi-turn workflows. Toekomstig werk suggereert het distilleren van de reviewer in kleinere, snellere modellen voor real-time implementatie.

Kortom, "Reinforced Agent" verschuift het paradigma van post-hoc herstel naar proactieve evaluatie, en biedt een praktische, trainingsvrije weg naar betrouwbaardere autonome agents.