💻 computer science

JTPRO: A Joint Tool-Prompt Reflective Optimization Framework for Language Agents

JTPRO is een raamwerk dat de betrouwbaarheid van tool-aanroepen door taalagenten verbetert door via iteratieve reflectie gelijktijdige optimalisatie van globale instructies en toolspecifieke schema's toe te passen, waardoor selectie- en invulfouten in grote toolinventarissen aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Sandip Ghoshal, Anshul Mittal, Jyotika Singh, Miguel Ballesteros, Weiyi Sun, Fang Tu, Shailender Singh, Yassine Benajiba, Fahad Shah, Sujeeth Bharadwaj, Sujith Ravi, Dan Roth

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sandip Ghoshal, Anshul Mittal, Jyotika Singh, Miguel Ballesteros, Weiyi Sun, Fang Tu, Shailender Singh, Yassine Benajiba, Fahad Shah, Sujeeth Bharadwaj, Sujith Ravi, Dan Roth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt. Deze assistent (een AI) kan heel veel verschillende taken uitvoeren, zoals het boeken van een vlucht, het opzoeken van weerinformatie of het controleren van je bankrekening. Om dit te doen, heeft hij toegang tot een enorme toolbox vol met honderden of zelfs duizenden verschillende gereedschappen.

Het probleem is: als die toolbox te groot wordt, raakt de assistent in de war. Hij pakt de verkeerde schroevendraaier (het verkeerde gereedschap) of draait de schroef niet helemaal dicht (hij vult de gegevens onjuist in).

Dit artikel introduceert JTPRO, een slimme methode om deze assistent te trainen zonder dat we de assistent zelf moeten herschrijven. Het is alsof we een super-mentor hebben die meekijkt met de assistent en zegt: "Hé, je hebt weer de verkeerde sleutel gepakt. Laten we de instructie voor die sleutel iets duidelijker maken, en ook even kijken of je de algemene regels voor het gebruik van sleutels goed hebt begrepen."

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Grote Gereedschapskist"

Stel je een gereedschapskist voor met 1.000 gereedschappen. Veel van deze gereedschappen lijken op elkaar. Bijvoorbeeld:

Gereedschap A: "Geef me alle landen."
Gereedschap B: "Geef me een lijst van landen."

Als de assistent vraagt: "Ik wil investeren in landen, welke landen zijn er?", kiest hij soms per ongeluk Gereedschap A (te algemeen) in plaats van B (specifiek voor investeringen). Of hij kiest het juiste gereedschap, maar vergeet de juiste gegevens in te vullen (bijvoorbeeld: "geef me de landen na 2020" in plaats van "voor 2020").

De oude manier om dit op te lossen was om de assistent een gigantische handleiding te geven met regels voor elk gereedschap. Maar dat werkt niet goed; de assistent raakt die handleiding kwijt of leest de verkeerde regels.

2. De Oplossing: JTPRO (De Slimme Mentor)

JTPRO is een systeem dat de assistent helpt door twee dingen tegelijk te verbeteren, gebaseerd op fouten die hij in het verleden heeft gemaakt:

De Algemene Regels (De "Spelregels"): Dit zijn de grote instructies die voor alles gelden. Bijvoorbeeld: "Gebruik altijd de datum in het formaat JJJJ-MM-DD."
De Specifieke Uitleg (De "Gereedschapskaarten"): Dit zijn de kleine kaartjes bij elk gereedschap. JTPRO past deze aan om te zeggen: "Gebruik dit gereedschap alleen als het over investeringen gaat, niet voor algemene vragen."

De Magie van de "Reflectie":
Het systeem laat de assistent een oefenronde draaien (een "rollout"). Als hij een fout maakt, kijkt de "mentor" (JTPRO) naar de fout en zegt: "Waarom ging dit mis? Was de instructie vaag? Was de beschrijving van het gereedschap niet duidelijk genoeg?"
Vervolgens past hij beide tegelijk aan:

Hij maakt de algemene regels scherper.
Hij herschrijft de beschrijving van het specifieke gereedschap dat de verwarring veroorzaakte.

3. Het "Gemeenschappelijk Woordenboek" (Globalisering)

Een slimme truc van JTPRO is het vermijden van herhaling.
Stel je voor dat 50 verschillende gereedschappen allemaal een veld hebben voor "Startdatum". In de oude systemen stond de uitleg voor "Startdatum" 50 keer in de tekst, wat de assistent overweldigde.

JTPRO pakt deze 50 keer dezelfde uitleg, maakt er één duidelijke regel van (een "Gemeenschappelijk Woordenboek") en plaatst die in de algemene instructies. Bij de 50 gereedschappen zelf zet hij dan alleen een klein verwijzingje: "Zie algemene regel voor datums."
Dit houdt de instructies kort, overzichtelijk en consistent.

4. Waarom werkt dit beter?

In tests met duizenden gereedschappen bleek dat JTPRO veel beter werkt dan andere methoden.

Andere methoden proberen alleen de algemene regels te verbeteren of alleen de gereedschapskaarten. Dat is alsof je alleen de spelregels herschrijft, maar vergeet te zeggen welk gereedschap je moet gebruiken.
JTPRO doet het tegelijkertijd. Het zorgt ervoor dat de assistent niet alleen het juiste gereedschap pakt, maar ook dat hij de juiste gegevens invult.

Samenvatting in één zin

JTPRO is als een slimme coach die niet alleen de speler (de AI) helpt, maar ook de spelregels en de uitleg op de rug van het shirt (de gereedschapsbeschrijvingen) aanpast, zodat de speler nooit meer in de war raakt in een enorm complex spel met duizenden opties.

Het resultaat: De AI maakt veel minder fouten, kiest het juiste gereedschap en vult de gegevens perfect in, zelfs als er duizenden opties zijn.

Titel: JTPRO: Een Gezamenlijk Tool-Prompt Reflectief Optimalisatiekader voor Taalagenten

1. Het Probleem

Groot taalmodel (LLM) agenten die worden uitgebreid met externe tools, ondervinden aanzienlijke problemen naarmate het aantal beschikbare tools groeit en specifieker wordt voor een bepaald domein. In deze settings leiden vaak de volgende factoren tot falen:

Ambiguïteit in tool-beschrijvingen: Tools met overlappende functionaliteiten worden door de agent verkeerd geselecteerd.
Ondergespecificeerde instructies: De globale instructies voor de agent zijn te generiek ("one-size-fits-all") en missen nuance per tool.
Fouten in slot-vulling: Zelfs als de juiste tool wordt gekozen, worden de parameters (slots/waarden) incorrect geïnstancieerd (bijv. verkeerde datums, eenheden of ontbrekende verplichte velden).

De auteurs stellen dat dit te wijten is aan twee worteloorzaken:

Generieke prompts die tool-specifieke nuances negeren.
Schema's voor tools die geen duidelijke richtlijnen geven over wanneer en hoe een tool te gebruiken en hoe parameters te formatteren.

Het gevolg is een daling in Tool Selection Accuracy (TSA) en Slot Filling Accuracy (SFA), wat resulteert in een lage Overall Success Rate (OSR) (het correct uitvoeren van de hele keten: tool + slots + waarden).

2. Methodologie: JTPRO

JTPRO (Joint Tool–Prompt Reflective Optimization) is een framework dat geen model-finetuning vereist. In plaats daarvan optimaliseert het de tekstuele context (prompts en schema's) iteratief op basis van feedback uit rollouts.

Kerncomponenten:

Gezamenlijke Optimalisatie: JTPRO optimaliseert niet alleen de globale instructies ( $P$ ), maar ook de per-tool schema's en argument-beschrijvingen ( $\{T_i\}$ ) tegelijkertijd. Dit is cruciaal omdat tool-selectie en argument-instantiatie afhankelijk zijn van elkaar.
Reflectie-gedreven Feedback: Het systeem voert rollouts uit op een trainingsset, analyseert de fouten (bijv. tool-verwarring, ontbrekende slots, formatfouten) en gebruikt een "reflector" (een LLM) om gerichte, lokale edits voor te stellen voor zowel de globale instructies als de specifieke tool-beschrijvingen.
Pareto-selectie: Het framework onderhoudt een pool van kandidaat-contexten. Het selecteert kandidaten op basis van Pareto-optimiteit (de beste scores op ten minste één trainingsinstance) om diversiteit in gedrag te behouden en overfitting te voorkomen.
Globalisatie van Slot-Semantiek: Om "context-bloat" (te lange prompts) te voorkomen, identificeert JTPRO herhalende patronen in parameters (zoals datums, numerieke grenzen, boolean flags) die over veel tools voorkomen. Deze worden verplaatst naar een globale regel in de instructies ( $P$ ). De individuele tool-schema's verwijzen vervolgens alleen nog naar deze globale regels, behalve voor tool-specifieke uitzonderingen. Dit vermindert redundantie en zorgt voor consistente semantiek.
Incrementele Aanpassing: Na elke edit worden de nieuwe instructies samengevoegd met de huidige beste versie ("Merge-with-Best"), waardoor een groeiende "playbook" ontstaat die stabiel blijft bij het toevoegen van nieuwe tools.

3. Belangrijkste Bijdragen

Gezamenlijke Optimalisatie: Het is het eerste framework dat expliciet de globale agent-instructies en per-tool schema's co-optimiseert om end-to-end correctheid te maximaliseren zonder de model-weights aan te passen.
Gestructureerde Reflectie: Het introduceert een methode om systematische fouten te diagnosticeren en gerichte, lokale edits toe te passen, waarbij herhalende semantiek wordt gestandaardiseerd in globale regels.
Robuustheid bij Schaling: Het framework is ontworpen om effectief te blijven in omgevingen met grote tool-inventarissen (tot 1000+ tools), waar traditionele methoden vaak falen door ambiguïteit.
Empirische Validatie: Uitgebreide evaluatie op drie verschillende benchmarks die verschillende uitdagingen testen (complexe schema's, tool-schaling, en parallelle tool-call).

4. Resultaten

JTPRO werd geëvalueerd op drie benchmarks: ToolACE (tool-schaling), ETID (Enterprise Tool-Inventory Dataset, complexe schema's), en SEAL-Tools (parallelle multi-tool calling).

Prestaties: JTPRO overtreft consequent sterke baselines, waaronder Chain-of-Thought (CoT) agenten en andere reflectieve prompt-optimalisatoren zoals GEPA.
- Op ToolACE (500-1000 tools) verbeterde JTPRO de Overall Success Rate (OSR) met 5% tot 20% (relatief) ten opzichte van baselines. De verbetering kwam vooral door een hogere Tool Selection Accuracy (TSA).
- Op ETID (complexe enterprise schema's) was de grootste bottleneck het vullen van slots. JTPRO verbeterde de Slot Filling Accuracy (SFA) aanzienlijk, wat leidde tot OSR-stijgingen van 15% tot 20% (bijv. van 44.8% naar 60.15% voor GPT-4o mini).
- Op SEAL-Tools (parallelle calls) verbeterde JTPRO zowel de SFA als de OSR, terwijl de TSA stabiel bleef of licht verbeterde.
Ablatie-studies: Experimenten toonden aan dat het gezamenlijk optimaliseren van instructies en schema's effectiever is dan het optimaliseren van slechts één component.
Tool-Disambiguatie: JTPRO slaagde erin om de semantische overlap tussen verwarrende tools te verminderen (bijv. door cosine-similariteit van beschrijvingen te verlagen), wat leidde tot betere tool-selectie.

5. Betekenis en Conclusie

JTPRO positioneert zich als een praktische oplossing voor het betrouwbaar inzetten van LLM-agenten in real-world omgevingen met grote en complexe tool-sets. Het paper demonstreert dat:

Het alleen verbeteren van de tool-selectie niet voldoende is; de correctheid van de argumenten (slots/waarden) is vaak de beperkende factor voor succes.
Het gezamenlijk aanpassen van globale regels en lokale tool-documentatie essentieel is om ambiguïteit weg te nemen.
Het globaliseren van herhalende semantiek een effectieve strategie is om de contextgrootte beheersbaar te houden zonder in te leveren op precisie.

Dit werk biedt een pad naar robuustere agenten die kunnen schalen met groeiende tool-bibliotheken zonder dat er dure model-finetuning nodig is, wat cruciaal is voor dynamische enterprise-omgevingen.