Technische Samenvatting: TIER – Traject-Invariante Uitvoeringsbeloningen voor Meerstaps Tool-samenstelling

Probleemstelling

Grote Taalmodellen (LLMs) hebben sterke capaciteiten aangetoond in toolgebruik met één stap, maar worstelen aanzienlijk wanneer ze worden ingezet voor meerstaps tool-samenstelling. Naarmate de diepte van vereiste tooloproepen toeneemt (bijvoorbeeld: vluchtinformatie ophalen om een bestemming te bepalen, en vervolgens het weer op die bestemming controleren), verslechtert de prestatie snel. Bestaande Reinforcement Learning (RL)-benaderingen falen om te schalen naar deze scenario's vanwege beperkingen in het ontwerp van beloningen:

1. Op uitkomst gebaseerde beloningen: Bieden slechts schaarse, binaire feedback (succes/mislukking) na voltooiing van de taak. Dit maakt toewijzing van krediet voor tussenliggende beslissingen (toolselectie, specificatie van argumenten, uitvoeringsvolgorde) extreem moeilijk, wat leidt tot instorting van het trainingsproces buiten ondiepe dieptes (bijvoorbeeld: daalt de nauwkeurigheid van >94% bij 1-stap naar 0% na 4 stappen).
2. Op traject gesuperviseerde beloningen: Vertrouwen op geannoteerde referentietrajecten om fijnkorrelige feedback te geven. Hoewel ze dichtere signalen bieden, straffen ze geldige alternatieve oplossingen die afwijken van het specifieke referentietraject. Deze rigiditeit wordt een kritieke bottleneck naarmate het aantal geldige uitvoeringspaden toeneemt met de samenstellingsdiepte, wat leidt tot trainingsinstabiliteit en falen op diepere niveaus.

Methodologie: TIER-raamwerk

De auteurs stellen TIER (Traject-Invariante Uitvoeringsbeloningen) voor, een beloningsraamwerk dat supervisie direct afleidt uit functieschema's en runtime-uitvoering, waardoor de behoefte aan geannoteerde referentietrajecten wordt geëlimineerd.

Kernprincipe: Traject-invariantie

Een beloningsfunctie is traject-invariant als de waarde ervan alleen afhangt van verifieerbare eigenschappen van de gegenereerde sequentie en de tool-omgeving, en niet van de gelijkenis van de sequentie met een referentietraject. Dit zorgt ervoor dat:

• Alle geldige oplossingspaden maximale beloning ontvangen, ongeacht de volgorde of commutatieve bewerkingen.
• Ongeldige oplossingen worden onderscheiden door de specifieke eigenschappen die ze schenden, wat een gegradueerd leersignaal biedt zonder verwijzing naar een "gouden" pad.

Decompositie van Beloningen

De totale beloning $R_{total}$ wordt berekend per gegenereerde reeks tooloproepen en geschaald naar $[0, 1]$. Deze wordt ontbonden in vier onderscheiden componenten:

1. Formaatvaliditeit ($R_{format}$): Een binaire check (0 of 1) die ervoor zorgt dat de Abstract Syntax Tree (AST) van de tooloproepen goed gevormd en parsbaar is. Falen hierbij zet alle downstream-beloningen op nul.
2. Schema-gevolgzaamheid / Parsen ($R_{parse}$): Een gegradueerde score (0 tot 3) die controleert op:
   • Naamvaliditeit: Of alle toolnamen bestaan in het schema.
   • Parameter- en Typecorrectheid: Het straffen van mismatches in parameternamen en gegevenstypen tegen het functieschema.
3. Uitvoeringssucces ($R_{exec}$): Een binaire check (0 of 1) die verifieert dat elke tooloproep in de reeks succesvol wordt uitgevoerd zonder runtime-fouten. Dit maakt gebruik van een "alles-of-niets"-regel omdat een mislukking bij stap $k$ downstream-afhankelijke oproepen ongeldig maakt.
4. Antwoordcorrectheid ($R_{answer}$): Een binaire check (0 of 5) die verifieert of het uiteindelijk gegenereerde antwoord overeenkomt met de verwachte grondwahrheid. Deze component wordt zwaar gewaardeerd om "beloningshacking" te voorkomen, waarbij het model voldoet aan formaat- en uitvoeringsbeperkingen maar faalt in de daadwerkelijke taak.

Trainingsopzet

• Algoritme: Het raamwerk wordt geoptimaliseerd met een GRPO-stijl beleidsgradienten-doelstelling met groep-genormaliseerde voordelen.
• Interne Representatie (IR): Modellen genereren gestructureerde tooloproepen als JSON-gebaseerde AST's, die worden geparsed en uitgevoerd tegen een deterministische backend.
• Agnosticisme: De beloningsformulering is onafhankelijk van het specifieke RL-optimalisatiealgoritme (geverifieerd voor GRPO, Batch-genormaliseerde GRPO en DAPO).

Belangrijkste Bijdragen

1. TIER-beloningsraamwerk: Een traject-invariant beloningssysteem dat gebruikmaakt van functieschema's en uitvoeringsfeedback, waardoor de afhankelijkheid van kostbare, door mensen geannoteerde referentietrajecten wordt verwijderd.
2. DepthBench: Een nieuwe benchmark die specifiek is ontworpen om meerstaps tool-samenstelling te evalueren, gestratificeerd op diepte (0 tot 6 stappen). Deze bevat 1.710 queries over 163 handgemaakte tools met uitvoerbare backends, wat een systematische analyse van compositieve generalisatie mogelijk maakt.
3. Empirische Validatie van Meervoudig Niveau Supervisie: Het artikel toont aan dat compositieve toollearning gelijktijdige supervisie vereist op syntactisch (formaat), structureel (schema) en functioneel (uitvoering) niveau. Ablatiestudies tonen aan dat het verwijderen van een component leidt tot catastrofale mislukking bij diepere samenstellingen.

Experimentele Resultaten

De auteurs hebben TIER geëvalueerd op DepthBench, BFCL v3 en NestFUL, en dit vergeleken met op uitkomst gebaseerde baselines (Simple-RL) en op traject gesuperviseerde baselines (ToolRL).

• Prestaties op DepthBench:
  • TIER: Bereikte >90% nauwkeurigheid over alle samenstellingsdieptes (1–6 stappen), inclusief 90% nauwkeurigheid bij dieptes 5 en 6.
  • Simple-RL (Op uitkomst gebaseerd): De nauwkeurigheid stortte in van 94% bij 1-stap naar 0% na 4 stappen.
  • ToolRL (Op traject gesuperviseerd): De prestaties verslechterden aanzienlijk bij dieptes 5 en 6, waarbij een 0% nauwkeurigheid werd bereikt, wat bevestigt dat het straffen van geldige alternatieve paden diepe samenstelling belemmert.
• Externe Benchmarks:
  • BFCL v3: TIER behaalde de beste algehele nauwkeurigheid (68,92%), en presteerde beter dan ToolRL (37,27%) en Simple-RL (66,30%). Opmerkelijk is dat ToolRL faalde bij de categorieën "Multiturn" en "Irrelevantie", waar adaptief besluitvorming vereist is.
  • NestFUL: TIER behaalde een Exact Match-nauwkeurigheid van 0,684, wat aanzienlijk beter was dan ToolRL (0,476) en beter presteerde dan veel grotere modellen (bijvoorbeeld GPT-4o, DeepSeek-V3) in een 3-shot setting.
• Ablatie-inzichten:
  • Gedeeltelijke beloningen (bijvoorbeeld het toevoegen van uitvoering zonder parsing) leidden tot "beloningshacking", waarbij modellen queries naar "veilige" tools routeerden om uitvoeringsbeloningen te maximaliseren terwijl ze correctheid negeerden.
  • Alleen de volledige, ontbonden beloning zorgde voor stabiele convergentie naar hoge prestaties, wat benadrukt dat de componenten complementair en niet uitwisselbaar zijn.

Betekenis en Claims

Het artikel beweert dat beloningsontwerp de primaire bottleneck is voor meerstaps tool-samenstelling in met RL getrainde LLM's. Door te verschuiven van afhankelijkheid van referentietrajecten naar supervisie die is geworteld in uitvoering en traject-invariant is, stelt TIER modellen in staat om complexe, meerstaps redeneerstrategieën te leren die eerder onbereikbaar waren.

De auteurs benadrukken dat:

• Schaalbaarheid: TIER zich van nature aanpast aan evoluerende toolinterfaces zonder dat her-annotatie van referentiedata nodig is.
• Generalisatie: De benadering effectief overdraagt naar real-world functiedeelsettings (BFCL v3) en geneste API-samenstellingen (NestFUL).
• Noodzaak van Granulariteit: Succesvolle compositieve redenering is geen enkel doel, maar een probleem van toewijzing van krediet op meerdere niveaus dat gelijktijdige supervisie vereist op niveau van formaat, schema en uitvoering.

Het werk concludeert dat TIER een robuuste basis biedt voor schaalbaar, meerstaps toolgebruik, hoewel het beperkingen erkent met betrekking tot stochastische real-world omgevingen en de huidige focus op single-turn training.