💬 NLP

AdaTIR: Adaptive Tool-Integrated Reasoning via Difficulty-Aware Policy Optimization

AdaTIR is een framework dat Large Language Model-agenten verbetert door gebruik te maken van moeilijkheidsbewuste beleidsoptimalisatie en Clipped Advantage Shaping om redeneren voor eenvoudige taken dynamisch te internaliseren terwijl het selectief tools aanroept voor complexe taken, waardoor overbodige tool-aanroepen drastisch worden verminderd zonder de nauwkeurigheid in gevaar te brengen.

Oorspronkelijke auteurs: Zhaiyu Fang, Ruipeng Sun

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhaiyu Fang, Ruipeng Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat overijverige assistent hebt die probeert een puzzel op te lossen. Deze assistent heeft een krachtige rekenmachine en een zoekmachine tot zijn beschikking. Het probleem is dat deze assistent deze hulpmiddelen voor alles wil gebruiken, zelfs voor de simpelste taken.

Als je vraagt: "Wat is 2 plus 2?", haalt de assistent onmiddellijk de rekenmachine tevoorschijn, typt het in, wacht op het resultaat en vertelt je dan het antwoord. Hoewel het antwoord correct is, is het een verspilling van tijd en energie. Erger nog, als de rekenmachine een foutje maakt of een vreemde foutmelding geeft, raakt de assistent in de war, stopt met zelf nadenken en begint te proberen de rekenmachine te "repareren" in plaats van het wiskundige probleem op te lossen. Dit is wat het artikel "cognitive offloading" (cognitieve ontlasting) noemt — het werk van je brein overdragen aan een hulpmiddel, zelfs wanneer je dat niet nodig hebt.

Het artikel introduceert een nieuwe trainingsmethode genaamd AdaTIR om dit op te lossen. Zo werkt het, met behulp van alledaagse analogieën:

1. De "Moeilijkheidsgraad-voelende" Coach

Stel je een coach voor die de assistent ziet terwijl deze problemen oplost.

De Oude Manier: De coach zou zeggen: "Gebruik de rekenmachine niet!" voor elk probleem. Maar dat is een slecht idee. Als het probleem extreem moeilijk is (zoals een complexe natuurkundige vergelijking), heeft de assistent de rekenmachine nodig. Als je het volledig verbiedt, faalt de assistent.
De AdaTIR-Manier: De coach is slim. Hij kan het verschil zien tussen een "2 plus 2"-probleem en een "raketwetenschap"-probleem.
- Voor eenvoudige taken: De coach zegt: "Leg de rekenmachine weg! Gebruik je brein." Dit dwingt de assistent om de wiskunde intern te leren uitvoeren.
- Voor moeilijke taken: De coach zegt: "Oké, dit is lastig. Ga je gang met de rekenmachine."

Dit is het Difficulty-Aware Policy (Moeilijkheidsgraad-bewust Beleid). Het leert de assistent efficiënt te zijn: doe het eenvoudige werk in je hoofd, bewaar de hulpmiddelen voor het zware werk.

2. Het "Veiligheidsnet" (Clipped Advantage Shaping)

Er was een groot probleem met eerdere pogingen om deze les te leren. Soms ging de training mis.

Stel je voor dat de assistent een moeilijk wiskundig probleem correct oplost met de rekenmachine. Maar omdat ze de rekenmachine één keer hebben gebruikt, zegt het trainingssysteem (dat probeert strikt te zijn wat betreft efficiëntie): "Wacht, je hebt een hulpmiddel gebruikt! Dat is een strafpunt. Je krijgt een lage score."

Dit creëert een verwarrend signaal: "Je hebt het juiste antwoord, maar je wordt gestraft voor het feit dat je het hebt gevonden." Dit is als een leraar die een 'onvoldoende' geeft aan een leerling die een moeilijke vergelijking correct heeft opgelost, enkel en alleen omdat hij een potlood gebruikte in plaats van zijn vingers. De assistent raakt in de war, stopt met proberen efficiënt te zijn, of begint fouten te maken om de "hulpmiddel-straf" te vermijden.

Het artikel lost dit op met een slimme truc genaamd Clipped Advantage Shaping (CAS). Denk aan het als een Veiligheidsnet:

Het systeem zegt: "Correctheid is het allerbelangrijkste. Je moet eerst het juiste antwoord krijgen."
De "Efficiëntie"-bonus (of straf) mag slechts een heel klein beetje variëren. Het mag nooit zo sterk zijn dat het het signaal van "Correctheid" overschrijft.
Het Resultaat: De assistent leert dat het krijgen van het juiste antwoord het hoofddoel is. Zodra ze zeker weten dat ze het goed hebben, proberen ze vervolgens minder hulpmiddelen te gebruiken. Dit voorkomt dat de training vastloopt of dat de assistent in de war raakt.

3. De Resultaten: Een Slimmere, Snellere Assistent

Het artikel testte dit op wiskundige problemen variërend van eenvoudige rekenkunde tot zeer moeilijke competitie-niveau wiskunde.

Op eenvoudige taken: De assistent stopte bijna volledig met het gebruik van de hulpmiddelen (tot wel 97,6% minder oproepen van hulpmiddelen). Ze leerden de wiskunde in hun "hoofd" uit te voeren (de interne logica van het model).
Op moeilijke taken: De assistent gebruikte de hulpmiddelen nog steeds wanneer dat nodig was, maar ze gebruikten ze wel wijzer. Ze verspilden geen tijd aan het aanroepen van het hulpmiddel voor zaken die ze zelf ook konden uitzoeken.
De "Geen-Hulpmiddel"-test: Het meest indrukwekkende deel? Toen de onderzoekers de hulpmiddelen volledig weghaalden en zeiden: "Je mag de rekenmachine helemaal niet gebruiken", was de AdaTIR-assistent nog steeds beter in het oplossen van moeilijke problemen dan de oude assistenten. Dit bewijst dat de assistent daadwerkelijk de redeneervaardigheden heeft geleerd, in plaats van alleen te vertrouwen op de rekenmachine als een kruk.

Samenvatting

AdaTIR is als het leren van een student om zelfredzaam te zijn.

Het stopt hen ermee om een rekenmachine te gebruiken voor eenvoudige optelsommen.
Het laat hen de rekenmachine gebruiken voor complexe calculus.
Het zorgt ervoor dat ze nooit worden gestraft voor het krijgen van het juiste antwoord, enkel omdat ze een hulpmiddel hebben gebruikt.

Het resultaat is een AI die sneller is, goedkoper in gebruik en daadwerkelijk slimmer, omdat deze heeft geleerd om zelf na te denken in plaats van alleen maar op knopjes te drukken.

Technische Samenvatting: AdaTIR

Probleemstelling

Hoewel Tool-Integrated Reasoning (TIR) de capaciteiten van Large Language Models (LLM's) bij complexe taken aanzienlijk heeft verbeterd, vertonen huidige agenten een pathologische neiging tot "cognitieve offloading". Dit fenomeen houdt in dat externe tools redundant worden aangeroepen, zelfs voor eenvoudige taken die via interne redenering opgelost kunnen worden. Dit gedrag veroorzaakt onnodige latentie, introduceert omgevingsruis en brengt het risico met zich mee dat de intrinsieke redeneerconsistentie van het model wordt aangetast.

Bestaande benaderingen om dit probleem te mitigeren kampen met kritieke beperkingen:

Inference-time beperkingen (bijv. limieten op promptniveau) leiden vaak tot contextdrift of redeneer-dead-ends wanneer het model niet beschikt over geïnternaliseerde logica.
Training-time reward shaping (bijv. ononderscheiden straffen) creëert een dilemma: straffen die sterk genoeg zijn om redundantie bij eenvoudige taken te onderdrukken, belemmeren vaak onbedoeld het vermogen van het model om complexe taken op te lossen die externe assistentie vereisen.
Het Signum-omkeringsprobleem: In naïeve reward shaping kunnen efficiëntiestraffen zwaarder wegen dan correctheidbeloningen. Naarmate de training vordert en groeps-rollouts consistent correct worden, neemt het voordeel op basis van nauwkeurigheid af. Bijgevolg kunnen correcte trajecten met bovengemiddeld toolgebruik een negatief voordeel ontvangen, wat geldige redeneerpaden onderdrukt en leidt tot trainingsinstabiliteit of mode collapse.

Methodologie: AdaTIR

De auteurs stellen AdaTIR (Adaptive Tool-Integrated Reasoning) voor, een framework dat de paradigmaverschuiving maakt van statische tool-aanroepen naar moeilijkheidsbewuste redenering-internalisatie. Het framework werkt op basis van het kerninzicht dat tool-aanroepen inherent afhankelijk moeten zijn van de moeilijkheidsgraad.

1. Moeilijkheidsbewuste Efficiëntiebeloning

AdaTIR past tool-budgetten dynamisch aan op basis van taakcomplexiteit in plaats van statische straffen toe te passen.

Extrinsieke Moeilijkheidsinschatting: De taakmoeilijkheid ( $\phi_q$ ) wordt geschat als het complement van de succesratio binnen een trainingsbatch. Een lage $\phi_q$ duidt op een eenvoudige taak; een hoge $\phi_q$ duidt op een complexe taak.
Conditionele Straf: Een op sinus gebaseerde straffactor wordt toegepast op de beloningsfunctie, maar alleen voor correcte trajecten bij eenvoudige taken (waar $\phi_q < \phi_{low}$ $ϕ_{q} < ϕ_{l o w}$ ).
- Bij eenvoudige taken wordt het model gestraft voor redundant toolgebruik, wat het dwingt tot het internaliseren van redenering.
- Bij complexe taken worden de beperkingen versoepeld om ervoor te zorgen dat het model robuust blijft door externe tools te gebruiken wanneer dat nodig is.
- Dit ontwerp zorgt ervoor dat correctheid het primaire doel blijft, waardoor "reward hacking" wordt voorkomen.

2. Clipped Advantage Shaping (CAS)

Om het signum-omkeringsprobleem en trainingsinstabiliteit op te lossen, introduceren de auteurs Clipped Advantage Shaping (CAS). In plaats van de scalaire beloning direct te wijzigen, herformuleert CAS de advantage-term in de Group Relative Policy Optimization (GRPO) objectief.

Ontkoppeling: De advantage wordt gesplitst in een nauwkeurigheidscomponent ( $A_{acc}$ ) en een efficiëntiecomponent ( $A_{eff}$ ).
Clipping-mechanisme: Het efficiëntiesignaal wordt geclipt ten opzichte van het nauwkeurigheidssignaal:
$A^{CAS}_i = A^{acc}_i + r_{acc,i} \cdot \beta \cdot \text{clip}(A^{eff}_i, -\delta|A^{acc}_i| - \eta, \delta|A^{acc}_i| + \eta)$
Signumbehoud: Door de efficientiestraf te begrenzen ten opzichte van het nauwkeurigheidsvoordeel, zorgt CAS ervoor dat correcte trajecten altijd een positief voordeel behouden (of in ieder geval niet lijden onder grote negatieve voordelen door efficiëntiekosten). Dit voorkomt dat de policy instort naar suboptimale staten waarbij geldige redeneerpaden worden onderdrukt.

Belangrijkste Bijdragen

AdaTIR Framework: Een moeilijkheidsbewuste policy die de aanroep van tools adaptief reguleert, waardoor "cognitieve offloading" op eenvoudige taken effectief wordt onderdrukt terwijl flexibiliteit voor complexe taken behouden blijft.
Clipped Advantage Shaping (CAS): Een wiskundige herformulering van de advantage-term die signumconsistentie handhaaft, wat de trainingsinstabiliteit en mode collapse oplost die vaak worden waargenomen bij naïeve reward shaping.
Redenering-internalisatie: Demonstratie dat het model erin slaagt redeneercapaciteiten te internaliseren, waarbij het baselines overtreft zelfs wanneer toegang tot tools strikt is uitgeschakeld.

Experimentele Resultaten

De methode werd geëvalueerd op wiskundige redeneerbenchmarks (AIME 2024/2025, AMC23, GSM8K) met gebruik van Qwen2.5-3B en Qwen2.5-7B backbones.

Efficiëntiewinst: AdaTIR verminderde het gemiddeld aantal tool-aanroepen (Average Tool Calls, ATC) met tot wel 97,6% op eenvoudige taken (GSM8K) en 28,2% op complexe uitdagingen (AIME 2024) vergeleken met baselines.
Behoud van Nauwkeurigheid: De methode behield of verbeterde de nauwkeurigheid over alle benchmarks. Opvallend genoeg verbeterde AdaTIR-7B de nauwkeurigheid op AIME 2024 met 3,3 procentpunt (33,8% $\to$ 37,1%) terwijl het toolgebruik werd verminderd.
Internalisatie: In een budgetgevoeligheidsanalyse (waarbij tool-aanroepen op 0 werden gezet), presteerde AdaTIR 4,8% beter dan de baseline op AIME 2024, wat bevestigt dat het model redeneercapaciteiten heeft geïnternaliseerd in plaats van een afhankelijkheid van tools te hebben ontwikkeld.
Vergelijking met OTC: AdaTIR presteerde beter dan de OTC (Overuse Tool Control) baseline op zowel nauwkeurigheid als Tool Productivity (TP), waarbij de prestatiedegeneratie (bijv. een daling van 14,2% in Exact Match) die bij OTC wordt waargenomen, werd vermeden.

Betekenis en Claims

Het artikel claimt dat AdaTIR succesvol het fundamentele probleem aanpakt van het balanceren van efficiëntie en robuustheid in agentic redeneren. Door computationele uitgaven af te stemmen op de taakmoeilijkheid, duwt het framework de cost-performance Pareto-grens naar voren.

De auteurs benadrukken dat hun aanpak de internalisatie van redeneercapaciteiten faciliteert, waardoor modellen de met tools versterkte vaardigheden kunnen distilleren in hun eigen parameters. Dit maakt adaptief redeneren mogelijk onder beperkte middelen en verzacht de "cognitieve offloading" die huidige agenten teistert. De introductie van CAS wordt benadrukt als een cruciale voorwaarde voor stabiele training in agentic redeneertaken, waarbij wordt gewaarborgd dat efficiëntie-optimalisatie niet ten koste gaat van correctheid of trainingsstabiliteit.

Hoewel de primaire evaluatie zich richt op wiskundig redeneren, suggereren voorlopige resultaten op zoek-gebaseerde QA (Search-R1) het potentieel van de methode om te generaliseren naar andere domeinen, zoals het internaliseren van algemene kennisretrieval. De auteurs merken echter bescheiden op dat er beperkingen zijn met betrekking tot de noodzaak voor bredere validatie in open-ended coding en de afhankelijkheid van heuristische moeilijkheidsinschatters.