💬 NLP

SAGE-32B: Agentic Reasoning via Iterative Distillation

Dit artikel introduceert SAGE-32B, een taalmodel met 32 miljard parameters dat is gebaseerd op Qwen2.5-32B en zich specialiseert in agentgeredeneerd redeneren en langetermijnplanning door middel van iteratieve distillatie en een inverse redeneerbenadering, waardoor het superieure prestaties behaalt op multi-tool benchmarks in vergelijking met modellen van vergelijkbare grootte.

Oorspronkelijke auteurs: Basab Jha, Firoj Paudel, Ujjwal Puri, Ethan Henkel, Zhang Yuting, Mateusz Kowalczyk, Mei Huang, Choi Donghyuk, Wang Junhao

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Basab Jha, Firoj Paudel, Ujjwal Puri, Ethan Henkel, Zhang Yuting, Mateusz Kowalczyk, Mei Huang, Choi Donghyuk, Wang Junhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een persoonlijke assistent moet aannemen om een complex huis te beheren vol met apparaten, documenten en deadlines.

1. Het Probleem: De "Gezwetende" Assistent vs. De "Operationele" Assistent

Tot voor kort waren Kunstmatige Intelligenties (zoals de chatbots die we allemaal gebruiken) als goede conversatiepartners. Als je hen vroeg: "Wat vind je van het weer?", antwoordden ze vloeiend en gezellig. Maar als je zei: "Ga naar de koelkast kijken, als hij leeg is, koop melk, bel dan de koerier om een pakket te verzenden en zorg ervoor dat de deur gesloten is", raakten ze vaak in de war.

Ze verdwaalden na de tweede stap.
Ze verzonnen dingen (bijv. "Ik heb de melk gekocht" terwijl ze dat niet hadden gedaan).
Ze wisten geen fouten te herstellen als er iets misging.

Om deze dingen te doen, waren gigantische modellen nodig (zoals die met 100 miljard "neuronen"), maar ze waren extreem duur en traag, net als het gebruiken van een raket om de krant te halen.

2. De Oplossing: SAGE-32B, de "Bouwkost"

De auteurs hebben SAGE-32B gecreëerd. Het is een kleiner model (32 miljard parameters), maar het is anders getraind. Het is geen conversatiepartner; het is een Bouwkost.

Het praat niet om te sieren: Het doel is om dingen te doen.
Het is gespecialiseerd: Het is specifiek getraind om hulpmiddelen (API's, databases, code) te gebruiken en om langere taken te plannen.

3. De Twee Geheimen van de Magie

A. De "Spiegel"-Training (Iteratieve Distillatie)

Stel je voor dat je een kind leert autorijden.

Oude methode: Je geeft ze het stuur en zegt: "Rijd!". Als ze een fout maken, scheld je ze uit.
SAGE-methode (Iteratieve Distillatie): Ze hebben een "Meester" gebruikt (een zeer krachtige kunstmatige intelligentie) die zelf reed. Elke keer als de Meester een fout maakte, zei het systeem: "Hé, kijk hier! Je hebt de code verkeerd ingevoerd. Zo had je het moeten doen".
Ze lieten het model miljoenen van deze "simulaties van fout en correctie" uitvoeren. Het resultaat? SAGE kan niet alleen dingen doen, maar weet ook wanneer het op het punt staat een fout te maken en zichzelf te corrigeren voordat de fout wordt gemaakt. Het is als een piloot die miljoenen simulaties van landingen in stormweer heeft gedaan.

B. Het "Tweede Gedachte" (Omgekeerd Redeneren)

Dit is het meest innovatieve deel.
Normaal gesproken denkt een KI lineair: "Ik moet A doen, dan B, dan C". Als A verkeerd is, stort de rest in.
SAGE heeft een "Kritisch Brein" (genaamd Meta-Cognitive Head) dat werkt als een tweede gedachte of een interne "duvelspleitvoerder".

Voordat het een actie uitvoert, vraagt SAGE zichzelf af: "Wacht, als ik dit doe, wat gebeurt er dan over 10 minuten? Is dit logisch?".
Het gebruikt een techniek genaamd "Omgekeerd Redeneren": in plaats van alleen vooruit te kijken, stelt het zich het eindresultaat voor en controleert of het huidige plan daar echt naartoe leidt. Als het plan niet standhoudt, gooit het het weg en probeert het een ander.
Metafoor: Het is alsof je een belangrijke e-mail schrijft. Je stuurt deze niet direct op. Je leest hem opnieuw en vraagt jezelf af: "Als de ontvanger dit leest, begrijpt hij dan wat ik wil?". Als het antwoord nee is, herschrijf je het. SAGE doet dit in milliseconden.

4. De Resultaten: Sneller, Goedkoper, Betrouwbaarder

Het paper toont aan dat SAGE-32B:

De giganten verslaat: Bij praktische taken (zoals het oplossen van complexe wiskundeproblemen of het gebruik van softwarehulpmiddelen) verslaat het veel grotere en duurdere modellen (zoals GPT-4 Turbo of Llama-70B).
Bespaart geld: Omdat het kleiner is, kost het veel minder om het draaiende te houden.
Raakt niet verdwaald: Als een taak 20 stappen vereist, komt SAGE aan het einde zonder gek te worden, terwijl andere modellen vaak vastlopen na de 5e stap.

5. De Beperkingen (Om eerlijk te zijn)

SAGE is niet perfect voor alles.

Het is geen kunstenaar: Als je vraagt om een grappig gedicht te schrijven of te kletsen, zal het stijf en saai zijn. Het is getraind om een "arbeider" te zijn, geen "dichter".
Het raakt in de war bij chaos: Als je verwarrende of dubbelzinnige instructies geeft, kan het vastlopen. Het heeft duidelijke regels nodig, zoals een robot in een fabriek.

Samenvatting

SAGE-32B is als de overstap van een sportauto die razendsnel gaat maar moeilijk te besturen is (de gigantische modellen) naar een robuuste en betrouwbare terreinwagen. Het is niet absoluut het snelst in alles, maar als je door moeilijk terrein moet (complexe taken, gebruik van hulpmiddelen, fouten corrigeren), is het degene die aankomt zonder kapot te gaan, terwijl je minder benzine verbruikt.

Het is het bewijs dat om dingen goed te doen, je niet altijd "groter" hoeft te zijn; het volstaat om slimmer na te denken over hoe je denkt.

1. Probleemstelling

Hoewel Large Language Models (LLM's) indrukwekkende prestaties leveren in conversatie en few-shot learning, kampen ze met ernstige beperkingen wanneer ze worden ingezet als autonome agenten. Bestaande modellen (zelfs grote zoals 70B+ parameters) hebben moeite met:

Betrouwbaarheid in lange workflows: Fouten in vroege stappen van een plan worden vaak versterkt, wat leidt tot catastrofale mislukkingen.
Tool-gebruik en herstel: Ze kunnen moeilijk fouten herstellen bij het gebruik van tools (API's) en vertonen vaak "hallucinaties" van parameters.
Kosten vs. Prestaties: Het opschalen naar modellen van 100B+ parameters om deze problemen op te lossen, leidt tot onbetaalbare inferentiekosten, wat de inzetbaarheid in snelle, iteratieve agenten-lussen beperkt.

De auteurs betogen dat voor specifieke agenten-werklasten reliabiliteit sterker correleert met gestructureerde trainingsmethodieken dan met het aantal parameters.

2. Methodologie en Architectuur

SAGE-32B is een 32-miljard parameter model, gebaseerd op Qwen2.5-32B, dat is geoptimaliseerd voor agenten-taken via een unieke combinatie van architecturale aanpassingen en trainingsstrategieën.

A. Architecturale Innovaties

Landmark Attention: Om contexten tot 128k tokens te hanteren zonder de $O(N^2)$ complexiteit, worden elke 64e token geselecteerd als een "landmark". Dit reduceert de geheugencomplexiteit tot $O(N \cdot N/k)$ en behoudt toegang tot de volledige geschiedenis.
Split-Embedding Strategy: Het model gebruikt gescheiden embedding-matrices voor natuurlijke taal ( $E_{NL}$ ) en code/tool-tokens ( $E_{Code}$ ). Een leerbaar poortmechanisme schakelt dynamisch tussen deze modi, wat zorgt voor een betere integratie van API-schemas.
Meta-Cognitive Head (MCH) & Inverse Reasoning: Dit is het kerninnovatiepunt. Naast de standaard next-token predictie heeft het model een extra "hoofd" dat parallel werkt.
- Het berekent een Confidence Vector die de logische consistentie van een geplande stap evalueert.
- Het activeert een "Look-Ahead Simulation": voordat een stap wordt uitgevoerd, simuleert het model counterfactuelen ("Wat als deze stap faalt?").
- Dit stelt het model in staat om te switchen tussen "Fast Mode" (standaard inferentie) en "Reasoning Mode" (diep nadenken en zelfcorrectie) afhankelijk van de onzekerheid.

B. Trainingsstrategie: Iterative Distillation (IDA)

Het model wordt getraind via een tweestaps proces dat feedback-loops integreert:

Reflectieve Distillatie: Een "leraar" (DeepSeek) genereert synthetische trajecten. Bij fouten genereert de leraar een kritiek en een correctie. Het studentmodel (SAGE-32B) leert niet alleen het juiste antwoord, maar ook hoe het zijn eigen fouten moet analyseren en corrigeren (gebaseerd op het Reflexion-paradigma, maar offline getraind).
Reinforcement Learning (RL) voor Functiedeel: Een variant van PPO (CodePPO) wordt gebruikt om de syntaxis van tool-calls te perfectioneren. De beloningssignaal is strikt: alleen succesvolle uitvoering van code telt. Dit vermindert het aantal "onveroorzaakte fouten" (zoals hallucineren van parameters) drastisch.
DPO voor Veiligheid: Direct Preference Optimization wordt gebruikt om het model te leren om schadelijke tool-requests (bijv. delete_database) te weigeren.

C. Theoretisch Kader: Inverse Consistency

In tegenstelling tot traditionele "Chain of Thought" (die voorwaartse waarschijnlijkheid maximaliseert), introduceert SAGE-32B Inverse Reasoning.

Het model evalueert of een gegenereerde redenering ( $z$ ) de oorspronkelijke constraints ( $x$ ) kan reconstrueren.
Een Inverse Consistency Score (ICS) straft plannen die logisch hol zijn of constraints vergeten.
Dit verlaagt de effectieve foutkans ( $\epsilon'$ ) in lange ketens exponentieel, wat theoretisch bewezen wordt via een Dual-Process Gradient Descent methode.

3. Belangrijkste Resultaten

SAGE-32B presteert opmerkelijk goed op specifieke benchmarks, vaak beter dan veel grotere modellen:

MATH-500: SAGE-32B (in "Thinking Mode") bereikt 91.8%, wat aanzienlijk hoger is dan GPT-4-Turbo (72.6%) en Llama-3-70B (68.0%). Zelfs de standaardmodus (zonder extra "denktijd") scoort 78.9%, wat al beter is dan GPT-4-Turbo.
AgentBench: Het model toont een sterke verbetering in multi-tool gebruik en foutherstel. De Internal Recovery Rate (IRR) is verdubbeld ten opzichte van de basismodellen (76% vs 35%).
Tool Calling (Enterprise-500): In real-world workflows (SQL, JSON, API-chaining) bereikt SAGE-32B een succespercentage van 91.5% met slechts 2.4% "onveroorzaakte fouten". Dit is vergelijkbaar met GPT-4-Turbo (94.2%), maar tegen een fractie van de kosten ($4.50 vs $32.00 per 1000 episodes).
Ablatie Studies: Het verwijderen van de "Inverse Reasoning Head" leidt tot een significante daling in prestaties, wat bewijst dat dit mechanisme essentieel is voor de betrouwbaarheid, niet alleen het stemmen (voting) van meerdere antwoorden.

4. Bijdragen en Significantie

De paper levert drie cruciale bijdragen aan het veld van agentic AI:

Betrouwbaarheid boven Schaal: Het bewijst dat een 32B model, mits correct getraind met gestructureerde feedback-loops, superieur kan zijn aan grotere, algemene modellen (70B+) voor specifieke agenten-taken.
Inverse Reasoning Mechanisme: De introductie van een meta-cognitief mechanisme dat plannen terug valideert (falsificatie) in plaats van alleen voorwaarts te genereren, biedt een oplossing voor het probleem van cumulatieve fouten in lange workflows.
Economische Haalbaarheid: SAGE-32B biedt "GPT-4-klasse" betrouwbaarheid voor agenten-taken tegen een kostenprijs die ongeveer 1/7e is van gesloten API's, wat de deur opent voor schaalbare, autonome systemen in de industrie.

5. Beperkingen en Toekomst

Brittleness bij Ambiguïteit: Het model is geoptimaliseerd voor gestructureerde taken en faalt vaak bij open-ended creatieve prompts (bijv. gedichten schrijven), waarbij het onnodige stappenplannen maakt.
Context Latentie: Hoewel het 128k context ondersteunt, wordt de inferentie bij zeer lange geschiedenissen (>32k tokens) op standaard hardware traag.
Domein Overfitting: Door de trainingsdata (codering, data-analyse) presteert het model minder goed in medische of juridische domeinen.

Conclusie: SAGE-32B markeert een verschuiving van "grootte is alles" naar "specifieke architectuur en trainingsmethodieken zijn cruciaal" voor betrouwbare autonome agenten. Het model fungeert als een robuust, economisch haalbaar "denk-kern" voor systemen waar voorspelbaarheid en correct tool-gebruik belangrijker zijn dan creatieve conversatie.