💻 computer science

Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost

Dit artikel betoogt dat het compileren van agentische workflows direct in de gewichten van kleine, fijngefineerde modellen ("ondergrondse agenten") een kosteneffectief, privé en context-efficiënt alternatief biedt voor de heersende externe orkestratiekaders, waarbij prestaties dicht bij de staat van de kunst worden bereikt voor diverse complexe taken, terwijl belangrijke adoptiebarrières worden overwonnen.

Oorspronkelijke auteurs: Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Recept Bakken in de Chef

Stel je voor dat je een complexe taak moet uitvoeren, zoals het boeken van een ingewikkelde reis of het repareren van een kapotte machine. Momenteel gebruiken de meeste bedrijven een "Manager en Werknemer"-systeem (zogenaamde Agent Orchestration).

De Huidige Manier (De Manager): Je hebt een zeer slimme, dure "Manager" (een frontier AI-model). Elke keer dat de "Werknemer" (de AI die met je praat) een beslissing moet nemen, stopt de Manager, leest hij een gigantisch reglement, vertelt hij de Werknemer wat hij als volgende moet doen, en wacht hij vervolgens op het antwoord van de Werknemer. Dit gebeurt keer op keer. Het is traag, duur en de Manager moet elke keer het hele reglement opnieuw lezen.
De Nieuwe Manier (De Ondergrondse Agent): De auteurs stellen een andere aanpak voor: Compileer de procedure in de gewichten. Stel je voor dat je dat gigantische reglement direct in het brein van de Werknemer bakt. Nu is de Werknemer de expert. Hij heeft geen Manager nodig om te vertellen wat hij als volgende moet doen; hij kent het verloop gewoon op natuurlijke wijze. Hij wordt een "Ondergrondse Agent" – een expert die van binnen naar buiten werkt.

Het paper vraagt zich af: Is het bakken van de regels in een kleinere, goedkopere AI eigenlijk net zo goed als het gebruik van een gigantische, dure Manager?

De Drie Hindernissen (En Hoe Ze Die Overwonnen)

De auteurs dachten dat mensen dit niet deden vanwege drie grote angsten. Ze testten deze angsten in drie realistische scenario's: Reisboeking, Zoom-technische ondersteuning en Schadeclaims.

1. De Kwaliteitsangst: "Is een klein brein net zo slim als een groot brein?"

De Angst: Mensen dachten dat een kleine, goedkope AI (3 miljard of 8 miljard parameters) complexe stappen niet even goed kon uitvoeren als een enorme, dure AI (zoals die van grote technologiebedrijven).
Het Resultaat: Verrassend genoeg deed de kleine AI bijna het net zo goed als de grote.
- Bij Reizen was de kleine AI iets minder "beleefd" of "gracieus" dan de grote, maar ze kreeg het werk wel correct gedaan.
- Bij Zoom-ondersteuning en Verzekeringen (die veel moeilijker zijn), upgraden ze de kleine AI naar een iets grotere versie (8 miljard). Deze versie kwam op bijna elke maatstaf overeen met de grote, dure AI.
- De Analogie: Het is alsof je een lokale, ervaren monteur huurt (de kleine AI) versus een wereldberoemd raceteam laten overvliegen (de grote AI). Voor het oplossen van je dagelijkse autopech is de lokale monteur 90–98% zo goed, maar kost hij een fractie van de prijs.

2. De Kostenangst: "Is het eigenlijk goedkoper om dit te draaien?"

De Angst: Mensen dachten dat, zelfs als de kleine AI goedkoop is om te trainen, het draaien ervan toch duur zou kunnen zijn omdat je moet betalen voor de computerkracht.
Het Resultaat: Het is enorm goedkoper.
- Het "Manager"-systeem moet voor elke zin die de AI zegt een zeer dure API aanroepen.
- Het "Ingebakken"-systeem draait op een standaard computerserver (zelf gehost).
- De Wiskunde: De nieuwe methode is 128 tot 462 keer goedkoper per gesprek.
- De Analogie: De oude manier is alsof je een taxichauffeur $50 betaalt elke keer dat je vraagt om het stuur te draaien. De nieuwe manier is alsof je een auto koopt voor $1.000 en zelf rijdt. Hoe meer je rijdt (hoe complexer de taak), hoe meer geld je bespaart.

3. De Flexibiliteitsangst: "Wat als de regels veranderen? Moet ik dan maanden opnieuw trainen?"

De Angst: Mensen dachten dat als een verzekeringsmaatschappij een formulier verandert of een reisbureau een beleidswijziging doorvoert, je weken moet wachten om de AI opnieuw te trainen.
Het Resultaat: Het is snel.
- Het wijzigen van de regels en het opnieuw trainen van de AI duurt 30 tot 50 minuten op standaard hardware.
- De Analogie: Het is niet alsof je een huis helemaal opnieuw moet bouwen; het is meer alsof je de software van je telefoon update. Je kunt het doen in de tijd die het kost om een pot koffie te zetten.

Hoe Het Werkt (De "Ondergrondse" Pijplijn)

Het proces is verrassend eenvoudig:

Teken de Kaart: Je tekent een stroomdiagram van hoe het gesprek moet verlopen (bijv. "Vraag om data" -> "Controleer budget" -> "Toon opties").
Oefenronde: Een super-slimme AI (de "Leraar") speelt dit diagram duizenden keren af en creëert nep-gesprekken.
Bak het Brein: Je leert een kleinere AI deze nep-gesprekken. De AI leert het patroon van het gesprek, niet alleen de woorden.
Ga Live: Je zet de kleine AI in. Hij heeft het stroomdiagram niet meer nodig; het stroomdiagram is nu onderdeel van zijn geheugen. Hij praat direct met je.

Het Oordeel

Het paper concludeert dat voor taken met duidelijke stappen (zoals boeken, ondersteuning of claims), je geen Manager nodig hebt.

Persistente Structuur hoort in de gewichten: De regels van het spel moeten in het brein van de AI gebakken worden.
Transiente Staat hoort in de prompt: De specifieke details van jouw reis of jouw kapotte Zoom-verbinding moeten in het gesprek aan de AI verteld worden.

Door de regels van de "Manager" naar het "brein van de Werknemer" te verplaatsen, krijg je bijna perfecte kwaliteit voor twee grootteordes (100x) lagere kosten, met de mogelijkheid om de regels in minder dan een uur bij te werken.

Technische Samenvatting: Compileren van Agentische Workflows naar LLM-Weights

Probleemstelling

Agent-orchestratieframeworks (bijv. LangGraph, CrewAI, OpenAI Agents SDK) hebben zich vermenigvuldigd en overschrijden gezamenlijk de 290.000 GitHub-sterren. Deze systemen vertrouwen op een externe orchestrator die boven het Large Language Model (LLM) zit, instructies injecteert en bij elke draai routeringsbeslissingen neemt. Hoewel recent werk suggereert dat voor procedurale taken het simpelweg verstrekken van de volledige procedure in het systeemprompt van een frontier-model (in-context prompting) superieur is aan orchestratie, lijdt deze aanpak onder drie kritieke beperkingen:

Kosten: Het vereist een frontier-model voor elk gesprek en verhoogt het tokenverbruik door de procedure in elke API-aanroep in te bedden.
Contextvenster: Het verbruikt aanzienlijke capaciteit van het contextvenster.
Privacy: Het blootlegt eigendomsprocedures aan derdenproviders.

Het alternatief – het compileren van de procedure in de weights van een klein, fijngetuned model (het creëren van een "ondergrondse agent") – is onderzocht in eerdere academisch werk (bijv. SimpleTOD, FireAct, SynTOD) maar heeft een lage adoptie onder ontwikkelaars gezien. Dit paper identificeert drie waargenomen barrières voor adoptie: Kwaliteit (kan een klein model een frontier-model evenaren?), Kosten (is self-hosting daadwerkelijk goedkoper?) en Flexibiliteit (is hertraining onaanvaardbaar traag?).

Methodologie

De auteurs stellen een "ondergrondse" architectuur voor waarbij de orchestrator uitsluitend wordt gebruikt tijdens het genereren van trainingsdata, niet tijdens runtime. De pijplijn omvat:

Procedudefinitie: Het representeren van workflows als gerichte grafieken ( $F = (N, E, n_0, T)$ ) met knopen (agent/Gebruiker-turns) en randen (overgangen).
Synthetische Data Generatie: Het traverseren van alle geldige paden door de flowchart om synthetische gesprekken te genereren met behulp van een frontier-model (Claude Sonnet 4.5). Het model genereert dialoog per turn op basis van knopen-prompttemplates en de volledige gespreksgeschiedenis.
Full Parameter Fine-Tuning: Fijnafstemmen van kleine modellen (3B en 8B parameters) op deze synthetische gesprekken met behulp van volledige parameterupdates (het afwijzen van low-rank methoden zoals LoRA, waarvan het eerdere werk van de auteurs [Dennis et al., 2026b] concludeerde dat deze ontoereikend waren voor procedurale internalisatie).
Runtime Deploy: Het gecompileerde model draait zonder enige externe orchestrator en ontvangt slechts een minimaal systeemprompt. De procedure is impliciet aanwezig in de weights van het model.

Evaluatieopzet:
De studie evalueert drie domeinen met toenemende complexiteit:

Reisboekingen: 14 knopen, 3 beslissingshubs, 86 unieke paden.
Zoom-ondersteuning: 14 knopen, parallelle structuur, vereist product-specifieke kennis (UI, foutcodes).
Verzekeraanspraken: 55 knopen, 6 beslissingshubs, 2.381 unieke paden, test schaalbaarheid.

Basislijnen:

LangGraph Orchestrator: Gebruikt Claude Sonnet 4.5 met expliciete flowchart-gebaseerde state-tracking (de frontier-model basislijn).
In-Context Basislijn: Claude Sonnet 4.5 met de geserialiseerde flowchart in het systeemprompt.
Zelfde-model Orchestrator: Een 3B-model met expliciete orchestratie (gebruikt om het effect van compilatie te isoleren).

Metrieken:
Gesprekken worden gescoord (schaal 1–5) op Taaksucces, Informatienauwkeurigheid, Consistentie, Graceful Handling en Natuurlijkheid, gebruikmakend van een LLM-as-a-judge-aanpak (Claude Sonnet 4.5 en GPT-4.1).

Belangrijkste Resultaten

1. Kwaliteit

Compilatie vs. Zelfde-model Orchestratie: Een gecontroleerde vergelijking op de Reis-taak toonde aan dat een gecompileerd 3B-model significant beter presteerde dan een 3B-model met expliciete orchestratie op vier van de vijf metrieken (Taaksucces, Consistentie, Graceful Handling, Natuurlijkheid; $p < 0.001$ ).
Klein Model vs. Frontier Orchestrator:
- Reis (3B): Het gecompileerde 3B-model kwam overeen met de LangGraph-orchestrator op Taaksucces en Consistentie, maar bleef achter op Graceful Handling en Natuurlijkheid (reikend tot ~82% van de in-context kwaliteit).
- Zoom & Verzekering (8B): Schalen naar een 8B-model dichte de kloof. Het gecompileerde 8B-model behaalde 87–98% van de in-context frontier-basislijnkwaliteit. Op verzekeringsclaims presteerde het beter dan de LangGraph-orchestrator (opgebouwd op een ~70× groter model) op Graceful Handling en Natuurlijkheid.
Foutpercentages: Gecompileerde modellen vertoonden lagere foutpercentages dan de LangGraph-orchestrator bij Reis (5,5% vs. 24%) en Verzekering (9% vs. 17%), grotendeels omdat ze routeringsfouten inherent aan node-level orchestratie elimineren.

2. Kosten

Gecompileerde modellen zijn 128–462× goedkoper per gesprek dan de in-context basislijn.

Per-token Reductie: Self-hosting van een 8B-model op commodity hardware (A100) is ~65× goedkoper per token dan frontier-API-tarieven.
Tokenvolume Reductie: De in-context basislijn moet de volledige procedure in elke prompt opnemen (overhead die schaalt met 2× tot 7× met complexiteit). De prompt van het gecompileerde model heeft een constante grootte.
Break-even: De eenmalige compilatiekosten (~$50–80) worden binnen 500 gesprekken terugverdiend.

3. Flexibiliteit

De recompilatiecyclus (datageneratie, fijnafstemming, evaluatie) duurt 30–50 minuten op productiehardware (8× H200) of 3–4 uur op een enkele A100. Dit is vergelijkbaar met een standaard CI/CD-buildcyclus, wat de aanname weerlegt dat hertraining een paradigma-verschuivende, onaanvaardbaar lange inspanning is.

Betekenis en Claims

Het paper betoogt dat de waargenomen barrières voor het compileren van agentische workflows kleiner zijn dan algemeen wordt aangenomen:

Kwaliteitskloof: De kloof tussen een gecompileerd 8B-model en een frontier in-context basislijn is klein (87–98%), en het gecompileerde model overtreft vaak een frontier-model dat via LangGraph wordt georchestreerd.
Kostenkloof: Het kostenvoordeel bedraagt twee ordes van grootte en groeit met de procedurecomplexiteit, aangezien de promptgrootte van het gecompileerde model constant blijft terwijl de in-context prompt groeit.
Flexibiliteitskloof: Aanpassing is een deploycyclus (CI/CD), geen bottleneck voor hertraining.

De auteurs concluderen dat voor procedurale kennis die persistentie vereist buiten het contextvenster van een enkel gesprek om, "persistentie in de weights hoort, transiënte staat hoort in de prompt." Compilatie wordt gepresenteerd als de natuurlijke oplossing voor procedurale taken, die bijna frontier-kwaliteit biedt voor een fractie van de kosten en latentie, terwijl het de structurele faalmodi van externe orchestratie vermijdt (gefragmenteerd redeneren, routeringsfouten en een beperkt conversatiestijl).