🤖 AI

VineLM: Trie-Based Fine-Grained Control for Agentic Workflows

VineLM is een workflowbeheerder die fijnkorrelige, dynamische modelselectie voor agentische workflows mogelijk maakt door uitvoerbare uitvoeringen te representeren als een geannoteerde trie en checkpointing met cascadeprofielanalyse te gebruiken om het kosten-latentie-nauwkeurigheidsfront te optimaliseren zonder exhaustieve offline profielanalyse.

Oorspronkelijke auteurs: Nikos Pagonas, Matthew Lou, Tianyi Peng, Dan Rubenstein, Kostis Kaffes

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikos Pagonas, Matthew Lou, Tianyi Peng, Dan Rubenstein, Kostis Kaffes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detectivebureau met hoge risico's runt. Je doel is een mysterie (de "aanvraag") op te lossen met een team van specialisten (de "AI-modellen"). Sommige specialisten zijn goedkoop en snel, maar missen misschien aanwijzingen; anderen zijn duur en traag, maar zijn briljante detectives.

In het verleden, als je een detectivebureau huurde, moest je een contract voordat het onderzoek begon ondertekenen. Je moest één specifieke detective kiezen voor de fase "Bewijs verzamelen" en één specifieke detective voor de fase "Fouten herstellen", en je moest bij hen blijven, wat er ook gebeurde. Als de eerste detective een grote aanwijzing vond, kon je niet overstappen naar een goedkopere specialist voor de volgende stap. Als de eerste detective te lang deed, zat je vast aan de dure detective voor de rest van de zaak, zelfs als je de tijd begon te missen.

VineLM is een nieuwe manier om deze detectivebureaus te beheren. In plaats van bij het begin een star contract te ondertekenen, fungeert VineLM als een slimme projectmanager die na elke enkele stap controleert en beslist: "Gezien waar we nu zijn, hoeveel tijd en geld hebben we nog over? Wie is de beste persoon voor de volgende specifieke taak?"

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Eén-maat-voor-Allen"-Valstrik

Huidige systemen (zoals het systeem dat Murakkab heet) zijn als een manager die "Plan A" kiest voordat het werk begint.

De Tekortkoming: Als je plan een lus bevat (zoals "Blijf de SQL-code repareren totdat het werkt"), dwingt het oude systeem je om voor elke reparatie dezelfde detective te gebruiken.
Het Resultaat: Je gebruikt misschien een briljante (maar dure) detective voor de eerste reparatie, en wordt vervolgens gedwongen diezelfde dure detective te gebruiken voor de tweede en derde reparatie, zelfs als de tweede reparatie eenvoudig was en door een goedkope stagiair had kunnen worden gedaan. Of je loopt de tijd uit omdat de eerste stap langer duurde dan verwacht, maar je kunt niet overstappen naar een snellere detective voor de resterende stappen.

2. De Oplossing: De "Beslissingsboom" (De Trie)

VineLM bouwt een enorme beslissingsboom (die in het artikel een "Trie" wordt genoemd). Stel je een kies-je-eigen-avonturenboek voor waarbij elke pagina een stap in het onderzoek is.

De Kaart: Elke weg door het boek vertegenwoordigt een andere combinatie van detectives die je kunt inhuren.
De Annotaties: Voordat je echte zaken oplost, voert VineLM duizenden oefenzaken uit om deze boom in kaart te brengen. Het markeert elke weg met: "Als je deze weg kiest, kost het meestal $X, duurt het Y seconden en krijg je Z% van de tijd het juiste antwoord."

3. De Magische Truc: "Cascade Profiling" (De Efficiënte Kaartenmaker)

Het in kaart brengen van elke enkele weg in dit enorme boek zou ongelooflijk duur en traag zijn (alsof je elke detective voor elk mogelijk scenario huurt). VineLM gebruikt een slimme truc genaamd Cascade Profiling:

De Kortweg: In plaats van elke weg vanaf nul te testen, begint het bij het begin. Als de eerste stap slaagt, weet het dat de hele weg een succes is zonder de rest te hoeven testen.
Het Resultaat: Het vult de kaart in met slechts 1% tot 2% van de inspanning die nodig zou zijn om alles te testen. Het is alsof je beseft dat als je de eerste ronde van een toernooi wint, je de finale niet hoeft te spelen om te weten dat je het had kunnen winnen; je hoeft alleen de kansen te kennen.

4. De Runtime: De Boom "Opnieuw Wortelen"

Dit is het meest spannende deel. Wanneer een echte aanvraag binnenkomt:

Stap 1: Het systeem kiest de beste detective voor de eerste stap op basis van de kaart.
Stap 2: De detective is klaar. Het systeem kijkt opnieuw naar de kaart.
De Pivot: Het systeem zegt: "Oké, we hebben net 5 seconden besteed aan stap 1. We hebben 10 seconden over. De kaart zegt dat als we deze tak volgen, we de tijd misschien niet halen. Laten we in plaats daarvan die tak kiezen."
De Lus: Het doet dit na elke enkele stap. Het kan midden in een lus overschakelen van een "Super Detective" naar een "Budget Stagiair" als de situatie verandert.

Waarom Is Dit Belangrijk?

Het artikel testte dit op twee soorten taken:

Het omzetten van Engelse vragen naar SQL-databasequeries (NL2SQL): Alsof je vraagt "Wat waren de verkopen vorig kwartaal?" en de AI de code schrijft om dit te vinden.
Wiskundig Redeneren: Het oplossen van complexe wiskundeproblemen die het controleren en hercontroleren van het werk vereisen.

De Resultaten:

Betere Nauwkeurigheid: VineLM kreeg 18% vaker het juiste antwoord dan de oude systemen, zelfs bij gebruik van exact hetzelfde budget. Het is alsof je een beter cijfer haalt voor een toets zonder extra bijles te betalen.
Goedkopere Opzet: Door de truc van "Cascade Profiling" kostte het 98–99,8% minder om de kaart te bouwen dan het zou hebben gekost om elke enkele mogelijkheid te testen.
Minder Time-outs: Als een stap langer duurde dan verwacht, kon VineLM direct overschakelen naar een sneller plan om binnen de tijdslimiet te blijven. Het verminderde "time-out"-fouten met tot 85%.

De Conclusie

VineLM behandelt AI-workflows niet als een star, vooraf geschreven script, maar als een dynamische reis. Het stelt het systeem in staat om bij elke enkele stap kleine, slimme aanpassingen te maken, zodat je het best mogelijke resultaat krijgt voor het minste bedrag aan geld en tijd, zonder vast te komen zitten in een slecht plan alleen omdat je het aan het begin hebt ondertekend.

Technische Samenvatting: VineLM

Probleemstelling

Moderne AI-toepassingen vertrouwen steeds vaker op agentische workflows, die configureerbare Large Language Model (LLM)-fasen afwisselen met tool-fasen (bijvoorbeeld SQL-uitvoering, retrieval) en vaak verfijningsslussen (hervattingen) bevatten om de outputkwaliteit te verbeteren. Bestaande workflow-managers, zoals Murakkab, maken gebruik van grofkorrelige controle. Deze systemen profileren volledige workflow-configuraties offline en wijzen elke binnenkomende aanvraag een statisch, workflow-niveau plan toe. In dit paradigma is een specifiek model gebonden aan een fase-sjabloon voor de volledige duur van een aanvraag. Bijgevolg moet, als een workflow een verfijningsslus bevat, hetzelfde model voor elke iteratie van die slus worden hergebruikt, ongeacht tussentijdse uitvoeringsfeedback of veranderende budgetbeperkingen.

Deze statische aanpak beperkt de prestaties op twee kritieke manieren:

Onduidelijkheid in Verfijningsslussen: Het optimale model voor een vroege reparatiepoging (vaak een goedkoper, sneller model) kan verschillen van het optimale model voor een latere poging (die mogelijk een krachtiger model vereist om complexe fouten op te lossen). Grofkorrelige controle kan geen modellen mengen over iteraties van dezelfde slus.
Gebrek aan Runtime-adaptatie: Statische plannen zijn gebaseerd op offline gemiddelden. Als een vroege fase-uitvoering meer latentie of kosten verbruikt dan verwacht door runtime-variabiliteit, kan het vooraf vastgelegde downstream-plan onuitvoerbaar worden (in strijd met SLO's) of suboptimaal. Huidige systemen heroverwegen geen modelkeuzes na elke fase-uitvoering.

Methodologie: VineLM

De auteurs stellen VineLM voor, een workflow-manager die fijnkorrelige controle mogelijk maakt door het model voor elke fase-uitvoering dynamisch te selecteren naarmate de uitvoering vordert.

1. Formulering van de Uitvoeringstrie

VineLM vertegenwoordigt de ruimte van haalbare uitvoeringen als een geannoteerde uitvoeringstrie:

Structuur: Elke knoop komt overeen met een prefix van modelkeuzes die tot nu toe in een workflow-run zijn tegengekomen. In tegenstelling tot een volledige boom, respecteert de trie de workflow-semantiek (bijvoorbeeld geldige overgangen, slusgrenzen).
Gedeelde Prefixen: Knopen vertegenwoordigen gedeelde prefixen over veel kandidaat-volledige paden, waardoor het systeem efficiënt kan redeneren over een grote beslissingsruimte.
Annotaties: Knopen zijn geannoteerd met geschatte metrieken: verwachte cumulatieve kosten ( $\bar{C}$ ), verwachte cumulatieve latentie ( $\bar{T}$ ) en verwachte nauwkeurigheid ( $\bar{A}$ ).

2. Offline Trie-constructie (Sparce Profileren)

Het volledig profileren van elke aanvraag op elk pad is onhaalbaar vanwege de combinatorische explosie van paden. VineLM lost dit op via een sparce profileringspijplijn:

Checkpointing: Om het opnieuw uitvoeren van gedeelde prefixen te vermijden, maakt het systeem een checkpoint van de staat na gemeenschappelijke prefixen en hergebruikt deze om verschillende suffixen te evalueren.
Cascadesampling: Voor elke gesamplede aanvraag voert het systeem een willekeurige diepte-1-modeluitvoering uit. Als deze faalt, gaat het door naar een diepte-2-extensie, en zo verder. Dit genereert "gratis" labels via subtree-vulling: als een query slaagt bij een prefix, worden alle extensies van die prefix als succesvol gemarkeerd.
Cascadedecompositie: Standaard matrixcompletie faalt hier omdat het waarnemingspatroon Missing Not At Random (MNAR) is; diepere paden worden alleen waargenomen bij aanvragen waarbij eerdere fasen faalden. VineLM gebruikt een cascadedecompositie-schatter om deze bias te corrigeren. Het behandelt het waargenomen succespercentage van een diepte- $d$ -pad als de conditionele waarschijnlijkheid van succes, gegeven dat alle vorige fasen faalden, en combineert dit met het onvoorwaardelijke succes van eerdere fasen om de ware padnauwkeurigheid te schatten.
Low-Rank Gladdening: Om ruis in diepe paden met weinig samples te verminderen, past het systeem rang-1 SVD-projectie toe op conditionele nauwkeurigheidschattingen.

3. Online Modelselectie

Tijdens runtime wisselt VineLM uitvoering en controle af:

Herworteling: Na voltooiing van elke fase-uitvoering root de controller de trie opnieuw op de gerealiseerde uitvoeringsprefix.
Dynamische Herplanning: De controller doorzoekt de resterende subtrie (nakomelingen van de huidige knoop) om het optimale suffix te vinden op basis van de gerrealiseerde latentie/kosten tot nu toe en het resterende budget.
Load-bewustzijn: Als schattingen van de belasting beschikbaar zijn, inflateert de controller de latentie-schattingen voor overbelaste backends en stuurt aanvragen weg van paden die waarschijnlijk SLO's zullen schenden.
Uitsnijding: Het zoeken maakt gebruik van de monotonie van metrieken (kosten en latentie nemen toe, nauwkeurigheid neemt niet af langs een pad) om onhaalbare of suboptimale takken te verwijderen.

Belangrijkste Bijdragen

Demonstratie van Beperkingen van Grofkorrelige Controle: Het artikel toont aan dat het binden van een enkel model aan een verfijningsslus aanzienlijke prestaties onbenut laat, vooral wanneer gemengde-modeltrajecten vereist zijn om kosten/latentie-beperkingen te voldoen terwijl de nauwkeurigheid wordt gemaximaliseerd.
Trie-gebaseerde Formulering: Het formuleert fijnkorrelige workflow-controle als een zoektocht over een geannoteerde uitvoeringstrie van workflow-prefixen, wat efficiënte offline schatting en online adaptatie mogelijk maakt.
VineLM-systeem: Het ontwerp en de implementatie van VineLM, dat de trie-formulering combineert met checkpointing, cascaderend profileren en dynamische herworteling om modelselectie per uitvoering mogelijk te maken.
Empirische Validatie: Evaluatie op NL2SQL en wiskundig redeneringsworkflows die verbeteringen in de kosten-latentie-nauwkeurigheidsfrontier aantonen met minimale profileringskosten.

Resultaten

Het artikel evalueert VineLM op NL2SQL (met 8 en 2 kandidaat-modellen) en MathQA (zelfreflectie) workflows, in vergelijking met baselines in de stijl van Murakkab.

Verbetering van Nauwkeurigheid: VineLM bereikt tot 18% hogere nauwkeurigheid bij hetzelfde budget per aanvraag in vergelijking met grofkorrelige workflow-niveau baselines.
Efficiëntie van Profileren: De sparce profileringsaanpak vermindert de offline profileringskosten met 98–99,8% in vergelijking met exhaustief profileren. Bij een profileringsdekking van 2% bereikt de schatter van VineLM een Gemiddelde Absolute Fout (MAE) van ~1% bij het voorspellen van padnauwkeurigheid, wat nauw overeenkomt met de prestaties van een volledig geprofieleerde trie.
Compliance met Latentie-SLO's: Dynamische herworteling vermindert latentie-SLO-schendingen met tot 85% in vergelijking met statische plannen, vooral onder runtime-ladingvariatie. Load-bewuste herplanning vermindert schendingen verder onder hoge belasting.
Overhead: De runtime-overhead van dynamische herplanning is verwaarloosbaar (bijvoorbeeld 0,592% van de snelste LLM-aanrooptijd voor de MathQA-workflow).

Betekenis en Beweringen

Het artikel beweert dat agentische workflows moeten worden gecontroleerd via online beleidslijnen over uitvoeringsprefixen in plaats van vaste workflow-configuraties. Door over te stappen van grofkorrelige, statische toewijzingen naar fijnkorrelige, dynamische selectie, kunnen systemen de afwegingen tussen kosten, latentie en nauwkeurigheid beter navigeren in aanwezigheid van slussen en runtime-variabiliteit. VineLM toont aan dat dit niveau van controle praktisch is, en dat het bijna optimale prestaties bereikt met een fractie van de profileringskosten die door exhaustieve methoden worden vereist. Het werk suggereert dat de beslissingsgranulariteit van workflow-managers een kritieke factor is bij het optimaliseren van agentische systemen, en dat de "combinatorische explosie" van fijnkorrelige paden effectief kan worden beheerd via gestructureerde zoekruimten (tries) en efficiënte schattings technieken.