ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die complexe problemen kunnen aanpakken door ze op te delen in kleinere stappen. Deze systemen, bekend als multi-agent workflows, werken als een team van specialisten waarbij verschillende computerprogramma's, elk aangedreven door een groot taalmodel, samenwerken om een enkele taak op te lossen. De ene agent kan de strategie plannen, een andere kan code schrijven, en een derde kan de resultaten controleren. Hoewel deze aanpak machines in staat stelt om open eindproblemen aan te pakken die voorheen onmogelijk waren, brengt het een aanzienlijke prijs met zich mee. Elke keer dat het systeem een model vraagt om na te denken of te handelen, verbruikt het energie en geld. Het gebruik van de krachtigste, meest capabele modellen voor elke afzonderlijke stap is vaak verspillend, terwijl het vertrouwen op alleen kleinere, goedkopere modellen kan leiden tot fouten die later dure correcties vereisen. De centrale uitdaging voor onderzoekers is het vinden van een manier om dynamisch te beslissen welk model op elk specifiek moment gebruikt moet worden, waarbij een balans wordt gezocht tussen de behoefte aan hoogwaardige resultaten en de beperkingen van tijd en budget.

Een team van onderzoekers heeft een nieuw systeem ontwikkeld genaamd PROGROUTER om exact dit probleem op te lossen. In plaats van aan het begin van een taak een enkele beslissing te nemen of blindelings op te schalen naar krachtigere modellen wanneer er iets misgaat, fungeert PROGROUTER als een intelligente dirigent die de workflow in realtime beluistert. Het monitort voortdurend hoeveel vooruitgang het team heeft geboekt, hoe moeilijk de resterende stappen zijn en hoeveel van het budget is uitgegeven. Op basis van deze live beoordeling selecteert het de meest geschikte model voor de volgende stap, waardoor wordt gewaarborgd dat krachtige, dure modellen alleen worden opgeroepen wanneer ze echt nodig zijn om een specifieke hindernis te overwinnen. Deze aanpak stelt het systeem in staat om een hoge prestatie te behouden terwijl het de totale energie en kosten die nodig zijn om een taak te voltooien, aanzienlijk vermindert.

De onderzoekers testten dit systeem op vier verschillende soorten moeilijke taken: het schrijven van computercode, het oplossen van wiskundige problemen en het beantwoorden van complexe vragen die een zoektocht door grote hoeveelheden informatie vereisen. Ze vergeleken PROGROUTER met verschillende bestaande methoden, waaronder strategieën die altijd hetzelfde model gebruiken, strategieën die klein beginnen en pas overschakelen naar grotere modellen wanneer ze vastlopen, en strategieën die vertrouwen op eerdere aannames over wat het beste werkt. De resultaten toonden aan dat vaste strategieën, of ze nu alleen kleine modellen gebruikten of alleen grote modellen, consequent er niet in slaagden om aan de energie- en kostenlimieten te voldoen die voor de experimenten waren gesteld. Kleine modellen liepen vaak vast en vereisten te veel pogingen tot correctie, terwijl grote modellen bij elke oproep te veel energie verbruikten. In contrast hiermee navigeerde PROGROUTER succesvol door het middengebied. Bij de tests voor het schrijven van code behaalde het een succespercentage van 93 procent terwijl het binnen een strikt energiebudget van 4.800 joules bleef. Bij de wiskundige problemen voltooide het taken in slechts 19 seconden met slechts 6.112 joules aan energie, waarmee het alle andere methoden die aan de budgetbeperkingen voldeden, overtrof.

Wat PROGROUTER effectief maakt, is het vermogen om de "status" van het werk te begrijpen terwijl het gebeurt. Het systeem gebruikt een scoremechanisme dat de workflow vanuit meerdere hoeken bekijkt. Het controleert of het algemene plan geldig is, hoeveel subtaken zijn voltooid, of het werk vooruitgaat of stagneert, en de kwaliteit van de tot nu toe gegenereerde informatie. Door deze verschillende perspectieven te combineren, kan het systeem zien of een taak bijna voltooid is of dat het een grote hindernis tegenkomt. Wanneer het werk soepel verloopt, kiest het systeem voor kleinere, snellere en goedkopere modellen om de kosten laag te houden. Echter, als het systeem detecteert dat de workflow vastloopt of dat er een moeilijke stap rest, schakelt het onmiddellijk over naar een krachtiger model om de taak voort te stuwen. Deze beslissing wordt direct en herhaaldelijk gedurende het hele proces genomen, waardoor er geen energie wordt verspild aan onnodig zwaar werk en geen tijd verloren gaat aan stappen die meer intelligentie vereisen dan het huidige model kan bieden.

De studie onthulde ook dat deze adaptieve aanpak werkt, zelfs in open scenario's waar er geen duidelijk goed of fout antwoord is, zoals wanneer een systeem informatie van het internet moet verzamelen om een lang, gedetailleerd rapport te schrijven. In deze scenario's, waar vooruitgang moeilijker te meten is, slaagde PROGROUTER er nog steeds in om de hoogste kwaliteit resultaten te produceren onder alle geteste methoden. Het behaalde een precisiescore van 92,1 procent op deze complexe vragen terwijl het binnen zijn energielimieten bleef. De onderzoekers ontdekten dat het systeem natuurlijk leerde te specialiseren, waarbij het kleine modellen gebruikte voor het merendeel van de routinestappen en de grootste, meest capabele modellen reserveerde voor de kritieke momenten waarop hun extra kracht een echt verschil zou maken. Dit dynamische gedrag stelde het systeem in staat om de veelvoorkomende valkuilen van andere methoden te vermijden, zoals het vastlopen in lussen met zwakke modellen of het te snel opgebruiken van een budget met krachtige modellen.

Uiteindelijk demonstreert het werk dat de toekomst van efficiënte kunstmatige intelligentie niet alleen ligt in het bouwen van betere modellen, maar in het bouwen van betere manieren om ze te gebruiken. Door de selectie van een model te behandelen als een continue, datagestuurde beslissing in plaats van een eenmalige keuze, laat PROGROUTER zien dat het mogelijk is om hoogwaardige resultaten te behalen zonder de verbijsterende kosten die momenteel de schaalbaarheid van deze technologieën beperken. Het systeem bewijst dat met de juiste orchestratie, een team van diverse modellen efficiënter kan samenwerken dan enig enkel model dat alleen werkt, wat een pad biedt naar meer duurzame en toegankelijke AI-systemen die complexe, real-world uitdagingen kunnen aanpakken zonder hun middelen uit te putten.