Technische Samenvatting: Heroverweging van Query-optimalisatie voor Multi-Agent Systemen [Visie]

Probleemstelling

De proliferatie van Large Language Models (LLM's) heeft de adoptie van multi-agent datapijplijnen versneld, waarbij agenten samenwerken om complexe, datagestuurde taken uit te voeren. De huidige constructiemethoden blijven echter ad hoc, leunend op vaste pijplijnstructuren, vooraf geselecteerde modellen en enkele executie-engines. Deze aanpak faalt in het systematisch optimaliseren over heterogene databronnen en engines heen.

De auteurs stellen dat het optimaliseren van agentic pijplijnen een fundamenteel ander probleem is dan traditionele query-optimalisatie vanwege vier centrale uitdagingen:

1. Multi-dimensionale zoekruimte: Optimalisatie moet gezamenlijk de pijplijntopologie, modelselectie en engine-toewijzing bepalen over concurrerende doelstellingen (latentie, kosten en nauwkeurigheid).
2. Variabele topologie: De pijplijnstructuur zelf is een beslissingsvariabele, geen vaststaand plan.
3. Gebrek aan gemeenschappelijke algebra: Het co-existentie van gestructureerde data, ongestructureerde tekst, embeddings en streaming data elimineert een gemeenschappelijke operator-algebra, wat klassieke pruning-technieken verhindert.
4. Stochastische en dure executie: LLM-aanroepen brengen aanzienlijke monetaire kosten met zich mee en vertonen variabiliteit in de kwaliteit van de output, wat naïeve exploratie van de zoekruimte onhaalbaar maakt.

Methodologie en Raamwerk: NOMA

Het artikel presenteert NOMA, een visie op een query-optimalisatieraamwerk dat specifiek is ontworpen voor multi-agent datapijplijnen. NOMA behandelt agenten als eersteklas eenheden van computation en breidt klassieke optimalisatieprincipes (kostenmodellering, plangeneratie, heroptimalisatie) uit naar een setting waar plannen heterogeen, stochastisch en structureel dynamisch zijn.

NOMA wordt geconceptualiseerd als een geïntegreerde optimalisatielus bestaande uit vier sleutelcomponenten die elkaar versterken:

1. Plangeneratie: In plaats van plannen te enumereren, stelt NOMA voor om generatieve modellen te gebruiken die getraind zijn op historische pijplijnen om direct uitvoerbare pijplijnen te genereren in de gezamenlijke optimalisatieruimte (topologie, modellen, engines).
2. Uniforme Kosteninschatting: Het raamwerk beoogt kostenmodellen te bouwen die heterogene agent-kenmerken naar een gedeelde representatie mappen. In plaats van scalaire puntinschattingen, voorspellen deze modellen gekalibreerde distributies over latentie, kosten en nauwkeurigheid om rekening te houden met de stochastische aard van agenten en niet-additieve kwaliteitspropagatie.
3. Runtime Verfijning: Optimalisatie wordt behandeld als een continu proces. Een "pijplijn-refiner" gebruikt Bayesiaanse optimalisatie om de priors van het kostenmodel bij te werken op basis van agent-completions en besluit of de verwachte winst van herplanning de kosten rechtvaardigt.
4. Semantische Caching: Om redundantie aan te pakken, stelt NOMA een cache voor die niet alleen tussenresultaten opslaat, maar ook geoptimaliseerde sub-plannen en configuratiebeslissingen. Het indexeert deze artefacten semantisch (met behulp van embeddings) in plaats van syntactisch om hergebruik over structureel verschillende pijplijnen mogelijk te maken.

Belangrijkste Bijdragen en Resultaten

Het artikel levert vier primaire bijdragen, ondersteund door gecontroleerde experimenten en real-world analyses:

1. Kwantificering van Suboptimale Kosten:

   • Experiment: Een gecontroleerd experiment werd uitgevoerd op een real-world 10-agent pijplijn (betreffende klantenservice-rapportage) met 186.624 mogelijke plannen onder een vaste topologie.
   • Bevindingen: De planruimte vertoonde extreme variantie: 153× in monetaire kosten, 5× in latentie en een 25% gat in kwaliteit.
   • Observatie: Optimale plannen waren heterogene configuraties (bijv. het mixen van verschillende LLM's op basis van taakcomplexiteit) die geen enkele gebruiker handmatig zou construeren. De Pareto-front was rijk, waarbij een verbetering van 19% in kwaliteit 138× meer kon kosten, terwijl een gebalanceerd plan de kosten met 65% kon verlagen met minimaal kwaliteitsverlies.
   • Impact van Topologie: Het wijzigen van de topologie (bijv. het toevoegen van een conditionele verfijningslus) stelde het systeem in staat om prestatiepunten te bereiken die buiten de Pareto-front van vaste-topologie plannen lagen, wat bewijst dat topologie een kritieke optimalisatie-as is.

2. Analyse van Real-world Deployments:

   • Omvang: Analyse van 62 real-world agentic pijplijn-deployments en 9.000 geconstrueerde pijplijnen.
   • Bevindingen:
     • Complexiteit: Pijplijnen groeien in complexiteit (vaak 5–10+ taken).
     • Gewoontematige Selectie: Modelselectie wordt gedreven door vertrouwdheid in plaats van kosten-kwaliteit afwegingen; gebruikers hergebruiken dezelfde beperkte set modellen.
     • Inefficiënte Topologieën: Eenvoudige ketens domineren (34%), waarbij ze er niet in slagen parallellisme of feedbackloops te benutten.
     • Onderbenutte Engines: Engine-toewijzing wordt zelden geoptimaliseerd, waarbij de meeste taken draaien op standaard gestructureerde databases ondanks de beschikbaarheid van streaming of vector engines.
     • Redundantie: Kerntaken (ingestie, extractie, rapportage) komen frequent terug zonder gedeelde computation.

3. Probleemformalisering:

   • Het artikel definieert formeel de Abstract Multi-Agent Pipeline (een logische graaf van agenten) en de Executable Multi-Agent Pipeline (een concrete graaf met specifieke modellen, engines en structurele transformaties zoals fusie, splitsing of herordening).
   • Het doel is gedefinieerd als het vinden van Pareto-optimale uitvoerbare pijplijnen ($G^*$) uit een abstracte pijplijn ($G$) onder meerdere doelstellingen.

4. Onderzoeksagenda:

   • Het artikel schetst specifieke openstaande onderzoeksvragen voor de community, waaronder hoe trainingsdata voor generatieve modellen te bootstrappen zonder uitputtende exploratie, hoe heterogene kosten-signalen te verenigen in uniforme distributies, hoe continue optimalisatie onder stochastische executie te beheren, en hoe semantische equivalentie voor caching te definiëren.

Betekenis en Visie

Het artikel stelt dat de huidige staat van multi-agent pijplijnen "fundamenteel niet-geoptimaliseerd" is en dat de kloof tussen huidige praktijken en optimale prestaties "ernstig en onvermijdelijk" is.

De betekenis van NOMA ligt in het voorstel voor een paradigmaverschuiving:

• Van Statisch naar Adaptief: Van het optimaliseren van queries over vaste plannen naar het continu synthetiseren en aanpassen van pijplijnen.
• Optimalisatie als een Persistente Functie: Optimalisatie wordt een continu systeemfunctie in plaats van een fase vóór de executie.
• Zelf-evoluerende Systemen: Naarmate het systeem executie-ervaring opbouwt, herschrijven pijplijnconfiguraties (topologie, modellen, strategieën) zichzelf continu.

De auteurs positioneren NOMA als een oproep tot actie voor de database-, systemen- en machine learning-communities om gezamenlijk de uitdagingen van query-optimalisatie voor multi-agent systemen aan te pakken, met als doel de fundamenten te leggen voor een nieuwe klasse van optimizers die verder gaan dan statische pijplijnen richting adaptieve, kostenbewuste executie.