💻 computer science

Rethinking Query Optimization for Multi-Agent Systems [Vision]

Dieses Paper stellt NOMA vor, ein neuartiges Abfrageoptimierungs-Framework für Multi-Agenten-Datenpipelines, das die einzigartigen Herausforderungen heterogener Datenmodelle und variabler Topologien adressiert, indem es Topologie-, Modell- und Engine-Auswahlen gemeinsam optimiert, um Kosten und Latenz signifikant zu senken sowie die Qualität zu verbessern, wie empirische Befunde extremer Ineffizienzen aktueller Ad-hoc-Ansätze demonstrieren.

Ursprüngliche Autoren: Zoi Kaoudi, Ioana Giurgiu

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zoi Kaoudi, Ioana Giurgiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager einer riesigen, hochtechnologischen Küche, in der ein Team von Köchen (genannt „Agents“) zusammenarbeitet, um komplexe Mahlzeiten basierend auf Kundenbestellungen zuzubereiten. In der Vergangenheit liefen diese Küchen nach festen Rezepten: Koch A schnippelt immer, Koch B kocht immer, und sie benutzen immer dieselben Öfen. Aber jetzt, mit dem Aufkommen leistungsstarker KI-Tools (Large Language Models), sind diese Küchen chaotisch geworden. Sie haben Dutzende von verschiedenen Köchen, einige sind menschenähnliche KIs, einige sind traditionelle Datenbank-Roboter, und sie können auf unendliche Weise miteinander kommunizieren.

Das Papier „Rethinking Query Optimization for Multi-Agent Systems“ argumentiert, dass unsere aktuelle Art und Weise, diese Küchen zu führen, kaputt ist. Wir raten nur, welcher Koch was macht, welchen Ofen er benutzen soll und in welcher Reihenfolge. Das führt zu verschwendetem Geld, langsamem Service und manchmal schlechtem Essen.

Hier ist die Vision des Papers, einfach erklärt:

1. Das Problem: Das „Ratespiel“ ist zu teuer

Die Autoren führten ein reales Experiment mit einem 10-Köche-Team durch, das Kundensupport-Berichte bearbeitete. Sie testeten tausende verschiedene Möglichkeiten, das Team zu organisieren. Die Ergebnisse waren schockierend:

Kosten: Einige Team-Konfigurationen kosteten 153 Mal mehr als andere.
Geschwindigkeit: Einige Setups brauchten 5 Mal länger, um dieselbe Aufgabe zu erledigen.
Qualität: Die Genauigkeit des fertigen Berichts variierte um 25 %.

Die Metapher: Stellen Sie sich vor, Sie müssen von New York nach Boston fahren. Derzeit wählen Entwickler einfach ein Auto und eine Route basierend auf Gewohnheit. Sie fahren vielleicht mit einem riesigen LKW auf einer Nebenstraße (teuer und langsam), obwohl ein kleiner Sportwagen auf der Autobahn (günstig und schnell) perfekt gewesen wäre. Das Papier zeigt, dass die „beste“ Route nicht offensichtlich ist; es ist eine seltsame Mischung aus einem kleinen Auto für einen Teil der Reise und einem schnellen Zug für einen anderen Teil, die kein Mensch jemals manuell planen würde.

2. Die neue Herausforderung: Es ist nicht nur ein Rezept, es ist ein lebendiges Wesen

In alten Datenbanksystemen war das „Rezept“ (der Plan) fixiert. Der Optimizer entschied nur über die Reihenfolge der Schritte.
In dieser neuen KI-Welt ist das Rezept selbst eine Variable.

Topologie: Soll Koch A direkt mit Koch B sprechen oder sollte er über einen Manager gehen? Sollen sie in einer Reihe oder in einem Kreis arbeiten?
Modellauswahl: Soll eine billige, schnelle KI für einfache Aufgaben und eine superteure, intelligente KI für schwierige Aufgaben verwendet werden?
Engine-Auswahl: Soll diese Aufgabe auf einem Supercomputer oder einem Standard-Server laufen?

Das Papier argumentiert, dass man diese Dinge nicht getrennt optimieren kann. Man muss sie alle gleichzeitig lösen, wie der Versuch, einen Rubik's Cube zu lösen, bei dem sich die Farben ständig ändern.

3. Die Lösung: NOMA (Der „smarte Küchenmanager“)

Die Autoren schlagen ein neues Framework namens NOMA vor. Stellen Sie sich NOMA als einen superintelligenten Küchenmanager vor, der nicht nur ein Rezept befolgt, sondern bei jeder Bestellung das beste Rezept erfindet.

NOMA arbeitet mit vier Tricks:

Der kreative Generator (Variable Search): Anstatt jede mögliche Kombination auszuprobieren (was unmöglich ist), nutzt NOMA KI, um neue Teamstrukturen zu imaginieren. Es könnte sagen: „Lass uns diese zwei Köche zu einem Super-Koch verschmelzen“, oder „Lassen uns diese Aufgabe in zwei kleinere Schritte aufteilen“. Es erstellt Pläne, auf die Menschen nicht kommen würden.
Die Kristallkugel (Unified Cost Models): Es sagt die Zukunft voraus. Es schätzt, wie viel Geld, Zeit und Qualität eine bestimmte Team-Konfiguration produzieren wird. Da KI jedoch unvorhersehbar ist (manchmal macht sie Fehler), liefert diese „Kristallkugel“ nicht nur eine einzige Zahl, sondern einen Bereich von Möglichkeiten, um die Unsicherheit zu berücksichtigen.
Der Pilot während des Fluges (Continuous Refinement): In alten Systemen kann man, sobald das Flugzeug abgehoben hat, die Route nicht mehr ändern. In NOMA beobachtet das System die Köche während der Arbeit. Wenn ein Koch Schwierigkeiten hat oder die Daten merkwürdig aussehen, kann der Manager den Plan für die verbleibenden Schritte sofort ändern. Es ist wie ein Pilot, der das Flugzeug während des Fluges umleitet, um einem Sturm auszuweichen.
Die Gedächtnisbank (Semantic Caching): Wenn die Küche bereits eine „Hühnersuppe“ für einen Kunden zubereitet hat und ein neuer Kunde nach „einer warmen Brühe mit Huhn“ fragt, erkennt das System, dass es dasselbe ist (auch wenn die Wörter anders sind), und nutzt das Ergebnis wieder. Das spart enorme Mengen an Geld und Zeit.

4. Die große Vision

Das Papier kommt zu dem Schluss, dass wir aufhören müssen, diese KI-Pipelines als statische Programme zu behandeln, die einmal geschrieben und dann vergessen werden. Stattdessen sollten sie selbst-entwickelnde Artefakte sein.

Genau wie ein lebender Organismus sich an seine Umgebung anpasst, sieht NOMA ein System vor, das ständig lernt:

Es lernt, welche Köche am besten zusammenarbeiten.
Es lernt, wann es teure Werkzeuge gegenüber günstigen einsetzt.
Es lernt, Geld zu sparen, indem es Aufgaben zu günstigeren Zeiten ausführt.

Kurz gesagt: Das Papier sagt: „Hört auf zu raten. Lasst uns ein System bauen, das automatisch sein Team von KI-Arbeitern entwirft, testet und verbessert, um jedes Mal das beste Ergebnis zum niedrigsten Preis zu erzielen.“

Technisches Resümee: Überdenken der Abfrageoptimierung für Multi-Agenten-Systeme [Vision]

Problemstellung

Die Proliferation von Large Language Models (LLMs) hat die Einführung von Multi-Agenten-Datenpipelines beschleunigt, in denen Agenten zusammenarbeiten, um komplexe, datengesteuerte Aufgaben auszuführen. Die derzeitigen Konstruktionsmethoden bleiben jedoch ad hoc und verlassen sich auf feste Pipeline-Strukturen, vorab ausgewählte Modelle und einzelne Ausführungs-Engines. Dieser Ansatz versäumt es, über heterogene Datenquellen und Engines hinweg systematisch zu optimieren.

Die Autoren argumentieren, dass die Optimierung von Agenten-Pipelines ein grundlegend anderes Problem darstellt als die klassische Abfrageoptimierung, aufgrund von vier zentralen Herausforderungen:

Mehrdimensionaler Suchraum: Die Optimierung muss die Pipeline-Topologie, die Modellauswahl und die Engine-Zuweisung gemeinsam über konkurrierende Ziele (Latenz, Kosten und Genauigkeit) hinweg bestimmen.
Variable Topologie: Die Pipeline-Struktur selbst ist eine Entscheidungsvariable, kein fester Plan.
Fehlen einer gemeinsamen Algebra: Das Nebeneinander von strukturierten Daten, unstrukturiertem Text, Embeddings und Streaming-Daten eliminiert eine gemeinsame Operator-Algebra, was klassische Pruning-Techniken verhindert.
Stochastische und teure Ausführung: LLM-Aufrufe verursachen erhebliche monetäre Kosten und weisen eine Variabilität in der Ausgabequalität auf, was eine naive Exploration des Suchraums unpraktikabel macht.

Methodik und Framework: NOMA

Das Paper präsentiert NOMA, eine Vision für ein Abfrageoptimierungs-Framework, das speziell für Multi-Agenten-Datenpipelines entwickelt wurde. NOMA behandelt Agenten als primäre Recheneinheiten und erweitert klassische Optimierungsprinzipien (Kostenmodellierung, Planerzeugung, Re-Optimierung) auf ein Setting, in dem Pläne heterogen, stochastisch und strukturell dynamisch sind.

NOMA ist als integrierter Optimierungskreislauf konzipiert, der aus vier sich gegenseitig verstärkenden Komponenten besteht:

Planerzeugung: Anstatt Pläne zu enumerieren, schlägt NOMA vor, generative Modelle zu verwenden, die auf historischen Pipelines trainiert wurden, um direkt ausführbare Pipelines im gemeinsamen Optimierungsraum (Topologie, Modelle, Engines) zu generieren.
Einheitliche Kostenschätzung: Das Framework zielt darauf ab, Kostenmodelle zu erstellen, die heterogene Agenten-Merkmale in eine gemeinsame Repräsentation abbilden. Anstatt skalare Punktschätzungen zu liefern, sagen diese Modelle kalibrierte Verteilungen über Latenz, Kosten und Genauigkeit voraus, um der stochastischen Natur von Agenten und der nicht-additiven Qualitätsfortpflanzung Rechnung zu tragen.
Laufzeit-Verfeinerung: Optimierung wird als kontinuierlicher Prozess betrachtet. Ein „Pipeline-Refiner“ nutzt Bayessche Optimierung, um die Priors der Kostenmodelle basierend auf den Abschlüssen der Agenten zu aktualisieren und zu entscheiden, ob der erwartete Gewinn einer Re-Planung die Kosten rechtfertigt.
Semantisches Caching: Um Redundanz zu adressieren, schlägt NOMA einen Cache vor, der nicht nur Zwischenergebnisse, sondern auch optimierte Teilpläne und Konfigurationsentscheidungen speichert. Es indiziert diese Artefakte semantisch (mittels Embeddings) statt syntaktisch, um die Wiederverwendbarkeit über strukturell unterschiedliche Pipelines hinweg zu ermöglichen.

Zentrale Beiträge und Ergebnisse

Das Paper leistet vier primäre Beiträge, die durch kontrollierte Experimente und Realwelt-Analysen gestützt werden:

Quantifizierung suboptimaler Kosten:
- Experiment: Ein kontrolliertes Experiment wurde an einer realen 10-Agenten-Pipeline (im Bereich Kundensupport-Reporting) mit 186.624 möglichen Plänen unter einer festen Topologie durchgeführt.
- Ergebnisse: Der Planraum wies eine extreme Varianz auf: 153-fach bei den monetären Kosten, 5-fach bei der Latenz und eine 25 % Lücke in der Qualität.
- Beobachtung: Optimale Pläne waren heterogene Konfigurationen (z. B. die Mischung verschiedener LLMs basierend auf der Aufgabenkomplexität), die kein Nutzer manuell konstruieren würde. Die Pareto-Front war reichhaltig und zeigte, dass eine 19 %ige Qualitätsverbesserung 138-mal mehr kosten konnte, während ein ausgewogener Plan die Kosten um 65 % senken konnte, bei minimalem Qualitätsverlust.
- Topologie-Impact: Die Modifikation der Topologie (z. B. das Hinzufügen einer bedingten Verfeinerungsschleife) ermöglichte es dem System, Leistungspunkte außerhalb der Pareto-Front der Fest-Topologie-Pläne zu erreichen, was beweist, dass die Topologie eine kritische Optimierungsachse ist.
Analyse realer Deployments:
- Umfang: Analyse von 62 realen Agenten-Pipeline-Deployments und 9.000 konstruierten Pipelines.
- Ergebnisse:
  - Komplexität: Pipelines nehmen an Komplexität zu (oft 5–10+ Aufgaben).
  - Gewohnheitsbasierte Auswahl: Die Modellauswahl wird eher durch Vertrautheit als durch Kosten-Qualitäts-Abwägungen getrieben; Nutzer verwenden immer wieder denselben begrenzten Satz an Modellen.
  - Ineffiziente Topologien: Einfache Ketten dominieren (34 %) und versäumen es, Parallelität oder Feedback-Schleifen zu nutzen.
  - Unterausgenutzte Engines: Die Zuweisung von Engines wird selten optimiert; die meisten Aufgaben laufen auf Standard-Strukturdatenbanken, obwohl Streaming- oder Vektor-Engines verfügbar sind.
  - Redundanz: Kernaufgaben (Ingestion, Extraktion, Reporting) treten häufig wieder auf, ohne dass eine gemeinsame Berechnung genutzt wird.
Problemformalisierung:
- Das Paper definiert formal die Abstract Multi-Agent Pipeline (ein logischer Graph von Agenten) und die Executable Multi-Agent Pipeline (ein konkreter Graph mit spezifischen Modellen, Engines und strukturellen Transformationen wie Fusion, Split oder Reordering).
- Das Ziel ist die Findung von Pareto-optimalen ausführbaren Pipelines ( $G^*$ ) aus einer abstrakten Pipeline ( $G$ ) unter multiplen Zielen.
Forschungsagenda:
- Das Paper skizziert spezifische offene Forschungsfragen für die Community, darunter wie man Trainingsdaten für generative Modelle ohne exhaustive Exploration bootstrappt, wie man heterogene Kostensignale in einheitliche Verteilungen harmonisiert, wie man kontinuierliche Optimierung unter stochastischer Ausführung verwaltet und wie man semantische Äquivalenz für das Caching definiert.

Bedeutung und Vision

Das Paper behauptet, dass der aktuelle Zustand von Multi-Agenten-Pipelines „grundlegend unoptimiert“ ist und die Lücke zwischen aktuellen Praktiken und optimaler Leistung „schwerwiegend und unvermeidlich“ ist.

Die Bedeutung von NOMA liegt in seinem Vorschlag für einen Paradigmenwechsel:

Von Statisch zu Adaptiv: Der Übergiegang von der Optimierung von Abfragen über feste Pläne hin zur kontinuierlichen Synthese und Anpassung von Pipelines.
Optimierung als persistente Funktion: Optimierung wird als ein kontinuierliches Systemmerkmal betrachtet und nicht als eine Phase vor der Ausführung.
Selbstentwickelnde Systeme: Während das System Erfahrungen in der Ausführung sammelt, schreiben sich Pipeline-Konfigurationen (Topologie, Modelle, Strategien) kontinuierlich selbst um.

Die Autoren positionieren NOMA als einen Aufruf zum Handeln für die Datenbank-, System- und Machine-Learning-Communities, die Herausforderungen der Abfrageoptimierung für Multi-Agenten-Systeme gemeinsam anzugehen, mit dem Ziel, die Grundlagen für eine neue Klasse von Optimierern zu schaffen, die über statische Pipelines hinausgehen und hin zu adaptiver, kostenbewusster Ausführung führen.