💻 computer science

Towards Scalable Customization and Deployment of Multi-Agent Systems for Enterprise Applications

Dieses Paper schlägt ein einheitliches zweistufiges Framework vor, das fortschrittliche Techniken zur Modell-Customization mit Inferenz-Optimierungen wie Speculative Decoding und FP8-Quantisierung kombiniert, um eine skalierbare, kosteneffiziente und robuste Bereitstellung von LLM-basierten Multi-Agenten-Systemen für Unternehmensanwendungen zu ermöglichen, wobei eine 4,48-fache Durchsatzsteigerung erzielt wird.

Ursprüngliche Autoren: Paresh Dashore, Shreyas Kulkarni, Uttam Gurram, Nadia Bathaee, Kartik Balasubramaniam, Genta Indra Winata, Sambit Sahu, Shi-Xiong Zhang

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paresh Dashore, Shreyas Kulkarni, Uttam Gurram, Nadia Bathaee, Kartik Balasubramaniam, Genta Indra Winata, Sambit Sahu, Shi-Xiong Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein geschäftiges, exklusives Autohaus. Sie haben ein Team aus fünf brillanten, spezialisierten Experten (ein Multi-Agenten-System), die zusammenarbeiten, um einem Kunden bei der Planung einer Probefahrt zu helfen.

Der Versteher hört zu, was der Kunde möchte.
Der Planer überlegt sich die besten Schritte.
Der Evaluator fungiert als Sicherheitswächter und prüft, ob der Plan sicher und logisch ist.
Der Ausführende bucht tatsächlich den Termin.
Der Erklärer vermittelt dem Kunden die abschließenden Details.

In der Vergangenheit wurde dieses Team von einem „Super-Experten“ (einem massiven KI-Modell) geleitet. Obwohl der Super-Experte unglaublich klug war, war er langsam, teuer einzustellen und nahm eine riesige Menge Platz in Ihrem Büro (Rechenleistung) ein. Wenn ein Kunde eine komplexe Frage stellte, musste das Team den Super-Experten fünf separate Male aufrufen, was zu langen Wartezeiten und hohen Rechnungen führte.

Die Autoren dieser Arbeit (von Capital One) wollten die Intelligenz des Teams beibehalten, es aber schneller, günstiger und einfacher zu betreiben machen. Dies erreichten sie in zwei Hauptphasen: Training eines neuen Praktikanten und Optimierung des Arbeitsablaufs.

Phase 1: Training eines neuen Praktikanten (Agentic Model Customization)

Anstatt sich für jede einzelne Aufgabe auf den langsamen Super-Experten zu verlassen, entschieden sie sich, einen kleineren, schnelleren „Praktikanten“ (ein kompaktes KI-Modell) zu trainieren, um den Job zu erledigen. Aber sie gaben dem Praktikanten nicht einfach nur ein Lehrbuch; sie nutzten ein cleveres dreistufiges Trainingslager:

Schritt 1: Der kontextuelle Crashkurs (Continual Pretraining):
Normalerweise, wenn man einem neuen Mitarbeiter eine spezifische Branche (wie den Autoverkauf) beibringt, kann es passieren, dass er vergisst, wie man normales Englisch spricht, oder sein allgemeines Wissen verliert. Um dies zu verhindern, gaben die Autoren dem Praktikanten vor jeder Lektion „Kontext-Hinweise“. Stellen Sie sich vor, Sie lesen ein Kapitel eines Buches, aber bevor Sie anfangen, lesen Sie eine kurze Zusammenfassung des vorherigen Kapitels. Dies hielt den Praktikanten flüssig und verhinderte, dass er seine allgemeinen Fähigkeiten verlor, während er die Regeln des Autohauses lernte.
Schritt 2: Dem Meister beim Zuschauen (Supervised Fine-Tuning):
Der Praktikant beobachtete den Super-Experten dabei, wie dieser tausende echte Kundengespräche handhabte. Der Super-Experte machte jedoch manchmal kleine Fehler oder gab Antworten, die zwar technisch korrekt, aber nicht perfekt waren. Um dies zu korrigieren, nutzten sie eine noch intelligentere „Richter“-KI, die die Arbeit des Super-Experten überprüfte und die Antworten perfekt umschrieb. Der Praktikant lernte dann aus diesen perfekten umgeschriebenen Antworten, nicht aus den rohen.
Schritt 3: Lernen, was Kunden wirklich gefällt (Preference Optimization):
Manchmal gibt es zwei Wege, eine Frage zu beantworten. Der eine ist sicher, der andere ist riskant. Der Praktikant musste lernen, welchen Weg der Kunde bevorzugt. Das Team zeigte dem Praktanten Paare von Antworten: „Diese Antwort ist gut (Gewählt)“ vs. „Diese Antwort ist schlecht (Abgelehnt)“. Der Praktant lernte, den „Gewählten“ Pfad zu wählen, um sein Verhalten mit dem abzustimmen, was das Unternehmen tatsächlich wollte.

Das Ergebnis: Sie hatten nun einen winzigen, schnellen Praktikanten, der bei seinem Job genauso gut war wie der riesige Super-Experte, aber viel leichter und einfacher zu verwalten war.

Phase 2: Den Arbeitsablauf supercharged (Inference Optimization)

Selbst mit einem schnellen Praktikanten war das System noch etwas langsam, weil die Art und Weise, wie der Computer die Informationen verarbeitete, ihn bremste. Sie fügten zwei „Turbo-Boosts“ hinzu:

Der „Rate und Prüfe“-Trick (Speculative Decoding):
Normalerweise schreibt die KI Wort für Wort und überprüft ihre Arbeit nach jedem einzelnen Buchstaben. Das ist so, als würde man einen Satz Buchstabe für Buchstabe tippen und nach jedem Buchstaben die Eingabetaste drücken.
Die Autoren fügten einen kleinen „Entwurfs-Assistenten“ (eine sehr kleine KI) hinzu, der die nächsten Wörter vorhersagt, bevor der Haupt-Praktikant sie schreibt. Der Haupt-Praktikant prüft dann schnell, ob diese Vermutungen richtig sind. Wenn ja, akzeptiert er alle auf einmal. Es ist, als würde der Entwurfs-Assistent den ganzen Satz auf eine Serviette schreiben und der Praktikant müsste nur noch „Genehmigt“ darauf stempeln. Dies spart eine enorme Menge Zeit.
Die „Leichtgewichtige Uniform“ (FP8 Quantization):
KI-Modelle tragen normalerweise schwere „Kleidung“ (hochpräzise mathematische Zahlen), die viel Speicherplatz beanspruchen. Die Autoren tauschten diese schweren Kleider gegen „leichtgewichtige Uniformen“ (eine spezifische Art der komprimierten Mathematik namens FP8) aus. Dies sorgte dafür, dass das Modell nur halb so viel Speicher verbrauchte und doppelt so schnell lief, ohne dass der Praktant vergaß, wie er seinen Job macht.

Das Endergebnis

Durch die Kombination des Smarten Praktikanten mit dem „Rate und Prüfe“-Trick und der „Leichtgewichtigen Uniform“ erreichte das Team etwas Erstaunliches:

Geschwindigkeit: Das System ist nun 4,48 Mal schneller als das ursprüngliche Setup.
Qualität: Das neue System wurde nicht dümmer; es handhabte komplexe, knifflige Situationen (wie lange Gespräche oder ungewöhnliche Anfragen) sogar noch besser als das ursprüngliche riesige Modell.
Kosten: Da es schneller ist und weniger Speicher benötigt, kostet es viel weniger im Betrieb.

Die große Lektion:
Das Paper lehrt uns, dass man kein riesiges, langsames Gehirn braucht, um komplexe Probleme zu lösen. Wenn man ein kleineres Gehirn sorgfältig trainiert (mit den richtigen Daten und Methoden) und ihm die richtigen Werkzeuge gibt (wie den „Rate und Prüfe“-Trick), kann man ein System bauen, das sowohl unglaublich schnell als auch unglaublich intelligent ist. Es geht darum, smarter zu arbeiten, nicht nur härter.

Technisches Resümee: Hin zu skalierbarer Anpassung und Bereitstellung von Multi-Agenten-Systemen für Unternehmensanwendungen

Problemstellung

Obwohl auf Large Language Models (LLM) basierende Multi-Agenten-Systeme eine starke Leistung bei komplexen Denkprozessen und der Aufgabenausführung zeigen, steht deren produktive Bereitstellung in Unternehmensumgebungen vor erheblichen Hürden. Die primären Herausforderungen umfassen:

Latenz und Kosten: Die Koordination mehrerer LLM-Aufrufe über spezialisierte Agenten hinweg verursacht erhebliche kumulative Latenz und Rechenaufwand, was oft die strengen Service-Level-Agreements (SLA) verletzt (z. B. eine End-zu-End-Latenz im Sub-Sekundenbereich).
Skalierbarkeit: Das Bereitstellen großer Modelle mit einer hohen Anzahl an Parametern erhöht die Infrastrukturkosten und begrenzt den Durchsatz, insbesondere bei Anwendungen mit hohem Volumen.
Anpassbarkeit: Unternehmenssysteme erfordern domänenspezifische Fähigkeiten. Die Abhängigkeit von mehreren unabhängigen Modellen für verschiedene Agentenrollen ist schwierig zu warten und zu skalieren. Umgekehrt ist die Komprimierung von Wissen in kleinere Modelle mittels Destillation essenziell für die Beschleunigung, birgt jedoch das Risiko, die aufgabenspezifische Leistung und Robustheit zu beeinträchtigen.

Methodik

Die Autoren schlagen ein einheitliches End-to-End-Framework vor, das aus zwei Hauptphasen besteht: Agentic Model Customization (Agentische Modellanpassung) und Inference Optimization (Inferenzoptimierung). Das System wird an einem kundenzentrierten Automobil-Einzelhandels-Chatbot demonstriert, der von einer fünfstufigen sequenziellen Pipeline (Understander, Planner, Evaluator, Executor, Explainer) gesteuert wird.

1. Agentic Model Customization

Diese Phase konzentriert sich darauf, agentische Fähigkeiten von einem großen „Lehrer“-Modell ( $\pi_T$ ) in ein kompaktes „Schüler“-Modell ( $\pi_\theta$ ) zu destillieren und dabei spezialisierte Fähigkeiten zu bewahren.

Datensynthese: Ein User-Simulator ( $S$ ), der durch optimierte Prompts gesteuert wird, generiert hochgradig authentische Multi-Turn-Konversationsverläufe. Diese Verläufe werden durch einen LLM-as-a-Judge ( $J$ ) verfeinert, dessen Fähigkeiten das Lehrer-Modell übertreffen, um eine qualitativ hochwertige Argumentation zu gewährleisten.
Trainings-Pipeline:
- Stufe 0 (Modell-Kuratierung): Das Schüler-Modell wird initialisiert, indem eine Block-Expansion auf ein Basis-Foundation-Modell (Llama 3.1 8B) angewendet wird, wobei neue Transformer-Blöcke eingefügt werden, um die Kapazität für die Domänenadaption zu erhöhen, ohne das ursprüngliche Verhalten zu stören.
- Stufe 1 (Context-aware Continual Pretraining - CPT): Um sich an Domänendaten anzupassen, ohne katastrophales Vergessen zu erleiden, führen die Autoren Context-aware CPT ein. Diese Methode setzt kontextspezifischen Kontext ( $C_x$ ) vor die Trainingsdokumente, um Token-Level-Loss-Spitzen am Anfang von Sequenzen zu glätten und verrauschte Gradienten zu reduzieren.
- Stufe 2 (Supervised Fine-Tuning - SFT): Das Modell durchläuft SFT unter Verwendung von Low-Rank Adaptation (LoRA) auf den durch den Judge verfeinerten Instruktions-Folge-Verläufen. LoRA wird eingesetzt, um Overfitting auf spezifische Prompt-Strukturen zu verhindern und die Zero-Shot-Generalisierung zu bewahren.
- Stufe 3 (Direct Preference Optimization - DPO): Das Modell wird mittels gewählter/abgelehnter Triplets an gewünschten Präferenzen ausgerichtet. Diese Stufe korrigiert subtile logische Fehler und richtet den Schüler an der Logik des Judges aus, um die verbleibende Fähigkeitslücke zu schließen.

2. Inference Optimization

Diese Phase optimiert das trainierte Schüler-Modell für die effiziente Bereitstellung.

EAGLE Speculative Decoding: Ein leichtgewichtiges EAGLE-Draft-Modell (250 Millionen Parameter) wird auf den Hidden States und Antworten des Schüler-Modells trainiert. Es sagt Tokens voraus, die parallel vom Zielmodell verifiziert werden, was die Generierung beschleunigt und gleichzeitig die Genauigkeit garantiert. Die Autoren untersuchen das Training des Drafters auf synthetischen, externen und gemischten Datenquellen.
FP8-Quantisierung: Die Autoren wenden Post-Training Quantization (PTQ) mittels FP8 (E4M3) sowohl für Gewichte als auch für Aktivierungen (W8A8) an. Dies reduziert den Speicherbedarf und erhöht den Rechendurchsatz. Entscheidend ist, dass sie ein gemischtes Kalibrierungsdatensatz-Verfahren (Kombination aus öffentlichen und domänenspezifischen synthetischen Daten) nutzen, um sicherzustellen, dass die Quantisierungsskalen für Long-Context-Produktionsprompts robust sind und stille Regressionen verhindern.

Wichtigste Beiträge

Produktionsreifes Framework: Die Arbeit präsentiert eine integrierte Pipeline, die agentische Modellanpassung (Destillation) mit Inferenzoptimierung (Speculative Decoding + Quantisierung) speziell für reale Enterprise-Multi-Agenten-Systeme kombiniert.
End-to-End Trainings-Pipeline: Die Autoren beschreiben einen systematischen Trainingsprozess, der ein durch einen User-Simulator gesteuertes Datengenerierungs-Framework und einen sequenziellen Trainingsansatz (CPT $\to$ SFT $\to$ DPO) umfasst. Sie zeigen auf, dass die Präferenzoptimierung essenziell ist, um eine wettbewerbsfähige Leistung zu erzielen.
Empirische Erkenntnisse zur Optimierung:
- Datenmischung: Sorgfältig kuratierte Mischungen aus proprietären und öffentlichen Daten ermöglichen eine nahezu verlustfreie Beschleunigung.
- EAGLE-Tuning: Anwendungsspezifische EAGLE-Drafter, insbesondere solche, die auf synthetischen Domänendaten trainiert wurden, übertreffen generische Varianten bei den Token-Akzeptanzraten signifikant.
- Kalibrierungsstrategie: Es wurde gezeigt, dass gemischte Kalibrierungsdaten entscheidend sind, um die Leistung unter FP8-Quantisierung zu bewahren, insbesondere in den für die Produktion typischen Long-Context-Szenarien.

Ergebnisse

Das Framework wurde auf einer AWS EC2 P5 Instanz (8x NVIDIA H100 GPUs) mit einem 10-Milliarden-Parameter-Schüler-Modell evaluiert, das von einem 70-Milliarden-Parameter-Lehrer destilliert wurde.

Durchsatz und Latenz: Das optimierte Modell ( $\pi^{EAGLE+FP8}_\theta$ ) erreicht eine 4,48-fache Beschleunigung des Durchsatzes im Vergleich zum ursprünglichen 70B-Lehrer-Modell und reduziert die P90-Latenz von 3,92s auf 0,92s.
Qualitätserhaltung: Das destillierte Schüler-Modell übertrifft den 70B-Lehrer in spezifischen Agentenrollen (Planner und Understander) und behält eine nahezu identische Leistung wie das unquantisierte Schüler-Modell bei. Es erreicht eine 100%ige Erfolgsquote bei End-to-End-Funktionstests, die komplexe Geschäftslogik-Umschaltungen beinhalten.
Komponentenanalyse:
- Allein die Destillation (CPT+SFT+DPO) lieferte eine 2,33-fache Beschleunigung gegenüber dem Lehrer.
- Das Hinzufügen von EAGLE und FP8-Quantisierung lieferte eine zusätzliche 1,92-fache Beschleunigung gegenüber dem destillierten Baseline-Modell.
- Synthetische Trainingsdaten für den EAGLE-Drafter erwiesen sich als effektiver als externe Daten allein, wobei kombinierte Daten die besten Ergebnisse lieferten.
- Greedy Decoding für den EAGLE-Drafter lieferte trotz geringerer mittlerer generierter Länge (MGL) in Hochkonkurrenz-Szenarien einen höheren Durchsatz als Tree Decoding.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Verbesserungen bei der Bereitstellung von Multi-Agenten-LLM-Systemen auf der koordinierten Anstrengung von Data Engineering, Modellanpassung und systemseitiger Optimierung beruhen.

Ganzheitliche Optimierung: Die Studie zeigt, dass eine geschichtete Strategie – die Kombination aus CPT-SFT-DPO-Destillation mit kundenspezifischen EAGLE-Drafter und FP8-Quantisierung – nachhaltige, multiplikative Effizienzgewinne (4,48×) liefert, ohne die Aufgabenintelligenz messbar zu beeinträchtigen.
Praktische Lebensfähigkeit: Die Arbeit hebt hervor, dass die Erzeugung hochqualitativer synthetischer Daten (via Agent Simulator) der primäre Flaschenhals für die Schülerleistung ist und dass eine LoRA-basierte Anpassung notwendig ist, um die Flexibilität gegenüber sich entwickelnden Systemprompts zu wahren.
Hardware-Bewusstsein: Die Autoren merken an, dass diese Gewinne von der Hardwareunterstützung (z. B. NVIDIA Hopper GPUs für natives FP8) abhängen und dass der EAGLE-Drafter neu trainiert werden muss, wenn sich die Geschäftslogik ändert, um die Akzeptanzraten aufrechtzuerhalten.

Die Autoren bewahren einen bescheidenen Ton und räumen ein, dass die Kernprinzipien zwar verallgemeinerbar sind, die exakten Leistungssteigerungen jedoch anwendungsspezifisch sind und die Abhängigkeit von automatisierten Judges für die Generierung synthetischer Daten potenzielle Biases einführt, die manuelle Interventionen erfordern.