🤖 AI

Toward Reliable Design of LLM-Enabled Agentic Workflows: Optimizing Latency-Reliability-Cost Tradeoffs

Dieser Beitrag analysiert die grundlegenden Zielkonflikte zwischen Latenz, Zuverlässigkeit und Kosten in LLM-basierten Agenten-Workflows, indem er Leistungsmodelle einführt und optimale Entwurfsstrategien ableitet, einschließlich einer Wasserfüllungs-Strategie zur Token-Allokation, um die Zuverlässigkeit unter gegebenen Randbedingungen zu maximieren.

Ursprüngliche Autoren: Ya-Ting Yang, Quanyan Zhu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ya-Ting Yang, Quanyan Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager eines hochriskanten Staffellauf-Teams. Ihr Team besteht nicht aus Läufern, sondern aus KI-Agenten. Einige dieser Agenten sind „kluge Denker" (Large Language Models oder LLMs), die reasoning betreiben und schreiben können, während andere „spezialisierte Werkzeuge" (wie Rechner oder Datenbanksuchsysteme) sind, die spezifische, schnelle Aufgaben erledigen.

Ihr Ziel ist es, das Team so zuverlässig wie möglich dazu zu bringen, das Rennen zu beenden (ein komplexes Problem zu lösen) – also jedes Mal die richtige Antwort zu erhalten –, doch Sie unterliegen zwei strengen Grenzen:

Zeit: Das Rennen muss vor einer bestimmten Frist beendet sein.
Geld: Sie haben ein begrenztes Budget für „Treibstoff" (Rechenkosten).

Dieser Artikel ist ein Leitfaden, wie Sie Ihren Treibstoff und Ihre Zeit unter Ihren klugen Denk-Agenten verteilen, um das Rennen zu gewinnen, ohne pleitezugehen oder zu langsam zu sein.

Die zwei Arten von „Treibstoff" für kluge Agenten

Wenn ein kluger KI-Agent (ein LLM) arbeitet, erledigt er zwei Dinge, die Geld und Zeit kosten:

Denken (Reasoning-Tokens): Bevor es spricht, „denkt" es intern. Je mehr es denkt, desto besser ist die Lösung, die es findet.
Sprechen (Output-Tokens): Nach dem Denken schreibt es die Antwort auf. Je länger die Antwort, desto klarer und detaillierter ist sie, was ebenfalls zur Zuverlässigkeit beiträgt.

Der Artikel argumentiert, dass Sie nicht jedem Agenten einfach sagen können: „Denke so hart wie möglich und schreibe einen Roman." Sie müssen strategisch vorgehen.

Der Zielkonflikt: Die Kurve der „abnehmenden Grenzerträge"

Die Autoren entdeckten eine Regel darüber, wie KI-Agenten besser werden: Je mehr Sie ihnen zahlen, desto besser werden sie, aber die Rate, mit der sie sich verbessern, verlangsamt sich.

Analogie: Stellen Sie sich vor, Sie lernen für eine Prüfung. Die erste Lernstunde verschafft Ihnen einen enormen Schub bei Ihrer Note. Die zweite Stunde hilft etwas weniger. Die zehnte Stunde fügt vielleicht nur einen winzigen Bruchteil eines Punktes hinzu.
In der Mathematik des Artikels wird dies als „parametrische exponentielle Zuverlässigkeitsfunktion" bezeichnet. Auf Deutsch: Wenn Sie einem klugen Agenten ein wenig zusätzliche Zeit oder Geld geben, wird er viel schlauer. Aber wenn Sie ihm immer mehr geben, stößt er irgendwann an eine Decke, wo zusätzliche Anstrengung kaum noch hilft.

Das Problem: Wie wird das Budget aufgeteilt?

Sie haben ein Gesamt-„Token-Budget" (eine Obergrenze dafür, wie viele Wörter das Team insgesamt schreiben und denken darf). Sie haben 5 verschiedene Agenten in Ihrem Team. Einige sind von Natur aus sehr effizient (sie werden mit wenigen Wörtern schnell schlau), während andere „langsame Lerner" sind (sie benötigen viele Wörter, um das gleiche Qualitätsniveau zu erreichen).

Der alte Weg (Heuristiken):
Die meisten Menschen teilen das Budget einfach gleichmäßig auf. „Hier, Agent A bekommt 1.000 Wörter, Agent B bekommt 1.000 Wörter."

Ergebnis: Die effizienten Agenten verschwenden ihre zusätzlichen Wörter (sie waren bereits perfekt), und die langsamen Agenten erhalten nicht genug Wörter, um ihre Aufgabe gut zu erledigen.

Die Lösung des Artikels: Die „Wasserfüll"-Strategie
Die Autoren schlagen eine clevere Methode namens Wasserfüll vor.

Die Analogie: Stellen Sie sich einen Eimer mit ungleichmäßigen Löchern am Boden vor (die Ihre verschiedenen Agenten darstellen). Sie gießen Wasser (Ihr Token-Budget) in den Eimer.
- Das Wasser füllt natürlich zuerst die tiefsten Löcher (die Agenten, die am meisten Hilfe benötigen).
- Es ist egal, wie breit das Loch ist; der Wasserstand steigt, bis er im gesamten Eimer die gleiche Höhe erreicht.
Das Ergebnis: Sie geben mehr Tokens an die Agenten, die „schwerer zufriedenzustellen" sind (die mit geringer Effizienz), und weniger Tokens an die Agenten, die bereits sehr gut sind. Sie hören auf zu gießen, wenn Ihr Eimer voll ist (Ihr Budget aufgebraucht ist).

Dies stellt sicher, dass jeder Agent für den letzten Token, den Sie für ihn ausgegeben haben, genau den gleichen Betrag an „zusätzlicher Zuverlässigkeit" beisteuert. Sie verschwenden kein Geld an Agenten, die bereits perfekt sind, und Sie lassen keine Agenten zurück, die kämpfen.

Der „Schattenpreis" (Der Wert eines Tokens)

Der Artikel führt ein Konzept namens Schattenpreis ein. Betrachten Sie dies als den „Marktwert" eines einzelnen Tokens in Ihrem spezifischen Rennen.

Wenn Sie sehr knapp bei Zeit oder Geld sind, steigt der „Preis" eines Tokens.
Die Mathematik berechnet diesen Preis automatisch. Sie sagt Ihnen genau, wie viel „Zuverlässigkeit" Sie für jeden zusätzlichen Dollar oder jede zusätzliche Sekunde erhalten, die Sie ausgeben.
Das Ziel ist es, sicherzustellen, dass für jeden Agenten, den Sie finanzieren, der „Mehrwert" (gewonnene Zuverlässigkeit pro Token) genau gleich ist.

Das Fazit

Der Artikel beweist, dass Sie, wenn Sie wollen, dass Ihr KI-Team so zuverlässig wie möglich ist, ohne Bankrott zu gehen oder die Uhr zu sprengen, nicht jeden gleich behandeln sollten.

Stattdessen sollten Sie eine mathematische Formel (die Wasserfüll-Regel) verwenden, um zu identifizieren, welche Agenten die meiste Hilfe benötigen, und Ihre Ressourcen dort zuerst einsetzen. Diese „kluge Verteilung" garantiert, dass Ihr gesamter Workflow zuverlässiger ist, als wenn Sie die Ressourcen einfach gleichmäßig aufgeteilt oder geraten hätten, wie man sie ausgibt.

Kurz gesagt: Geben Sie nicht jedem den gleichen Geldbetrag. Geben Sie den kämpfenden Teammitgliedern gerade genug, um aufzuholen, und lassen Sie die Stars sich treiben, damit das gesamte Team gemeinsam die Ziellinie überquert.

Technische Zusammenfassung: Auf dem Weg zu einer zuverlässigen Gestaltung von LLM-fähigen Agenten-Workflows

1. Problemstellung

Moderne KI-Systeme stützen sich zunehmend auf Agenten-Workflows, bei denen mehrere interagierende Agenten (einige angetrieben von Large Language Models [LLMs], andere durch konventionelle Rechenmodule) zusammenarbeiten, um komplexe Aufgaben zu lösen. Mit der Skalierung dieser Workflows wird deren Einsatz ressourcenintensiv, was eine grundlegende Herausforderung schafft: Wie können diese Systeme effizient und zuverlässig konfiguriert werden?

Die aktuellen Gestaltungspraktiken verlassen sich oft auf Heuristiken oder kostspieliges Trial-and-Error. Es fehlt an mathematischen Rahmenwerken, um die Trade-offs zwischen drei kritischen Leistungsmetriken zu analysieren und zu optimieren:

Latenz: Die Zeit, die für den Abschluss des Workflows erforderlich ist.
Zuverlässigkeit: Die Wahrscheinlichkeit, dass der Workflow ein akzeptables Ergebnis liefert.
Kosten: Die anfallenden Rechen- und für den Nutzer sichtbaren Kosten.

Dieser Beitrag adressiert den Bedarf an prinzipiellen Methoden zur Optimierung der Ressourcenallokation in LLM-fähigen Agenten-Workflows, mit einem spezifischen Fokus auf sequenzielle Workflows unter Latenz- und Kostenbeschränkungen.

2. Methodik

2.1 Leistungsmodellierung

Die Autoren führen parametrische Leistungsmodelle für sowohl LLM- als auch Nicht-LLM-Agenten ein, um die Beziehung zwischen Rechenaufwand und Ergebnisqualität zu erfassen.

LLM-Agenten: Die Ausführung wird in zwei Stufen modelliert:
- Reasoning: Interne Berechnung zur Konstruktion einer Lösung, gemessen durch Reasoning-Tokens ( $X_j$ ).
- Generation: Erzeugung der finalen Antwort, gemessen durch Output-Tokens ( $L_j$ ).
- Latenz: Modelliert als Zufallsvariable mit einem Mittelwert $\bar{T}_j = \bar{\tau}_j + (X_j/\lambda_{th}) + (L_j/\lambda_{gen})$ , wobei $\bar{\tau}_j$ die Infrastrukturverzögerung darstellt und die $\lambda$ -Terme die Verarbeitungsraten repräsentieren.
- Zuverlässigkeit: Definiert als Wahrscheinlichkeit eines akzeptablen Outputs, modelliert mittels einer parametrischen Exponentialfunktion:
  $\rho_j(X_j, L_j) = (1 - e^{-\alpha_j X_j})(1 - e^{-\beta_j L_j})$
  Diese Funktion erfasst abnehmende Grenzerträge sowohl für Reasoning-Aufwand als auch für Output-Länge.
- Kosten: Unterscheidung zwischen Nutzerkosten (proportional zu Output-Tokens $L_j$ ) und System-Rechenkosten (proportional zu Gesamt-Tokens $X_j + L_j$ ).
Nicht-LLM-Agenten: Modelliert mittels warteschlangentheoretischer Abstraktionen, wobei die Latenz der Inversen der Service-Rate ( $1/\lambda_i$ ) entspricht und die Zuverlässigkeit eine feste Wahrscheinlichkeit $\rho_i$ ist.

2.2 Workflow-Aggregation

Der Beitrag analysiert, wie sich individuelle Agenten-Metriken basierend auf der Workflow-Struktur aggregieren:

Sequenziell: Latenzen summieren sich; die Zuverlässigkeit ist das Produkt der individuellen Zuverlässigkeiten.
Parallel: Die Latenz wird durch den kritischen Pfad (Maximum) bestimmt; die Zuverlässigkeit hängt von der Aggregationslogik ab (konjunktiv vs. redundant).
Feedback: Die Latenz skaliert mit den Iterationen; die Zuverlässigkeit skaliert exponentiell mit der Anzahl der Iterationen.

Die Studie konzentriert sich primär auf sequenzielle Workflows und stellt fest, dass komplexe Architekturen als sequenzielle Kompositionen von zusammengesetzten Modulen betrachtet werden können.

2.3 Optimierungsformulierung

Das Gestaltungsproblem wird als Maximierung der Workflow-Zuverlässigkeit unter folgenden Bedingungen formuliert:

Ein Latenzbudget ( $T$ ).
Ein Nutzerkostenbudget ( $C$ ).

Unter der Annahme, dass Reasoning-Allokationen ( $X_j$ ) feste interne Parameter sind, reduziert sich das Problem auf die Optimierung der Antwortlängen ( $L_j$ ) für LLM-Agenten. Das Ziel ist die Maximierung des Produkts der Zuverlässigkeiten, was zur Erleichterung der konvexen Optimierung in die Maximierung der Summe der Log-Zuverlässigkeiten transformiert wird.

3. Hauptbeiträge und Ergebnisse

3.1 Wasserfüll-Token-Allokationspolitik

Das primäre theoretische Ergebnis ist die Herleitung einer geschlossenen optimalen Allokationspolitik für Output-Tokens, bezeichnet als Wasserfüll-Token-Allokation.

Effektives Budget: Die Beschränkungen werden zu einem einzigen effektiven Token-Budget konsolidiert: $B = \min \{ \lambda_{gen} B_T, C/c_{tok} \}$ .
Optimale Lösung: Die optimale Antwortlänge $L_j^*$ für jeden Agenten ist gegeben durch:
$L_j^* = \left[ \frac{1}{\beta_j} \log \left( 1 + \frac{\beta_j}{\theta} \right) \right]_+$
wobei $\theta \ge 0$ ein Lagrange-Multiplikator (Schattenpreis) ist, der so gewählt wird, dass die insgesamt allokierten Tokens dem Budget $B$ entsprechen.
Interpretation: Diese Politik gleicht den Grenznutzen der Log-Zuverlässigkeit pro Token über alle aktiven Agenten aus. Agenten mit niedrigeren Sensitivitätsparametern ( $\beta_j$ ), die mehr Tokens benötigen, um eine hohe Zuverlässigkeit zu erreichen, erhalten einen größeren Anteil des Budgets.

3.3 Charakterisierung der optimalen Zuverlässigkeit

Der Beitrag liefert eine geschlossene Charakterisierung der optimalen Workflow-Zuverlässigkeit ( $R^*_{wf}$ ) in Bezug auf den Schattenpreis $\theta$ :
$R^*_{wf} = \prod_{j \in ALLM} (1 - e^{-\alpha_j X_j}) \frac{\beta_j}{\beta_j + \theta}$
Dieses Ergebnis verknüpft die maximal erreichbare Zuverlässigkeit des Systems direkt mit der Knappheit des Token-Budgets.

3.3 Numerische Validierung

Numerische Experimente an einem sequenziellen Workflow mit 5 heterogenen Agenten zeigen, dass die Wasserfüll-Politik konsistent besser abschneidet als Baseline-Strategien (uniforme, proportionale und umgekehrt-proportionale Allokation). Die Ergebnisse bestätigen, dass die optimale Politik dynamisch mehr Tokens an Agenten allokiert, die „schwieriger" zu befriedigen sind (niedrigeres $\beta_j$ ), um die gesamte Systemzuverlässigkeit zu maximieren.

4. Bedeutung und Behauptungen

Der Beitrag beansprucht, ein prinzipielles mathematisches Rahmenwerk für die Konfiguration von LLM-basierten Systemen zu liefern und sich von heuristischem Design zu lösen. Seine Bedeutung liegt in:

Quantifizierung von Trade-offs: Explizite Modellierung des Zusammenspiels zwischen Rechenaufwand (Tokens), Latenz, Kosten und Zuverlässigkeit.
Optimale Ressourcenallokation: Herleitung einer geschlossenen Lösung, die unter Ressourcenbeschränkungen eine optimale Zuverlässigkeit garantiert.
Ökonomische Interpretation: Formulierung des Optimierungsproblems durch die Linse der Schattenpreise, was Gestaltern eine klare Metrik für den Grenznutzen zusätzlicher Tokens bietet.

Die Autoren weisen darauf hin, dass zukünftige Arbeiten dieses Rahmenwerk auf die gemeinsame Optimierung von Reasoning- und Antwortlängen sowie auf adaptive Allokationspolitiken erweitern werden, die Budgets dynamisch basierend auf Zwischenergebnissen anpassen. Die vorliegende Studie bleibt bescheiden und konzentriert sich strikt auf sequenzielle Workflows mit festen Reasoning-Allokationen.