💻 computer science

Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction

Dieser Artikel schlägt Dynamic Mixed-Precision Routing (DMR) vor, ein Framework, das in jedem Entscheidungsschritt adaptiv zwischen hoch- und niedrigpräzisen LLMs unter Verwendung einer zweistufigen Trainingspipeline auswählt, um in langfristigen Mehrschritt-Aufgaben einen optimalen Kompromiss zwischen Genauigkeit und Kosten zu erreichen.

Ursprüngliche Autoren: Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Detektiven ein, um ein komplexes, mehrstufiges Rätsel zu lösen (wie etwa das Auffinden eines bestimmten Artikels in einem riesigen Online-Shop oder das Navigieren durch ein virtuelles Haus).

In der Welt der Künstlichen Intelligenz sind diese „Detektive" Large Language Models (LLMs). Um die besten Ergebnisse zu erzielen, stellen Sie normalerweise den teuersten, hochqualifizierten Senior-Detektiv ein (das High-Precision-Modell). Er ist brillant, aber langsam und kostet ein Vermögen im Betrieb. Alternativ könnten Sie ein Team aus schnellen, günstigen Junior-Detektiven einstellen (die Low-Precision/Quantisierten Modelle). Sie sind schnell und günstig, machen aber manchmal alberne Fehler oder übersehen entscheidende Hinweise.

Das Problem ist, dass lange, komplexe Aufgaben viele Schritte erfordern. Wenn Sie für jeden einzelnen Schritt den teuren Senior-Detektiv beauftragen, sind die Kosten zu hoch. Wenn Sie für jeden Schritt die günstigen Junior-Detektive einsetzen, könnten sie den Fall verlieren, weil sie an den kniffligen Stellen verwirrt werden.

Diese Arbeit stellt eine intelligente Lösung vor, die Dynamic Mixed-Precision Routing (DMR) genannt wird. Denken Sie daran wie an einen Super-intelligenten Disponenten, der die Detektive verwaltet.

Wie der Disponent funktioniert

Anstatt für den gesamten Auftrag nur eine Art von Detektiv einzustellen, beobachtet der Disponent die Ermittlungen in Echtzeit und trifft bei jedem Schritt eine Entscheidung in Sekundenbruchteilen:

Die einfachen Schritte: Wenn die Aufgabe unkompliziert ist (wie „schauen Sie sich die Tür an" oder „suchen Sie nach einem roten Hemd"), schickt der Disponent die Arbeit an die günstigen, schnellen Junior-Detektive. Sie erledigen sie schnell und mit ausreichender Genauigkeit.
Die kritischen Schritte: Wenn die Aufgabe in eine „Falle" gerät oder ein komplexes Rätsel darstellt (wie „herausfinden, welcher Schlüssel die verschlossene Kiste öffnet" oder „den Endpreis verhandeln"), wechselt der Disponent sofort zum teuren Senior-Detektiv, um sicherzustellen, dass die Aufgabe richtig erledigt wird.

Das Ziel ist es, den teuren Detektiv nur dann einzusetzen, wenn es absolut notwendig ist, und dabei Geld und Zeit zu sparen, während das Rätsel dennoch erfolgreich gelöst wird.

Wie der Disponent lernt

Die Arbeit beschreibt einen zweistufigen Trainingsprozess, um diesem Disponenten beizubringen, die „kritischen Schritte" zu erkennen:

Schritt 1: Die „Shadowing"-Phase (KL-Divergenz):
Stellen Sie sich vor, der Disponent beobachtet, wie der Senior-Detektiv und der Junior-Detektiv denselben Fall nebeneinander bearbeiten. Meistens sind sie sich einig, was zu tun ist. Gelegentlich gerät der Junior-Detektiv jedoch in Verwirrung und schlägt einen falschen Zug vor. Der Disponent lernt, diese spezifischen Momente zu erkennen, in denen sich die beiden Detektive nicht einig sind. Er lernt: „Ah, immer wenn der Junior-Detektiv zu wackeln beginnt, muss ich den Senior-Detektiv hinzuziehen."
Schritt 2: Die „Probelauf"-Phase (Reinforcement Learning):
Sobald der Disponent die Grundlagen beherrscht, führt er echte Probelaufe durch. Er probiert verschiedene Strategien aus: „Was wäre, wenn ich hier den Senior-Detektiv rufe? Was wäre, wenn ich warte?" Er erhält eine Punktzahl basierend auf zwei Faktoren: Haben wir den Fall gelöst? und Wie viel Zeit/Geld haben wir ausgegeben? Im Laufe der Zeit lernt er die perfekte Balance, um die meisten Fälle mit den geringsten Kosten zu lösen.

Die Ergebnisse

Die Forscher testeten dieses System in zwei realen Szenarien:

WebShop: Ein Agent, der versucht, einen bestimmten Artikel online zu kaufen, indem er sucht und klickt.
ALFWorld: Ein Agent, der versucht, ein virtuelles Zimmer aufzuräumen, indem er Objekte aufhebt und ablegt.

Die Ergebnisse waren eindeutig:

Der „Immer günstig"-Ansatz: Schnell, aber oft gescheitert, weil die Junior-Detektiven an schwierigen Schritten hängen blieben.
Der „Immer teuer"-Ansatz: Sehr erfolgreich, aber unglaublich langsam und kostspielig.
Der „Disponent"-Ansatz (DMR): Er erzielte Erfolgsquoten, die fast identisch mit denen des teuren Senior-Detektivs waren, erledigte dies jedoch viel schneller und günstiger. In vielen Fällen war er fast genauso gut wie der Senior-Detektiv, nutzte aber die günstigen Junior-Detektive für etwa 60–80 % der Arbeit.

Das Fazit

Diese Arbeit zeigt, dass Sie nicht zwischen „teuer und klug" oder „günstig und dumm" wählen müssen. Indem Sie einen intelligenten Router verwenden, der dynamisch zwischen beiden basierend auf der Schwierigkeit des aktuellen Schritts wechselt, können Sie das Beste aus beiden Welten erhalten: hohe Erfolgsquoten bei deutlich geringeren Kosten. Es ist wie ein Team, in dem das Junior-Personal die Routinearbeiten erledigt und der Experte nur einschreitet, wenn die Situation wirklich knifflig wird.

Technische Zusammenfassung: Dynamisches gemischtes Präzisions-Routing für effiziente Multi-Step-LLM-Interaktion

Problemstellung

Large Language Models (LLMs) haben starke Fähigkeiten bei Entscheidungen mit langem Zeithorizont bewiesen, wie sie in agentischen Umgebungen vorkommen, die Werkzeugnutzung und Interaktion mit der Umgebung erfordern. Der Einsatz von LLMs in voller Präzision für diese komplexen, mehrstufigen Aufgaben verursacht jedoch prohibitiv hohe Inferenzkosten. Während Quantisierung einen vielversprechenden Weg für Effizienz bietet, zeigen aktuelle Studien, dass die naive Anwendung einer niedrigpräzisen Quantisierung während der gesamten Ausführung eines Agenten zu erheblichen Leistungseinbußen bei realen agentischen Aufgaben führt. Diese Verschlechterung ist nicht einheitlich; quantisierte Modelle funktionieren oft bei standardmäßigen Denk-Schritten ausreichend, versagen jedoch bei spezifischen „kritischen Schritten" (z. B. präzises Platzieren oder komplexe Werkzeugauswahl), was zu irreversiblen Fehlern auf Trajektorien-Ebene führt. Bestehende Routing-Methoden sind typischerweise für statische, ein-drehige Abfragen konzipiert oder operieren auf einer groben Frage-Ebene, was sie für die fein abgestimmte, schrittweise Entscheidungsfindung ungeeignet macht, die für langfristige Agenten-Interaktionen erforderlich ist.

Methodik: Dynamisches gemischtes Präzisions-Routing (DMR)

Die Autoren schlagen Dynamisches gemischtes Präzisions-Routing (DMR) vor, ein leichtgewichtiges Framework, das an jedem Entscheidungsschritt der Trajektorie eines Agenten adaptiv zwischen LLMs in hoher Präzision (z. B. BF16) und niedriger Präzision (z. B. Int4) wählt. Die zentrale Erkenntnis besteht darin, dass Interaktionsschritte unterschiedliche Empfindlichkeiten gegenüber Quantisierung aufweisen; ein Router kann kritische Schritte identifizieren, die hohe Präzision erfordern, und gleichzeitig nicht-kritische Schritte die Nutzung günstigerer, niedrigpräziser Inferenz ermöglichen.

1. Router-Architektur

DMR verwendet einen leichtgewichtigen Transformer-Router (entkoppelt von der Aktionsgenerierung), der Eingaben auf Trajektorien-Ebene (Aufgabenbeschreibung, Historie von Aktionen/Beobachtungen) entgegennimmt und eine Präzisionswahl ( $r_t \in \{1, \dots, K\}$ ) für den aktuellen Schritt ausgibt. Der Router wird durch $\theta$ parametrisiert und ist signifikant kleiner als die gerouteten LLMs (ca. 2–3 % ihrer Parameter).

2. Zwei-Stufen-Trainingspipeline

Der Router wird durch einen zweistufigen Prozess trainiert:

Stufe 1: Überwachtes Lernen auf Basis der KL-Divergenz (KL-ST)
- Motivation: Niedrigpräzise Modelle stimmen im Allgemeinen mit dem Verhalten hochpräziser Modelle überein, zeigen jedoch große Abweichungen bei kritischen Schritten.
- Prozess: Die Autoren sammeln Trajektorien unter Verwendung von Rollouts in hoher Präzision. In jedem Schritt berechnen sie die Kullback-Leibler (KL)-Divergenz zwischen den Aktionsverteilungen des niedrigpräzisen Modells und dem hochpräzisen Referenzmodell.
- Kennzeichnung: Die KL-Verteilung zeigt sich als bimodal (dichte Region geringer Divergenz vs. spärlicher Schwanz hoher Divergenz). Ein Schwellenwert $\tau$ wird angewendet, um kontinuierliche KL-Werte in binäre Labels umzuwandeln ( $y_t=1$ für benötigte hohe Präzision, sonst $0$).
- Training: Der Router wird mittels gewichteter Kreuzentropie feinabgestimmt, um diese Labels vorherzusagen, und dient als Warm-Start.
- Kalibrierung: Um Verteilungsverschiebungen zwischen Training (Historie in hoher Präzision) und Einsatz (Historie in gemischter Präzision) zu adressieren, wird ein quantilbasierter Schwellenwert auf einem zurückgehaltenen Kalibrierungspool berechnet, um spezifische Budgetbeschränkungen für hohe Präzision ( $\rho$ ) zu erfüllen.
Stufe 2: Gruppenrelative Policy-Optimierung (GRPO)
- Motivation: KL-ST optimiert für die lokale Schritt-Empfindlichkeit, aber das ultimative Ziel ist der Erfolg der Aufgabe auf Trajektorien-Ebene unter einem Latenzbudget.
- Prozess: Ausgehend vom KL-ST-Router wird die Policy mittels GRPO verfeinert. Diese Methode sampelt Gruppen von Trajektorien und optimiert eine Belohnungsfunktion, die den Aufgabenerfolg mit den Ausführungskosten in Einklang bringt.
- Belohnungsfunktion: $R(\tau) = \mathbb{I}[\text{Erfolg}] - \lambda \cdot C(\tau)$ , wobei $C(\tau)$ die gesamte Ausführungszeit ist, berechnet basierend auf der Anzahl der Schritte, den von hoch-/niedrigpräzisen Modellen generierten Tokens und dem Router-Overhead. GRPO erfordert kein Lernen einer separaten Wertfunktion, was sie für spärliche Belohnungen mit langem Zeithorizont geeignet macht.

Hauptbeiträge

Dynamisches gemischtes Präzisions-Framework: Ein neuartiger Ansatz, der die Inferenzkosten für langfristige agentische Aufgaben erheblich reduziert, während die Erfolgsquoten der Aufgaben beibehalten werden, und damit die Diskrepanz zwischen statischer Quantisierung und dynamischen Agentenanforderungen adressiert.
Leichtgewichtiger Router: Einführung eines Routers mit nur ca. 2–3 % der Parameter des gerouteten LLM, der ausreicht, um präzise-kritische Schritte zu identifizieren und eine effektive Routing-Policy zu erlernen.
RL-basierte Optimierung: Die Verwendung von GRPO zur gemeinsamen Optimierung von Aufgabenleistung und Inferenzkosten, die über statische Überwachung hinausgeht, um eine Policy zu erlernen, die die Pareto-Grenze von Genauigkeit und Latenz ausbalanciert.

Experimentelle Ergebnisse

Das Framework wurde an zwei textbasierten agentischen Benchmarks evaluiert: WebShop (Online-Shopping) und ALFWorld (embodied household tasks), unter Verwendung von Qwen3-Modellen (1,7B und 4B) mit AWQ- und GPTQ-Quantisierung.

Genauigkeits-Kosten-Abwägung: DMR schneidet bei „immer-quantisierten" Baselines konsistent besser ab. In vielen Konfigurationen (z. B. 4B AWQ auf ALFWorld) erreicht oder übertrifft DMR die Erfolgsquoten der vollen Präzision (BF16), während deutlich weniger Zeit benötigt wird.
Wiederherstellung von Verschlechterungen: In Szenarien, in denen die immer-quantisierte Baseline schlecht performt (z. B. 1,7B GPTQ auf WebShop), stellt DMR bis zu 93 % der Leistungslücke zwischen den quantisierten und den vollpräzisen Modellen wieder her.
Budgetkontrolle: Der Budget-Parameter für hohe Präzision ( $K$ ) steuert die Abwägung effektiv. Niedrigere $K$ -Werte priorisieren die Latenzreduktion, während höhere $K$ -Werte mehr Genauigkeit wiederherstellen.
Ablationsstudien:
- RL-Verfeinerung: Die GRPO-Verfeinerung liefert im Allgemeinen die besten Betriebspunkte im Vergleich zum alleinigen überwachten KL-ST-Router, insbesondere in komplexen Umgebungen.
- Router-Tiefe: Die Router-Kapazität ist kein Engpass; ein 8-Schichten-Router wurde als nahezu optimal befunden, wobei tiefere oder flachere Router vernachlässigbare oder negative Auswirkungen auf die Leistung zeigten.
- Schwellenwert-Empfindlichkeit: Die Wahl des KL-Schwellenwerts $\tau$ ist innerhalb eines „spärlichen Bereichs" der KL-Verteilung robust, versagt jedoch, wenn der Schwellenwert durch einen dichten Bereich ähnlicher Werte schneidet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Dynamisches gemischtes Präzisions-Routing (DMR) die Präzisionsauswahl effektiv aus der Perspektive sequenzieller Entscheidungsfindung neu betrachtet. Sie zeigt, dass eine dynamische, schrittweise Präzisionskontrolle eine tragfähige Strategie für agentische Umgebungen ist, die es Agenten ermöglicht, die komplementären Stärken von Modellen in voller Präzision und quantisierten Modellen zu nutzen. Durch die Identifizierung und selektive Anwendung hoher Präzision nur auf kritische Schritte erreicht DMR eine überlegene Genauigkeits-Kosten-Abwägung im Vergleich zu Baselines mit einzelner Präzision. Die Autoren positionieren diese Arbeit als einen Schritt hin dazu, langfristige LLM-Agenten ohne Verzicht auf die Robustheit, die für komplexe, reale Interaktionen erforderlich ist, rechnerisch machbarer zu machen. Als zukünftige Arbeit wird vorgeschlagen, DMR auf reichhaltigere Präzisionsmengen und Einsatzumgebungen mit nativen Low-Bit-Kernen zu erweitern.