ReDAct: Uncertainty-Aware Deferral for LLM Agents

1. Problemstellung

Large Language Models (LLMs) werden zunehmend als autonome Agenten in komplexen, sequenziellen Entscheidungsprozessen eingesetzt (z. B. in textbasierten Umgebungen wie ALFWorld oder Grid-Worlds wie MiniGrid). Ein zentrales Problem dabei ist die Halluzinationsneigung von LLMs. In sequenziellen Umgebungen kann ein einzelner falscher Schritt (z. B. das Betreten eines Lava-Felds oder das Aufheben des falschen Objekts) die gesamte Trajektorie irreversibel ruinieren, da sich Fehler akkumulieren.

Der Trade-off besteht darin, dass große Modelle (z. B. 70B–480B Parameter) zwar weniger halluzinieren, aber aufgrund ihrer hohen Token-Kosten für den Inferenzprozess zu teuer für den dauerhaften Einsatz sind. Kleine Modelle sind kostengünstig, aber unzuverlässiger. Bisherige Routing-Methoden wählen meist ein Modell pro Anfrage aus und berücksichtigen nicht die Notwendigkeit einer dynamischen Entscheidung innerhalb einer laufenden Interaktionssequenz (Trajektorie).

2. Methodik: ReDAct (Reason-Defer-Act)

Die Autoren schlagen ReDAct vor, ein Framework, das einen Agenten mit zwei LLMs ausstattet:

1. Einem kleinen, günstigen Modell ($M_{small}$), das standardmäßig Aktionen vorschlägt.
2. Einem großen, zuverlässigen, aber teuren Modell ($M_{large}$), das als „Experte" dient.

Der Ablauf pro Schritt $t$:

1. Reasoning: Das kleine Modell generiert zunächst eine Begründung (Reasoning Trace) für die aktuelle Situation.
2. Action Proposal & Uncertainty Estimation: Das kleine Modell schlägt eine Aktion vor und berechnet einen Unsicherheitswert ($u_t$) basierend auf der Wahrscheinlichkeitsverteilung der generierten Token.
3. Deferral-Entscheidung:
   • Wenn $u_t$ einen kalibrierten Schwellenwert $\tau$ unterschreitet, wird die Aktion vom kleinen Modell akzeptiert.
   • Wenn $u_t > \tau$, wird die Entscheidung an das große Modell abgegeben (deferral). Das große Modell generiert dann eine eigene Begründung und Aktion, die akzeptiert wird.

Schlüsseltechnische Entscheidungen:

• Unsicherheitsmetriken (UQ): Die Studie vergleicht verschiedene Methoden zur Quantifizierung der Unsicherheit. Es wurde festgestellt, dass informations-theoretische Metriken auf Token-Ebene (Sequence Probability, Perplexity, Mean Token Entropy) am effektivsten sind. Im Gegensatz zu semantischen Methoden (die mehrere Generationen benötigen) sind diese Metriken recheneffizient und nutzen die Logits des Modells direkt.
• Ebene der Unsicherheit: Ein entscheidender Befund ist, dass Unsicherheitsmetriken auf der Ebene der Aktion (Action-Level) viel aussagekräftiger sind als auf der Ebene des Reasoning-Textes. Reasoning ist oft frei formuliert und schwerer zu bewerten, während die Aktionsschritte kritischer für den Erfolg sind.
• Schwellenwert-Kalibrierung: Der Schwellenwert $\tau$ wird so gewählt, dass eine Zielanzahl an Aufrufen des großen Modells pro Episode (z. B. 5 Aufrufe) erreicht wird, basierend auf einem Kalibrierungs-Set.

3. Wichtige Beiträge

• Framework-Entwurf: Einführung von ReDAct, das Deferral auf Ebene einzelner Aktionen in sequenziellen Umgebungen ermöglicht, anstatt nur pro gesamte Anfrage.
• Analyse der Unsicherheitsmetriken: Nachweis, dass informations-theoretische Metriken (insbesondere Perplexity) auf der Aktionsebene die besten Signale für das Deferral liefern und dabei kosteneffizient sind.
• Kosten-Nutzen-Analyse: Demonstration, dass durch das gezielte Abgeben von nur ca. 15 % der Entscheidungen an das große Modell die Leistung des reinen großen Modells erreicht (oder sogar übertroffen) werden kann, bei einem Bruchteil der Inferenzkosten.

4. Ergebnisse

Die Evaluation erfolgte auf den Datensätzen ALFWorld (komplexe Haushaltsaufgaben) und MiniGrid (Navigation in Gitterwelten) unter Verwendung von Frontier-Modellen (z. B. Qwen3-80B/235B/480B, Llama3.3-70B, GPT-5.2).

• Leistung: ReDAct mit Perplexity-basiertem Deferral erreicht auf ALFWorld eine Erfolgsrate von ca. 0,808 (mit Qwen3-80B + GPT-5.2), was der Leistung des reinen großen Modells (0,788) entspricht oder diese übertrifft.
• Kosteneffizienz: Während das reine große Modell teuer ist, reduziert ReDAct die Kosten drastisch, da das kleine Modell den Großteil der Schritte übernimmt. Die Kosten liegen nur geringfügig über denen des reinen kleinen Modells, erreichen aber die Leistung des großen Modells.
• Pareto-Optimalität: Die Methode liegt auf der Pareto-Front zwischen Erfolgsrate und Kosten, was bedeutet, dass keine andere Kombination aus Kosten und Leistung besser ist.
• Verteilung der Aufrufe: Im Gegensatz zu einem zufälligen Deferral (Random), das gleichmäßig verteilt ist, konzentriert sich das UQ-gesteuerte Deferral auf kritische Momente (z. B. späte Schritte in gescheiterten Episoden oder bei komplexen Startpositionen), was die Effizienz steigert.

5. Bedeutung und Fazit

ReDAct adressiert das fundamentale Dilemma zwischen Kosteneffizienz und Zuverlässigkeit bei LLM-Agenten. Die Arbeit zeigt, dass es nicht notwendig ist, durchgehend teure Modelle einzusetzen, um hohe Zuverlässigkeit zu erreichen. Stattdessen kann ein adaptives System, das Unsicherheit in Echtzeit misst und gezielt Expertensysteme (große Modelle) nur bei Bedarf hinzuzieht, die beste Balance bieten.

Dies ist besonders relevant für den praktischen Einsatz von LLM-Agenten in realen Szenarien, wo Fehlerkosten hoch sind, aber auch die Betriebskosten limitiert werden müssen. Die Methode ist skalierbar und kann prinzipiell auf multimodale Umgebungen erweitert werden.