Don't Overthink It: Inter-Rollout Action Agreement as a Free Adaptive-Compute Signal for LLM Agents

1. Problemstellung

Große Sprachmodelle (LLMs), die als Agenten in sequenziellen Entscheidungsszenarien agieren (z. B. Navigation, Code-Execution, Web-Browsing), scheitern häufig nicht an mangelnder Intelligenz, sondern an einer ineffizienten Zuteilung von Rechenressourcen (Inference-Compute) während der Inferenzzeit.

• Das Kernproblem: Bestehende Methoden wenden Rechenleistung entweder uniform an (z. B. Greedy Decoding mit einem Aufruf pro Schritt oder Self-Consistency mit einer festen Anzahl $k$ von Stichproben pro Schritt).
• Die Ineffizienz: Ein komplexer Task besteht aus Schritten unterschiedlicher Schwierigkeit. Einige Aktionen sind offensichtlich (einfach), andere sind mehrdeutig (schwierig). Ein uniformer Ansatz verschwendet Rechenleistung bei einfachen Schritten und liefert bei schwierigen Schritten oft nicht genug Rechenleistung für eine korrekte Entscheidung.
• Die Herausforderung: Das Lernen einer Policy, die weiß, wann mehr Nachdenken nötig ist, erfordert Trainingsdaten, Belohnungssignale oder Prozessüberwachung, was teuer ist und bei der Inferenz offener Modelle oft nicht verfügbar ist.

2. Methodik: TrACE

Die Autoren stellen TrACE (Trajectorical Adaptive Compute via agrEement) vor. Dies ist ein training-freier Controller, der die Anzahl der LLM-Aufrufe pro Zeitschritt dynamisch anpasst, indem er die Übereinstimmung (Agreement) zwischen mehreren unabhängig gesampelten Aktionen misst.

Der Algorithmus:

1. Initialisierung: Zu jedem Zeitschritt $t$ werden $k_{init}$ (Standard: 2) Kandidaten-Aktionen mit einer Temperatur $\tau > 0$ gesampelt.
2. Übereinstimmung berechnen: Es wird die Mehrheitsaktion (Plurality Action) $a^*$ bestimmt. Der Grad der Übereinstimmung $\alpha_t$ wird berechnet als der Anteil der Stichproben, die mit $a^*$ übereinstimmen:
   $$\alpha_t = \frac{\text{Anzahl der Übereinstimmungen mit } a^*}{k_{init}}$$
3. Entscheidung & Erweiterung:
   • Hohe Übereinstimmung ($\alpha_t \ge \tau_{high}$): Die Entscheidung wird sofort getroffen. Der Schritt kostet nur $k_{init}$ Aufrufe.
   • Niedrige Übereinstimmung ($\alpha_t < \tau_{high}$): Dies signalisiert Unsicherheit. Der Controller sampelt weitere Kandidaten einzeln nach, bis entweder die Übereinstimmung den Schwellenwert erreicht oder eine maximale Obergrenze $k_{max}$ erreicht ist. Dann wird die Mehrheitsaktion gewählt.

Schlüsselmerkmale:

• Kein Training: Benötigt keine gelernten Komponenten, externen Verifizierer oder menschlichen Labels.
• Verhaltenskonsistenz: Nutzt die Konsistenz der Modell-Ausgaben als Proxy für die Schwierigkeit des Schrittes, anstatt auf verbalisierte Konfidenz (die oft schlecht kalibriert ist) zu setzen.
• Parametern: Standardwerte sind $k_{init}=2$, $k_{max} \in \{4, 8\}$ und $\tau_{high} = 0.75$.

3. Wichtige Beiträge

1. TrACE-Controller: Ein training-freier, pro-Zeitschritt adaptiver Compute-Controller für LLM-Agenten.
2. Empirische Validierung: Nachweis, dass die inter-rollout Übereinstimmung ein zuverlässiger Indikator für den Erfolg auf Schrittebene ist.
3. Pareto-Dominanz: TrACE erreicht die gleiche Genauigkeit wie feste Budget-Methoden (Self-Consistency), verbraucht aber signifikant weniger LLM-Aufrufe.
4. MiniHouse-Benchmark: Einführung einer leichten, textbasierten Haushalts-Umgebung, die vollständig reproduzierbar auf CPUs läuft (ohne C++-Abhängigkeiten wie bei ALFWorld).

4. Ergebnisse

Die Evaluation wurde mit dem Qwen 2.5 3B Instruct-Modell auf einer CPU durchgeführt. Zwei Benchmarks wurden verwendet:

• GSM8K: Ein-stufiges mathematisches Reasoning (50 Aufgaben).
• MiniHouse: Mehrstufige Haushaltsnavigation (30 Aufgaben).

Vergleich mit Baselines:

• Greedy (k=1): Geringste Kosten, oft geringere Genauigkeit.
• Self-Consistency (SC-4, SC-8): Feste Anzahl von 4 oder 8 Aufrufen pro Schritt. Hohe Kosten, hohe Genauigkeit (bei diesem Modell jedoch oft durch die Modellkapazität begrenzt).

Leistung von TrACE:

• Genauigkeit: TrACE-4 erreicht die gleiche Genauigkeit wie SC-4, und TrACE-8 erreicht die gleiche Genauigkeit wie SC-8.
• Effizienz (Reduktion der LLM-Aufrufe):
  • GSM8K: TrACE-4 spart 33% Aufrufe; TrACE-8 spart 55% Aufrufe.
  • MiniHouse: TrACE-4 spart 39% Aufrufe; TrACE-8 spart 65% Aufrufe.
• Zeit: Auf der getesteten Hardware reduzierte TrACE-8 die Wandzeit im Vergleich zu SC-8 um 65% (ca. 14 Minuten vs. 40 Minuten für 30 Tasks).

Analyse der Übereinstimmung:
Die Studie zeigt eine starke Korrelation: Zeitschritte mit hoher Übereinstimmung ($\alpha_t \ge 0.75$) treten signifikant häufiger in erfolgreichen Tasks auf als Schritte mit niedriger Übereinstimmung. Dies bestätigt die Hypothese, dass die eigene Ausgabe-Konsistenz des Modells Schwierigkeitsinformationen kodiert.

5. Bedeutung und Fazit

TrACE stellt einen Paradigmenwechsel dar, indem es zeigt, dass Inferenzzeit-Optimierung ohne zusätzliches Training möglich ist.

• Ressourceneffizienz: Es ermöglicht, LLM-Agenten kosteneffizienter einzusetzen, indem Rechenleistung gezielt dort eingesetzt wird, wo Unsicherheit herrscht.
• Allgemeingültigkeit: Da keine Trainingsdaten benötigt werden, ist die Methode sofort auf jedes offene LLM anwendbar.
• Zukunftsperspektive: Die Autoren sehen TrACE als ersten Schritt zu einem „Training-freien Zuverlässigkeits-Stack". Zukünftige Arbeiten sollen die Methode auf größere Modelle, komplexere Benchmarks und die Kombination mit anderen Signalen (wie Perturbation Consistency) erweitern.

Einschränkungen:
Die Studie basiert auf einem kleinen Modell (3B Parameter) und CPU-Inferenz. Es ist unklar, ob die relativen Effizienzgewinne bei sehr großen Modellen (70B+) oder auf GPUs mit anderen Latenzprofilen gleich stark ausfallen. Zudem wurde die Methode bisher nur auf diskrete Aktionsräume getestet; offene Generierungsaufgaben könnten andere Herausforderungen bieten.

Zusammenfassend beweist das Paper, dass ein einfacher, auf Konsistenz basierender Mechanismus die „Intelligenz" eines LLM-Agenten in Bezug auf die Ressourcennutzung signifikant verbessern kann, ohne die Genauigkeit zu opfern.