🤖 AI

Inference-Time Budget Control for LLM Search Agents

Dieser Beitrag stellt ein zweistufiges Framework zur Steuerung des Inferenzzeit-Budgets für LLM-Suchagenten vor, das während des Multi-Hop-QA durch einen Value-of-Information-gesteuerten Suchcontroller und einen selektiven, evidenzbasierten Finalisierer dynamisch zwei Budgets (Tool-Aufrufe und Tokens) zuweist und damit über mehrere Benchmarks und Modelle hinweg konsistente Leistungssteigerungen gegenüber Baselines erzielt.

Ursprüngliche Autoren: Zhengru Fang, Senkang Forest Hu, Zhonghao Chang, Yu Guo, Yihang Tao, Hongyao Liu, Mengzhe Ruan, Jun Huang, Yuguang Fang

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhengru Fang, Senkang Forest Hu, Zhonghao Chang, Yu Guo, Yihang Tao, Hongyao Liu, Mengzhe Ruan, Jun Huang, Yuguang Fang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes Rätsel zu lösen (eine „Multi-Hop-Frage"). Sie haben eine begrenzte Vorrat an Batterien für Ihre Taschenlampe (Ihr „Token-Budget" zum Schreiben von Antworten) und eine begrenzte Anzahl von Telefonaten, die Sie bei Ihren Informanten führen können (Ihr „Tool-Call-Budget" zum Durchsuchen des Webs).

In der Vergangenheit verschwendeten KI-Detektive diese Ressourcen oft. Sie führten möglicherweise zu viele Telefonate, gerieten in Schleifen oder verfassten einen langen, abschweifenden Bericht, bei dem ihnen vor Erreichen des Schlusses die Batterie ausging. Manchmal fanden sie die richtigen Hinweise, verfassten das endgültige Urteil jedoch falsch, weil sie am Ende müde oder verwirrt waren.

Diese Arbeit stellt einen neuen Verkehrsleiter für diese KI-Detektive vor. Er lehrt dem Detektiv keine neuen Fähigkeiten; stattdessen verwaltet er die Ressourcen des Detektivs in Echtzeit, um sicherzustellen, dass er den Fall effizient und präzise löst.

So funktioniert das System, aufgeteilt in zwei einfache Phasen:

Phase 1: Die Ampel „Wert der Information"

Während der Detektiv sucht, fragt der Verkehrsleiter ständig: „Lohnt es sich, gerade noch eine Batterie zu verbrauchen oder ein weiteres Telefonat zu führen?"

Er verwendet eine Kennzahl namens VOI (Wert der Information). Stellen Sie sich dies wie ein intelligentes GPS vor, das nicht nur die Entfernung angibt, sondern den Wert der nächsten Abfahrt berechnet.

Das Dilemma: Soll der Detektiv einen neuen Informanten anrufen (Suchen)? Soll er das große Rätsel in kleinere, einfachere Puzzles zerlegen (Zerlegen)? Oder hat er bereits genügend Hinweise, um den endgültigen Bericht zu verfassen (Antworten)?
Die Aufgabe des Controllers: Er prüft, wie viele Batterien und Anrufe noch übrig sind.
- Ist das Budget hoch, könnte er den Detektiv ermutigen, weiter zu suchen.
- Läuft das Budget zur Neige, wendet er eine „Strafe" für kostspielige Aktionen an. Er könnte sagen: „Hören Sie auf zu suchen! Ihre Batterie geht zur Neige. Sie müssen sich jetzt für eine Antwort entscheiden, auch wenn Sie nicht zu 100 % sicher sind."
Das Ergebnis: Dies verhindert, dass die KI Ressourcen für nutzlose Suchen verschwendet oder in einer Schleife stecken bleibt. Sie zwingt die KI, ihr „Geld" für die Aktionen auszugeben, die den größten „Mehrwert pro investiertem Cent" bieten.

Phase 2: Der „Sicherheitsinspektor" am Ziel

Sobald die Suche beendet ist und der Detektiv einen Entwurf der Antwort verfasst hat, lässt der Verkehrsleiter diese nicht einfach so durchgehen. Er schaltet einen Sicherheitsinspektor hinzu.

Das Problem: Manchmal findet der Detektiv alle richtigen Hinweise, schreibt aber den letzten Satz mit einem kleinen Tippfehler, der falschen „Ja/Nein"-Antwort oder einem leicht abweichenden Datum.
Das Risiko: Wenn Sie eine generische KI bitten, die Antwort zu „korrigieren", könnte sie versehentlich die Bedeutung der gesamten Geschichte verändern und eine richtige Antwort in eine falsche verwandeln.
Die Lösung: Der Sicherheitsinspektor greift nur in risikoarmen Situationen ein.
- Sicher zu korrigieren: „Ja" in „Nein" zu ändern, wenn die Beweise dies eindeutig stützen, oder eine spezifische Zahl (wie ein Datum oder eine Kapazität) zu korrigieren.
- Nicht anfassen: Wenn die Antwort auf einer komplexen logischen Kette beruht (wie dem Vergleich zweier Dinge), lässt der Inspektor sie in Ruhe. Er weiß, dass der Versuch, eine komplexe logische Kette umzuschreiben, gefährlich ist und die richtige Antwort zerstören könnte.
Das Ergebnis: Die endgültige Antwort wird auf Genauigkeit poliert, ohne die Kernlogik zu gefährden.

Was die Experimente zeigten

Die Forscher testeten diesen „Verkehrsleiter" an vier verschiedenen Arten schwieriger Rätsel mit drei unterschiedlichen KI-„Gehirnen". Sie verglichen ihn mit anderen Methoden, die kein solches striktes Budgetmanagement besaßen.

Besseres Ressourcenmanagement: Die neue Methode löste mehr Rätsel korrekt, insbesondere wenn das Budget knapp war. Sie war besser darin zu wissen, wann sie mit der Suche aufhören und mit dem Antworten beginnen sollte.
Die „Strafe" ist entscheidend: Der wichtigste Teil des Systems war die Regel, die das Ausgeben von Geld bestraft, wenn das Budget niedrig ist. Dies war der Hauptgrund für die Verbesserung.
Intelligentes Abschließen: Der „Sicherheitsinspektor" half, kleine Fehler zu beheben (wie falsche Zahlen oder Ja/Nein-Umkehrungen), lehnte es jedoch klugerweise ab, komplexe Antworten anzufassen, und verhinderte so, dass die KI versehentlich eine gute Lösung zerstörte.
Schneller: Da sie auf nutzlose Suchen verzichtete, beendete die KI die Aufgaben in vielen Fällen tatsächlich schneller.

Das Fazit

Diese Arbeit argumentiert, dass KI-Agenten, um wirklich nützlich zu sein, mehr als nur ein intelligentes Gehirn benötigen; sie benötigen einen intelligenten Manager. Dieser Manager muss entscheiden, wie während der Suche begrenzte Ressourcen eingesetzt werden, und muss vorsichtig sein, die endgültige Antwort nicht zu „überkorrigieren". Indem das Budget als strikte Einschränkung behandelt und dynamisch verwaltet wird, wird die KI zu einem effizienteren und zuverlässigeren Detektiv.

Technische Zusammenfassung: Budgetkontrolle zur Inferenzzeit für LLM-Suchagenten

1. Problemformulierung

Die Arbeit adressiert die Herausforderung des Einsatzes von Large-Language-Model-(LLM)-Suchagenten unter expliziten, harten dualen Budgets: eine Begrenzung der Tool-Aufrufe ( $B_{tool}$ ) und eine Begrenzung der Ausgabetokens ( $B_{tok}$ ). Während frühere Arbeiten Testzeit-Scaling durch wiederholtes Sampling oder Selbstverfeinerung untersucht haben, behandeln diese Ansätze Rechenleistung oft nur als Token-Ressource. Für Suchagenten kann jedoch ein zusätzliches Budget zu redundanter Retrieval, verschwendeter Verzweigung und sprödem Kontextwachstum führen, wenn es nicht explizit gemanagt wird.

Das Kernproblem wird als zweistufiges Steuerungsproblem zur Inferenzzeit formuliert:

Zuweisung von Suchzeit-Aktionen: In jedem Schritt muss der Agent entscheiden, wie das verbleibende duale Budget auf heterogene Aktionen verteilt wird: Beweise abrufen (SEARCH), die Frage zerlegen (DECOMPOSE) oder sich auf eine Antwort festlegen (ANSWER). Diese Aktionen unterscheiden sich in Kosten und potenziellem Ertrag, und die optimale Wahl hängt vom aktuellen Beweiszustand und dem verbleibenden Budget ab.
Abschluss zur Antwortzeit: Nach Beendigung der Suche muss der Agent entscheiden, ob die Basisantwort der Trajektorie ( $a_{base}$ ) beibehalten oder durch einen verfeinerten Kandidaten ( $a_{ref}$ ) ersetzt wird. Diese Entscheidung muss den potenziellen Gewinn an Genauigkeit gegen das Risiko von „Interventionschäden" abwägen – das Löschen korrekter Brückenstrukturen oder das Verändern vergleichender Semantik durch unnötiges Umschreiben.

Das Ziel ist die Maximierung der erwarteten Belohnung $E[R(\hat{a}, y)]$ unter den dualen Budgetbeschränkungen und einer Beschränkung des erwarteten Schadens durch Antwortersetzung ( $E[L_{harm}] \leq \rho_{harm}$ ).

2. Methodik

Die vorgeschlagene Methode, VOI (Value-of-Information), ist ein training-freier, zweistufiger Controller, der auf einem generischen Baum-Suchgerüst (inspiriert von BAVT) aufbaut.

Stufe 1: Budgetzuweisung zur Suchzeit

Der Controller wählt die nächste Aktion aus, indem er machbare Optionen anhand eines Task-Level-VOI-Scores bewertet. Dieser Score ist eine operative Schätzung des marginalen Task-Werts pro Budgeteinheit, unterscheidet sich vom Shannon-Informationsertrag oder gelernten Wertmodellen.

Nutzenkonstruktion: Für jede Aktion $k$ $k$ wird ein Task-Level-Nutzen $u_t(k)$ $u_{t} (k)$ berechnet als:
$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$
- $\hat{\Delta}_t(k)$ : Ein vom Kritiker abgeleitetes Fortschrittsignal.
- $\Psi_t(k)$ : Strukturelle Signale (z. B. Brückenstruktur, Schleifendruck, Bereitschaft).
- $\Pi_t(k; b_t)$ : Ein budgetabhängiger Strafterm, der für SEARCH- und DECOMPOSE-Aktionen ansteigt, wenn das verbleibende Budget knapp ist, und als Proxy für die Orakel-Schattenkosten fungiert.
Normalisierung und Guard-Operatoren: Der Nutzen wird durch einen aktionsspezifischen Budgetmaßstab normalisiert, um den VOI-Score $r_t(k)$ zu erzeugen. Ein deterministischer Guard-Operator $G_t$ passt diesen Score dann an, um konservatives Verhalten durchzusetzen (z. B. Unterdrückung vorzeitiger Antworten, Erzwingen eines Mindestsuchaufwands für zusammengesetzte Fragen).
Auswahl: Die Aktion mit dem höchsten geschützten ausführbaren Score wird ausgewählt und ausgeführt.

Stufe 2: Abschluss zur Antwortzeit

Sobald die Suche abgeschlossen ist, bewertet ein selektiver, evidenzbasierter Finalisierer, ob die Antwort umgeschrieben werden soll.

Abwägung Gewinn-Risiko: Der Finalisierer vergleicht die Basisantwort $a_{base}$ und einen verfeinerten Kandidaten $a_{ref}$ (konstruiert aus derselben Spur). Er greift nur ein, wenn der erwartete Gewinn an Genauigkeit das Risiko einer Beschädigung der Antwort überwiegt.
Sicherer Bereich ( $S_{safe}$ ): Umschreiben ist auf risikominimierte Szenarien beschränkt, wie z. B. Korrektur von Ja/Nein-Polarität, binären Entscheidungen, Typ-Slot-Mismatches oder das Vervollständigen unterstützter Fakten.
Enthaltung: Das System verzichtet auf Umschreiben, wenn die Trajektorie ungelöste Brückenstrukturen, vergleichende Semantik oder fehlende direkte Unterstützung enthält, da aggressives Umschreiben in diesen Fällen oft die Korrektheit beeinträchtigt.
Null-Overhead: Diese Stufe fügt keine neuen Tool-Aufrufe oder LLM-Inferenzaufrufe hinzu; es handelt sich um eine deterministische Selektionsrichtlinie über bestehende Kandidaten.

3. Hauptbeiträge

Zweistufige Formulierung: Die Arbeit formalisiert budgetbewusste Inferenz in LLM-Suchagenten als gekoppeltes Problem der Zuweisung von Suchzeit-Aktionen und risikogesteuerten Antwortabschlusses unter harten dualen Budgets.
Task-Level-VOI-Steuerung: Sie führt einen training-freien Scorer ein, der Aktionen basierend auf dem geschätzten marginalen Task-Wert pro Budgeteinheit rangiert, wobei budgetabhängige Strafen und strukturelle Signale integriert werden, ohne ein Wertmodell zu lernen.
Risikogesteuerter Abschluss: Sie schlägt einen konservativen Antwortselektor vor, der nur bei lokalen Fehlern im Antwortformat eingreift und die Zerstörung korrekter Multi-Hop-Reasoning-Pfade explizit vermeidet.
Empirische Validierung: Die Methode wird über vier Multi-Hop-QA-Benchmarks (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), drei LLM-Gerüste (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini) und vier Budgetlevel unter einem strengen, gemeinsamen harten Budget-Audit evaluiert.

4. Experimentelle Ergebnisse

Aggregierte Gewinne: VOI liefert positive aggregierte Gewinne gegenüber vier auditierten Baselines (BAVT, BATS, AFlow, Search-o1) über die getesteten Settings hinweg. Auf Qwen3-32B erzielt es die beste F1 in 7 von 16 Dataset-Budget-Zellen und teilt sich den ersten Platz in 2 weiteren, wobei es die Baselines in 14/16, 10/16, 16/16 bzw. 15/16 Zellen jeweils übertrifft.
Budgetsensitivität: Die signifikantesten Verbesserungen treten in niedrigen und unteren mittleren Budgetregimen auf, wo eine sorgfältige Zuweisung von Aktionen entscheidend ist, um Ressourcen nicht für ertragsschwache Aktionen zu erschöpfen.
Komponenten-Ablation:
- Suchzeit-Steuerung: Das Entfernen des budgetabhängigen Strafterms führt zum größten Leistungsabfall, was bestätigt, dass die budgetbewusste Zuweisung von Aktionen der Haupttreiber der Gewinne ist.
- Abschluss: Stufe 2 (Abschluss) liefert signifikante Gewinne (bis zu 41,9 % des Gesamtgewinns auf MuSiQue), hauptsächlich dann, wenn die Suchtrajektorie adäquat ist, aber lokale Fehler im Antwortformat enthält. Sie trägt weniger bei Datensätzen bei, bei denen Fehler struktureller Natur sind (z. B. MuSiQue).
Effizienz: Der VOI-Controller reduziert die mittlere Inferenzzeit im Durchschnitt um 27,2 % im Vergleich zu BAVT, da er niedrigwertige Operationen vermeidet, die andernfalls das Budget verbrauchen würden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Budgetkontrolle zur Inferenzzeit für LLM-Suchagenten essenziell ist und sowohl steuert, wie das Budget während der Suche ausgegeben wird, als auch wie die finale Antwort festgelegt wird.

Nicht-monotones Scaling: Die Ergebnisse zeigen, dass größere Budgets nicht immer zu besseren Antworten führen; ohne explizite Kontrolle können erhöhte Budgets zu redundanter Suche und verrauschterem Abschluss führen.
Randbedingungen: Die Wirksamkeit der Methode ist nicht einheitlich. Sie zeigt abnehmende Grenzerträge bei stärkeren Gerüsten (z. B. Qwen3.5-122B) und in hohen Budgetregimen, wo Baselines wie BATS wettbewerbsfähig bleiben.
Sicherheit und Einsatzfähigkeit: Durch die explizite Modellierung des Risikos einer Antwortersetzung und die Durchsetzung harter Budgetaudits macht der Ansatz das Agentenverhalten vorhersehbarer und überprüfbarer, was für den Einsatz in kostenbeschränkten oder latenzsensitiven Umgebungen entscheidend ist.

Die Autoren betonen, dass ihre Methode nicht die globale Optimalität des Suchbaums beansprucht, sondern vielmehr einen lokalen, entscheidungsebenen Steuerungsmechanismus bietet, der die Leistung unter strengen Ressourcenbeschränkungen erheblich verbessert.