🤖 machine learning

BAGEN: Are LLM Agents Budget-Aware?

Das Paper stellt BAGEN vor, ein Framework, das Budget-Bewusstsein als progressive Intervallschätzung definiert, und zeigt auf, dass während führende LLM-Agenten konsistent daran scheitern, Budgetüberschreitungen präzise vorherzusagen oder zu melden, ihre Fähigkeit zu einem handlungsrelevanten vorzeitigen Abbruch durch Supervised Fine-Tuning und Reinforcement Learning signifikant verbessert werden kann.

Ursprüngliche Autoren: Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schicken einen Roboter auf eine lange, komplexe Mission, wie etwa einen Lieferfahrer, der eine Stadt durchqueren, Pakete einsammeln und ausliefern muss. Sie geben dem Roboter ein Budget: vielleicht 1.000 „Energiepunkte“ (Token) oder einen bestimmten Betrag an echtem Geld.

Das große Problem, das dieses Paper identifiziert, ist, dass heutige intelligente Roboter (KI-Agenten) schrecklich darin sind, zu wissen, wie viel von ihrem Budget sie noch übrig haben, während sie arbeiten. Meistens merken sie erst, dass ihr Geld ausgegangen ist, nachdem die Arbeit bereits ruiniert wurde.

Hier ist die Geschichte des Papers, aufgeschlüsselt mit einfachen Analogien:

1. Das Kernproblem: Der „blinde“ Roboter

Wenn man heute einen Roboter fragt: „Wie viel wird diese Reise kosten?“, schätzt er meistens nur einmal ganz zu Beginn.

Der Fehler: Es ist, als würde ein Wanderer vor dem Start schätzen, wie viele Meilen er noch zu Fuß zurücklegen muss. Er berücksichtigt dabei nicht, dass er sich verlaufen könnte, schlechtes Wetter aufkommt oder er eine falsche Abzweigung nimmt.
Die Realität: Das Paper fand heraus, dass selbst die klügsten Roboter überoptimistisch sind. Sie denken: „Ich kann das auf jeden Fall mit dem Geld schaffen, das ich noch habe!“, selbst wenn ihnen eigentlich schon der Saft ausgeht. Sie geben weiterhin Geld für Aufgaben aus, die bereits unmöglich zu vollenden sind, nur um es weiter zu versuchen.

2. Die neue Idee: Der „budgetbewusste“ Agent (BAGEN)

Die Autoren schlagen einen neuen Typus von Roboter vor, der wie ein schlauer Projektmanager agiert. Anstatt nur einmal zu raten, prüft dieser Roboter bei jedem einzelnen Schritt seinen Geldbeutel.

Progressive Intervall-Schätzung: Anstatt zu sagen: „Ich brauche genau 500 weitere Punkte“, sagt der Roboter: „Ich brauche wahrscheinlich zwischen 400 und 600 Punkten, aber wenn ich die Antwort nicht bald finde, muss ich vielleicht aufhören.“
Der „Unmöglich“-Knopf: Wenn der Roboter erkennt, dass er in einem Loch steckt, aus dem er nicht mehr herauskommt, sollte er einen großen roten Knopf drücken, auf dem steht: „UNMÖGLICH“, und sofort aufhören, anstatt die letzten paar Dollar zu verschwenden, um tiefer zu graben.

3. Was sie herausgefunden haben (Das „Zeugnis“)

Die Forscher testeten fünf der klügsten KI-Modelle der Welt in vier verschiedenen Aufgabentypen (wie das Lösen von Rätseln, die Websuche oder die Verwaltung eines Lagers). Hier ist, was sie entdeckten:

Klug sein $\neq$ Budgetbewusst sein: Nur weil ein Roboter gut darin ist, das Rätsel zu lösen, bedeutet das nicht, dass er auch gut darin ist, seine Kosten zu zählen. Tatsächlich war die Korrelation schwach. Der beste Rätsellöser war oft der schlechteste darin, die Kosten einzuschätzen.
Der „Optimismus-Bias“: Jeder getestete Roboter war zu hoffnungsvoll. Sie unterschätzten konsequent, wie viel Geld sie benötigen würden. Je schwächer der Roboter bei der Aufgabe war, desto optimistischer war er bezüglich seines Budgets.
Zu spät zur Rettung: Die Roboter erkannten meist erst, dass sie scheitern würden, nachdem sie bereits 80 % ihres Budgets ausgegeben hatten. Zu dem Zeitpunkt, an dem sie sagten: „Oh nein, wir können nicht fertig werden“, war es bereits zu spät, um den Blutung zu stoppen.
Es kann trainiert werden: Die gute Nachricht ist, dass diese Fähigkeit trainierbar ist. Indem man die Roboter (mittels einer Methode namens SFT + RL) trainierte, lernten sie, früher aufzuhören.
- Das Ergebnis: Wenn man dem Roboter sagt, er solle aufhören, sobald er „Unmöglich“ sagt, kann man 28 % bis 64 % des verschwendeten Geldes bei Fehlversuchen einsparen, bei nur einem minimalen Rückgang der erfolgreichen Aufgabenbewältigung.

4. Die zwei Arten von „Budgets“

Das Paper betrachtete zwei Arten von Ausgaben:

Internes Budget (Der Treibstoff des Gehirns): Dies ist die Rechenleistung und die „Token“, die die KI allein zum Denken und Sprechen verbraucht.
Externes Budget (Die Kosten der realen Welt): Dies ist echtes Geld, Zeit oder physische Ressourcen (wie Lagerplatz), die die KI ausgibt, wenn sie eine Handlung vollzieht.
Die Roboter hatten mit beidem zu kämpfen, aber das Problem des „Überoptimismus“ war bei beiden identisch.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass Budgetbewusstsein eine separate Fähigkeit ist, die nichts mit Intelligenz zu tun hat. Aktuelle KI-Agenten sind wie Fahrer, die selbst dann noch weiterfahren, wenn der Tank bereits leer ist, in der Hoffnung, dass sie magischerweise eine Tankstelle finden.

Die Lösung besteht nicht unbedingt darin, die KI „schlauer“ bei der Aufgabe zu machen, sondern sie zu einem besseren Buchhalter für sich selbst zu trainieren. Wenn wir diese Agenten lehren, früher „Ich kann das nicht machen“ zu sagen, können wir eine enorme Menge an Ressourcen sparen, ohne die Erfolgsquote nennenswert zu senken.

Kurz gesagt: Wir müssen aufhören, KI-Agenten nur zu fragen, ob sie „den Job erledigen können“, und statfangen, sie zu lehren, während der Arbeit ein Auge auf ihren Geldbeutel zu haben.

Technisches Resümee: BAGEN: Sind LLM-Agenten budgetbewusst?

1. Problemstellung

Aktuelle Large Language Model (LLM) Agenten werden zunehmend in langfristigen, hochsensiblen Aufgaben eingesetzt, die einen erheblichen Ressourcenverbrauch erfordern, wie etwa Token-Nutzung (internes Budget), API-Aufrufe, monetäre Kosten oder Zeit (externes Budget). Die derzeitigen Evaluierungsparadigmen behandeln das Budget jedoch primendial als eine Post-hoc-Metrik, die die Kosten erst nach Abschluss der Ausführung misst.

Das Paper identifiziert eine kritische Lücke: Agenten mangelt es an Budgetbewusstsein (budget awareness), definiert als die Fähigkeit, während der Ausführung zu schätzen, wie viel Budget noch verbleibt und ob eine Aufgabe noch abschließbar ist. Oh ohne diese Fähigkeit können Agenten keine kritischen Kontrollentscheidungen treffen, wie etwa das Abbrechen aussichtsloser Aufgaben, das Anfordern zusätzlicher Ressourcen oder die Umverteilung von Budgets über Teilziele hinweg. Darüber hinaus verlassen sich bestehende Studien oft auf eine Punkt-Schätzung zu einem einzigen Zeitpunkt (single-point estimation – eine einzige Vorhersage zu Beginn der Aufgabe), was die sich entwickelnde Machbarkeit von Langzeitaufgaben nicht erfassen kann und keine progressive Verfeinerung basierend auf beobachtetem Fortschritt ermöglicht.

2. Methodik

2.1. Budget-Modalitäten

Die Autoren formalisieren zwei unterschiedliche Budgettypen:

Internes Budget: Rechenleistung, die durch das eigene Reasoning des Modells generiert wird (z. B. Token-Anzahl).
Externes Budget: Kosten, die in der Umgebung anfallen (z. B. Geld, Zeit, Inventar), welche multidimensional und gekoppelt sein können (z. B. erhöht das Halten von Inventar den Umsatz, verbraucht aber Lagerkapazität).

2.2. Protokoll der progressiven Intervallschätzung

Um die Einschränkungen der Punkt-Schätzung zu adressieren, schlägt das Paper die progressive Intervallschätzung vor. Anstatt einer einzelnen Punktprognose wird der Agent bei jedem Schritt $k$ eines Trajektorienverlaufs $\tau$ abgefragt, um vorherzusagen:

Ein Intervall $[\hat{R}^{lo}_k, \hat{R}^{hi}_k]$ , das das verbleibende Budget darstellt, sofern die Aufgabe als machbar erachtet wird.
Eine „unmöglich“-Deklaration, falls die Aufgabe angesichts des verbleibenden Budgets als unmöglich erachtet wird.

Dieses Protokoll führt drei Schlüsseleigenschaften ein:

Unsicherheit: Ausgedrückt durch die Intervallbreite.
Progressivität: Schätzungen aktualisieren sich, während der Agent Teilfortschritte beobachtet.
Unbehebarkeits-Bewusstsein (Infeasibility Awareness): Eine explizite „unmöglich“-Option ermöglicht ein vorzeitiges Stoppen.

2.3. Rollout-Replay-Evaluierung

Um die Fähigkeit zur Budgetschätzung von der Fähigkeit zum Abschluss der Aufgabe zu entkoppeln, verwenden die Autoren ein Rollout-Replay-Protokoll:

Rollout-Generierung: Der Agent führt eine Aufgabe ohne Budgetbeschränkungen aus, um einen vollständigen Verlauf und die Ground-Truth-Kosten zu generieren.
Prefix-Replay: Der geloggte Präfix bis zum Schritt $k$ wird dem Agenten erneut vorgelegt, woraufhin dieser gebeten wird, das verbleibende Budget und die Machbarkeit zu schätzen.
Bewertung: Die Vorhersagen werden gegen die realisierte verbleibende Kostenmenge und das tatsächliche Ergebnis bewertet.

2.4. Sub-Kapazitätsmetriken

Das Budgetbewusstsein wird in drei messbare Sub-Kapazitäten zerlegt:

Machbarkeitsprognose (Feasibility Prediction): Eine binäre Klassifizierung (machbar vs. unmöglich), gemessen durch den Macro-F1-Score.
Frühe Fehlererkennung (Early Failure Detection): Die Fähigkeit, aussichtslose Verläufe frühzeitig zu erkennen, gemessen durch Fail-F1 (Präzision/Recall auf der Klasse „unmöglich“).
Schätzung des verbleibenden Budgets: Die Genauigkeit von Intervallvorhersagen auf erfolgreichen Trajektorien, gemessen durch Coverage (ob die tatsächlichen Kosten im Intervall liegen) und Tightness (Bestrafung von zu breiten Intervallen).

2.5. Experimentelles Setup

Die Studie evaluiert fünf Frontier-Modelle (GPT-5.2, Claude Opus 4.7, Claude Sonnet 4.6, Gemini 3.1 Pro, Qwen3-235B) in vier Umgebungen:

Internes Budget: Sokoban (Planung), Search-R1 (Multi-Hop-Retrieval), SWE-bench (GitHub-Issue-Lösung).
Externes Budget: Warehouse (eine Supply-Chain-Umgebung mit gekoppelten Dimensionen für Kosten, Zeit und Inventar).

3. Kernergebnisse

3.1. Entkopplung von Aufgabenleistung und Budgetbewusstsein

Schwache Korrelation: Die Erfolgsrate der Aufgabe korreliert schwach mit der Qualität der Budgetschätzung ( $r \approx 0,35$ ). Starke Performer bei der Aufgabe sind nicht zwangsläufig starke Schätzer. Beispielsweise erreichte Opus bei Search-R1 die höchste Erfolgsrate (75,8 %), aber Sonnet lieferte bessere Intervallschätzungen (36,5 % Hit-Rate gegenüber 23,1 %).
Kein dominantes Modell: Kein einzelnes Modell ist in allen drei Sub-Kapazitäten (Machbarkeit, frühe Erkennung, Intervall-Kalibrierung) überlegen.

3.2. Systematische Fehler

Optimistischer Bias: Alle Modelle unterschätzen konsistent das verbleibende Budget (optimistischer Bias). Dieser Bias ist bei schwächeren Modellen ausgeprägter und zieht sich durch alle Umgebungen.
Späte Fehlererkennung: Agenten erkennen Fehler zu spät, um noch zu intervenieren. Bei gescheiterten Trajektorien sagen Modelle oft mit einer Konfidenz von >70 % „machbar“ voraus, selbst nachdem 60 % des Budgets verbraucht wurden. Der „Alarm“ geht typischerweise erst in den letzten 20 % der Ausführung an.
Instabilität: Schätzungen beim ersten Schritt stimmen oft nicht mit späteren Schätzungen überein, und die Richtung dieser Diskrepanz variiert je nach Modell und Aufgabe.

3.3. Training und Handlungsfähigkeit

Binäre Machbarkeit ist ein Kalibrierungsproblem: Supervised Fine-Tuning (SFT) allein steigerte die Genauigkeit der Machbarkeit bei Qwen-7B von 25,5 % auf ~90 %, was darauf hindeutet, dass die Fähigkeit latent vorhanden war, aber eine Format-Kalibrierung benötigte.
Intervallschätzung ist ein Reasoning-Problem: SFT verbesserte die Intervall-Coverage, aber das Hinzufügen von Reinforcement Learning (SFT+RL) war notwendig, um die Coverage auf 47 % zu drücken. RL ohne einen SFT-Warmstart führte jedoch zum Trainingskollaps.
Handlungsfähiges Signal: Die Implementierung einer einfachen Early-Stop-Policy (Abbruch, wenn das Modell „unmöglich“ vorhersagt) sparte bei gescheiterten Trajektorien 28–64 % der Tokens, bei minimalem Verlust der Gesamterfolgsrate (1,6–4,2 Prozentpunkte).

4. Beiträge

Definition von Budgetbewusstsein: Formalisierung des Budgetbewusstseins als eine distinkte Fähigkeit, die von der Ausführung der Aufgabe getrennt ist, definiert über die progressive Intervallschätzung.
Evaluierungsprotokoll: Einführung des Rollout-Replay-Protokolls, um die Schätzfähigkeiten von den Ausführungsfähigkeiten zu isolieren.
Empirische Analyse: Systematische Demonstration, dass Frontier-Modelle unter systematischem Optimismus und später Fehlererkennung leiden und dass diese Fehler unabhängig von der Aufgabenleistung sind.
Trainingseinblicke: Aufzeigen, dass binäre Machbarkeit ein Kalibrierungsproblem ist, das mit SFT lösbar ist, während präzise Intervallschätzung ein Reasoning-Engpass ist, der SFT+RL erfordert, und dass das Signal unmittelbar handlungsfähig für Ressourceneinsparungen ist.

5. Bedeutung und Thesen

Das Paper behauptet, dass das Budget als aktives Kontrollsignal und nicht als passiver Buchhaltungsmetrik behandelt werden sollte. Die Autoren argumentieren, dass aktuelle Agenten nicht über das notwendige metakognitive Monitoring verfügen, um Ressourcen in langfristigen Aufgaben effektiv zu verwalten.

Die Bedeutung liegt in dem Nachweis, dass:

Budgetbewusstsein eine trainierbare und handlungsfähige Fähigkeit ist, auch wenn aktuelle Modelle darin noch unvollkommen sind.
Einfache Interventionen (wie das vorzeitige Stoppen basierend auf der Selbstprognose des Modells) erhebliche Ressourceneinsparungen ermöglichen können.
Die Lücke zwischen Aufgabenleistung und Budgetschätzung darauf hindeutet, dass die zukünftige Entwicklung von Agenten explizit auf Selbstüberwachung und Kalibrierung abzielen muss, anstatt davon auszugehen, dass diese Eigenschaften natürlich aus verbessertem Reasoning oder höherem Projekterfolg hervorgehen.

Das Paper schließt mit der Feststellung, dass die präzise Intervallkalibrierung zwar eine Herausforderung bleibt (mit einer Deckelung bei 47 % Coverage nach dem Training), die Fähigkeit zur Erkennung von Unmachbarkeit und zur Kostenschätzung jedoch eine kritische, eigenständige Fähigkeit ist, die entwickelt werden muss, um ressourcenbeschränkte Agenten in realen, hochsensiblen Umgebungen effektiv operieren zu lassen.