💬 NLP

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

Dieser Beitrag stellt BudgetMem vor, ein Laufzeit-Agenten-Gedächtnis-Framework, das einen auf Reinforcement Learning basierenden Router einsetzt, um querybewusste Budgetstufen über die Gedächtnismodule hinweg dynamisch auszuwählen und so den Kompromiss zwischen Aufgabenleistung und Rechenkosten effektiv zu optimieren.

Ursprüngliche Autoren: Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben einen riesigen Aktenschrank voller Tausender alter Fallakten, Chat-Protokolle und Notizen (dies ist Ihr Gedächtnis). Eine neue Frage kommt herein: „Wer hat den Keks gestohlen?"

Der alte Weg: „Einmal bauen, immer verwenden"

Die meisten aktuellen KI-Systeme funktionieren wie eine Bibliothekarin, die jede einzelne Nacht jedes einzelne Dokument im Schrank liest, zusammenfasst und die Zusammenfassungen in eine winzige Box stopft.

Das Problem: Wenn Sie eine einfache Frage stellen wie „Wie ist das Wetter?", hat die Bibliothekarin trotzdem die ganze Nacht damit verbracht, die Akten über den Kessdiebstahl zu lesen. Es ist eine Verschwendung von Zeit und Energie. Schlimmer noch: Wenn die Zusammenfassung ein winziges Detail über den Keks übersehen hat, kann die Bibliothekarin nicht zurückgehen und nachprüfen, da die Originaldateien bereits „verarbeitet" und weggeworfen wurden.

Der neue Weg: BudgetMem

Die Arbeit stellt BudgetMem vor, ein intelligenteres System, das Gedächtnis wie eine Restaurantküche mit einem flexiblen Budget behandelt.

Anstatt alles vorzukochen, wartet die Küche, bis Sie eine Bestellung aufgeben (die Abfrage). Dann entscheidet sie genau, wie viel Aufwand für die Zubereitung der Zutaten für diese spezifische Bestellung investiert werden soll.

1. Die drei Budget-Stufen (Niedrig, Mittel, Hoch)

Jeder Schritt in der Küche hat drei Möglichkeiten, dasselbe Gericht zuzubereiten:

Niedriges Budget (Der schnelle Snack): Verwenden Sie eine einfache Regel oder einen schnellen, kleinen Helfer. Es ist billig und schnell, kann aber subtile Geschmacksnuancen übersehen.
- Analogie: Die Verwendung einer einfachen Stichwortsuche oder eines kleinen, schnellen Roboters zum Scannen der Dateien.
Mittleres Budget (Das Standardessen): Verwenden Sie ein etwas intelligenteres Werkzeug oder ein wenig mehr Nachdenken. Es kostet etwas mehr, ist aber genauer.
- Analogie: Die Verwendung eines mittelgroßen KI-Modells oder eines „Chain of Thought"-Ansatzes (Schritt-für-Schritt-Denken).
Hohes Budget (Das schicke Festmahl): Verwenden Sie den größten, mächtigsten Koch und einen komplexen, mehrstufigen Prozess. Es ist teuer und langsam, bringt aber die meisten Details richtig hin.
- Analogie: Die Verwendung eines massiven, superschlauen KI-Modells, das tiefgründig schlussfolgert und seine eigene Arbeit überprüft.

2. Der clevere Kellner (Der Router)

Die Magie von BudgetMem ist ein leichter Router, der wie ein cleverer Kellner fungiert.

Wenn Sie bestellen „Wie ist das Wetter?", betrachtet der Kellner die Anfrage und sagt: „Keine Notwendigkeit, den schicken Koch zu rufen! Lassen Sie uns einfach die niedrige Budget-Schnellsuche verwenden. Sie ist schnell und billig."
Wenn Sie bestellen „Wer hat den Keks gestohlen und warum?", erkennt der Kellner, dass dies ein komplexes Rätsel ist. Er sagt: „Okay, für den Teil ‚Wer' verwenden wir das mittlere Budget. Aber für den Teil ‚Warum' brauchen wir den hochbudget-Koch, der es wirklich durchdenkt."

Der Kellner lernt dieses Verhalten mittels Reinforcement Learning (Versuch und Irrtum). Er erhält eine „Bewertung" basierend auf zwei Dingen:

Haben Sie die richtige Antwort erhalten? (Leistung)
Haben wir zu viel Geld ausgegeben? (Kosten)

Im Laufe der Zeit lernt der Kellner das perfekte Gleichgewicht: Genau genug Geld auszugeben, um die richtige Antwort zu erhalten, aber keinen Cent mehr.

3. Drei Möglichkeiten, das Budget zu ändern

Die Arbeit testete drei verschiedene Wege, um diese „Stufen" für die Küche zu erstellen:

Implementierungs-Tiering: Ändern, wer die Arbeit erledigt. (Niedrig = Einfache Regeln; Mittel = Eine kleine KI; Hoch = Eine riesige KI).
Schlussfolgerungs-Tiering: Ändern, wie sie denken. (Niedrig = Sofort raten; Mittel = Schritt für Schritt denken; Hoch = Denken, prüfen und neu überdenken).
Kapazitäts-Tiering: Ändern der Größe des Gehirns. (Niedrig = Ein winziges Gehirn; Mittel = Ein mittelgroßes Gehirn; Hoch = Ein riesiges Gehirn).

Die Ergebnisse

Die Forscher testeten dieses System an drei verschiedenen „Rätselspielen" (Datensätzen):

LoCoMo: Lange Gespräche.
LongMemEval: Erinnern von Details über lange Zeiträume.
HotpotQA: Komplexe Fragen, die mehrere Hinweise benötigen.

Was sie herausfanden:

Wenn Geld keine Rolle spielt (Hohes Budget): BudgetMem schlug alle anderen Systeme und erhielt bessere Antworten als die „einmal bauen"-Methoden.
Wenn das Geld knapp ist (Niedriges Budget): BudgetMem war immer noch sehr gut. Es wusste, wann es Abkürzungen nehmen konnte, ohne die Antwort zu ruinieren, wohingegen andere Systeme entweder Geld verschwendeten oder schlechte Antworten gaben, weil sie zu starr waren.
Der „Sweet Spot": Das System bewies, dass man nicht den „Hochbudget"-Koch für jede einzelne Frage verwenden muss. Durch intelligentes Mischen von niedrigen, mittleren und hohen Stufen kann man die besten Ergebnisse für den geringsten Geldbetrag erzielen.

In Kürze

BudgetMem ist ein System, das verhindert, dass KI Energie verschwendet. Anstatt blind alles zu verarbeiten, verwendet es einen intelligenten „Kellner", um genau zu entscheiden, wie viel Denkleistung für jede spezifische Frage ausgegeben werden soll, und stellt sicher, dass Sie die bestmögliche Antwort erhalten, ohne mehr zu bezahlen, als Sie benötigen.

Technische Zusammenfassung: BudgetMem

Problemstellung

Large Language Model (LLM)-Agenten verlassen sich zunehmend auf Speicher, um über einzelne Kontextfenster hinaus für Interaktionen mit langem Horizont und wissensintensive Schlussfolgerungen zu operieren. Allerdings nutzen bestehende Systeme vorwiegend eine offline, anfragenunabhängige Speicherkonstruktion. In diesen Paradigmen wird der vergangene Kontext in fester Weise vorverarbeitet, komprimiert oder indiziert, ohne sich auf die spezifische nachgelagerte Anfrage zu konditionieren. Dieser „einmal aufbauen, immer nutzen"-Ansatz ist oft ineffizient, da er Rechenleistung unabhängig von den spezifischen Bedürfnissen einer Anfrage verbraucht und das Risiko birgt, für bestimmte Anfragen kritische Informationen zu verwerfen.

Während die Laufzeitspeichernutzung (on-demand-Extraktion) eine flexible Alternative bietet, führt sie zu erheblichem Overhead und Latenz. Aktuelle industrielle LLM-Systeme bieten zunehmend explizite, gestaffelte Rechenkontrollen (z. B. „Denk"-Modi oder Schlussfolgerungsebenen) an, um Qualität gegen Kosten abzuwägen, doch Agentenspeichersysteme fehlt ein systematischer Rahmen für explizite, kontrollierbare Leistungs-Kosten-Abwägungen während der Laufzeitextraktion. Die Kernherausforderungen sind:

Budgetallokation: Definition der geeigneten Einheit für das Budgeting in einer Laufzeitsituation, da die Behandlung von Speicher als monolithische Pipeline mit fester Rechenleistung die Abwägungen grob und schwer kontrollierbar macht.
Budgetrealisierung: Bestimmung, wie die Budgetkontrolle systematisch operationalisiert werden kann, anstatt sich auf ad-hoc-Kostenreduktion oder einfache Rechensteigerung zu verlassen.

Methodik: BudgetMem

Die Autoren schlagen BudgetMem vor, ein Laufzeit-Agentenspeicherframework, das eine explizite, anfragebewusste Leistungs-Kosten-Kontrolle ermöglicht. Das Framework strukturiert die Speicherverarbeitung als modulare Mehrstufen-Pipeline, bei der die Berechnung auf Modulebene steuerbar ist.

1. Modulare Pipeline-Architektur

BudgetMem implementiert die Speicherextraktion ( $f_{mem}$ ) als Sequenz von Modulen. In ihrer dialogzentrierten Evaluation folgt die Pipeline:
$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$

Filtermodul ( $M_{fil}$ ): Verfeinert abgerufene Rohdatenblöcke.
Parallele Extraktionsmodule: Extrahieren komplementäre Kontexte:
- $M_{ent}$ : Entitätszentrierte Fakten.
- $M_{tmp}$ : Temporale Hinweise.
- $M_{top}$ : Thematische Zusammenfassungen.
Zusammenfassungsmodul ( $M_{sum}$ ): Fasst Zwischenkontexte zur finalen extrahierten Speichereinheit ( $m$ ) zusammen.

Entscheidend ist, dass das Framework keine spezifische Modulsammlung voraussetzt, sondern verlangt, dass jedes Modul eine gemeinsame Budget-Stufen-Schnittstelle offenlegt.

2. Budget-Stufen und Realisierungsstrategien

Jedes Modul legt drei Budget-Stufen offen: LOW, MID und HIGH. Diese Stufen entsprechen steigenden Rechenbudgets und typischerweise verbesserter Extraktionsqualität. Der Artikel untersucht drei komplementäre Strategien zur Realisierung dieser Stufen:

Implementierungsstaffelung: Variiert die Modulimplementierung.
- LOW: Leichte Heuristiken (Regeln, Regex, spaCy).
- MID: Kompakte gelernte Modelle (z. B. BERT-basiert).
- HIGH: LLM-basierte Verarbeitung.
Schlussfolgerungsstaffelung: Variiert das Inferenzverhalten bei festgehaltener Modellbasis.
- LOW: Direkte Generierung.
- MID: Chain-of-Thought (CoT)-Stil.
- HIGH: Mehrstufige oder Reflexions-Inferenz.
Kapazitätsstaffelung: Variiert die im Modul verwendete Modellkapazität (Größe).
- LOW: Kleine Modelle (z. B. 3B Parameter).
- MID: Mittlere Modelle (z. B. 8B–32B Parameter).
- HIGH: Große Modelle (z. B. 70B+ Parameter).

3. Anfragebewusstes Routing durch Reinforcement Learning

Um diese gestaffelten Entscheidungen dynamisch zu navigieren, setzt BudgetMem einen gemeinsamen, leichten Router ein, der mit Reinforcement Learning (RL) trainiert wird.

Richtlinie ( $\pi_\theta$ ): Bei jedem Modulaufruf-Schritt $k$ beobachtet der Router einen Zustand $s_k$ (bestehend aus der Anfrage, dem aktuellen Moduleingabe und einem Moduldeskriptor) und wählt eine Aktion $a_k \in \{LOW, MID, HIGH\}$ aus.
Ziel: Der Router wird optimiert, um die Aufgabenleistung gegen die Kosten der Speicherextraktion abzuwägen. Die Belohnungsfunktion ist definiert als:
$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$
Dabei ist $r_{task}$ die Aufgabenleistungsbelohnung (F1 oder LLM-Judge), $r_{cost}$ die normalisierte Kostenbelohnung, $\lambda$ steuert die Abwägungspräferenz und $\alpha$ ist ein varianzbasierter Alignement-Faktor zur Stabilisierung des Trainings.
Training: Der Router wird mittels Proximal Policy Optimization (PPO) trainiert. Die Kosten werden basierend auf Token-Nutzung und API-Preisen modelliert und über ein gleitendes Fenster normalisiert, um eine Vergleichbarkeit mit Aufgabenbelohnungen sicherzustellen.

Hauptbeiträge

Einführung des Frameworks: Die Autoren stellen BudgetMem vor, ein modulares Laufzeit-Agentenspeicherframework, das eine explizite Leistungs-Kosten-Kontrolle für die On-Demand-Speicherextraktion über budgetgestaffelte Module ermöglicht.
Routing-Mechanismus: Sie schlagen budgetgestaffeltes Routing vor, bei dem ein gemeinsamer, leichter Router, trainiert via RL, während der Extraktion dynamisch Budget-Stufen auswählt. Dies wird mit drei komplementären Strategien (Implementierung, Schlussfolgerung und Kapazität) innerhalb eines einheitlichen Frameworks realisiert.
Empirische Analyse: Durch Experimente auf LoCoMo, LongMemEval und HotpotQA zeigt der Artikel, dass BudgetMem in leistungsorientierten Szenarien starke Ergebnisse erzielt und unter strengeren Budgets klare, kontrollierbare Leistungs-Kosten-Abwägungskurven etabliert. Die Analyse entwirrt die Stärken verschiedener Staffelungsstrategien und bietet Einblicke, welche Mechanismen unter variierenden Budgetregimen die besten Renditen erzielen.

Experimentelle Ergebnisse

Die Autoren bewerteten BudgetMem gegen starke Baselines (z. B. ReadAgent, MemoryBank, LightMem) unter Verwendung von LLaMA-3.3-70B und Qwen3-Next-80B als Backbones.

Leistungsorientiert (Hohes Budget): In Szenarien, die Leistung priorisieren ( $\lambda=0$ ), schnitten BudgetMem-Varianten Baselines konsistent ab. Beispielsweise erreichte BudgetMem-CAP auf LongMemEval mit LLaMA eine Judge-Score von 60,50, was die beste Baseline, LightMem (48,51), deutlich übertraf.
Leistungs-Kosten-Abwägungen: Durch Variation des Kosten-Gewichts $\lambda$ $λ$ zeichnet BudgetMem glatte Fronten, die Baselines umhüllen.
- Implementierungs- und Kapazitätsstaffelung: Spannen einen breiteren Kostenbereich ab. Die Implementierungsstaffelung bietet unter moderaten Budgets schnelle Gewinne, während die Kapazitätsstaffelung die Front in hochbudgetierten Regimen nach außen drückt.
- Schlussfolgerungsstaffelung: Zeigt eine ausgeprägte Kostenkonzentration. Sie fungiert als feinjustierbarer Qualitätsregler innerhalb einer begrenzten Kostenbandbreite, bietet Verbesserungen bei ähnlichen Kosten, aber weniger Flexibilität für extreme niedrige/hohe Budgetextreme im Vergleich zu den anderen Strategien.
Kosteneffizienz: Selbst in leistungsorientierten Regimen bleibt BudgetMem kosteneffizient, indem es nur anfragenrelevante Rohdatenblöcke on-demand verarbeitet und den Overhead der Offline-Verarbeitung ganzer Historien vermeidet.

Bedeutung und Behauptungen

Der Artikel behauptet, dass BudgetMem eine kritische Lücke in Agentenspeichersystemen schließt, indem es über „einmalige Heuristiken" oder „rechenintensive Steigerung" hinaus zu einer systematischen Sichtweise der Leistungs-Kosten-Kontrolle gelangt.

Kontrollierbarkeit: Es bietet einen praktischen Mechanismus für explizite, kontrollierbare Abwägungen und passt sich dem industriellen Trend gestaffelter Rechenoptionen (z. B. „Denk"-Modi) an.
Vereinheitlichter Vergleich: Durch die Verwendung eines einheitlichen Testbetts klärt die Arbeit auf, wann verschiedene Staffelungsstrategien (Implementierung, Schlussfolgerung, Kapazität) die günstigsten Abwägungen liefern, und bietet Leitlinien für den Einsatz unter variierenden Budgetbeschränkungen.
Fokus auf Laufzeit: Im Gegensatz zu vorheriger Arbeit, die sich auf die Offline-Konstruktion konzentrierte, fokussiert sich BudgetMem auf die Laufzeitextraktion, wodurch sichergestellt wird, dass Rechenleistung nur bei Bedarf und im Verhältnis zu den Anforderungen der Anfrage ausgegeben wird.

Die Autoren schließen, dass BudgetMem die Nutzbarkeit und Kontrollierbarkeit von Agentenspeicher unter realen Budgetbeschränkungen verbessert und Speicherverrechnungen explizit verwaltbar macht, ohne die Qualität von Schlussfolgerungen mit langem Horizont zu beeinträchtigen.