🤖 AI

ACM: Agentic Context Management for Long Horizon Tasks

Dieses Paper führt Agentic Context Management (ACM) ein, ein Framework, das Agenten befähigt, langfristige Aufgaben durch verlustfreie Kontextbearbeitung und externe Speicherabfrage autonom zu verwalten, wodurch die Leistung bei Such- und Programmieraufgaben signifikant verbessert und der Token-Druck reduziert wird.

Ursprüngliche Autoren: Xiaochuan Li, Ryan Ming, Meng Chu, Shuai Shao, Rong Jin, Chenyan Xiong

Veröffentlicht 2026-07-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaochuan Li, Ryan Ming, Meng Chu, Shuai Shao, Rong Jin, Chenyan Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges, vielschichtiges Rätsel zu lösen. Sie haben ein Notizbuch, in dem Sie jeden Hinweis, jedes Gespräch und jede Sackgasse aufschreiben, auf die Sie stoßen. Zu Beginn ist Ihr Notizbuch klein und leicht zu handhaben. Doch während sich der Fall über Tage hinweg zieht, füllt sich Ihr Notizbuch. Bald schon tragen Sie einen Stapel Papier, der so dick ist, dass Sie ihn nicht schnell genug durchblättern können, um den einen Hinweis von vor drei Stunden zu finden. Sie fangen an, Dinge zu vergessen, werden verwirrt und schließlich hält Sie das schiere Gewicht Ihrer eigenen Notizen daran, den Fall zu lösen. Dies ist der tägliche Kampf von „KI-Agenten“ – Computerprogrammen, die darauf ausgelegt sind, wie Menschen zu agieren, indem sie das Internet durchsuchen, Code schreiben oder komplexe Probleme lösen. Sie sind großartig im Denken, aber sie haben eine schreckliche Gedächtnisgrenze: Ihr „Notizbuch“ (genannt Kontextfenster) wird irgendwann voll, und wenn das passiert, geben sie oft auf oder machen Fehler.

Lange Zeit versuchten Wissenschaftler, dies zu beheben, indem sie den Agenten dazu zwangen, seine Notizen zusammenzufassen, wann immer das Notizbuch zu schwer wurde. Stellen Sie sich einen strengen Lehrer vor, der schreit: „Stopp! Fasse alles zusammen, was du bisher geschrieben hast!“, wann immer das Notizbuch zu 90 % voll ist. Das Problem ist, dass der Lehrer nicht weiß, was der Detektiv gerade denkt. Er könnte den Agenten genau in dem Moment zum Zusammenfassen zwingen, in dem der Detektiv kurz vor einem Durchbruch steht, und dabei den entscheidenden Hinweis wegwerfen, der zur Lösung des Rätsels benötigt wird. Dieses Paper stellt einen klügeren Weg vor: Dem Agenten seine eigenen Gedächtniswerkzeuge zu geben, damit er selbst entscheiden kann, wann er seine Notizen aufräumt, was er behält und wie er alte Hinweise abruft, ohne sie für immer zu verlieren.

Der Agent mit einem superorganisierten Gehirn

Die Forscher hinter diesem Paper, von der Carnegie Mellon University und Meta, schlagen ein neues System namens Agentic Context Management (ACM) vor. Anstatt sich auf eine starre Regel oder einen externen Monitor zu verlassen, der der KI sagt, wann sie zusammenfassen soll, statten sie die KI mit zwei speziellen „Werkzeugen“ aus, die wie das Kurzzeit- und Langzeitgedächtnis eines Menschen funktionieren.

Betrachten Sie das aktuelle Arbeitsgedächtnis der KI als einen Schreibtisch. Wenn Sie an einem Projekt arbeiten, halten Sie die Papiere, die Sie jetzt gerade brauchen, auf dem Schreibtisch bereit. Aber wenn das Projekt wächst, wird der Schreibtisch unordentlich. Auf die alte Art würde ein Roboter einfach alles in eine Kiste schieben und die Papiere wegwerfen, wobei nur eine vage Beschreibung dessen übrig bleibt, was sich in der Kiste befand. Wenn Sie später ein spezifisches Detail bräuchten, säßen Sie in der Klemme.

Mit ACM besitzt die KI einen Aktenschrank direkt neben dem Schreibtisch. Wenn der Schreibtisch zu voll wird, entscheidet die KI, aufzuräumen. Sie nimmt die Papiere, die sie nicht sofort benötigt, schreibt eine ordentliche Zusammenfassung davon und archiviert die Originalpapiere im Aktenschrank. Entscheidend ist: Sie wirft sie nicht weg; sie bewahrt sie sicher auf. Wenn die KI später feststellt: „Warte, ich muss nachsehen, was in diesem alten Dokument stand“, kann sie den Schrank öffnen, die spezifische Akte herausziehen und die Originaldetails lesen. Dies ist ein verlustfreies Management: Die Information geht nie verloren, sie wird lediglich vom „aktiven Schreibtisch“ in den „Archivschrank“ verschoben.

Der KI beibringen, eine gute Bibliothekarin zu sein

Es reicht nicht aus, der KI nur diese Werkzeuge zu geben. Die Forscher fanden heraus, dass selbst intelligente KI-Modelle nicht von Natur aus wissen, wann sie diese nutzen sollen. Manchmal räumen sie zu früh auf (und werfen einen Hinweis weg, den sie noch brauchen), und manchmal warten sie zu lange (und lassen den Schreibtisch so unordentlich werden, dass sie nicht mehr denken können).

Um dies zu beheben, entwickelte das Team eine clevere Trainingsmethode unter Verwendung eines „Lehrer-Schüler-Ansatzes“. Stellen Sie sich einen Meisterdetektiv (den Lehrer) vor, der einen Lehrling (den Schüler) beobachtet, während dieser versucht, einen Fall zu lösen.

Der Fehler: Der Schüler versucht, das Problem zu lösen, ohne den Aktenschrank zu benutzen, und bleibt stecken oder scheitert.
Die Lektion: Der Lehrer betrachtet die unordentlichen Notizen des Schülers und sagt: „Hey, an genau diesem Punkt hättest du diese alten Notizen in den Schrank legen sollen, weil du dich im Kreis gedreht hast.“
Die Korrektur: Der Lehrer beobachtet auch, wenn der Schüler den Schrank tatsächlich benutzt, und sagt: „Warte, das hättest du noch nicht ablegen müssen! Du warst kurz davor, die Antwort zu finden.“

Indem der Schüler sowohl zeigt, wann er aufräumen muss als auch wann nicht, lernt die KI das perfekte Timing. Sie lernt zu erkennen, wann sie „in einer Schleife feststeckt“ oder wann ihr Schreibtisch zu voll wird, und ergreift dann von selbst Maßnahmen.

Die Ergebnisse: Mehr Hinweise, bessere Antworten

Als die Forscher ihr neues System testeten, waren die Ergebnisse beeindruckend. Sie stellten ihren „ACM-Agenten“ drei schwierigen Arten von Aufgaben gegenüber: tiefgehende Web-Recherche, komplexe Suchanfragen und das Beheben von Computercode.

Bessere Genauigkeit: Der trainierte ACM-Agent löste 27 % mehr schwierige Forschungsfragen und 8 % mehr Programmierprobleme als die Standardversion.
Weniger Stress: Das System reduzierte den „Spitzenwert des Token-Drucks“ (die maximale Menge an Informationen, die die KI gleichzeitig bewältigen musste) um etwa 20 %. Das ist vergleichbar damit, das Gewicht Ihres Rucksacks zu reduzieren, damit Sie schneller rennen können.
Mehr Exploration: Da die KI keine Angst hatte, dass der Platz ausgeht, war sie bereit, mehr Suchpfade auszuprobieren. Sie tätigte mehr Werkzeugaufrufe und untersuchte mehr Ideen, bevor sie aufgab.

Das Paper legt nahe, dass dieser Ansatz es der KI ermöglicht, viel längere und komplexere Aufgaben zu bewältigen, ohne verwirrt zu werden. Er verwandelt die KI von einer hektischen Notizenschreiberin, die überall Papiere fallen lässt, in einen ruhigen, organisierten Detektiv, der genau weiß, wo er die Beweise findet, die er auch nach Stunden der Untersuchung noch benötigt. Die Forscher haben ihren Code und ihre Daten zur Verfügung gestellt und laden andere dazu ein, auf diesem „smarten Archivierungssystem“ für die Zukunft der KI aufzubauen.

Technisches Resümee: Agentic Context Management für Long-Horizon-Aufgaben (ACM)

1. Problemstellung

Agentische Aufgaben, die von Large Language Models (LLMs) durchgeführt werden, sind inhärent langwierig (long-horizon) und mehrstufig (multi-turn). Sie erfordern, dass Agenten adaptive Pläne formulieren, Werkzeuge aufrufen und ihre Aktionen basierend auf dem Feedback der Umgebung anpassen. Die Interaktionsverläufe dieser Aufgaben akkumulieren jedoch verböses und verrauschtes Kontextmaterial (einschließlich fehlgeschlagener Versuche, redundanter Beobachtungen und Tool-Outputs). Selbst bei Modellen, die nominale Kontextfenster von Millionen von Token unterstützen, wird die effektive Kontextkapazität oft überschritten, was zu Leistungsdegradierung führt.

Bestehende Lösungen stehen vor erheblichen Einschränkungen:

Long-Context-Pretraining und hybride Attention-Mechanismen erweitern zwar die Fenster, leiden aber unter messbarer Leistungsdegradierung oder bleiben fundamental durch die Grenzen des Kontextfensters beschränkt.
Kontext-Kompressions-Pipelines (z. B. ReSum, ACON) verlassen sich auf starre, handgefertigte heuristische Regeln (wie etwa feste Token-Schwellenwerte), um eine Kompression auszulösen. Diese externen Monitore sind nicht mit dem sich entwickelnden Fokus des Agenten im Bereich des logischen Schließens (Reasoning) abgestimmt und führen oft dazu, dass Informationen vorzeitig komprimiert werden oder die Kompression unterbleibt, wenn sie notwendig wäre. Darüber hinaus sind viele Kompressionsmethoden verlustbehaftet (lossy) und verwerfen Originaldaten, die später benötigt werden könnten.

2. Methodik: Agentic Context Management (ACM)

Die Autoren schlagen Agentic Context Management (ACM) vor, ein Framework, das Agenten mit zweckgebundenen Werkzeugen ausstattet, um ihren Kontext autonom, verlustfrei und in Übereinstimmung mit ihrem Reasoning-Zustand zu verwalten.

2.1 Kern-Framework

Inspiriert durch die Trennung von Kurzzeit- und Langzeitgedächtnis beim Menschen, führt ACM zwei spezifische Werkzeuge ein:

manage_context: Komprimiert den aktuellen Arbeitskontext (alle Nachrichten seit der letzten Zusammenfassungs-Grenze) in eine prägnante Zusammenfassung. Entscheidend ist, dass die ursprünglichen Rohdaten nicht verworfen werden, sondern in ein externes persistentes Speichersystem (z. B. Festplatte) ausgelagert werden. Jeder Zusammenfassung wird eine eindeutige Kennung zugewiesen, die sie mit den Rohdaten verknüpft.
query_memory: Ermöglicht es dem Agenten, spezifische Informationen aus den ausgelagerten Rohdaten abzurufen, indem er den externen Speicher unter Verwendung der Zusammenfassungs-Kennung abfragt.

Im Gegensatz zu vorangegangenen Arbeiten, bei denen ein externer Monitor die Kompression erzwingt, ist ACM agenten-initiiert. Der Agent entscheidet selbst, wann und wie er komprimiert, basierend auf seinem internen Reasoning-Zustand (z. B. Erkennung von Schleifen, redundanten Abfragen oder dem Annähern an Token-Limits), was eine dynamische Expansion oder Kontraktion des effektiven Kontextes ermöglicht.

2.2 Post-Training-Pipeline

Da Frontier-Modelle Schwierigkeiten haben, den optimalen Zeitpunkt für das Kontextmanagement zu bestimmen, entwickeln die Autoren eine Dual-Constraint Teacher-Student Post-Training-Pipeline:

Phase 1: Student Rollouts: Ein Student-Modell (Qwen3.5-9B) generiert Trajektorien unter zwei Bedingungen:
- Ohne ACM-Tools ( $H^-$ ): Um gewöhnliches Explorationsverhalten widerzuspiegeln.
- Mit ACM-Tools ( $H^+$ ): Um die ungelernte Nutzung der Werkzeuge zu erfassen.
Phase 2: Teacher Annotation: Ein stärkeres Teacher-Modell (Qwen3.5-397B-A17B) überprüft diese Trajektorien anhand einer Referenzantwort und wendet zwei komplementäre Constraints an:
- Injection (auf $H^-$ ): Identifiziert Schritte, in denen das Kontextmanagement hätte aufgerufen werden sollen (z. B. wenn der Student in eine Sackgassen-Schleife gerät oder redundanten Kontext akkumuliert) und fügt den entsprechenden Tool-Aufruf mit einem Reasoning-Trace ein.
- Refinement (auf $H^+$ ): Identifiziert Schritte, in denen die Kontextmanagement-Aufrufe des Studenten verfrüht oder unnötig waren (z. B. Kompression vor der Synthese einer Antwort) und ersetzt sie durch produktivere Aktionen (z. B. tiefergehende Suche oder Finalisierung einer Antwort).
Trainingsziel: Der Student wird mittels On-Policy-Distillation trainiert, um die Soft Next-Token-Verteilungen des Teachers zu imitieren, wodurch er lernt, nicht nur wie man die Werkzeuge nutzt, sondern auch, wann man sie aufruft oder darauf verzichtet.

2.3 Qualitätskontrolle der Daten

Um qualitativ hochwertige Trainingsdaten sicherzustellen, nutzt die Pipeline:

Rejection Sampling: Es werden nur Trajektorien beibehalten, bei denen der Student initial gescheitert ist, um sicherzustellen, dass das Lernen an genuin anspruchsvollen Problemen stattfindet.
Content Filtering: Überprüfung, ob die Reasoning-Traces des Teachers erklären, warum eine Kompression gerechtfertigt ist (z. B. „zyklische Exploration“), ohne dabei Informationen aus der Referenzantwort preiszugeben.

3. Kernbeiträge

Agentic Context Management Paradigma: Ein Wechsel von extern, heuristisch gesteuerter Kompression hin zu einem agenten-autonomen, verlustfreien Kontextmanagementsystem, bei dem der Agent über Timing und Methode der Kompression entscheidet.
Dual-Constraint Post-Training-Pipeline: Eine effiziente Methode, um Kontextmanagement-Fähigkeiten im Modell zu internalisieren, wodurch der Agent lernt, den richtigen Zeitpunkt für Kompression und Abfrage zu finden, ohne allein auf schwerfälliges Reinforcement Learning angewiesen zu sein.
Empirische Validierung: Nachweis, dass effektives Kontextmanagement den Peak-Token-Druck reduziert, die Explorationsturns zur Testzeit verlängert und die Konsistenz der Lösungen über unabhängige Versuche hinweg verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ACM auf drei Long-Horizon-Benchmarks: BrowseComp-Plus, DeepSearchQA und SWE-Bench Verified, wobei Qwen3.5-9B als Basismodell diente.

Leistungssteigerungen:
- BrowseComp-Plus: Das ACM-post-trainierte Modell erreichte ein 72,7% Pass@1, was eine relative Verbesserung von 27% gegenüber der ReAct-Baseline (57,0%) darstellt und das 397-Milliarden-Parameter Frontier-Modell (65,3%) übertrifft.
- DeepSearchQA: Steigerung von 36,7% (ReAct) auf 42,5% (ACM-Post-Trained).
- SWE-Bench Verified: Steigerung von 48,9% (ReAct) auf 53,0% (ACM-Post-Trained).
Effizienz und Verhalten:
- Token-Reduktion: ACM reduzierte den Peak-Token-Verbrauch im Vergleich zu den Baselines um etwa 20% und hielt den Arbeitskontext selbst bei langen Trajektorien weit unter dem Limit.
- Exploration: Das Framework ermöglichte signifikant mehr Tool-Aufrufe und Explorationsturns. Beispielsweise tätigten ACM-Post-Trained Agenten mehr Such- und Dokumentenabruf-Aufrufe als die Baselines, was es ihnen ermöglichte, komplexe Reasoning-Pfade zu durchlaufen, die andernfalls das Kontextlimit erreicht hätten.
- Konsistenz: Die Analyse der Pass@K-Metriken zeigte, dass ACM die Lücke zwischen Pass@1 und Pass@4 signifikant verkleinert, was auf konsistentere Lösungen über unabhängige Versuche hinweg hindeutet, verglichen mit der instabilen ReAct-Baseline.
Ablationsstudien:
- Die reine Distillation von einem starken Teacher (oh順番 spezifischen ACM-Daten) konnte das ACM-trainierte Modell nicht übertreffen, was die Notwendigkeit dedizierter Kontextmanagement-Demonstrationen unterstreicht.
- Die Kombination von allgemeiner Distillation mit ACM-Daten lieferte die beste Gesamtleistung, was darauf hindeutet, dass die beiden Quellen sich gegenseitig verstärken.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ACM einen grundlegenden Wandel in der Art und Weise darstellt, wie Agenten Long-Horizon-Aufgaben bewältigen. Indem das Kontextmanagement als explizite, agenten-initiierte Aktion statt als externer Constraint behandelt wird, ermöglicht das Framework den Agenten:

Ein sauberes, kompaktes Arbeitsgedächtnis zu führen, das auf unmittelbares Reasoning fokussiert ist, während eine verlustfreie Historie in einem externen Speicher erhalten bleibt.
Den effektiven Explorationshorizont zu erweitern, wodurch Probleme gelöst werden können, die hunderte von Schritten und hunderte tausend Token erfordern, welche bei Standard-Agenten aufgrund von Kontextüberlauf oder „Lost-in-the-Middle“-Degradierung zum Scheitern führen würden.
Höhere Konsistenz zu erreichen, da ein gut verwalteter Kontext das Rauschen reduziert und verhindert, dass der Agent in unproduktiven Schleifen stecken bleibt.

Die Autoren betonen, dass diese Gewinne erzielt werden, ohne die zugrunde liegende Modellarchitektur zu verändern oder massives Reinforcement Learning zu erfordern, sondern durch eine gezielte Post-Training-Pipeline, die das Modell lehrt, seine kognitiven Ressourcen selbstständig zu verwalten.

Einschränkungen: Die Autoren merken an, dass ACM ein Basismodell voraussetzt, das über ausreichende Long-Horizon-Reasoning-Fähigkeiten verfügt; kleinere Modelle (z. B. 4B Parameter), die aufgrund von Reasoning-Kollaps statt wegen Kontextdruck vorzeitig abbrechen, profitieren nicht von diesen Werkzeugen. Zudem basiert die Evaluierung auf re-implementierten Baselines, wenngleich Anstrengungen unternommen wurden, um einen fairen Vergleich zu gewährleisten.