🤖 AI

AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents

Das AGORA-Papier schlägt eine adapterbasierte, inferenzfreie Prompt-Komprimierungsmethode für LLM-Agenten vor, die die strukturellen Einschränkungen bestehender token-level-extraktiver Komprimierer überwindet, indem sie einen strukturellen Engpass als primären Qualitätsbottleneck identifiziert und durch einen gelernten Scorer eine adaptive Komprimierung im Bereich von 1,0–11,5x erreicht, während nahezu unverdünnte Leistung beibehalten wird.

Ursprüngliche Autoren: Haoran Zhang, Zhaohua Sun

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haoran Zhang, Zhaohua Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen LLM-Agenten als hochqualifizierten Detektiv vor, der versucht, ein Rätsel zu lösen. Um den Fall aufzuklären, betrachtet der Detektiv ein langes Notizbuch, das voller Hinweise, seiner durchgeführten Aktionen und dessen, was er danach sah, ist. Während die Ermittlungen fortschreiten, wird dieses Notizbuch riesig – manchmal über 100.000 Wörter lang. Wenn das Notizbuch zu groß wird, gerät der Detektiv in Panik und kann nicht mehr klar denken.

Das Problem lautet: Wie verkleinert man dieses Notizbuch, ohne die Hinweise zu löschen, die tatsächlich wichtig sind?

Das Problem: Der „falsche" Verkleinerer

Forscher versuchten, Standard-„Zusammenfasser" (sogenannte Token-Level-Kompressoren) einzusetzen, die sich hervorragend für normale Lesetätigkeiten eignen, wie etwa das Zusammenfassen eines Nachrichtenartikels. Diese Tools funktionieren, indem sie Wörter löschen, die „vorhersehbar" oder „langweilig" erscheinen.

Doch für einen Agenten-Detektiv ist dieser Ansatz eine Katastrophe. Die Arbeit bezeichnet dies als „Action-Grammar-Zerstörung".

Hier ist die Analogie:
Stellen Sie sich vor, das Notizbuch des Detektivs enthält eine spezifische Anweisung: „Suche nach [roten Schuhen Größe 10]."

Die Wörter „Suche", „nach" und die Klammern [ ] sind die Action-Grammatik. Sie sind die Befehle, die dem Computer sagen, was zu tun ist.
Da diese Wörter jedoch im Englischen so häufig und vorhersehbar sind, denkt der Standard-Zusammenfasser: „Oh, 'nach' und Klammern sind langweilig. Ich lösche sie, um Platz zu sparen."
Das Ergebnis: Das Notizbuch lautet nun nur noch „rote Schuhe Größe 10."
Der Absturz: Die Computerumgebung sieht dies und sagt: „Ich weiß nicht, was ich damit anfangen soll. Das ist kein Befehl." Der Agent stürzt ab oder scheitert.

Die Arbeit testete 17 verschiedene Szenarien und stellte fest, dass jedes einzelne Mal, wenn diese Standard-Zusammenfasser verwendet wurden, die Leistung des Agents auf nahezu Null einbrach, obwohl sie erfolgreich Platz sparten. Das Tool funktionierte perfekt, doch es löschte genau die Dinge, die den Agenten funktionstüchtig machten.

Die Lösung: AGORA (Das intelligente Ablagesystem)

Die Autoren entwickelten ein neues System namens AGORA. Anstatt wie ein Wort-Schrubber zu wirken, agiert AGORA wie ein intelligenter Akten clerk, der die Struktur des Notizbuchs des Detektivs versteht.

AGORA arbeitet in drei einfachen Schichten:

Der „Nicht-Anfassen"-Bereich (Structural Parser):
AGORA hat eine Regel: „Löschen Sie niemals die Systemanweisungen, den aktuellen Hinweis oder die letzten zwei Schritte."
- Analogie: Stellen Sie sich vor, das Notizbuch des Detektivs hat einen roten Haftnotiz auf den letzten beiden Seiten und dem Titelblatt. AGORA sagt: „Egal was passiert, wir behalten diese Seiten genau so, wie sie sind." Dies stellt sicher, dass der Agent immer weiß, was er tut und was gerade passiert ist.
Der „Relevanz-Score" (Der 125M-Parameter-Bewerter):
Für die älteren Seiten im Notizbuch verwendet AGORA ein kleines, schnelles KI-Modell (ein Modell mit 125 Millionen Parametern), um zu fragen: „Wenn wir diesen alten Hinweis entfernen, wird der Detektiv jetzt eine andere Entscheidung treffen?"
- Wenn die Antwort „Nein, dieser alte Hinweis ist nicht wichtig" lautet, wird er gelöscht.
- Wenn die Antwort „Ja, dieser Hinweis ist kritisch" lautet, bleibt er erhalten.
- Wichtiger Punkt: Dies geschieht in etwa 2 Millisekunden. Es wird keine riesige KI gebeten, die Geschichte neu zu schreiben; es wird lediglich geprüft, ob die Seite wichtig ist.
Der „gierige" Füller:
Sobald die „Nicht-Anfassen"-Seiten sicher sind, füllt AGORA den verbleibenden Platz mit den wichtigsten alten Hinweisen, bis das Notizbuch klein genug ist.

Warum das eine große Sache ist

Keine zusätzlichen Kosten: Die meisten anderen Methoden versuchen, das Notizbuch zusammenzufassen, indem sie eine zweite riesige KI bitten, die Arbeit zu erledigen. Dies kostet bei jedem einzelnen Schritt zusätzliches Geld und Zeit. AGORA erledigt dies, ohne eine zweite KI zu befragen, und spart so Geld und Zeit.
Es funktioniert: In 8 von 9 verschiedenen Testszenarien behielt AGORA die Leistung des Agents bei 75 % oder mehr seiner ursprünglichen Geschwindigkeit und Genauigkeit, selbst bei einem deutlich kleineren Notizbuch.
Anpassungsfähig: Es ermittelt automatisch, wie stark das Notizbuch verkleinert werden muss. Manchmal wird es um das 1-fache (ein wenig) verkleinert, manchmal um das 11-fache (viel), je nachdem, wie viel „Ballast" in der Historie enthalten ist.

Das Fazit

Die Arbeit beweist, dass man die Historie eines KI-Agenten nicht einfach wie ein normales Buch behandeln kann. Man muss die „Grammatik" seiner Befehle respektieren. AGORA ist eine leichte, schnelle und kostenlose Möglichkeit, das Gedächtnis des Agenten sauber zu halten, ohne versehentlich die Anweisungen zu löschen, die ihn funktionieren lassen. Es ist der Unterschied zwischen einem Zusammenfasser, der das „Stop"-Schild von einer Straßenkarte entfernt, und einem Ablagesystem, das die Karte lesbar hält, aber alte, irrelevante Straßennamen entfernt.

Technische Zusammenfassung: AGORA – Adapter-basierte Beibehaltung von Beobachtungen und Aktionen für inferenzfreie Prompt-Komprimierung in LLM-Agenten

1. Problemdefinition

Large Language Model (LLM)-Agenten akkumulieren lange Trajektorien von Aktionen und Beobachtungen, während sie mit Umgebungen interagieren. Wenn sich die Aufgabenhorizonte ausdehnen (z. B. mehr als 100.000 Token bis zum Schritt 30 auf WebShop), wird die Komprimierung dieses Kontexts zu einer praktischen Notwendigkeit. Das Papier argumentiert jedoch, dass Standard-Prompt-Komprimierungstechniken, die für allgemeine Single-Turn-Sprachmodelle (LMs) entwickelt wurden, für LLM-Agenten strukturell unangemessen sind.

Das erkannte Kernproblem ist die Zerstörung der Aktionsgrammatik. In Agenten-Trajektorien sind Token, die kritische Aktionssemantik tragen (Bezeichner, Klammern, Aktionsverben wie search[...] oder click[...]), oft hochgradig aus dem umgebenden natürlichen Sprachkontext vorhersagbar. Folglich löschen tokenbasierte extraktive Komprimierer, die Token nach Selbstinformation oder Perplexität rangieren und die am niedrigsten bewerteten entfernen, systematisch diese semantischen Token. Der resultierende „komprimierte" Prompt enthält zwar grammatikalisch korrektes Englisch, aber ungrammatische Agentenbefehle, was dazu führt, dass die Umgebung die Aktion ablehnt und der Agent versagt.

Die Autoren zeigen, dass über 17 experimentelle Zellen hinweg, die zwei unabhängige Familien von tokenbasierten Methoden abdecken (Selective Context und LLMLINGUA-2), jede Konfiguration auf eine mittlere Belohnung ( $m_r$ ) von $\leq 0.05$ kollabiert, trotz einer Komprimierung von 1,3–13,3×.

2. Methodik: AGORA

Um dies zu adressieren, schlagen die Autoren AGORA (Adapter-Grounded Observation-Action Retention Architecture) vor, einen inferenzfreien Komprimierer auf Ebene der Schritte. Im Gegensatz zu tokenbasierten Methoden operiert AGORA auf der Granularität vollständiger (Aktion, Beobachtung)-Paare und stellt sicher, dass die Aktionsyntax intakt bleibt.

AGORA besteht aus drei Hauptkomponenten:

Struktureller Prompt-Parser:
- Segmentiert die Trajektorie des Agenten in rollenbasierte Blöcke (System, Aufgabe, Vergangene Schritte, Aktuelle Beobachtung, Ausstehende Antwort).
- Gruppiert vergangene Interaktionen in diskrete Schrittpaare $(a_i, o_i)$ .
- Diese Parsing-Operation ist deterministisch und aufgabenagnostisch und stützt sich auf Rollenmarkierungen (z. B. [ASSISTANT], [USER]).
Immer-behalten-Boden (Deterministische Qualitätsuntergrenze):
- Behält bestimmte kritische Inhalte bedingungslos bei, um Format und Aktualität zu bewahren:
  - Systemnachricht ( $c_{sys}$ ) und Aufgabenanweisung ( $c_{task}$ ).
  - Aktuelle Beobachtung ( $c_{now}$ ) und jede ausstehende Antwort ( $c_{pend}$ ).
  - Die $K_{recent}=2$ neuesten Schritte.
- Diese Schicht stellt sicher, dass das für das Funktionieren des Agenten erforderliche „Invariante" (z. B. Kenntnis des aktuellen Zustands und der jüngsten Historie) niemals verloren geht.
Gelernter Relevanz-Scorer für Schritte:
- Ein 125-Millionen-Parameter-RoBERTa-base-Klassifikator, der trainiert wurde, um die Relevanz verbleibender vergangener Schritte gegenüber der aktuellen Beobachtung zu bewerten.
- Trainingsignal: Das Modell wird auf kontrafaktischen Labels für Änderungen des nächsten Schritts trainiert. Für jeden vergangenen Schritt $s_i$ und die aktuelle Beobachtung $c_{now}$ wird das Agenten-Backbone $K=8$ Mal abgefragt (die Hälfte mit $s_i$ , die Hälfte ohne). Das Label ist der Anteil der Fälle, in dem sich die kanonisierte nächste Aktion ändert. Dies erzeugt ein weiches Label $y_i \in [0, 1]$ , das die Kritikalität des Schritts angibt.
- Inferenz: Der Scorer führt einen einzigen Vorwärtsdurchlauf ( $\sim 2$ ms/Schritt) ohne API-Aufrufe aus. Er gibt eine Wahrscheinlichkeit $p_i$ aus, dass das Entfernen des Schritts $s_i$ die nächste Aktion ändern würde.
Gierige Budgetauffüllung:
- Gegeben ein Ziel-Zeichenbudget (z. B. 25 % der ursprünglichen Länge) füllt das System den verbleibenden Raum nach dem „Immer-behalten-Boden" auf, indem es nicht-zugehörige Schritte in absteigender Reihenfolge ihrer Relevanzwerte $p_i$ gierig auswählt.
- Verworfene Schritte werden durch einen einzigen Auslassungsmarker ersetzt (z. B. [... N Schritt(e) ausgelassen ...]).

3. Hauptbeiträge

Das Papier leistet drei primäre Beiträge:

Identifikation der Zerstörung der Aktionsgrammatik: Die Autoren diagnostizieren und benennen formal den strukturellen Fehlermodus, bei dem tokenbasierte Komprimierer bei Agenten versagen. Sie liefern systematische Beweise (17 Zellen), die zeigen, dass diese Methoden die Leistung von Agenten kollabieren lassen, weil sie Token mit niedriger Selbstinformation entfernen, die für die Aktionsyntax essentiell sind.
AGORA-Architektur: Ein neuartiger, inferenzfreier Komprimierer auf Schrittebene, der einen strukturellen Parser, einen deterministischen „Immer-behalten"-Boden und einen gelernten Relevanz-Scorer kombiniert, der auf kontrafaktischen Labels trainiert wurde. Er erreicht eine adaptive Komprimierung (1,0–11,5×) mit null LLM-Overhead pro Schritt.
Komponentenattribution: Durch Ablationsstudien isoliert das Papier den spezifischen Wert jeder Designentscheidung:
- Der Immer-behalten-Boden ist der dominierende Hebel für die Qualitätsbeibehaltung (das Entfernen führt zu einem signifikanten Leistungsabfall).
- Der Gelernte Scorer ist der primäre Treiber des Bereichs der adaptiven Komprimierung und ermöglicht es dem System, Komprimierungsraten basierend auf der Komplexität der Trajektorie zu variieren, während ein festes Behaltungsverhältnis aufrechterhalten wird.

4. Experimentelle Ergebnisse

Die Autoren bewerteten AGORA über 9 Zellen hinweg (3 Umgebungen: ALFWorld, ScienceWorld, WebShop; 3 Backbones: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) gegen 10 Baselines (einschließlich tokenbasierter extraktiver Methoden und LLM-basierter abstraktiver Komprimierer).

Qualitätsbeibehaltung: AGORA ist die einzige inferenzfreie Methode, die in 8 von 9 Zellen $\geq 75\%$ $\geq 75%$ der unkomprimierten Leistung beibehält (die Ausnahme ist ScienceWorld mit gpt-5-mini bei 73 %).
- Durchschnittliche mittlere Belohnung ( $m_r$ ) mit AGORA: 0,387 (92 % Beibehaltung gegenüber Keine-Komprimierung).
- Im Gegensatz dazu kollabierten tokenbasierte Methoden (Selective Context, LLMLINGUA-2) auf $m_r \leq 0.05$ .
Komprimierungseffizienz: AGORA erreicht einen adaptiven End-to-End-Komprimierungsbereich von 1,0–11,5× unter Verwendung einer einzigen festen Konfiguration ( $\rho=0.25$ ) und passt sich dem spezifischen Trajektorienregime ohne zellenweise Feinabstimmung an.
Kosten: AGORA verursacht keine zusätzlichen LLM-Token-Kosten pro Schritt (inferenzfrei). Während LLM-basierte Komprimierer (HiAgent, AgentDiet, ACON) in Szenarien mit langen Trajektorien oft niedrigere Kosten pro Aufgabe durch aggressive Komprimierung erreichen, zahlen sie 8–126k zusätzliche Token pro Aufgabe für ihre eigenen Komprimierer-Aufrufe. AGORA ist in Szenarien überlegen, in denen LLM-Overhead pro Schritt prohibitiv ist oder wo die Beibehaltung die bindende Einschränkung darstellt.
Ablation: Das Entfernen des „Immer-behalten-Bodens" verursachte den größten Leistungsabfall ( $\Delta m_r \approx -0.088$ ). Das Entfernen des Scorers reduzierte die Leistung nur geringfügig ( $\Delta m_r \approx -0.031$ ), eliminierte jedoch den adaptiven Komprimierungsbereich, was bestätigt, dass der Boden die Qualität und der Scorer das Komprimierungsvolumen steuert.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass AGORA eine notwendige Verschiebung darstellt, wie wir Prompt-Komprimierung für Agenten angehen. Die Autoren argumentieren, dass das „Rangieren und Löschen"-Paradigma der tokenbasierten Komprimierung für Agenten strukturell falsch spezifiziert ist, da es auf Informationsdichte statt auf strukturelle Integrität von Aktionsbefehlen optimiert.

Bedeutung:

Paradigmenwechsel: Es verlagert den Designraum von der tokenbasierten zur schrittweisen Komprimierung und bewahrt die syntaktische Integrität von Agentenbefehlen.
Viabilität ohne Inferenz: Es zeigt, dass hochwertige Komprimierung für Agenten keine teuren, schrittweisen LLM-Aufrufe erfordert, was sie für den Einsatz mit eingefrorenen, Black-Box-Backbones machbar macht.
Robustheit: Durch die Priorisierung der strukturellen Erhaltung (des „Bodens") gegenüber semantischer Zusammenfassung vermeidet AGORA die katastrophalen Fehlermodi, die bei allgemeinen Komprimierern zu sehen sind.

Die Autoren bleiben bescheiden und stellen fest, dass AGORA kein universeller Kostengewinner ist (LLM-basierte Methoden gewinnen oft bei reinen Kosten pro Aufgabe in Szenarien mit langen Trajektorien) und dass ihre Evaluation aufgrund breiter Konfidenzintervalle ( $n=30$ ) auf Punktschätzungen beruht. Sie behaupten jedoch, dass AGORA die einzige viable inferenzfreie Lösung bietet, die hohe Leistung über diverse Agenten-Einstellungen hinweg aufrechterhält, ohne die Aktionsgrammatik zu brechen.