💬 NLP

Unified Context Evolution for LLM Agents

Dieses Paper führt Unified Context Evolution (UCE) ein, ein gradientenfreies Framework, das LLM-Agenten durch die Externalisierung von Erfahrung in eine dynamische, typisierte Bibliothek aus evolvierbaren Kontexteinheiten verbessert, welche selektiv generiert, bewertet und bereinigt werden, um die Leistung und den Transfer über verschiedene Backbones hinweg kontinuierlich zu steigern.

Ursprüngliche Autoren: Zixuan Zhu, Yitong Hu, Yong Dai, Junfeng Fang, Chunyang Jiang, Senkang Hu, Yuzhi Zhao

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zixuan Zhu, Yitong Hu, Yong Dai, Junfeng Fang, Chunyang Jiang, Senkang Hu, Yuzhi Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber vergesslichen Roboter darin, Rätsel zu lösen. Jedes Mal, wenn Sie ihm ein neues Rätsel geben, fängt er bei Null an, als hätte er noch nie zuvor ein Rätsel gesehen. Selbst wenn er einen cleveren Trick löst, um Rätsel Nr. 1 zu bewältigen, verschwindet dieses Wissen in dem Moment, in dem Sie ihm Rätsel Nr. 2 übergeben.

Das Paper „Unified Context Evolution“ schlägt eine Lösung für dieses „Amnesie“-Problem vor. Es führt ein System namens UCE (Unified Context Evolution) ein, das wie ein wachsendes, organisiertes Notizbuch für den Roboter fungiert. Anstatt das Gehirn des Roboters neu zu trainieren (was teuer und schwierig ist), aktualisiert UCE das „Spickzettel“-System des Roboters nach jeder Spielrunde.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Der „Reset-Knopf“

Derzeit arbeiten die meisten KI-Agenten wie ein Schüler, der eine Prüfung ablegt. Er bekommt eine Frage, denkt nach und antwortet. Wenn die Prüfung vorbei ist, vergisst er alles. Wenn er einen Fehler gemacht oder eine Abkürzung gefunden hat, geht diese Information verloren.

Die Sicht des Papers: Bestehende Methoden versuchen entweder, das Gehirn des Roboters neu zu trainieren (teuer) oder werfen all seine Erfahrungen in einen unordentlichen, unorganisierten Haufen von Notizen (verwirrend).

2. Die Lösung: Der „Vier-Schubladen-Aktenschrank“

UCE ersetzt den unordentlichen Haufen durch eine strukturierte Bibliothek aus Evolvable Context Units (ECUs). Stellen Sie sich diese Bibliothek wie einen Aktenschrank mit vier spezifischen Schubladen vor, die jeweils eine andere Art von Wissen enthalten:

Schublade 1: Gedächtnis (Die „Fakten“)
- Was es ist: Harte Fakten darüber, wie die Welt funktioniert.
- Analogie: „Wussten Sie, dass man in dieser Küche eine Tasse reinigen kann, indem man sie einfach nur in die Spüle stellt, ohne den Wasserhahn aufzudrehen?“
- Wann es verwendet wird: Um Zeit mit Schritten zu vermeiden, die nicht notwendig sind.
Schublade 2: Strategie (Die „Wenn-Dann“-Regeln)
- Was es ist: Entscheidungsregeln für den Fall, dass etwas schiefgeht.
- Analogie: „Wenn Sie versuchen, etwas zu kaufen und eine Fehlermeldung erhalten, klicken Sie nicht weiter auf ‚Kaufen‘; gehen Sie stattdessen zuerst zurück zur Hauptseite.“
- Wann es verwendet wird: Um Fehler zu korrigieren oder durch schwierige Situationen zu navigieren.
**Schublade 3: Workflow (Das „Rezept actually“)
- Was es ist: Der Standard-Schritt-für-Schritt-Plan für eine bestimmte Art von Aufgabe.
- Analogie: „Um eine Tasse zu erhitzen: 1. Finde die Tasse. 2. Stelle sie in die Mikrowelle. 3. Schalte sie ein. 4. Stelle sie in den Tassenhalter.“
- Wann es verwendet wird: Um dem Roboter einen Grundplan (Skeleton Plan) vorzugeben.
Schublade 4: Skill (Die „Universellen Werkzeuge“)
- Was es ist: Kleine, wiederverwendbare Aktionen, die bei verschiedenen Arten von Aufgaben funktionieren.
- Analogie: „Wie man eine geschlossene Box öffnet“ oder „Wie man durch eine Liste sucht“.
- Wann es verwendet wird: Um spezifische Teilschritte zu bewältigen, die in vielen verschiedenen Szenarien vorkommen.

3. Der Prozess: Wie die Bibliothek „evolviert“

Das System füllt den Schrank nicht einfach nur; es verwaltet ihn intelligent durch einen Zyklus:

Spielen und Beobachten: Der Roboter versucht, Aufgaben zu lösen. Einige löst er, manche scheitert er.
Die Notizen bewerten: Das System betrachtet die Ergebnisse. Wenn eine „Notiz“ (ECU) dem Roboter geholfen hat, erfolgreich zu sein, erhält sie eine hohe Punktzahl. Wenn sie für Verwirrung gesorgt hat, erhält sie eine niedrige Punktzahl.
Der Bibliothekar (Scheduling): Ein intelligenter Scheduler betrachtet die Bibliothek und fragt: „Was fehlt uns noch?“
- Beispiel: „Wir haben großartige Rezepte (Workflows) zum Reinigen, aber wir haben keine ‚Wenn-Dann‘-Regeln (Strategien) dafür, wenn der Roboter stecken bleibt. Lassen Sie uns als Nächstin auf neue Strategien fokussieren.“
Schreiben und Ausmisten: Das System generet neue Notizen basierend auf den jüngsten Erfahrungen des Roboters. Es wirft auch alte, nutzlose Notizen weg, die seit einiger Zeit nicht mehr geholfen haben.
Injizieren: Bevor der Roboter die nächste Aufgabe beginnt, liest er die besten Notizen aus den vier Schubladen und fügt sie seinen Anweisungen hinzu.

4. Die Ergebnisse: Schlauer werden ohne neue Gehirne

Die Forscher testeten dies in zwei Umgebungen:

ALFWorld (Virtuelles Haus): Ein Roboter, der Objekte reinigen, erhitzen oder bewegen muss.
WebShop (Online-Shopping): Ein Roboter, der bestimmte Produkte finden und kaufen muss.

Das Ergebnis:

ALFWorld: Die Erfolgsquote stieg von 75,4 % auf 96,3 %. Der Roboter lernte, dass er den Wasserhahn nicht aufdrehen muss, um Dinge zu reinigen, und dass er in bestimmten Schubladen nach Gegenständen suchen muss.
WebShop: Die Punktzahl verbesserte sich von 45,1 % auf 61,3 %. Der Roboter lernte, dass das Klicken auf „Jetzt kaufen“ innerhalb eines Unter-Tabs (wie „Features“) nicht funktioniert und dass er stattdessen zuerst zur Hauptseite zurückkehren muss.

5. Die wichtigste Erkenntnis

Der wichtigste Teil dieses Papers ist, dass sich das Gehirn des Roboters (das KI-Modell) nie geändert hat. Die Forscher haben die KI nicht neu trainiert. Stattdessen haben sie lediglich den Kontext (die Anweisungen und Notizen) verbessert, die der Roboter erhält.

Es ist, als würde man einem bereits klugen, aber vergesslichen Schüler ein besseres, organisiertes Notizbuch mit Tipps und Tricks geben und zusehen, wie er die nächste Prüfung mit Bravour besteht. Der Schüler ist nicht klüger geworden; seine Ressourcen wurden besser.

Kurz gesagt: UCE verwandelt eine vergessliche KI in einen kumulativen Lerner, indem es ihre vergangenen Erfahrungen in einer smarten, sich selbst aktualisierenden Bibliothek aus Fakten, Regeln, Rezepten und Fähigkeiten organisiert.

Technisches Resümee: Unified Context Evolution für LLM-Agenten

Problemstellung

Large Language Model (LLM) Agenten zeichnen sich dadurch aus, dass sie mehrstufige interaktive Aufgaben lösen, indem sie Schlussfolgerungen mit Feedback aus der Umgebung verknüpfen. Eine kritische Einschränkung besteht jedoch darin, dass jede Aufgabenepisode typischerweise mit einem festen Kontext (Systemanweisungen, Few-Shot-Demonstrationen) beginnt, wodurch alle während einer spezifischen Episode gewonnenen Strategien oder Erkenntnisse ephemer sind. Sobald die Aufgabe abgeschlossen ist, gehen diese Entdeckungen verloren.

Bestehende Ansätze zur Lösung dieses „Vergessen“-Problems lassen sich in zwei Kategorien unterteilen, die beide erhebliche Nachteile aufweisen:

Reinforcement Learning (RL): Methoden, die Modellgewichte via Gradientenabstieg aktualisieren. Während diese effektiv sind, erfordern sie Zugriff auf Modellparameter und eine beträchtliche Recheninfrastruktur, was sie für geschlossene (closed-source) LLMs unanwendbar macht.
Aufgabeninterne Anpassung: Methoden wie verbale Selbstkritik (Reflexion) oder iterative Verfeinerung (Self-Refine), die die Leistung während einer einzelnen Aufgabe verbessern, aber die Verbesserungen nach Beendigung der Aufgabe verwerfen.
Aufgabenübergreifende Wissensbibliotheken: Systeme, die Wissen über Aufgaben hinweg akkumulieren, jedoch oft in unstrukturierten Pools speichern (Vermischung aller Erkenntnisse) oder sich auf eine einzige Wissensform konzentrieren (z. B. nur Fähigkeiten oder nur Workflows). Darüber hinaus verlassen sich diese Systeme oft auf eine Einmal-Evaluierung, um die Qualität des Wissens zu beurteilen, anstatt den Nutzen durch wiederholte Anwendung zu verfolgen.

Die zentrale Herausforderung besteht darin, wie man eine persistente, evolvierende Wissensbibliothek aufrechterhält, die zwischen verschiedenen funktionalen Arten von Wissen unterscheidet, die Qualität durch Nutzung verfolgt und die Generierungsressourcen dynamisch auf die schwächsten Bereiche der Bibliothek verteilt – und das alles, ohne die zugrunde liegenden LLM-Gewichte zu aktualisieren.

Methodik: Unified Context Evolution (UCE)

Die Autoren schlagen Unified Context Evolution (UCE) vor, ein gradientenfreies Framework, bei dem der Kontext des Agenten selbst zum Ort des Lernens wird. UCE externalisiert die Erfahrung des Agenten in eine evolvierende Bibliothek von Evolvable Context Units (ECUs).

1. Evolvable Context Units (ECUs)

Die Bibliothek zerlegt die Erfahrung in vier funktional komplementäre, typisierte Wissenseinträge:

Memory (Gedächtnis): Faktische Aussagen über Umwelmechanismen, die durch Trial-and-Error innerhalb einer einzelnen Aufgabeninstanz entdeckt wurden (z. B. „Ein Spülbecken kann Gegenstände reinigen, ohne einen Wasserhahn aufdrehen zu müssen“).
Strategy (Strategie): Konditionale Entscheidungsregeln (IF-THEN) für Verzweigungspunkte innerhalb eines spezifischen Aufgabentyps (z. B. „Wenn ‚Ablegen‘ fehlschlägt, öffne das Behältnis und versuche es erneut“).
Workflow (Arbeitsablauf): Kanonische Ausführungssequenzen, die für einen spezifischen Aufgabentyp generalisiert wurden (z. B. „Ziel finden $\to$ Transformieren $\to$ In Behältnis platzieren“).
Skill (Fähigkeit): Wiederverwendbare mehrstufige Teiloperationen, die für verschiedene Aufgabentypen anwendbar sind (z. B. „Behältnisse durchsuchen, Behälter öffnen, Ziel nehmen“).

Jede ECU ist ein Tupel $(z_e, \tau_e, w_e, c_e, f_e)$ , wobei $z_e$ der Typ ist, $\tau_e$ der anwendbare Aufgabentyp, $w_e$ die Abrufbedingung, $c_e$ der injizierte Inhalt und $f_e$ ein Fitness-Score.

2. Lebenszyklus und Abruf

Das Framework operiert in Evolutionszyklen, die jeweils aus fünf Phasen bestehen:

Evaluate (Evaluieren): Der Agent läuft auf einem gehaltenen Evaluierungsdatensatz unter Verwendung der aktuellen Bibliothek. Erfolgsraten werden aufgezeichnet, aber keine Fitness-Scores werden aktualisiert, um Data Leakage zu verhindern.
Collect (Sammeln): Der Agent läuft auf einem disjunkten Kollektionsdatensatz. Trajektorien werden gespeichert und Fitness-Scores basierend auf Ergebnissen aktualisiert.
Schedule (Planung - Knowledge Yield Scheduling, KYS): Ein Modul analysiert den Zustand der Bibliothek (Abdeckungslücken, Fitnessverteilungen), um ein Generierungsbudget ( $B$ ) über die vier ECU-Typen hinweg zuzuweisen. Es priorisiert Typen, in denen die Bibliothek am schwächsten ist (z. B. nicht abgedeckte Aufgabentypen oder niedrige durchschnittliche Fitness).
Generate (Generieren): Typ-spezifische Generatoren destillieren Kandidaten-ECUs aus den gesammelten Trajektorien. Entscheidend ist, dass Generatoren einen Reshuffle-Test verwenden, um instanzspezifische Beobachtungen (z. B. „Kartoffel liegt auf Counter 1“) zugunsten generalisierbarer Mechanismen (z. B. „Kühlschrank funktioniert, wenn geschlossen“) herauszufiltern. Zudem nutzen sie Qualitätsfeedback von High- und Low-Fitness-ECUs, um die Generierung zu steuern.
Cleanup (Bereinigung): ECUs mit geringem Wert oder Redundanz werden entfernt. Ein Laplace-geglätteter Fitness-Score ( $f_e = \frac{s_e + 1}{u_e + 2}$ ) verfolgt den empirischen Beitrag, wobei $s_e$ das kumulative Ergebnis-Kredit und $u_e$ die Anzahl der Nutzungen ist.

Der Abruf (Retrieval) erfolgt zum Entscheidungszeitpunkt. Ein Retriever bewertet ECUs basierend auf semantischer Ähnlichkeit zur Aufgabenbeschreibung, einem Boost durch Übereinstimmung des Aufgabentyps und dem Fitness-Score der ECU. Die Top- $K$ ECUs pro Typ werden in dedizierte Abschnitte des System-Prompts des Agenten injiziert.

Zentrale Beiträge

Typisierte Wissensrepräsentation: Die Einführung von ECUs, die die Erfahrung des Agenten in vier distinkte, funktional komplementäre Typen (Memory, Strategy, Workflow, Skill) zerlegen, jeweils mit unabhängigen Generierungsbedingungen und Abrufgrenzen.
Unified Context Evolution Framework: Ein vollständiges Lebenszyklus-Managementsystem, das Knowledge Yield Scheduling (KYS) zur dynamischen Zuweisung von Generierungsressourcen und einen nutzungsbasierten Fitness-Score zur Verfolgung der Qualität durch wiederholte Anwendung umfasst.
Empirische Validierung: Nachweis, dass UCE die Performance von Agenten auf interaktiven Benchmarks signifikant verbessert und dass die akkumulierte Wissensbibliothek über verschiedene Reasoning-Backbones (z. B. ReAct, Plan-and-Act, NoThinking) hinweg transferierbar ist, ohne die Modelle neu trainieren zu müssen.

Experimentelle Ergebnisse

Das Framework wurde auf zwei textbasierten interaktiven Benchmarks evaluiert: ALFWorld (Haushaltsaufgaben) und WebShop (Online-Shopping).

Leistungssteigerungen:
- ALFWorld: UCE steigerte die Gesamterfolgsrate von 75,4 % (ReAct Baseline) auf 96,3 % zu ihrem Höhepunkt. Signifikante Verbesserungen wurden bei schwächeren Aufgabentypen beobachtet, wie z. B. „Look“ (50,0 % $\to$ 100,0 %).
- WebShop: UCE verbesserte die durchschnittliche Aufgabenpunktzahl von 45,1 % auf 61,3 % und die Kauf-Erfolgsrate von 30,0 % auf 42,0 %.
Transferierbarkeit: Die durch UCE generierte ECU-Bibliothek konnte erfolgreich auf alternative Actor-Backbones übertragen werden. Beispielsweise steigerte die Anwendung der UCE-Bibliothek auf den „Plan-and-Act“-Backbone dessen Erfolgsrate von 73,1 % auf 97,8 %.
Ablationsstudien:
- Auf ALFWorld machten Workflow-ECUs allein den Großteil der Gewinne aus, was darauf hindeutet, dass prozedurale Skelette für diesen Bereich besonders effektiv sind.
- Auf WebShop erreichte kein einzelner ECU-Typ die Performance der vollständigen Bibliothek. Die Shopping-Aufgabe erforderte eine Kombination aus Workflow (prozedurale Führung), Strategy (Erholung von Navigationsfallen) und Memory (Fakten über Seitenmechanismen), was die Notwendigkeit des Multi-Typ-Ansatzes unterstreicht.
Statistische Signifikanz: Die Verbesserungen gegenüber der ReAct-Baseline waren auf beiden Benchmarks statistisch signifikant ( $p < 0,05$ ).

Bedeutung und Ansprüche

Das Paper behauptet, dass UCE eine praktische, gradientenfreie Alternative zum Reinforcement Learning zur Verbesserung von LLM-Agenten bietet, insbesondere für Closed-Source-Modelle, bei denen Gewichtsupdates unmöglich sind. Indem der Kontext als lernbare, evolvierende Entität behandelt wird, schließt UCE die Lücke zwischen isolierter Aufgabenausführung und persistentem Lernen.

Die Autoren betonen, dass die Fähigkeit des Frameworks, Wissenstypen zu unterscheiden und Qualität durch Nutzung zu verfolgen, spezifische Einschränkungen früherer Cross-Task-Wissenssysteme adressiert, die oft alle Erkenntnisse als gleich behandeln oder nicht in der Lage sind, Generierungsressourcen basierend auf der Reife der Bibliothek anzupassen. Die Ergebnisse legen nahe, dass für interaktive Aufgaben das „Was man wissen muss“ (abgerufener Kontext) ebenso entscheidend ist wie das „Wie man handelt“ (Reasoning-Backbone), und dass eine strukturierte, evolvierende Bibliothek effektiv das aus Erfahrung gewonnene „Wie man weiß“ erfassen und wiederverwenden kann.

Das Paper bleibt hinsichtlich zukünftiger Implikationen bescheiden und stellt fest, dass die aktuellen ECU-Typen handgestaltet sind und dass die Skalierbarkeit des Frameworks auf größere Aufgaben-Sets oder kontinuierliche Aktionsräume (z. B. AndroidWorld) eine offene Frage bleibt. Es räumt zudem ein, dass die aktuelle Evaluierung auf spezifischen Modellpaaren und diskreten Aktionsräumen basiert, was die Trennung zwischen Framework-Design und Generator-Kapazität zu einem Thema für zukünftige Untersuchungen macht.