Learning to Self-Evolve

1. Problemstellung

Das Paper adressiert eine zentrale Lücke im aktuellen Paradigma des Trainings von Large Language Models (LLMs): Während LLMs während des Trainings (insbesondere in der Post-Training-Phase durch Reinforcement Learning) lernen, sich zu verbessern, bleibt ihre Strategie nach dem Training statisch. Bei der Bereitstellung (Deployment) wenden sie dieselbe Policy an, unabhängig davon, wie viele Probleme sie bereits gelöst haben, und verwerfen gesammelte Erfahrungen, sobald der Kontext zurückgesetzt wird.

Bestehende Ansätze für Selbst-Evolution zur Laufzeit (Test-Time Self-Evolution) verlassen sich vollständig auf die inhärente, aber nicht explizit trainierte reasoning-Fähigkeit des Modells, um Feedback zu analysieren und den Kontext (Prompts) zu optimieren. Diese Modelle werden nie explizit für die Aufgabe des „Selbst-Verbesserns" trainiert. Das Paper stellt die Hypothese auf, dass Selbst-Evolution eine eigenständige Reasoning-Herausforderung ist, die wie ein Reinforcement-Learning (RL)-Problem strukturiert werden sollte, bei dem das Modell lernen muss, welche Kontext-Änderungen zu Verbesserungen führen, anstatt nur auf emergenten Fähigkeiten zu vertrauen.

2. Methodik: Learning to Self-Evolve (LSE)

Das vorgeschlagene Framework LSE trainiert ein LLM explizit als eine „selbst-evolvierende Policy", die den Kontext eines Aktionsmodells zur Laufzeit verbessert.

A. Formalisierung des Problems

Das Problem wird als inter-episode, prompt-basierte Selbst-Evolution definiert:

• Ein Aktionsmodell $\pi_\theta$ (mit eingefrorenen Parametern) löst eine Batch von Problemen basierend auf einem Kontext $c$.
• Eine selbst-evolvierende Policy $f_\psi$ (ein trainierbares LLM) analysiert die Performance-Summary (Erfolg/Misserfolg der Batch) und generiert einen neuen, verbesserten Kontext $c_{t+1}$.
• Ziel ist die Maximierung der kumulativen Belohnung über mehrere Evolutionsrunden.

B. Tree-Guided Evolution (Suchstrategie)

Um das Risiko zu vermeiden, in suboptimalen Pfaden stecken zu bleiben (wie bei einer linearen Kette von Kontext-Updates), verwendet LSE einen baumgesteuerten Suchalgorithmus:

• Es wird ein Evolutionsbaum $G$维护t, wobei jeder Knoten einen Kontext, eine Performance-Summary, die durchschnittliche Belohnung auf einem Holdout-Set und eine Besuchszahl speichert.
• Statt immer den neuesten Knoten zu erweitern, wird der Knoten mit dem höchsten Upper Confidence Bound (UCB) Score ausgewählt. Dies ermöglicht es dem System, vielversprechende frühere Kontexte wieder aufzugreifen und zu verzweigen, anstatt sich irreversibel auf einen schlechten Pfad festzulegen.

C. Reinforcement Learning mit verbesserungsbasierter Belohnung

Der Kernbeitrag von LSE ist die Reduktion des mehrstufigen Evolutionsproblems auf ein einzelstufiges RL-Objektiv:

• Trainingsziel: Die Policy $f_\psi$ erhält den aktuellen Kontext $c_0$ und eine Summary $S_0$ und generiert einen neuen Kontext $c_1$.
• Belohnungsfunktion ($r_{LSE}$): Anstatt die absolute Performance des neuen Kontexts ($\bar{R}(c_1)$) zu belohnen, wird die Verbesserung belohnt:
  $$r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$$
  Dies verhindert, dass das Modell nur bereits gute Kontexte beibehält, und incentiviert echte Verbesserungen, unabhängig vom Startniveau.
• Vorteil: Da $\bar{R}(c_0)$ bekannt ist, kann es direkt als Baseline für den Policy-Gradienten dienen. Dies eliminiert die Notwendigkeit für separate Value-Modelle oder gruppenbasierte Normalisierung (wie bei GRPO) und liefert ein saubereres Lernsignal.

3. Wichtige Beiträge

1. Formalisierung: Definition von Test-Time Inter-Episode Self-Evolution als lernbare Aufgabe, die durch prompt-basierte Updates und baumgestützte Suche operationalisiert wird.
2. LSE Framework: Einführung eines RL-Frameworks, das die selbst-evolvierende Policy explizit mit einer verbesserungsbasierten Belohnung trainiert, anstatt sich auf emergente Fähigkeiten zu verlassen.
3. Transferfähigkeit: Demonstration, dass eine auf einem kleinen Modell trainierte Policy auf andere Modelle übertragbar ist, ohne weiteres Training.

4. Ergebnisse

Die Evaluation erfolgte in zwei Domänen: Text-to-SQL (BIRD-Datensatz) und Allgemeine Fragenbeantwortung (MMLU-Redux). Als Aktionsmodell diente ein Qwen3-4B-Instruct (4 Milliarden Parameter).

• Überlegenheit gegenüber Frontier-Modellen:
  • Das mit LSE trainierte 4B-Modell übertraf selbst-evolvierende Policies, die von viel größeren, untrainierten Frontier-Modellen wie GPT-5 und Claude Sonnet 4.5 angetrieben wurden.
  • Auf BIRD erreichte LSE 67,3 % Genauigkeit (vs. 65,2 % bei GPT-5 und 64,5 % bei Claude).
  • Auf MMLU-Redux erreichte LSE 73,3 % (vs. 72,5 % bei GPT-5).
• Überlegenheit gegenüber Prompt-Optimierungsmethoden:
  • LSE schlug etablierte Methoden wie GEPA und TextGrad deutlich (z. B. +4,5 % auf BIRD gegenüber GEPA).
• Ablationsstudien:
  • Die verbesserungsbasierte Belohnung ($\bar{R}(c_1) - \bar{R}(c_0)$) war signifikant effektiver als die Standard-Belohnung ($\bar{R}(c_1)$).
  • Die UCB-basierte Baumsuche war überlegen gegenüber einer linearen Kette, da sie in der Lage war, sich von schlechten Editierungen zu erholen (Backtracking), während lineare Ketten in lokalen Optima stecken blieben.
• Transfer auf spezialisierte Modelle:
  • Die LSE-Policy konnte erfolgreich auf ein spezialisiertes, RL-getrainiertes Text-to-SQL-Modell (Arctic-Text2SQL-R1-7B) angewendet werden, ohne dass die Policy selbst neu trainiert werden musste. Dies führte zu einer weiteren Leistungssteigerung von 6,7 %, was zeigt, dass Parameter-Optimierung und Prompt-Evolution komplementär sind.

5. Bedeutung und Fazit

Das Paper zeigt, dass Selbst-Evolution eine lernbare Fähigkeit ist, die durch gezieltes Fine-Tuning optimiert werden kann.

• Effizienz: Ein kleines Modell (4B Parameter), das explizit für Selbst-Evolution trainiert wurde, kann größere, untrainierte Modelle und spezialisierte Optimierungsalgorithmen übertreffen.
• Paradigmenwechsel: Statt zu hoffen, dass Modelle durch ihre generelle Intelligenz ihre Prompts verbessern, sollte die Fähigkeit zur Selbst-Verbesserung als eigenständige Skill behandelt und durch RL trainiert werden.
• Praktische Implikation: Das Framework ermöglicht es Systemen, sich dynamisch an neue Datenverteilungen oder spezifische Domänen (z. B. verschiedene Datenbanken) anzupassen, ohne dass die Modellparameter selbst geändert werden müssen. Dies schließt die Lücke zwischen statischer Bereitstellung und dynamischer Anpassung.

Zusammenfassend demonstriert LSE, dass die explizite Optimierung des Lernprozesses zur Selbst-Verbesserung effektiver ist als das bloße Verlassen auf die inhärenten Reasoning-Fähigkeiten großer Modelle.