🤖 AI

SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization

Dieser Beitrag stellt SE-Bench vor, eine diagnostische Umgebung, die die NumPy-Bibliothek verschleiert, um die Selbstentwicklung rigoros zu bewerten, indem sie die Internalisierung von Wissen von Vorwissen und der Komplexität des Schlussfolgerns isoliert, und zeigt auf, dass das Training ohne Buch und das Selbstspiel wirksamer sind als das Training mit offenem Buch oder das Standard-RL, um neues Wissen in die Modellgewichte einzubetten.

Ursprüngliche Autoren: Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten Schüler beizubringen, eine brandneue, völlig fremde Programmiersprache zu verwenden. Der Haken? Diese Sprache sieht aus und verhält sich exakt wie eine Sprache, die er bereits kennt (wie NumPy in Python), doch jedes einzelne Wort und jeder Befehl wurde in Unsinn verschlüsselt.

Anstatt numpy.mean zu schreiben, müssen sie zwc.kocito schreiben.

Dies ist die Kernidee hinter SE-BENCH, einer neuen „Prüfung", die von Forschern der Tsinghua-Universität entwickelt wurde, um zu testen, ob KI-Agenten neue Fähigkeiten wirklich selbstständig lernen und behalten können, anstatt nur zu raten oder auf eine Spickzettel zu vertrauen.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Das Problem: Der „Fake-New"-Test

Aktuelle KI-Tests sind fehlerhaft. Wenn Sie eine KI bitten, ein mathematisches Problem mit einer neuen Bibliothek zu lösen, könnte die KI sie einfach aus ihren Trainingsdaten erinnern (wie ein Schüler, der das Lehrbuch vor der Prüfung auswendig gelernt hat). Oder, wenn die KI scheitert, wissen Sie nicht, ob sie die Bibliothek vergessen hat oder ob das mathematische Problem zu schwierig war.

Die SE-BENCH-Lösung:
Die Forscher erstellten eine „verschlüsselte" Version einer gängigen Bibliothek namens NumPy.

Die Verschlüsselung: Sie benannten jede Funktion in zufällige Unsinnswörter um (z. B. wird mean zu kocito).
Die Regel: Die KI darf die Originalbibliothek nicht verwenden. Sie muss die Unsinnswörter nutzen.
Das Ziel: Wenn die KI das Problem mit den Unsinnswörtern lösen kann, beweist dies, dass sie tatsächlich die neuen Regeln gelernt hat. Wenn sie es nicht kann, hat sie das Wissen nicht internalisiert.

2. Die drei großen Entdeckungen

Die Forscher testeten verschiedene Methoden, um die KI zu unterrichten, und stießen auf drei überraschende Wahrheiten:

A. Das „Offenes-Buch-Paradoxon" (Lassen Sie sie nicht schummeln!)

Der Aufbau: Sie versuchten, die KI auf zwei Arten zu unterrichten:
1. Offenes Buch: Die KI konnte das Wörterbuch (die Dokumentation) sowohl beim Lernen als auch während der Prüfung einsehen.
2. Geschlossenes Buch: Die KI konnte das Wörterbuch beim Lernen einsehen, musste es aber vor der Prüfung wegwerfen.
Das Ergebnis: Die „Offenes-Buch"-Schüler scheiterten vollständig, als das Wörterbuch entfernt wurde. Sie hatten das Material nicht wirklich gelernt; sie schauten es nur nach.
Die Lehre: Damit die KI wirklich lernt und das Wissen in ihrem „Gehirn" (ihren internen Gewichten) speichert, müssen Sie sie zwingen, während der Trainings-Updates ohne Wörterbuch zu lernen. Sie muss die Informationen in sich selbst komprimieren.

B. Die „RL-Lücke" (Bestärkendes Lernen ist ein schlechter Lehrer für Fakten)

Der Aufbau: Sie versuchten, Bestärkendes Lernen (RL) einzusetzen, eine Methode, bei der die KI durch Ausprobieren lernt und für korrekte Antworten Belohnungen erhält (wie ein Hund, der Tricks lernt).
Das Ergebnis: Selbst mit der „Geschlossenes-Buch"-Methode scheiterte RL. Die KI konnte die neuen Unsinnswörter nicht lernen.
Der Grund: Die Forscher stellten fest, dass die in RL eingebauten „Sicherheitsbremsen" (genannt PPO-Clipping) verhindern, dass die KI die großen, mutigen Änderungen vornimmt, die zum Auswendiglernen neuen Vokabulars notwendig sind. Es ist wie ein Lehrer, der zu Angst hat, dem Schüler große Fehler zu erlauben, sodass der Schüler die neuen Regeln nie lernt.
Die Lehre: RL ist hervorragend darin, Verhalten zu verfeinern, aber es ist schrecklich darin, brandneue Fakten von Grund auf zu lehren.

C. Der „Selbstspiel"-Erfolg (Sich selbst unterrichten funktioniert, wenn man die richtige Methode verwendet)

Der Aufbau: Sie ließen die KI eigene Übungsprobleme generieren und versuchen, sie zu lösen (Selbstspiel).
Das Ergebnis:
- Wenn sie RL für das Selbstspiel verwendeten, scheiterte die KI (0 % Erfolg).
- Wenn sie Supervised Fine-Tuning (SFT) (eine direktere Lehrmethode) auf den selbst generierten Problemen der KI anwendeten, gelang es.
Die Lehre: KI kann sich neue Fähigkeiten selbst beibringen, aber nur wenn die „Lehrmethode" (SFT) stark genug ist, um das Wissen in ihr Gehirn zu zwingen. RL ist keine „Allzwecklösung" für die Selbstentwicklung.

Zusammenfassende Analogie

Stellen Sie sich die KI als einen Schüler vor, der sich auf eine Überraschungsprüfung in einem neuen Fach vorbereitet.

Die Prüfung: Die Prüfung verwendet eine erfundene Sprache, die wie Englisch aussieht, aber andere Wörter hat.
Das Scheitern: Wenn der Schüler während der Prüfung das Wörterbuch halten darf, besteht er, hat aber nichts gelernt. Wenn er versucht, durch bloßes Raten zu lernen und für richtige Antworten „Punkte" zu erhalten (RL), bleibt er stecken, weil die Regeln für das Raten zu streng sind.
Der Erfolg: Der einzige Weg, auf dem der Schüler wirklich lernt, besteht darin, mit dem Wörterbuch zu üben, aber dann gezwungen wird, die Prüfung ohne es abzulegen (Training im geschlossenen Buch). Dies zwingt sein Gehirn, die neuen Wörter tatsächlich auswendig zu lernen.

Das Fazit:
SE-BENCH beweist, dass wir, damit KI wirklich „evolutioniert" und neue Fähigkeiten selbstständig lernt, aufhören müssen, ihnen während des Trainings externe Spickzettel zu erlauben, und aufhören müssen, Bestärkendes Lernen zum Lehren neuer Fakten einzusetzen. Wir müssen sie zwingen, das Wissen intern auswendig zu lernen.

Technische Zusammenfassung: SE-BENCH: Benchmarking der Selbstentwicklung mit Wissensinternalisierung

Problemdefinition

Die Arbeit adressiert eine kritische Lücke bei der Evaluierung von sich selbst entwickelnden Agenten: die Fähigkeit, neues Wissen und neue Fertigkeiten für lebenslanges Lernen zu internalisieren. Während aktuelle Benchmarks transiente Anpassungen bewerten (z. B. Verfeinerung zur Inferenzzeit oder iterative Selbstmodifikation), versagen sie darin, die grundlegende Fähigkeit der Wissensinternalisierung rigoros zu messen – den Prozess, bei dem ein Agent aktiv aus Erfahrungen lernt, um seine Parameter dauerhaft zu aktualisieren.

Bestehende Evaluierungen leiden unter zwei fundamentalen Konfundierungen:

Verschlingung mit Vorwissen: Es ist schwierig zu unterscheiden, ob ein Agent eine Aufgabe mit „neuem" Wissen gelöst hat, indem er es während des Experiments gelernt hat, oder indem er es aus Vor-Trainingsdaten abgerufen hat.
Verschlingung mit Komplexität des Schlussfolgerns: Fehler bei komplexen Aufgaben sind mehrdeutig; sie könnten auf eine Unfähigkeit beruhen, das notwendige Wissen zu internalisieren, oder einfach auf die logische Schwierigkeit des erforderlichen Schlussfolgerns.

Um dies zu lösen, argumentieren die Autoren für einen „Nadel-im-Heuhaufen"-Test für Selbstentwicklung: eine Umgebung, in der Aufgaben algorithmisch trivial sind, wenn das Wissen internalisiert ist, aber ohne dieses unmöglich.

Methodik: Konstruktion von SE-BENCH

Die Autoren stellen SE-BENCH vor, eine diagnostische Umgebung, die entwickelt wurde, um die NumPy-Bibliothek in ein pseudo-neues Paket namens ZWC zu verschleiern. Der Konstruktionsprozess umfasst drei Stufen:

Verschleierung:
- Umbenennung: 268 gängige NumPy-Funktionen werden auf randomisierte, semantisch leere Bezeichner abgebildet (z. B. numpy.mean $\rightarrow$ zwc.kocito).
- Implementierung von Wrapper: Eine benutzerdefinierte Klasse ZWCArray kapselt alle Eingaben und Ausgaben ein, um zu verhindern, dass Modelle die Verschleierung umgehen, indem sie Standardmethoden auf zugrunde liegenden NumPy-Arrays aufrufen.
- Neuschreiben der Dokumentation: Die API-Dokumentation wird von einem LLM umgeschrieben, um das neue ZWC-Paket zu beschreiben, wobei sichergestellt wird, dass die Logik isomorph zu Standard-NumPy bleibt, die Syntax jedoch fremd wirkt.
Generierung von Fragen:
- Aufgaben mit einer Funktion: Probleme, die genau eine spezifische ZWC-Funktion zur Lösung erfordern, wodurch eine 100%ige Abdeckung der Bibliothek sichergestellt wird.
- Aufgaben mit mehreren Funktionen: Komplexe Probleme, die die Komposition von mindestens drei Funktionen aus einer Stichprobe erfordern, um Generalisierung über einfaches Auswendiglernen hinaus zu testen.
Filterung:
- Aufgaben werden über ein strenges Konsensprotokoll mit drei state-of-the-art-Modellen (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B) validiert. Eine Aufgabe wird nur beibehalten, wenn alle drei sie mit Standard-NumPy lösen können.
- Eine menschliche Verifikation wird an einer zufälligen Teilmenge durchgeführt, um die Klarheit sicherzustellen.

Evaluierungsprotokoll:

Trainingsphase: Agenten erhalten die Problembeschreibung und die relevante ZWC-API-Dokumentation.
Testphase: Agenten erhalten nur die Problembeschreibung. Sie müssen sich vollständig auf während des Trainings internalisiertes Wissen verlassen.
Erfolgsmetrik: Eine Lösung ist nur dann korrekt, wenn sie alle Testfälle besteht, ZWC-APIs verwendet (verifiziert via AST-Analyse) und keine Importe der ursprünglichen NumPy-Bibliothek enthält.

Hauptbeiträge und Erkenntnisse

Die Arbeit präsentiert drei primäre Erkenntnisse, die aus der Evaluierung verschiedener Selbstentwicklungsstrategien (speicherbasiert, SFT, RL und Self-Play) auf SE-BENCH abgeleitet wurden:

1. Das Open-Book-Paradoxon

Das Vorhandensein von Referenzdokumentation während der Parameteraktualisierung hemmt die langfristige Speicherung.

Ergebnis: Standard-Supervised Fine-Tuning (Open-SFT), bei dem die Dokumentation sowohl während der Trajektoriensammlung als auch während des Trainings vorhanden ist, führt zu 0% Leistung auf dem Testset (ohne Docs).
Mechanismus: Das Entfernen der Dokumentation während der Trainingsphase (Closed-SFT) zwingt das Modell, externe Logik in seine Gewichte zu komprimieren, anstatt sich auf den Kontext zu verlassen. Closed-SFT schneidet signifikant besser ab als Open-SFT und beweist, dass echte Internalisierung „Informationsentzug" während der Optimierung erfordert.

2. Die RL-Lücke

Standard-Reinforcement-Learning (RL) scheitert daran, neues Wissen zu internalisieren, selbst unter dem Closed-Book-Setting.

Ergebnis: Closed-RL erreicht 0% Leistung.
Mechanismus: Das Scheitern wird zwei spezifischen Mechanismen im Standard-RL (insbesondere PPO/GRPO) zugeschrieben:
- PPO-Clipping: Verhindert die großen Verschiebungen der Wahrscheinlichkeitsmasse, die erforderlich sind, um neue Vokabelzuordnungen zu lernen (z. B. np.mean $\rightarrow$ zwc.kocito).
- Negative Gradienten: Die Verwendung normalisierter Vorteile führt zu negativer Verstärkung für unterdurchschnittliche Antworten, was vorläufige Assoziationen aushöhlt, bevor sie in den fragilen frühen Phasen des Auswendiglerns festigen können.
Hybrider Erfolg: Ein hybrider Ansatz (Closed-SFT gefolgt von RL) erzielt state-of-the-art-Leistung. Hier etabliert SFT das grundlegende Gedächtnis, und RL wirkt als Verhaltensoptimierer, der „faule" Vermutungen beschneidet und die Ausführungsdisciplin verbessert, ohne fundamentale Gedächtnisfehler zu korrigieren.

3. Lebensfähigkeit von Self-Play

Selbstentwicklung durch selbstgenerierte Daten ist lebensfähig, aber der Optimierungsmechanismus ist entscheidend.

Ergebnis: Reines RL-Self-Play (Absolute-Zero) scheitert vollständig (0%). Die Anwendung von Closed-SFT auf selbstgenerierte Aufgaben und Antworten (Closed-SFTself) liefert jedoch signifikante Leistung (22,5% bei Aufgaben mit einer Funktion).
Implikation: Modelle sind in der Lage, gültige Curricula zu generieren, um sich selbst zu unterrichten; das Scheitern des Standard-Self-Play liegt an der Ungeeignetheit von RL für Wissensinternalisierung, nicht am Self-Play-Paradigma selbst.

Ergebnisse

Basisleistung: Speicherbasierte Methoden (Expel) erzielten nicht-triviale Ergebnisse (bis zu 47,1%), indem sie Bezeichner auf bekannte Konzepte abbildeten, schafften es jedoch nicht, eine perfekte Speicherung zu erreichen.
Parameteroptimierung: Nur Closed-SFT und die hybriden Closed-SFT-RL-Methoden waren erfolgreich. Alle anderen Parameter-Aktualisierungsmethoden (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) scheiterten vollständig.
Generalisierung: Die Erkenntnisse (Open-Book-Paradoxon und RL-Lücke) wurden über verschiedene Modellfamilien (Qwen3 und Llama3) und Skalen (1,7B bis 30B Parameter) hinweg validiert.
Fehleranalyse: RL reduzierte „Attribut-Halluzinationen" (Vermutungen nicht existierender Methoden) signifikant, indem es zum Ausweichen auf robuste Primitive ermutigte, korrigierte jedoch keine „Funktions-Halluzinationen" (falsche API-Namen) oder „Signatur-Fehlausrichtungen". Dies bestätigt die Rolle von RL als Verhaltensoptimierer und nicht als Wissensinternalisierer.

Bedeutung

Die Arbeit positioniert SE-BENCH als rigorose Diagnoseplattform für die Community der sich selbst entwickelnden Agenten. Ihre Bedeutung liegt in:

Isolierung der Internalisierung: Sie bietet eine saubere, kontrollierte Umgebung, um Wissensinternalisierung von Komplexität des Schlussfolgerns und Leckage von Vorwissen zu trennen.
Diagnosewerkzeug: Sie dient als „Unit-Test" für zukünftige sich selbst entwickelnde Agenten und legt nahe, dass Agenten SE-BENCH bestehen müssen, um mit komplexer, offener Evolution vertraut zu werden.
Mechanistische Einsicht: Sie stellt die Annahme in Frage, dass RL eine universelle Lösung für Selbstverbesserung sei, und zeigt, dass SFT für faktische Internalisierung überlegen ist, während RL besser geeignet ist, die Nutzung bereits internalisierten Wissens zu optimieren.
Zukünftige Forschung: Sie legt einen Grundstein für die Untersuchung der grundlegenden Mechanismen der Wissensinternalisierung und könnte die Entwicklung gezielterer hybrider Algorithmen für die AGI-Entwicklung leiten.