🤖 AI

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

Socratic-SWE führt ein geschlossenes Selbstentwicklungs-Framework ein, das die historischen Lösungsspuren eines Agenten in strukturierte Fähigkeiten transformiert, um gezielte, verifizierbare Reparaturaufgaben zu generieren, wodurch eine kontinuierliche Verbesserung ermöglicht und State-of-the-Art-Leistung auf SWE-Benchmarks ohne Rückgriff auf feste Mutationsverfahren erreicht wird.

Ursprüngliche Autoren: Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man kaputte Software repariert. Normalerweise müssen Sie tausende spezifische „Hausaufgaben“ für den Roboter schreiben, die Antworten finden und sie dann benoten. Das ist teuer, langsam und oft passen die Hausaufgaben nicht zu den tatsächlichen Schwachstellen des Roboters.

Das Paper stellt Socratic-SWE vor, eine neue Methode, um diese Coding-Roboter zu trainieren. Anstatt dass ein Lehrer statische Hausaufgaben verteilt, bringt sich der Roboter selbst etwas bei, indem er seine eigenen Fehler und Erfolge analysiert und daraus einen personalisierten Lernleitfaden erstellt.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Der alte Weg: Das statische Lehrbuch

Stellen Sie sich einen Schüler vor, der versucht, das Schreinerhandwerk zu lernen. Bei der alten Methode gibt ihm ein Lehrer einen Stapel von 1.000 vorgefertigten Bauplänen zur Reparatur.

Das Problem: Einige Baupläne sind zu einfach (der Schüler weiß bereits, wie man sie repariert), und einige sind unmöglich (der Schüler besitzt noch nicht die richtigen Werkzeuge). Der Lehrer weiß nicht, womit der Schüler gerade jetzt kämpft.
Das Ergebnis: Der Schüler verschwendet Zeit mit Dingen, die er schon kann, oder bleibt an Dingen hängen, die er nicht lösen kann, und hört schließlich auf, sich zu verbessern.

2. Der neue Weg: Socratic-SWE (Der selbstlernende Lehrling)

Socratic-SWE verändert das Spiel. Es schafft einen geschlossenen Kreislauf, in dem der Roboter sowohl der Schüler als auch der Lehrer ist.

Schritt 1: Der „Trace“ (Die Video-Wiederholung)

Jedes Mal, wenn der Roboter versucht, einen Bug zu beheben, hinterlässt er einen digitalen „Fußabdruck“ namens Trace. Dies ist wie eine Video-Wiederholung des gesamten Denkprozesses des Roboters:

Wo hat er gesucht?
Welchen Code hat er geändert?
Ist der Test bestanden oder fehlgeschlagen?
Hat er versehentlich etwas anderes kaputt gemacht?

In der Vergangenheit nutzten Forscher diese Wiederholungen nur, um eine einfache „Bestanden“- oder „Nicht bestanden“-Note zu geben, und warfen das Video danach weg. Socratic-SWE sagt: „Warte! Lass uns das Video noch einmal ansehen.“

Schritt 2: Das Destillieren von „Skills“ (Der Lernleitfaden)

Das System schaut sich alle Wiederholungen an und sucht nach Mustern.

Wenn der Roboter gescheitert ist: Es bemerkt: „Oh, jedes Mal, wenn ich versuche, eine Datei mit drei offenen Tabs zu reparieren, vergesse ich, die erste zu speichern.“
Wenn der Roboter Erfolg hatte: Es bemerkt: „Wenn ich das Fehlerprotokoll prüfe, bevor ich etwas editiere, bekomme ich es meistens richtig hin.“

Es wandelt diese Muster in ein strukturiertes „Agent Skill Registry“ um. Denken Sie an dies als einen personalisierten Lernleitfaden oder ein Spickzettel-Handbuch eines Coaches. Es listet genau auf, worin der Roboter schlecht ist (z. B. „Vergiss nicht, Nebenwirkungen zu prüfen“) und worin er gut ist.

Schritt 3: Generierung neuer Hausaufgaben (Das maßgeschneiderte Quiz)

Nun nutzt der Roboter diesen Lernleitfaden, um neue Hausaufgaben zu erstellen.

Anstatt zufällige Bugs auszuwählen, fragt der Roboter: „Basierend auf meinem Lernleitfaden scheitere ich immer wieder bei ‚Edits über mehrere Dateien‘. Lass mich einen neuen, schwierigen Bug erstellen, der speziell erfordert, dass ich drei Dateien gleichzeitig bearbeite.“
Dies stellt sicher, dass die Hausaufgaben perfekt auf die aktuellen Schwächen des Roboters zugeschnitten sind.

Schritt 4: Der „Verifier“-Gatekeeper (Der Türsteher)

Bevor die neue Hausaufgabe an den Roboter ausgegeben wird, prüft ein strenger Gatekeeper, ob sie korrekt ist.

Existiert der Bug tatsächlich?
Kann der Roboter ihn tatsächlich lösen?
Ist der Test zuverlässig?
Wenn die Hausaufgabe fehlerhaft oder unmöglich ist, wird sie aussortiert. Nur hochwertige, lösbare Aufgaben gelangen in den Trainingspool.

Das „Gradient Alignment“ (Der Kompass)

Es gibt noch einen weiteren cleveren Trick. Das System will nicht nur, dass der Robot irgendwelche Probleme löst; es will, dass er die richtigen Dinge lernt.

Stellen Sie sich einen Kompass vor. Das System hat eine „vertrauenswürdige Richtung“ (einen Satz bekannter, hochwertiger Aufgaben).
Wenn der Roboter eine neue Aufgabe generiert, fragt das System: „Bewirkt das Lösen dieser neuen Aufgabe, dass sich der Roboter in dieselbe Richtung bewegt wie unser vertrauenswürdiger Kompass?“
Wenn ja, wird die Aufgabe behalten. Wenn nein, wird sie verworfen. Dies verhindert, dass der Roboter „Tricks“ lernt, die nur bei künstlichen Problemen funktionieren.

Die Ergebnisse: Schneller klüger werden

Die Forscher haben dies an vier großen Benchmarks getestet (vergleichbar mit Abschlussprüfungen für Coding-Agenten).

Die Baseline: Ein Standard-Roboter, der auf festen Daten trainiert wurde.
Die Konkurrenz: Andere Roboter, die versuchen, sich selbst beizubringen, aber ohne diese spezifische „Skill Registry“-Methode.
Socratic-SWE: Nach nur drei Runden des Selbstlernens erreichte es 50,4 % beim schwierigsten Test (SWE-bench Verified). Dies war ein riesiger Sprung im Vergleich zu den anderen, die entweder stagnierten oder sich nur sehr langsam verbesserten.

Warum das wichtig ist

Das Paper behauptet, dass Socratic-SWE beweist, dass man keinen Menschen braucht, der endlos neue Hausaufgaben schreibt. Indem der Roboter seine eigene Geschichte (Traces) nutzt, um einen Skill-Leitfaden aufzubauen, kann der Roboter sein eigenes Curriculum kontinuierlich selbst generieren. Er verwandelt seine vergangenen Fehler in seinen zukünftigen Treibstoff, was es ihm ermöglicht, sich zu entwickeln und besser zu werden, ohne auf einen ständigen Strom menschlicher Lehrer angewiesen zu sein.

Kurz gesagt: Es ist wie ein Roboter, der seine eigenen Spielzüge in Video-Wiederholungen anschaut, seinen eigenen Lernleitfaden schreibt, seine eigenen Übungen erstellt und dann eine Prüfung ablegt, um zu sehen, ob er sich tatsächlich verbessert hat. Und es stellt sich heraus, dass diese Methode des Selbst-Coachings besser funktioniert, als wenn ein Mensch die immer gleichen Arbeitsblätter austeilt.

Technisches Resümee: Socratic-SWE

Problemstellung

Durch Large Language Models (LLM) gesteuerte Software-Engineering-Agenten (SWE) haben sich als kritischer Benchmark für reale Intelligenz herausgestellt, die eine langfristige Interaktion mit Code-Repositories zur Fehlersuche, Fehlerbehebung und Verifizierung erfordern. Das Training dieser Agenten wird jedoch durch den Mangel an hochwertigen SWE-Aufgaben gebremst. Bestehende Methoden zur synthetischen Datengenerierung verlassen sich typischerweise auf statische Mutationen, Bug-Injektionen oder feste Rewriting-Verfahren. Diese Ansätze erzeugen Aufgabenverteilungen, die unabhängig vom eigenen Trainingsfortschritt und den spezifischen Schwächen des Agenten sind, was zu einer Diskrepanz zwischen dem Curriculum und den tatsächlichen Fähigkeitslücken des Modells führt. Darüber hinaus werden durch Reinforcement Learning (RL) gewonnene „Solving Traces“ (Aufzeichnungen des Agentenverhaltens, der Werkzeugnutzung und der Fehler) nach der Extraktion skalare Belohnungen (Rewards) bei aktuellen Methoden verworfen, wodurch sie nicht genutzt werden können, um das Trainingscurriculum weiterzuentwickeln.

Methodik: Socratic-SWE

Die Autoren schlagen Socratic-SWE vor, ein geschlossenes, selbstentwickelndes Framework, das historische Solving Traces in strukturierte Trainingssignale transformiert. Das System operiert durch eine koevolutionäre Schleife, die eine gemeinsame Policy $\pi_\theta$ umfasst, welche zwischen zwei Rollen wechselt: einem Generator und einem Solver.

1. Agent Skill Registry (Trace-Destillation)

Anstatt Traces zu verwerfen, destilliert Socratic-SWE diese in eine Agent Skill Registry ( $S$ ). Dieser Prozess umfasst drei Stufen:

Trace-Kollektion: Der Solver interagiert mit Seed-Repositories und generiert einen Korpus von Traces ( $T$ ), der sowohl erfolgreiche als auch gescheiterte Trajektorien enthält.
Skill-Extraktion: Ein Destillationsmodell ( $M_{distill}$ ) analysiert diese Traces, um wiederkehrende Verhaltensmuster zu identifizieren. Für erfolgreiche Traces extrahiert es generalisierbare Strategien; für gescheiterte Traces werden Fehlermodi und Korrekturprinzipien zusammengefasst.
Registry-Konstruktion: Kandidaten-Skills werden dedupliziert und gefiltert, um eine strukturierte Registry zu bilden. Jeder Skill ist ein strukturiertes Dokument, das einen Namen, eine Beschreibung, Anwendbarkeitsbedingungen und eine geordnete Liste von Operationen enthält.

2. Skill-gesteuerte Aufgabengenerierung

Die Generator-Rolle nutzt die Agent Skill Registry, um gezielte Reparaturaufgaben in echten Code-Repositories zu konstruieren.

Adaptive Vorschläge: Der Generator sampelt einen Skill $s \in S$ und ein Repository $r$ , um eine Aufgabe $\tau$ und ein Verifizierungssignal $v$ vorzuschlagen. Dieser Prozess ist konditioniert auf Evidenzen ( $E_t$ ), die aus der vorherigen Leistung des Solvers gesammelt wurden, um sicherzustellen, dass Aufgaben gezielt auf aktuelle Fähigkeitslücken abzielen.
Gestufte Validierung: Kandidaten-Aufgaben durchlaufen eine vierstufige, exekutionsbasierte Validierungspipeline in einer Sandbox-Umgebung:
1. Format: Syntaktische Gültigkeit.
2. Grounding: Verifizierung, dass die Aufgabenartefakte im Repository existieren.
3. Execution: Stabilität und Reproduzierbarkeit der Verifizierungs-Suite.
4. Semantik: Bestätigung, dass die Aufgabe zwischen fehlerhaftem und repariertem Zustand unterscheidet.
Gradientenbewusste Belohnung: Um sicherzustellen, dass Aufgaben nicht nur gültig, sondern auch nützlich sind, wird der Generator basierend auf der Solver-Gradienten-Ausrichtung belohnt. Das System berechnet eine Ziel-Gradientenrichtung ( $G_v$ ) aus einem gehaltenen Satz vertrauenswürdiger Validierungsaufgaben. Die Belohnung für eine Kandidaten-Aufgabe ist die Kosinusähnlichkeit zwischen dem durch die Aufgabe induzierten Solver-Gradienten ( $g_\tau$ ) und $G_v$ . Dies priorisiert Aufgaben, die den Solver in eine Richtung treiben, die konsistent mit vertrauenswürdigen Verbesserungen ist.

3. Repository Repair Solver

Die Solver-Rolle trainiert auf dem akzeptierten Curriculum der Aufgaben. Sie interagiert mit der Repository-Sandbox, um Patches zu generieren. Die Belohnungsfunktion ( $r_S$ ) ist mehrkomponentig und belohnt:

Das Bestehen der vollständigen Suite (alle Tests bestehen).
Partielle Reparaturraten.
Vermeidung von Regressionen (Erhalt der ursprünglich passenden Tests).
Der Solver wird mittels GDPO (Grouped Direct Policy Optimization) optimiert, um die heterogenen Belohnungskomponenten effektiv zu handhaben.

Zentrale Beiträge

Trace-getriebenes Selbstentwicklungs-Paradigma: Die Arbeit zeigt, dass Solving Traces, die nach der Reward-Berechnung üblicherweise verworfen werden, als wiederverwendbares Substrat für selbstentwickelnde Agenten dienen können. Socratic-SWE konvertiert historisches Verhalten in strukturierte Skills, die eine geschlossene Trace-Skill-Task-Schleife leiten.
Gradientenbewusste Curriculum-Optimierung: Die Autoren führen einen Curriculum-Mechanismus ein, der skill-konditionierte Generierung mit exekutionsbasierter Validierung und einer Solver-Gradienten-Ausrichtungsbelohnung kombiniert. Dies stellt sicher, dass generierte Aufgaben sowohl verifizierbar als auch mit vertrauenswürdigen Verbesserungsrichtungen abgestimmt sind.
Überlegene empirische Leistung: Das Framework erzielt unter identischen Rechenbudgets State-of-the-Art-Ergebnisse unter den selbstentwickelnden Baselines und demonstriert starke Selbstentwicklung und Transferfähigkeiten.

Experimentelle Ergebnisse

Das Framework wurde auf vier Benchmarks evaluiert: SWE-bench Verified, SWE-bench Lite, SWE-bench Pro und Terminal-Bench 2.0. Die Experimente nutzten ein festes Rechenbudget von 36.000 Trainingsinstanzen (12k pro Iteration über 3 Iterationen) und verglichen das System mit fünf selbstentwickelnden Baselines (SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR) sowie einem Basis-Agenten.

Leistung: Nach drei Iterationen erreichte Socratic-SWE 50,40 % auf SWE-bench Verified, was eine Verbesserung von +7,80 Punkten gegenüber dem Basis-Agenten und +3,40 gegenüber der stärksten Baseline (SSR) darstellt. Es erreichte zudem 36,67 % auf Lite, 22,85 % auf Pro und 14,61 % auf Terminal-Bench 2.0.
Skalierung: Im Gegensatz zu Baselines, die nach 2 Iterationen stagnieren oder regredieren, zeigte Socratic-SWE durch die dritte Iteration hinweg konsistente Gewinne. Eine erweiterte Skalierung auf 5 Iterationen zeigte, dass es eine höhere Decke von 52,00 % erreichte, verglichen mit 48,00 % von SSR.
Ablationsstudien: Das Entfernen der Skill Registry verursachte den größten Leistungsabfall (-4,20 Punkte), was bestätigt, dass das skill-gesteuerte Curriculum-Design der primäre Treiber ist. Der Ersatz der Trace-Destillation durch manuelle Skills oder die Verwendung von Standard-GRPO anstelle von GDPO führte ebenfalls zu einer signifikanten Verschlechterung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Socratic-SWE ein skalierbares Substrat für selbstentwickelnde SWE-Agenten bietet, indem es die eigenen Solving Traces des Agenten nutzt, um sein Trainingscurriculum kontinuierlich anzupassen. Die Autoren argumentieren, dass dieser Ansatz die Einschränkungen der statischen, modellunabhängigen Datensynthese überwindet, indem er eine dynamische, modellbewusste Schleife schafft, in der:

Traces in Skills transformiert werden.
Skills gezielte Aufgaben steuern.
Generierte Aufgaben neue Traces für die weitere Entwicklung produzieren.

Die Ergebnisse legen nahe, dass Solving Traces ausreichend Signale enthalten, um eine nachhaltige Selbstverbesserung ohne externe Annotation voranzutreiben, wodurch die bei anderen Self-Play-Methoden beobachtete Sättigung der Lernkurven effektiv verzögert wird. Das Framework ist besonders effektiv, da es die reichhaltigen, diagnostizierbaren Fehlermodi nutzt, die in SWE-Traces inhärent sind, kombiniert mit deterministischer, exekutionsbasierter Verifizierung.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Closed-World-Setting: Die Evaluierung stützt sich auf einen festen Pool von Seed-Repositories. Da die Skill Registry immer vollständiger wird, sieht sich das System aufgrund redundanter Trainingssignale abnehmenden Grenzerträgen gegenüber.
Validierungsabhängigkeit: Die Methode ist auf einen gehaltenen Validierungssatz angewiesen, um die Generator-Gradienten-Ausrichtungsbelohnung zu definieren, was die Robustheit einschränken kann, falls die Validierungsverteilung nicht die Ziel-Deployment-Umgebung repräsentiert.
Exekutionsanforderungen: Der Ansatz setzt ausführbare Verifizierung und Sandbox-Interaktion voraus, was bedeutet, dass Gewinne möglicherweise nicht direkt auf Settings übertragbar sind, die keine zuverlässigen Tests oder deterministische Ausführung bieten.
Umfang: Die Evaluierung beschränkt sich derzeit auf spezifische SWE- und Terminal-Agent-Benchmarks; ein breiterer Transfer auf andere Sprachen oder Workflows muss noch etabliert werden.