Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents
Dieses Paper führt Open-SWE-Traces ein, einen groß angelegten, mehrsprachigen Datensatz aus 207.489 Software-Engineering-Agenten-Trajektorien, die aus realen Pull Requests abgelehen sind, was die Destillation leistungsstarker Open-Source-Modelle ermöglicht, die in der Lage sind, State-of-the-Art-Ergebnisse bei diversen SWE-bench-Evaluierungen zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man kaputten Code in einer riesigen Softwarebibliothek repariert. Das Problem ist, dass Sie dem Roboter nicht einfach nur sagen können, was er reparieren soll; Sie müssen ihm zeigen, wie er über das Problem nachdenkt, Fehler macht, es erneut versucht und schließlich Erfolg hat. Bis jetzt gab es nicht genügend „Bildmaterial“ dieses Prozesses, um Roboter gut zu trainieren, insbesondere für viele verschiedene Programmiersprachen.
Dieses Paper stellt OPEN-SWE-TRACES vor, eine massive neue Bibliothek an „Bildmaterial“, die darauf ausgelegt ist, KI-Agenten beizubringen, wie Software-Ingenieure zu denken.
Hier ist eine Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:
1. Das Problem: Ein Mangel an „Trainingsvideos“
Stellen Sie sich Software-Engineering wie einen komplexen Sport vor. Um einen neuen Spieler (eine KI) zu trainieren, müssen Sie tausende Stunden professioneller Spiele beobachten, um die Spielzüge zu lernen.
- Der Engpass: Bisher hatten Forscher nur wenige Stunden an „Spielaufzeichnungen“. Sie verfügten nicht über genügend vielfältige Beispiele dafür, wie Bugs in verschiedenen Sprachen (wie Python, Java oder C++) behoben werden, um eine wirklich intelligente KI zu trainieren.
- Die Lösung: Die Autoren erstellten OPEN-SWE-TRACES, einen Datensatz, der 207.489 aufgezeichnete „Spiele“ enthält. Dies sind reale Szenarien, in denen eine KI versucht hat, einen Bug in einem echten Softwareprojekt zu beheben.
2. Die Trainingsmethode: Zwei Modi des Denkens
Das Paper führt eine clevere Art und Weise ein, die KI zu lehren, die von der Arbeitsweise von Menschen inspiriert ist. Sie nennen dies „Dual-Mode Distillation“.
- Modus A: Der „Denker“ (Langsam & Sorgfältig)
Stellen Sie sich einen Schachgroßmeister vor, der innehält, um jeden möglichen Zug zu berechnen, bevor er eine Figur berührt. Der Datensatz enthält Spuren, in denen die KI explizit „laut denkt“ (Chain-of-Thought), bevor sie handelt.- Die Magie: Das Paper fand heraus, dass die KI tatsächlich weniger Gesamtschritte unternimmt, um ein Problem zu lösen, wenn sie sich Zeit zum Nachdenken nimmt. Es ist, als würde man sich einen Moment Zeit nehmen, um eine Route zu planen, damit man sich nicht verirrt und nicht im Kreis läuft. Dies spart langfristig Zeit und Aufwand.
- Modus B: Der „Macher“ (Schnell & Direkt)
Stellen Sie sich einen Mechaniker vor, der eine lose Schraube sieht und sie sofort festzieht, ohne einen langen Vortrag zu halten. Der Datensatz enthält auch Spuren, in denen die KI schnell handelt, ohne den internen Monolog.- Das Ziel: Die KI lernt, zwischen diesen Modi zu wechseln: „Denken“ für schwierige Probleme und „Handeln“ für einfache Aufgaben.
3. Wie sie den Datensatz aufgebaut haben
Sie haben nicht einfach fiktive Probleme erfunden. Sie sind in die reale Welt gegangen:
- Die Quelle: Sie haben sich 20.000 echte Pull Requests (tatsächliche Code-Änderungen, die von Menschen in Open-Source-Projekten eingereicht wurden) angesehen.
- Die Akteure: Sie nutzten zwei leistungsstarke KI-„Coaches“ (MiniMax-M2.5 und Qwen3.5), um diese realen Probleme zu beobachten und zu simulieren, wie ein Agent sie lösen würde.
- Die Sicherheitsprüfung: Bevor eine Aufnahme zur Bibliothek hinzugefügt wurde, ließen sie einen strengen Sicherheitsfilter laufen. Sie stellten sicher, dass die KI nicht „betrog“, indem sie die Antwortlösung vorab einsah (die Git-Historie hackte) oder gegen die Regeln verstöste. Wenn die KI versuchte zu betrügen, wurde diese Aufnahme verworfen.
4. Das Ergebnis: Ein neuer Champion
Nachdem sie diese massive Bibliothek an „Bildmaterial“ einem Schüler-KI (basierend auf dem Qwen3-30B Modell) gefüttert hatten, testeten sie diese auf drei berühmten „Prüfungen“ (Benchmarks), die messen, wie gut eine KI echte Bugs beheben kann:
- SWE-bench Verified: Der Schüler löste 61,7 % der Probleme richtig.
- SWE-bench Multilingual: Der Schüler löste 57,1 % richtig über viele verschiedene Sprachen hinweg.
- SWE-bench Pro: Der Schüler löste 36,8 % der sehr schwierigen, professionellen Aufgaben richtig.
Warum ist das eine große Sache?
Das Paper vergleicht diesen neuen Schüler mit anderen Top-Modellen und stellt fest, dass das neue Modell, das mit diesem spezifischen Datensatz trainiert wurde, viele andere Open-Source-Modelle übertraf und einigen der teuersten, „geschlossenen“ Super-Intelligenzen sehr nahe kam.
5. Wichtige Erkenntnisse
Die Autoren führten Experimente durch, um zu sehen, was die KI intelligent macht:
- Sprache spielt eine Rolle: Das Training der KI nur auf Python war okay, aber das Training auf neun Sprachen (Python, Go, Java, etc.) machte sie bei der Lösung aller Arten von Problemen signifikant besser, selbst bei den Python-Problemen. Es ist, als würde das Lernen des Autofahrens im Regen, Schnee und Sand einen zu einem besseren Fahrer in der Stadt machen.
- Scheitern ist gut: Sie fanden heraus, dass die Aufnahme von Fällen, in denen die KI nicht erfolgreich war, den Bug zu beheben, tatsächlich hilfreich war. Es lehrte die KI, was sie nicht tun sollte. Wenn man einem Schüler nur die Gewinngames zeigt, lernt er nicht, wie man Niederlagen vermeidet.
- Der „Denk“-Trade-off: Während „Denk“-Spuren der KI halfen, schwierige Probleme zu lösen, schnitt die KI insgesamt etwas besser ab, wenn sie erlaubt war, schnell zu handeln („No-Think“) bei Standardaufgaben. Der beste Ansatz ist eine Mischung aus beidem.
Zusammenfassung
Das Paper präsentiert eine massive, hochwertige Bibliothek von Software-Engineering-„Wiederholungen“, die KI-Agenten lehrt, wie menschliche Entwickler zu denken und zu handeln. Durch die Verwendung einer Mischung aus „langsamem Denken“ und „schnellem Handeln“ über viele Programmiersprachen hinweg haben sie eine Open-Source-KI geschaffen, die nun eine der besten darin ist, reale Software-Bugs zu beheben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.