Pull Requests as a Training Signal for Repo-Level Code Editing
Dieses Paper stellt Clean-PR vor, ein Mid-Training-Paradigma, das einen großen Korpus rekonstruierter GitHub-Pull-Requests nutzt, um Modellen zu ermöglichen, Repository-weite Code-Editierungsfähigkeiten zu internalisieren, wodurch es Baselines auf SWE-bench ohne die Abhängigkeit von komplexem Agent-Scaffolding signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige, antike Bibliothek (ein Software-Repository) mit Millionen von Büchern (Dateien aus Code). Ihr Ziel ist es, einen spezifischen Tippfehler zu korrigieren oder ein neues Kapitel zu einem dieser Bücher hinzuzufügen.
Normalerweise stellen Sie dafür einen sehr klugen, aber etwas tollpatschigen Bibliothekar ein (ein KI-Modell). Da die Bibliothek so riesig ist, benötigt der Bibliothekar ein Team von Assistenten, ein komplexes Kartensystem und viel Zeit, um das richtige Buch zu finden, die richtige Seite aufzuschlagen und die Änderung vorzunehmen. So arbeiten die meisten aktuellen „KI-Softwareentwickler“: Sie nutzen schwere, komplizierte Werkzeuge, um sich in dem Chaos zurechtzufinden.
Diese Arbeit stellt eine einfache Frage: Können wir den Bibliothekar so gut darin lehren, Dinge zu finden und zu reparieren, dass er die schweren Assistenten nicht mehr braucht?
Die Autoren sagen „Ja“, und so haben sie es gemacht, indem sie ein paar kreative Analogien verwendet haben:
1. Das Problem: Die „verrauschte“ Bibliothek
Die Autoren untersuchten GitHub, was wie ein riesiges öffentliches Archiv ist, in dem Menschen dokumentieren, wie sie Code reparieren und verändern. Sie fanden heraus, dass dieses Archiv unglaublich unordentlich ist.
- Das Rauschen: Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein Auto repariert, indem Sie ein Video beobachten, in dem jemand einen Reifen wechselt, aber 40 % des Videos bestehen nur daraus, dass die Person zu Mittag isst, 25 % zeigt einen Roboter, der sich als Mechaniker ausgibt, und 25 % ist ein Video, das nie fertiggestellt wurde.
- Das Ergebnis: Wenn Sie Sie dieses chaotische Video einfach dem KI-Bibliothekar zeigen, wird er verwirrt. Er lernt schlechte Gewohnheiten, wie zum Beispiel zu versuchen, Dinge zu reparieren, die gar nicht repariert werden müssen, oder in der falschen Abteilung zu sich selbst zu verlieren.
2. Die Lösung: „Clean-PR“ (Das gefilterte Video)
Das Team baute eine Maschine namens Clean-PR. Betrachten Sie dies als einen superintelligenten Videoschnittmeister, der all diese chaotischen GitHub-Videos sieht und den Müll herausschneidet.
- Der Filter: Er wirft die Videos weg, in denen keine echte Arbeit geleistet wurde, in denen ein Roboter die Arbeit erledigt hat oder bei denen die Reparatur nie genehmigt wurde.
- Die Übersetzung: Anstatt der KI ein unübersichtliches „Vorher-Nachher“-Bild zu zeigen (was schwer zu lesen ist), übersetzt die Maschine die Reparatur in eine klare, schrittweise Anweisung: „Suche den Absatz, der mit ‚Hallo‘ beginnt, und ändere ihn in ‚Auf Wiedersehen‘.“
- Die Verifizierung: Bevor die Anweisung gespeichert wird, wendet die Maschine sie tatsächlich auf ein Testbuch an, um sicherzustellen, dass sie perfekt funktioniert. Wenn sie nicht funktioniert, wird die Anweisung verworfen.
Das Ergebnis ist eine riesige, saubere Bibliothek von 2 Millionen perfekter Anweisungen (genannt „Pull Requests“), die 12 verschiedene Sprachen abdecken.
3. Das Training: Zweistufiges Lernen
Sie haben die Daten nicht einfach nur in die KI hineingepumpt. Sie haben sie in zwei spezifischen Phasen unterrichtet:
Phase 1: Mid-Training (Die „Lehrlingsphase“)
Sie fütterten die KI mit dieser sauberen Bibliothek von 2 Millionen Anweisungen. Dies war, als würde man dem Bibliothekar einen Crashkurs darüber geben, wie echte Menschen Dinge in echten Bibliotheken reparieren. Die KI lernte die Muster des Editierens, ohne mit jemandem sprechen zu müssen. Dies „internalisierte“ die Fähigkeit in das Gehirn der KI (ihre Gewichte).Phase 2: Spezialisierte Praxis (Die „SFT-Phase“)
Probleme in der realen Welt sind knifflig. Manchmal bekommt der Bibliothekar eine Liste von 1.000 Büchern, aber das Problem liegt nur in einem davon. Wenn der Bibliothekar versucht, alle zu reparieren, macht er ein Chaos.
Um dies zu beheben, entwickelten die Autoren eine spezielle Trainingsübung, bei der sie die KI täuschten. Sie gaben ihr das richtige Buch plus eine Reihe falscher Bücher (Distraktoren) und fragten: „Welches davon muss repariert werden?“
Dies lehrte die KI zu sagen: „Dieses andere Buch muss ich nicht anfassen“, was verhinderte, dass sie unnötige Änderungen vornahm.
4. Das Ergebnis: Ein Super-Bibliothekar
Als sie diese neue KI auf dem SWE-bench testeten (einer anspruchsvollen Prüfung für KI-Softwareentwickler):
- Der alte Weg: Zuvor führende Modelle benötigten ein riesiges Team digitaler Assistenten und komplexe Planungszyklen, um etwa 20 % der Probleme zu lösen.
- Der neue Weg: Diese neue KI, die einen viel einfacheren „Keine-Assistenten“-Ansatz nutzt, löste 30,6 % der Probleme.
- Die Überraschung: Obwohl diese KI kleiner war (32 Milliarden „Gehirnzellen“) als einige ihrer Konkurrenten (72 Milliarden), schnitt sie besser ab.
Das Wichtigste in Kürze
Die Arbeit beweist, dass man keine riesige, komplexe Maschine mit vielen Werkzeugen braucht, um Software zu reparieren. Stattdessen kann man ein Modell direkt dazu bringen, die Fähigkeit zu erlernen, wenn man ihm hochwertige, verifizierte Beispiele dafür gibt, wie man Dinge repariert.
Es ist wie der Unterschied zwischen einem Studenten, der das Autofahren lernt, indem man ihm ein Handbuch über die Reparatur eines Automotors gibt (chaotisch, theoretisch), gegenüber einem Studenten, der in einem Auto sitzt, das bereits 2 Millionen Meilen lang perfekt von einem Profi gefahren wurde (Clean-PR). Der Student lernt das Gefühl des Fahrens so gut, dass er keinen Co-Piloten mehr braucht, der ihm sagt, wann er abbiegen muss.
Kurz gesagt: Die Autoren haben die chaotischen Daten des Internets bereinigt, einer KI beigebracht, aus der sauberen Version zu lernen, und gezeigt, dass dies die KI zu einem viel besseren, unabhängigeren Softwareentwickler macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.