Merge-Bench: Resolve Merge Conflicts with Large Language Models

Stellen Sie sich vor, Sie arbeiten an einem Gruppenprojekt, bei dem zwei Freunde gleichzeitig dasselbe Dokument bearbeiten. Freund A ändert einen Absatz, und Freund B ändert genau denselben Absatz. Wenn Sie versuchen, ihre Arbeit zusammenzuführen, gerät der Computer in Verwirrung und schreit: „Ich weiß nicht, welche Version ich behalten soll!" Dies wird als Merge-Konflikt bezeichnet.

Normalerweise muss ein Mensch eingreifen, beide Versionen lesen, herausfinden, was die Freunde tatsächlich beabsichtigt haben, und das Durcheinander manuell beheben. Dies kostet Zeit und kann zu Fehlern führen.

Dieser Artikel stellt eine neue Methode vor, um Computern beizubringen, diese Durcheinander automatisch mithilfe „intelligenter" KI (Large Language Models) zu beheben. Hier ist die Aufschlüsselung ihrer Arbeit in einfachen Worten:

1. Das Problem: Der Computer ist ratlos

Traditionelle Werkzeuge sind wie ein Roboter, der nur auf die Buchstaben schaut. Wenn Freund A „Katze" schrieb und Freund B „Hund", sieht der Roboter nur einen Konflikt. Er versteht nicht, dass sie vielleicht über Haustiere sprachen oder dass einer ein Tippfehler war. Er benötigt einen Menschen, um die Absicht zu erklären.

2. Die Lösung: Ein neuer Trainingsplatz (Merge-Bench)

Um eine KI beizubringen, diese Konflikte zu beheben, benötigen Sie eine riesige Bibliothek mit Beispielen, die zeigen: „Hier war das Durcheinander, und hier ist, wie ein menschlicher Experte es behoben hat."

• Der alte Weg: Andere Forscher versuchten, diese Bibliotheken manuell zu erstellen oder Tests durchzuführen. Dies war langsam, teuer und manchmal „schummelte" die KI, indem sie die Testantworten auswendig lernte, anstatt zu lernen, den Code zu beheben.
• Der neue Weg (Merge-Bench): Die Autoren bauten eine riesige, automatisierte Bibliothek namens Merge-Bench. Sie extrahierten 7.938 reale Konflikte aus 1.439 verschiedenen öffentlichen Code-Projekten auf GitHub.
  • Die Analogie: Stellen Sie sich einen Lehrer vor, der nicht jede einzelne Hausaufgabe von Hand korrigieren muss. Stattdessen hat er eine Maschine, die automatisch 8.000 reale Beispiele von Schülern, die Fehler machen, und die vom Lehrer geschriebenen korrekten Antworten sammelt. Da die Maschine die ganze Arbeit erledigt, können sie eine Bibliothek haben, die riesig ist und niemals ausgeht.

3. Der Schüler: LLMergeJ

Die Autoren trainierten ein spezifisches KI-Modell namens LLMergeJ (das „J" steht für Java, die Programmiersprache, auf die sie sich konzentrierten).

• Wie sie es lehrten: Statt dem Modell einfach die Antwort zu zeigen (wie ein Standardlehrer), verwendeten sie eine Methode namens Reinforcement Learning (Bestärkungslernen).
  • Die Analogie: Denken Sie daran, wie man einen Hund trainiert. Wenn der Hund den richtigen Trick errät, bekommt er einen Leckerbissen. Wenn er falsch rät, bekommt er nichts. Wenn er sich weigert zu raten und einfach sagt „Ich weiß es nicht" (und den Konflikt beibehält), bekommt er ein kleines Krümel.
  • Die KI probierte Tausende Male. Wenn sie herausfand, wie man den Code richtig zusammenführt, erhielt sie eine große Belohnung. Im Laufe der Zeit lernte sie nicht nur, wie die Antwort aussah, sondern wie man über das Problem nachdenkt, um dorthin zu gelangen.

4. Die Ergebnisse: Kleiner Hund, große Tricks

Sie testeten ihr 14-Milliarden-Parameter-Modell (was für KI-Standards relativ klein ist) gegen die größten, teuersten kommerziellen KI-Modelle, die verfügbar sind (wie Gemini, Claude und Grok).

• Die Überraschung: Ihr kleines, speziell trainiertes Modell schnitt besser ab als fast alle riesigen kommerziellen Modelle. Es löste etwa 59% der Konflikte korrekt (nachdem kleine Formatierungsunterschiede ignoriert wurden).
• Der Vergleich: Das beste kommerzielle Modell (Gemini 2.5 Pro) war leicht besser, aber das Modell der Autoren schlug die anderen mit einem signifikanten Abstand.
• Die Lehre: Ein kleines Modell, das speziell darauf trainiert wurde, wie man Merge-Konflikte behebt, unter Verwendung von Belohnungen, ist besser als ein riesiges, allgemeines Modell, dem einfach nur einmal gesagt wurde, es solle es tun.

5. Warum dies wichtig ist

• Kein Schummeln: Ihre Testmethode verlässt sich nicht auf das Ausführen von Code-Tests (die KI manchmal täuschen kann). Sie vergleicht den Code direkt mit dem, was der menschliche Entwickler tatsächlich getan hat.
• Skalierbar: Da sie keine Menschen benötigten, um die Daten zu kennzeichnen, konnten sie den Trainingsdatensatz so groß machen, wie sie wollten.
• Sprachunabhängig: Obwohl sie das Modell nur auf Java trainierten, testeten sie die großen kommerziellen Modelle auf 11 verschiedenen Sprachen (C, Python, Rust usw.). Sie stellten fest, dass das Verhalten der KI über alle Sprachen hinweg ähnlich war, was darauf hindeutet, dass ihre Methode für jede Programmiersprache funktionieren könnte.

Zusammenfassung

Die Autoren bauten eine riesige, automatisierte Turnhalle (Merge-Bench), um einen spezifischen KI-Athleten (LLMergeJ) zu trainieren, um Code-Konflikte zu lösen. Durch die Verwendung eines belohnungsbasierten Trainingssystems lehrten sie eine relativ kleine KI, die größten und teuersten KI-Modelle bei dieser spezifischen Aufgabe zu übertreffen, und bewiesen, dass spezialisierte Ausbildung die allgemeine Größe übertrifft, wenn es darum geht, Software-Durcheinander zu beheben.