💻 computer science

CoRaCommit: A VS Code Extension for Commit Message Generation with Exemplar Retrieval

CorCommit ist eine VS Code-Erweiterung, die die Generierung von Commit-Nachrichten verbessert, indem sie ähnliche Exemplare als Kontext abruft, parallele LLM-Ausgaben vergleicht und Empfehlungen basierend auf Benutzerfeedback dynamisch anpasst, wodurch sie bestehende Tools in Qualitätsmetriken übertrifft.

Ursprüngliche Autoren: Chaoran Cai, Bo Xiong, Chong Wang, Lulu He, Peng Liang

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chaoran Cai, Bo Xiong, Chong Wang, Lulu He, Peng Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Softwareentwickler. Jedes Mal, wenn Sie ein kleines Stück Arbeit abgeschlossen haben, müssen Sie es in der Historie Ihres Projekts speichern. Dazu schreiben Sie eine „Commit-Nachricht“ – eine kurze Notiz, die erklärt, was Sie geändert haben. Denken Sie dabei an das Schreiben eines Kassenbons nach einem Einkauf; er sagt Ihnen (und Ihrem Team) genau, was Sie gekauft haben und warum.

Das Problem ist, dass das Schreiben dieser Belege langweilig ist. Entwickler sind damit beschäftigt, Fehler zu beheben oder Funktionen zu bauen, also lassen sie die Notizen oft weg, schreiben vage Nachrichten wie „Dinge behoben“ oder sind inkonsistent. Das macht es schwierig, die Projekt-Historie später zu verstehen.

Hier kommt CoRaCommit ins Spiel, ein Tool, das dieses Problem lösen soll. Es ist wie ein intelligenter Assistent, der in Ihrer Coding-Software (VS Code) lebt und diese Notizen für Sie schreibt, aber mit ein paar speziellen Tricks, um sie wirklich gut zu machen.

So funktioniert es, erklärt anhand einfacher Analogien:

1. Der „Schlaue Bibliothekar“ (Retrieval-Augmented Generation)

Die meisten Tools, die Commit-Nachrichten schreiben, schauen sich nur Ihre Code-Änderungen an und raten, was Sie getan haben. Das ist so, als würde man einen Koch bitten, ein neues Gericht zu beschreiben, indem man nur die rohen Zutien auf der Arbeitsplatte betrachtet.

CoRaCommit ist anders. Bevor es Ihre Notiz schreibt, agiert es wie ein schlauer Bibliothekar. Es schaut sich Ihre Code-Änderungen an und sucht sofort in einer riesigen Bibliothek vergangener Projektnotizen (dem ApacheCM-Datensatz). Es findet Notizen aus der Vergangenheit, die Ihrer aktuellen Aufgabe sehr ähnlich sind.

Die Analogie: Wenn Sie ein Leck in einem Rohr reparieren, rät CoRaCommit nicht einfach nur; es findet eine Notiz vom letzten Jahr, in der jemand ein ähnliches Leck im Rohr repariert hat. Es nutzt diese alte Notiz als „Spickzettel“ oder Referenz, um Ihre neue Notiz zu schreiben. Dies stellt sicher, dass die Sprache und der Stil dem entsprechen, was echte Menschen zuvor verwendet haben.

2. Der „Geschmackstest“ (Multiple LLMs)

Anstatt nur eine einzige KI zu fragen, die Nachricht zu schreiben, fragt CoRacom mehrere verschiedene KIs, die gleichzeitig eine Nachricht zu schreiben.

Die Analogie: Stellen Sie sich vor, Sie bestellen Abendessen. Anstatt nur einen Kellner nach einer Empfehlung zu fragen, fragen Sie drei verschiedene Köche, um eine kleine Probe des Gerichts zuzubereiten. Sie erhalten dann drei verschiedene Versionen der Commit-Nachricht. Sie können alle lesen, diejenige auswählen, die Ihnen am besten gefällt, und sie vielleicht noch leicht anpassen. Dies gibt Ihnen Auswahlmöglichkeiten statt nur eines einzigen Rates.

3. Der „Lernende Coach“ (Feedback-Driven Recommendation)

Dies ist die Superkraft des Tools. CoRaCommit hört nicht auf, nachdem Sie eine Nachricht ausgewählt haben. Es beobachtet, was Sie tun.

Die Analogy: Denken Sie an einen Sportcoach, der ein Spiel beobachtet.
- Wenn Sie die Nachricht wählen, die von „KI-Koch A“ geschrieben wurde, ohne sie zu ändern, gibt der Coach Koch A eine hohe Punktzahl.
- Wenn Sie „KI-Koch B“ wählen, aber die Hälfte davon umschreiben müssen, gibt der Coach Koch B eine mittlere Punktzahl.
- Wenn Sie „KI-Koch C“ komplett ignorieren, gibt der Coach ihm eine niedrige Punktzahl.

Im Laufe der Zeit lernt das Tool, welche KI am besten für bestimmte Arten von Aufgaben geeignet ist. Wenn Sie einen Datenbankfehler beheben, lernt es vielleicht, dass „KI-Koch A“ für diese spezifische Aufgabe am besten ist, selbst wenn „KI-Koch B“ besser darin ist, über Benutzeroberflächen zu schreiben. Es erstellt ein personalisiertes Ranking, um Ihnen zu helfen, bei der nächsten Aufgabe die richtige KI auszuwählen.

4. Der „Privatsphäre-Wächter“ (Preprocessing)

Bevor das Tool Ihren Code zur Verarbeitung in die Cloud sendet, führt es auf Ihrem Computer eine schnelle Bereinigung durch. Es entfernt sensible Dinge wie Passwörter oder geheime Schlüssel und entfernt Binärdateien (wie Bilder), die nicht gelesen werden müssen. Es stellt sicher, dass nur der notwendige Text nach außen gesendet wird, um Ihren Code sicher zu halten.

Die Ergebnisse

Die Autoren haben dieses Tool gegen andere populäre Tools getestet, die ähnliche Funktionen bieten. Sie nutzten 945 reale Code-Änderungen, um zu sehen, welches Tool die besten Notizen schrieb.

Das Urteil: CoRaCommit gewann. Es erzeugte Notizen, die den Nachrichten von menschlichen Experten viel näher kamen.
Warum? Weil es nicht nur geraten hat; es nutzte den „Schlauen Bibliothekar“, um ähnliche vergangene Beispiele zu finden, was der KI einen viel besseren Kontext zur Verfügung stellte.

Zusammenfassung

CoRaCommit ist eine VS-Code-Erweiterung, die Entwicklern hilft, bessere Projekt-Historie-Notizen zu schreiben, indem sie:

Ähnliche vergangene Notizen nachschlägt, um diese als Referenz zu nutzen.
Mehrere KIs fragt, um Entwürfe zu erstellen, damit Sie den besten auswählen können.
Aus Ihren Entscheidungen lernt, um die beste KI für zukünftige Aufgaben zu empfehlen.
Ihren Code bereinigt, bevor er aus Gründen der Privatsphäre versendet wird.

Es verwandelt die langweilige Aufgabe des Schreibens von Commit-Nachrichten in einen smarteren, schnelleren und präziseren Prozess.

Technisches Resümee: CoRaCommit

Problemstellung

Commit-Nachrichten sind kritische textuelle Artefakte für die Versionsverwaltung, Code-Reviews und die historische Rückverfolgung, werden jedoch häufig manuell verfasst, was zu inkonsistenter Qualität, fehlenden Details und nicht einheitlichen Ausdrucksweisen führt. Während bestehende VS Code-Erweiterungen (z. B. Auto Commit Message, AI Commit, Commit Sage) versuchen, diesen Prozess zu automatisieren, leiden sie unter zwei primären Einschränkungen:

Mangel an kontextuellem Bezug: Die meisten Werkzeuge verlassen sich ausschließlich auf den aktuellen Code-Diff als Eingabe und versäumen es, ähnliche historische Commit-Exemplare zu nutzen, die relevante Ausdrucksmuster und Terminologien bereitstellen könnten.
Fehlen adaptiver Empfehlungen: Bestehende Werkzeuge unterstützen im Allgemeinen keine benutzerfeedbackgesteuerte Evaluierung oder dynamische Empfehlungen, wenn mehrere Large Language Models (LLMs) verfügbar sind, wodurch Entwickler ohne Anleitung darüber bleiben, welches Modell für eine bestimmte Aufgabe am besten geeignet ist.

Methodik

Das Paper schlägt CoRaCommit vor, eine VS Code-Erweiterung, die darauf abzielt, diese Einschränkungen durch ein Retrieval-Augmented Generation (RAG)-Framework und einen adaptiven Evaluierungsmechanismus zu beheben. Die Systemarchitektur besteht aus einem leichtgewichtigen VS Code Frontend, einer Node.js-Orchestrierungsschicht und einem Python-basierten Backend für Retrieval und Evaluierung.

Kern-Workflow

Extraktion des gestuften Code-Diffs: Die Erweiterung extrahiert den gestuften Code-Diff aus dem Git-Repository auf der Client-Seite. Sie führt eine Vorverarbeitung durch, um Zeilenendungen zu normalisieren, binäre Patches zu filtern, sensible Informationen (API-Token) zu maskieren und die Länge zu kontrollieren, um Datenschutz und Effizienz zu gewährleisten.
Hybride Retrieval-Augmented Generation:
- Das System zielt auf den ApacheCM Commit-Datensatz ab.
- Es verwendet eine hybride Retrieval-Strategie: Zuerst wird der Code-Diff in dichte Vektoren kodiert (unter Verwendung von CodeBERT oder jina-embeddings-v2-base-code) für die semantische Rekonstruktion. Zweitens werden Kandidaten mittels BM25-Scores neu bewertet (reranking), um die Sensitivität für lokale Merkmale wie Funktions- und Pfadnamen zu erhöhen.
- Die Top- $k$ ähnlichen Commit-Exemplare (historische Diff-Nachrichten-Paare) werden abgerufen und als Kontext in den Prompt für das LLM injiziert.
Konkurrente LLM-Aufrufe: Das System unterstützt den parallelen Aufruf mehrerer konfigurierter LLMs (z. B. ChatGPT, DeepSeek, Qwen). Es aggregiert die Ergebnisse aller ausgewählten Modelle, um dem Benutzer vielfältige Kandidaten für Commit-Nachrichten zu präsentieren.
Dynamische Evaluierung und Empfehlung:
- Feedback-Schleife: Wenn ein Entwickler eine Nachricht auswählt oder bearbeitet, zeichnet das System diese Interaktion als Feedback auf.
- Bewertungsmechanismus: Ein asynchroner Hintergrundprozess aktualisiert die LLM-Scores basierend auf:
  - Ähnlichkeits-Score: Eine gewichtete Kombination aus semantischer und lexikalischer Ähnlichkeit zwischen dem generierten Kandidaten und der übernommenen Nachricht.
  - Präferenz-Score: Basierend auf dem Nutzerverhalten (direkte Übernahme vs. überarbeitete Übernahme vs. Ablehnung).
- Ranking: Die Scores werden normalisiert und mittels eines exponentiellen gleitenden Durchschnitts (EMA) aktualisiert, um sowohl globale LLM-Rankings als auch aufgabenbezogene (Exemplar-Ebene) Empfehlungen aufrechtzuerhalten.

Wichtige Beiträge

Das Paper skizziert drei Hauptbeiträge:

Implementierung von CoRaCommit: Eine VS Code-Erweiterung, die das CoRaCMG-Framework integriert. Sie verfügt über die Extraktion von gestuften Diffs, hybrides Retrieval aus ApacheCM und Retrieval-Augmented Generation, um Kandidatennachrichten innerhalb der Standard-Entwicklungsabläufe bereitzustellen.
LLM-Evaluierungs- und Empfehlungsmechanismus: Ein neuartiges System, das sowohl globale als auch exemplarbezogene LLM-Scores basierend auf Generierungsergebnissen und Nutzerfeedback aktualisiert. Dies unterstützt sowohl ein globales Leaderboard als auch aufgabenspezifische LLM-Vorschläge.
Vergleichende Evaluierung: Ein strenger experimenteller Vergleich gegen bestehende VS Code CMG-Erweiterungen, um die Qualität der generierten Commit-Nachrichten zu validieren.

Experimentelle Ergebnisse

Die Autoren evaluierten CoRaCommit anhand von 945 Commits, die zufällig aus dem ApacheCM-Datensatz gezogen wurden, im Vergleich zu Auto Commit Message, AI Commit und Commit Sage. Die Evaluierung verwendete vier Standard-Metriken der natürlichen Sprachgenerierung (NLG): BLEU, CIDEr, METEOR und ROUGE-L.

Leistung: CoRaCommit übertraf alle Baselines in allen vier Metriken.
- BLEU: 5.28 (vs. 2.13, 1.66, 2.39)
- CIDEr: 0.432 (vs. 0.036, 0.002, 0.021)
- METEOR: 21.40 (vs. 1.31, 17.12, 19.06)
- ROUGE-L: 20.92 (vs. 6.37, 11.18, 14.18)
Analyse: Die Autoren führen die signifikante Verbesserung, insbesondere bei CIDEr und ROUGE-L, auf das Retrieval ähnlicher Commit-Exemplare zurück. Diese externen Referenzen liefern dem LLM zusätzliche Ausdrucksweisen für Modifikationen und Aufgabenhinweise, was zu einer besseren Zusammenfassung der Kerngestalt und einer höheren semantischen Konsistenz im Vergleich zu Modellen führt, die sich nur auf den aktuellen Code-Diff verlassen.

Bedeutung und Behauptungen

Das Paper behauptet, dass CoRaCommit die Wirksamkeit von Retrieval-Augmented-Kontext für die Generierung von Commit-Nachrichten demonstriert. Durch die Integration ähnlicher historischer Commits hilft das Werkzeug LLMs, Nachrichten zu generieren, die hinsichtlich der Code-Änderungen präziser und vollständiger sind. Darüber hinaus wird die feedbackgesteuerte Empfehlungskomponente als praktische Lösung präsentiert, um Entwicklern bei der Auswahl des am besten geeigneten LLMs für spezifische Aufgaben zu helfen, wodurch über eine statische Modellauswahl hinausgegangen wird.

Die Autoren räumen Einschränkungen ein und merken an, dass die Effektivität des Systems derzeit von der Abdeckung und Qualität des ApacheCM-Datensatzes abhängt und dass die Retrieval-Effizienz für größere Datensätze oder Hochkonkrenz-Szenarien optimiert werden muss. Zukünftige Arbeit wird vorgeschlagen, um den Exemplar-Korpus zu erweitern und die Empfehlungsstrategien zu verfeinern.