Conventional Commit Classification using Large Language Models and Prompt Engineering

Dieser Artikel zeigt, dass trainingsfreie große Sprachmodelle, insbesondere DeepSeek-R1-32B mit Few-Shot-Prompting, konventionelle Commits aus Code-Diffs effektiv klassifizieren können und damit eine praktische Alternative zu traditionellen überwachten maschinellen Lernansätzen bieten.

Das Wesentliche

Stellen Sie sich vor, Sie sind der Manager einer riesigen, chaotischen Bibliothek, in der täglich Tausende von Büchern hinzugefügt werden. Um die Ordnung zu wahren, hat die Bibliothek eine strikte Regel: Jedes neue Buch muss ein spezifisches Etikett auf dem Buchrücken tragen (wie „Neues Feature", „Bugfix" oder „Dokumentation"), damit Roboter sie automatisch sortieren, den Katalog aktualisieren und den Besuchern mitteilen können, was neu ist.

In der Realität ignorieren die Personen, die die Bücher hinzufügen, diese Regeln jedoch oft. Sie kritzeln unordentliche Notizen wie „das Ding repariert" oder „einiger Code geändert" hinein, was es den Robotern unmöglich macht zu erkennen, in welche Kategorie das Buch gehört.

Diese Arbeit handelt davon, einem superschlauen Roboter (einer KI) beizubringen, diese unordentlichen Notizen zu lesen und das korrekte Etikett zu ermitteln, ohne zuvor jahrelang Tausende von Beispielen studieren zu müssen.

Das Problem: Unordentliche Notizen versus strikte Regeln

In der Softwareentwicklung schreiben Programmierer bei jedem Speichern von Änderungen an ihrem Code „Commit-Nachrichten" (Notizen). Die Branche hat ein Standardformat namens Conventional Commits, das wie ein striktes Ablagesystem funktioniert. Es verlangt, dass Notizen mit einem spezifischen Tag beginnen (z. B. feat:, fix:).

Menschen sind jedoch unordentlich. Sie vergessen oft die Tags. Traditionell wurde dieses Problem behoben, indem Forscher einen maßgeschneiderten Roboter bauten, indem sie ihn mit Tausenden von gelabelten Beispielen fütterten (wie ein Schüler, der ein Lehrbuch auswendig lernt). Dies erfordert viel Zeit und Daten.

Der neue Ansatz: Die „Prompt"-Strategie

Anstatt einen neuen Roboter von Grund auf zu trainieren, stellten die Autoren die Frage: Können wir einer sehr klugen, bereits existierenden KI einfach eine Reihe von Anweisungen (einen „Prompt") geben, um die Aufgabe zu erledigen?

Sie behandelten die KI wie einen brillanten Praktikanten, der bereits viel über Sprache weiß, aber genau wissen muss, welche Aufgabe zu erledigen ist. Sie testeten drei verschiedene Arten, Anweisungen zu geben:

1. Zero-Shot (Der Ansatz „Sag es mir einfach"):

   • Die Analogie: Sie gehen auf den Praktikanten zu und sagen: „Hier ist eine unordentliche Notiz. Bitte sag mir, zu welcher Kategorie sie basierend auf den Regeln gehört." Sie geben keine Beispiele.
   • Ergebnis: Der Praktikant rät, bekommt es aber oft falsch, weil er nicht genau weiß, was Sie wollen.

2. Few-Shot (Der Ansatz „Zeig mir Beispiele"):

   • Die Analogie: Sie sagen: „Hier ist eine unordentliche Notiz, die 'Neues Feature' bedeutet. Hier ist eine weitere, die 'Bugfix' bedeutet. Schau dir jetzt diese neue unordentliche Notiz an und sag mir, was sie ist." Sie zeigen dem Praktikanten zunächst ein paar klare Beispiele.
   • Ergebnis: Dies funktionierte am besten. Der Praktikant erkannte das Muster schnell und sortierte die Bücher korrekt.

3. Chain-of-Thought (Der Ansatz „Denken Sie laut"):

   • Die Analogie: Sie sagen: „Bevor Sie mir die Antwort geben, schreiben Sie bitte Ihre schrittweise Begründung auf: 'Ich sehe das Wort "fix", also denke ich, es ist ein Bug...'"
   • Ergebnis: Überraschenderweise half dies nicht. Für diese spezifische Aufgabe des Sortierens von Etiketten führte das „laut Denken" des Praktikanten nur zu zusätzlichen Schritten, ohne die endgültige Antwort zu verbessern. Es war, als würde man einen Bibliothekar bitten, vor dem Einräumen eines Buches einen Aufsatz zu schreiben; es verlangsamte ihn, ohne das Ergebnis zu verbessern.

Die Kandidaten: Wie groß muss das Gehirn sein?

Die Forscher testeten drei verschiedene „Praktikanten" (KI-Modelle) unterschiedlicher Größe:

• Mistral-7B: Ein mittelgroßes Gehirn (7 Milliarden Parameter).
• LLaMA-3-8B: Ein etwas größeres Gehirn (8 Milliarden Parameter).
• DeepSeek-R1-32B: Ein riesiges Gehirn (32 Milliarden Parameter).

Die Erkenntnis: Das größere Gehirn gewann. Das DeepSeek-R1-32B war am genauesten beim Lesen der unordentlichen Notizen und beim Finden des richtigen Etiketts. Dies deutet darauf hin, dass für diese Art von Aufgabe ein größeres, leistungsfähigeres KI-Modell einen echten Unterschied macht.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Sie kein maßgeschneidertes maschinelles Lernmodell von Grund auf neu erstellen müssen, um unordentliche Software-Notizen zu organisieren. Stattdessen können Sie eine leistungsstarke, bereits existierende KI verwenden und ihr einfach ein paar gute Beispiele geben (Few-Shot-Prompting), um die Arbeit zu erledigen.

• Beste Strategie: Zeigen Sie der KI zunächst ein paar Beispiele.
• Beste KI: Das größte, leistungsfähigste verfügbare Modell.
• Zeitverschwendung: Die KI dazu bringen, vor der Antwort einen langen Begründungsprozess zu schreiben.

Dieser Ansatz spart Zeit und Aufwand, da er die Notwendigkeit überspringt, Tausende von Trainingsbeispielen zu sammeln und zu labeln, und Entwicklern ermöglicht, ihre Dateiorganisation sofort zu automatisieren.

Technische Zusammenfassung

Technische Zusammenfassung: Klassifizierung konventioneller Commits mit Large Language Models und Prompt Engineering

Problemstellung

Conventional Commits bieten ein strukturiertes Format für Commit-Nachrichten (z. B. type: description) und ermöglichen so Automatisierungswerkzeuge wie Changelog-Generatoren und Systeme für semantische Versionsverwaltung. Entwickler verfassen jedoch häufig unstrukturierte Nachrichten, was eine automatische Klassifizierung erforderlich macht, um diese Struktur wiederherzustellen. Traditionelle Ansätze stützen sich auf Machine-Learning-(ML-) und Deep-Learning-(DL-)Modelle, die auf großen, gelabelten Datensätzen trainiert werden. Diese Methoden erfordern erhebliche Datenvorverarbeitung, Feature-Engineering und häufiges Neutrainieren, wenn sich die Projekttterminologie oder Klassifikationstaxonomien ändern. Dieser Beitrag untersucht eine trainingsfreie Alternative: den Einsatz von Large Language Models (LLMs) mittels Prompt Engineering zur Klassifizierung von Commit-Nachrichten ohne den Aufwand der Kuratierung gelabelter Trainingsdaten oder des Fine-Tunings von Modellen.

Methodik

Die Studie verwendet ein trainingsfreies Framework, bei dem LLMs Codeänderungen direkt basierend auf Prompts klassifizieren, ohne dass ein Fine-Tuning des Modells erfolgt.

• Datensatz: Ein ausgewogener Datensatz von 3.200 Commits wurde aus dem Open-Source-Repository InfluxDB extrahiert. Der Datensatz umfasst Commit-Nachrichten und die entsprechenden Code-Diffs (Änderungen). Die Daten sind annähernd gleichmäßig über die Commit-Typen verteilt (z. B. feat, fix, docs, refactor, test, chore).
• Evaluierte Modelle: Drei Open-Source-LLMs unterschiedlicher Parametergrößen wurden getestet:
  • Mistral-7B-Instruct (7 Mrd. Parameter)
  • LLaMA-3-8B (8 Mrd. Parameter)
  • DeepSeek-R1-32B (32 Mrd. Parameter)
• Prompting-Strategien: Drei verschiedene Prompting-Ansätze wurden evaluiert:
  1. Zero-Shot: Dem Modell werden Klassendefinitionen und Anweisungen bereitgestellt, jedoch keine Beispiele.
  2. Few-Shot: Dem Modell werden repräsentative gelabelte Beispiele von Commit-Nachrichten und Code-Diffs zusammen mit Anweisungen bereitgestellt.
  3. Chain-of-Thought (CoT): Das Modell wird angewiesen, vor der Ausgabe der endgültigen Klassifizierung Zwischenschritte der Argumentation zu generieren (Identifizierung von Hinweisen und Zuordnung zu Typen).
• Evaluation: Die Modelle wurden mit Standard-Klassifizierungsmetriken evaluiert: Accuracy, Precision, Recall und F1-Score. Der Ground Truth wurde aus den bestehenden Labels im InfluxDB-Repository abgeleitet.

Hauptergebnisse

Die empirische Evaluation ergab folgende Befunde:

1. Leistung der Prompting-Strategien:

   • Few-Shot-Prompting erzielte bei allen Modellen konsistent die höchste Accuracy. Beispielsweise erreichte DeepSeek-R1-32B mit Few-Shot-Prompting eine Accuracy von 0,5749, verglichen mit 0,5652 (Zero-Shot) und 0,5497 (CoT).
   • Chain-of-Thought (CoT) brachte für diese spezifische Klassifizierungsaufgabe keine zusätzlichen Gewinne. In mehreren Fällen war die CoT-Leistung intermediär oder niedriger als bei Few-Shot, was darauf hindeutet, dass strukturierte Klassifizierung stärker auf Mustererkennung als auf mehrstufige Argumentation angewiesen ist.
   • Zero-Shot führte im Allgemeinen zu der niedrigsten oder nahezu niedrigsten Leistung, insbesondere bei kleineren Modellen wie Mistral-7B-Instruct (0,3356 Accuracy).

2. Auswirkung der Modellgröße:

   • DeepSeek-R1-32B (32 Mrd. Parameter) zeigte die stärkste Gesamtleistung über alle Metriken und Prompting-Strategien hinweg und erreichte eine durchschnittliche Accuracy von 0,563.
   • LLaMA-3-8B verzeichnete die niedrigste Leistung (durchschnittliche Accuracy von 0,372).
   • Mistral-7B-Instruct zeigte eine intermediäre Leistung.
   • Die Ergebnisse deuten darauf hin, dass die Modellgröße eine bedeutende Rolle für die Fähigkeit spielt, Kontext zu verstehen und Codeänderungen genau zu klassifizieren.

3. Aggregierte Metriken:

   • Über alle Modelle hinweg erzielte Few-Shot-Prompting die höchste durchschnittliche Accuracy (0,531) und den höchsten F1-Score (0,468).
   • Zero-Shot-Prompting erzielte die höchste durchschnittliche Precision (0,508), jedoch einen niedrigeren Recall.

Hauptbeiträge

Der Beitrag stellt drei primäre Beiträge vor:

1. Neuer Ansatz: Er schlägt einen trainingsfreien Ansatz zur Klassifizierung konventioneller Commits mit LLMs und Prompt Engineering vor, der sich von traditionellen ML-/DL-Pipelines unterscheidet, die gelabelte Datensätze erfordern.
2. Empirische Evaluation: Er bietet eine umfassende empirische Evaluation dieses Ansatzes unter Verwendung eines breiten Datensatzes (3.200 Commits) und mehrerer state-of-the-art Open-Source-Modelle.
3. Praktische Anleitung: Er diskutiert die Wirksamkeit der promptbasierten Klassifizierung, identifiziert, dass Few-Shot-Prompting für diese Aufgabe Zero-Shot und CoT überlegen ist, und hebt die Trade-offs innerhalb des Software-Engineering-Rahmens hervor.

Bedeutung und Behauptungen

Die Autoren positionieren diese Arbeit als praktischen Leitfaden für Forscher und Praktiker, die eine Automatisierung der Commit-Klassifizierung ohne den ressourcenintensiven Prozess der Datenkuratierung und des Modelltrainings anstreben.

• Prompt-Design ist entscheidend: Die Studie betont, dass das Prompt-Design die Leistung erheblich beeinflusst und oft den Einfluss der Modellarchitektur selbst übertrifft. Insbesondere das Einbeziehen klarer, diverser Beispiele (Few-Shot) wirkt als implizites Trainingssignal.
• Grenzen der Argumentation: Der Beitrag bescheidet, dass CoT zwar für komplexe Argumentation effektiv ist, die Leistung bei strukturierten Klassifizierungsaufgaben wie dem Commit-Typing jedoch nicht notwendigerweise verbessert, wo Mustererkennung von größter Bedeutung ist.
• Umfang des Vergleichs: Die Autoren stellen ausdrücklich fest, dass sie nicht darauf abzielen, traditionelle ML-/DL-Baselines direkt zu übertreffen. Stattdessen konzentriert sich die Studie auf die Analyse, wie verschiedene Prompt-Designs die LLM-basierte Klassifizierung beeinflussen. Die Behauptung, dass „größere Modelle besser performen", bezieht sich strikt auf die evaluierten LLMs und stellt keinen Vergleich mit externen überwachten Baselines dar.
• Zukünftige Richtungen: Der Beitrag schlägt vor, dass zukünftige Arbeiten die Generalisierung über diversere Repositories hinweg testen, die Anwendung automatischer Prompt-Optimierung untersuchen und hybride Ansätze erforschen könnten, die LLMs mit traditionellen ML-Techniken kombinieren. Er verweist zudem auf das Potenzial, diese Erkenntnisse auf die automatisierte Generierung von Release-Notes und die Vorhersage von Fehlern anzuwenden.