Conventional Commit Classification using Large Language Models and Prompt Engineering

Dit artikel toont aan dat trainingsvrije grote taalmodellen, met name DeepSeek-R1-32B met few-shot prompting, conventionele commits uit code-diffs effectief kunnen classificeren, waarmee een praktisch alternatief wordt geboden voor traditionele toezichtgeleerde machine learning-benaderingen.

De kern

Stel je voor dat je de manager bent van een enorme, chaotische bibliotheek waar dagelijks duizenden boeken worden toegevoegd. Om de dingen georganiseerd te houden, heeft de bibliotheek een strikte regel: elk nieuw boek moet een specifiek label op de rug hebben (zoals "Nieuwe Functie", "Bugfix" of "Documentatie"), zodat robots ze automatisch kunnen sorteren, de catalogus kunnen bijwerken en bezoekers kunnen vertellen wat er nieuw is.

In werkelijkheid negeren de mensen die de boeken toevoegen de regels echter vaak. Ze krabbelen rommelige notities zoals "het ding gefixt" of "wat code gewijzigd", waardoor het voor robots onmogelijk wordt om te weten tot welke categorie het boek behoort.

Dit artikel gaat over het leren van een superintelligente robot (een AI) om die rommelige notities te lezen en het juiste label te bepalen, zonder eerst jarenlang duizenden voorbeelden te hoeven bestuderen.

Het Probleem: Rommelige Notities versus Strikte Regels

In softwareontwikkeling schrijven programmeurs bij elke keer dat ze wijzigingen in hun code opslaan "commit-berichten" (notities). De industrie heeft een standaardformaat genaamd Conventional Commits dat fungeert als een strikt archiefsysteem. Het vereist dat notities beginnen met een specifiek label (bijvoorbeeld feat:, fix:).

Maar mensen zijn rommelig. Ze vergeten vaak de labels. Traditioneel zouden onderzoekers om dit op te lossen een aangepaste robot bouwen door deze te voeden met duizenden gelabelde voorbeelden (zoals een student die een schoolboek uit het hoofd leert). Dit kost veel tijd en data.

De Nieuwe Aanpak: De "Prompt"-Strategie

In plaats van een nieuwe robot vanaf nul te trainen, vroegen de auteurs zich af: Kunnen we gewoon een zeer slimme, bestaande AI een reeks instructies (een "prompt") geven om de taak te verrichten?

Ze behandelden de AI als een briljante stagiair die al veel over taal weet, maar precies moet weten welke taak hij moet uitvoeren. Ze testten drie verschillende manieren om instructies te geven:

1. Zero-Shot (De "Vertel het me gewoon"-Aanpak):

   • De Analogie: Je loopt naar de stagiair toe en zegt: "Hier is een rommelige notitie. Vertel me op basis van de regels tot welke categorie deze behoort." Je geeft geen voorbeelden.
   • Resultaat: De stagiair raadt, maar krijgt het vaak fout omdat hij niet precies weet wat je wilt.

2. Few-Shot (De "Toon me Voorbeelden"-Aanpak):

   • De Analogie: Je zegt: "Hier is een rommelige notitie die 'Nieuwe Functie' betekent. Hier is een andere die 'Bugfix' betekent. Kijk nu naar deze nieuwe rommelige notitie en vertel me wat het is." Je laat de stagiair eerst een paar duidelijke voorbeelden zien.
   • Resultaat: Dit werkte het beste. De stagiair begreep het patroon snel en sorteerde de boeken nauwkeurig.

3. Chain-of-Thought (De "Denk Hardop"-Aanpak):

   • De Analogie: Je zegt: "Voordat je me het antwoord geeft, schrijf je stap-voor-stap je redenering op: 'Ik zie het woord 'fix', dus ik denk dat het een bug is...'"
   • Resultaat: Verrassend genoeg hielp dit niet. Voor deze specifieke taak van het sorteren van labels zorgde het er voor dat de stagiair "hardop dacht" alleen voor extra stappen zorgde zonder het uiteindelijke antwoord te verbeteren. Het was alsof je een bibliothecaris vraagt om een essay te schrijven voordat hij een boek in de schappen legt; het vertraagde hen zonder het resultaat te verbeteren.

De Kandidaten: Hoe Groot Moet het Brein Zijn?

De onderzoekers testten drie verschillende "stagiaires" (AI-modellen) van verschillende groottes:

• Mistral-7B: Een middelgroot brein (7 miljard parameters).
• LLaMA-3-8B: Een iets groter brein (8 miljard parameters).
• DeepSeek-R1-32B: Een gigantisch brein (32 miljard parameters).

De Bevinding: Het grotere brein won. De DeepSeek-R1-32B was het meest accuraat in het lezen van de rommelige notities en het vinden van het juiste label. Dit suggereert dat voor dit soort taken het hebben van een groter, krachtiger AI-model een echt verschil maakt.

De Conclusie

Het artikel concludeert dat je geen aangepast machine learning-model vanaf nul hoeft te bouwen om rommelige software-notities te organiseren. In plaats daarvan kun je een krachtige, bestaande AI gebruiken en deze gewoon een paar goede voorbeelden geven (Few-Shot prompting) om de klus te klaren.

• Beste Strategie: Laat de AI eerst een paar voorbeelden zien.
• Beste AI: Het grootste, krachtigste beschikbare model.
• Tijdsverspilling: De AI een lang redeneerproces laten schrijven voordat hij antwoordt.

Deze aanpak bespaart tijd en moeite omdat het de noodzaak overslaat om duizenden trainingsvoorbeelden te verzamelen en te labelen, waardoor ontwikkelaars hun bestandsorganisatie direct kunnen automatiseren.

Technische samenvatting

Technische Samenvatting: Classificatie van Conventionele Commits met Grote Taalmodellen en Prompt Engineering

Probleemstelling

Conventionele Commits bieden een gestructureerd formaat voor commit-berichten (bijv. type: beschrijving), wat automatiseringstools zoals changelog-generators en systemen voor semantische versiebesturing mogelijk maakt. Ontwikkelaars schrijven echter vaak ongestructureerde berichten, waardoor automatische classificatie nodig is om deze structuur te herstellen. Traditionele benaderingen vertrouwen op machine learning (ML) en deep learning (DL)-modellen die zijn getraind op grote, gelabelde datasets. Deze methoden vereisen aanzienlijke data-voorverwerking, feature engineering en frequente hertraining wanneer projectterminologie of classificatietaxonomieën evolueren. Dit artikel onderzoekt een trainingsvrij alternatief: het benutten van Grote Taalmodellen (LLMs) via prompt engineering om commit-berichten te classificeren zonder de overhead van het samenstellen van gelabelde trainingsdata of het fine-tunen van modellen.

Methodologie

De studie hanteert een trainingsvrij kader waarbij LLMs codeveranderingen direct classificeren op basis van prompts, zonder model fine-tuning.

• Dataset: Een gebalanceerde dataset van 3.200 commits is geëxtraheerd uit de open-source InfluxDB-repository. De dataset bevat commit-berichten en de bijbehorende code-diffs (wijzigingen). De data is ongeveer gebalanceerd over commit-types (bijv. feat, fix, docs, refactor, test, chore).
• Geëvalueerde Modellen: Drie open-source LLMs met variërende parametergroottes zijn getest:
  • Mistral-7B-Instruct (7B parameters)
  • LLaMA-3-8B (8B parameters)
  • DeepSeek-R1-32B (32B parameters)
• Prompting-strategieën: Drie verschillende prompting-benaderingen zijn geëvalueerd:
  1. Zero-Shot: Het model krijgt klassedefinities en instructies, maar geen voorbeelden.
  2. Few-Shot: Het model krijgt representatieve gelabelde voorbeelden van commit-berichten en code-diffs, samen met instructies.
  3. Chain-of-Thought (CoT): Het model krijgt de instructie om tussenstappen in het redeneren te genereren (het identificeren van aanwijzingen en het koppelen daarvan aan types) voordat het de definitieve classificatie uitvoert.
• Evaluatie: De modellen zijn geëvalueerd met standaard classificatiemetrieken: Nauwkeurigheid (Accuracy), Precisie, Recall en F1-score. De ground truth is afgeleid van de bestaande labels in de InfluxDB-repository.

Belangrijkste Resultaten

De empirische evaluatie leverde de volgende bevindingen op:

1. Prestaties van Prompting-strategieën:

   • Few-shot prompting behaalde consistent de hoogste nauwkeurigheid voor alle modellen. Bijvoorbeeld, DeepSeek-R1-32B behaalde een nauwkeurigheid van 0,5749 met few-shot prompting, vergeleken met 0,5652 (Zero-shot) en 0,5497 (CoT).
   • Chain-of-Thought (CoT) leverde geen extra winst op voor deze specifieke classificatietask. In meerdere gevallen was de CoT-prestatie gemiddeld of lager dan few-shot, wat suggereert dat gestructureerde classificatie meer afhankelijk is van patroonherkenning dan van meerstapsredenering.
   • Zero-shot resulteerde over het algemeen in de laagste of bijna laagste prestaties, met name voor kleinere modellen zoals Mistral-7B-Instruct (0,3356 nauwkeurigheid).

2. Invloed van Modelgrootte:

   • DeepSeek-R1-32B (32B parameters) toonde de sterkste algehele prestatie over alle metrieken en prompting-strategieën heen, met een gemiddelde nauwkeurigheid van 0,563.
   • LLaMA-3-8B registreerde de laagste prestatie (gemiddelde nauwkeurigheid van 0,372).
   • Mistral-7B-Instruct toonde gemiddelde prestaties.
   • De resultaten suggereren dat modelgrootte een betekenisvolle rol speelt in het vermogen om context te begrijpen en codeveranderingen nauwkeurig te classificeren.

3. Geaggregeerde Metrieken:

   • Over alle modellen heen behaalde Few-shot prompting de hoogste gemiddelde nauwkeurigheid (0,531) en F1-score (0,468).
   • Zero-shot prompting behaalde de hoogste gemiddelde precisie (0,508), maar lagere recall.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Nieuwe Aanpak: Het stelt een trainingsvrije aanpak voor conventionele commit-classificatie voor met LLMs en prompt engineering, in contrast met traditionele ML/DL-pijplijnen die gelabelde datasets vereisen.
2. Empirische Evaluatie: Het biedt een uitgebreide empirische evaluatie van deze aanpak met behulp van een brede dataset (3.200 commits) en meerdere state-of-the-art open-source modellen.
3. Praktische Richtlijnen: Het bespreekt de effectiviteit van prompt-gebaseerde classificatie, waarbij wordt geïdentificeerd dat few-shot prompting superieur is aan zero-shot en CoT voor deze task, en de afwegingen binnen het software-engineeringskader benadrukt.

Betekenis en Claims

De auteurs positioneren dit werk als een praktische leidraad voor onderzoekers en praktici die commit-classificatie willen automatiseren zonder het resource-intensieve proces van data-curatie en modeltraining.

• Promptontwerp is cruciaal: De studie benadrukt dat promptontwerp de prestaties aanzienlijk beïnvloedt, vaak meer dan de modelarchitectuur zelf. Specifiek fungeert het opnemen van duidelijke, diverse voorbeelden (few-shot) als een impliciet trainingssignaal.
• Beperkingen van Redenering: Het artikel claimt bescheiden dat CoT weliswaar effectief is voor complexe redenering, het de prestaties niet noodzakelijkerwijs verbetert voor gestructureerde classificatietaken zoals commit-typing, waar patroonherkenning van het grootste belang is.
• Reikwijdte van Vergelijking: De auteurs stellen expliciet dat ze niet de bedoeling hebben om traditionele ML/DL-baselines direct te overtreffen. In plaats daarvan richt de studie zich op het analyseren van hoe verschillende promptontwerpen LLM-gebaseerde classificatie beïnvloeden. De claim dat "grotere modellen beter presteren" is strikt relatief ten opzichte van de geëvalueerde LLMs en geen vergelijking met externe supervised baselines.
• Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk zou kunnen gaan over het testen van generalisatie over meer diverse repositories, het toepassen van geautomatiseerde prompt-optimalisatie en het verkennen van hybride benaderingen die LLMs combineren met traditionele ML-technieken. Het wijst ook op het potentieel om deze bevindingen toe te passen op geautomatiseerde generatie van release-opmerkingen en bugvoorspelling.