Conventional Commit Classification using Large Language Models and Prompt Engineering

Questo articolo dimostra che i grandi modelli linguistici senza addestramento, in particolare DeepSeek-R1-32B utilizzando il prompting few-shot, possono classificare efficacemente i commit convenzionali dai diff del codice, offrendo un'alternativa pratica agli approcci tradizionali di apprendimento automatico supervisionato.

L'essenziale

Immagina di essere il responsabile di una biblioteca enorme e caotica, dove ogni giorno vengono aggiunte migliaia di libri. Per mantenere l'ordine, la biblioteca ha una regola rigorosa: ogni nuovo libro deve avere un'etichetta specifica sul dorso (come "Nuova Funzionalità", "Correzione di Bug" o "Documentazione") in modo che i robot possano classificarli automaticamente, aggiornare il catalogo e informare i visitatori sulle novità.

Tuttavia, nella realtà, le persone che aggiungono i libri spesso ignorano le regole. Scrivono note disordinate come "aggiustato la cosa" o "cambiato un po' di codice", rendendo impossibile per i robot capire a quale categoria appartiene il libro.

Questo documento riguarda l'insegnamento a un robot super-intelligente (un'IA) a leggere quelle note disordinate e a determinare l'etichetta corretta, senza dover passare anni a studiare migliaia di esempi in anticipo.

Il Problema: Note Disordinate contro Regole Rigide

Nello sviluppo software, i programmatori scrivono "messaggi di commit" (note) ogni volta che salvano le modifiche al loro codice. L'industria ha un formato standard chiamato Conventional Commits che funge da sistema di archiviazione rigoroso. Richiede che le note inizino con un tag specifico (ad esempio, feat:, fix:).

Ma gli esseri umani sono disordinati. Spesso dimenticano i tag. Tradizionalmente, per risolvere questo problema, i ricercatori costruivano un robot personalizzato alimentandolo con migliaia di esempi etichettati (come uno studente che memorizza un libro di testo). Questo richiede molto tempo e molti dati.

Il Nuovo Approccio: La Strategia del "Prompt"

Invece di addestrare un nuovo robot da zero, gli autori si sono chiesti: Possiamo semplicemente dare a un'IA preesistente molto intelligente un insieme di istruzioni (un "prompt") per svolgere il lavoro?

Hanno trattato l'IA come un brillante stagista che conosce già molto della lingua ma ha bisogno di sapere esattamente quale compito svolgere. Hanno testato tre modi diversi di dare istruzioni:

1. Zero-Shot (L'Approccio "Dimmi Solo"):

   • L'Analogia: Ti avvicini allo stagista e dici: "Ecco una nota disordinata. Per favore, dimmi a quale categoria appartiene in base alle regole." Non dai esempi.
   • Risultato: Lo stagista indovina, ma spesso sbaglia perché non sa esattamente cosa vuoi.

2. Few-Shot (L'Approccio "Fammi Vedere gli Esempi"):

   • L'Analogia: Dici: "Ecco una nota disordinata che significa 'Nuova Funzionalità'. Ecco un'altra che significa 'Correzione di Bug'. Ora, guarda questa nuova nota disordinata e dimmi cos'è." Mostri allo stagista alcuni esempi chiari prima.
   • Risultato: Questo ha funzionato meglio. Lo stagista ha compreso il modello rapidamente e ha classificato i libri con precisione.

3. Chain-of-Thought (L'Approccio "Pensa ad Alta Voce"):

   • L'Analogia: Dici: "Prima di darmi la risposta, per favore scrivi il tuo ragionamento passo dopo passo: 'Vedo la parola "fix", quindi penso sia un bug...'".
   • Risultato: Sorprendentemente, questo non ha aiutato. Per questo compito specifico di classificazione delle etichette, far "pensare ad alta voce" allo stagista ha solo aggiunto passaggi extra senza migliorare la risposta finale. Era come chiedere a un bibliotecario di scrivere un saggio prima di riporre un libro; li ha rallentati senza migliorare il risultato.

I Concorrenti: Quanto Deve Essere Grande il Cervello?

I ricercatori hanno testato tre diversi "stagisti" (modelli di IA) di dimensioni variabili:

• Mistral-7B: Un cervello di medie dimensioni (7 miliardi di parametri).
• LLaMA-3-8B: Un cervello leggermente più grande (8 miliardi di parametri).
• DeepSeek-R1-32B: Un cervello gigante (32 miliardi di parametri).

La Scoperta: Il cervello più grande ha vinto. Il DeepSeek-R1-32B è stato il più preciso nel leggere le note disordinate e trovare l'etichetta corretta. Questo suggerisce che per questo tipo di compito, avere un modello di IA più grande e potente fa una vera differenza.

La Conclusione

Il documento conclude che non è necessario costruire un modello di apprendimento automatico personalizzato da zero per organizzare note software disordinate. Invece, puoi utilizzare un'IA preesistente potente e darle semplicemente alcuni buoni esempi (prompting Few-Shot) per svolgere il lavoro.

• Migliore Strategia: Mostrare all'IA alcuni esempi prima.
• Migliore IA: Il modello più grande e potente disponibile.
• Perdita di Tempo: Far scrivere all'IA un lungo processo di ragionamento prima di rispondere.

Questo approccio risparmia tempo e sforzi perché evita la necessità di raccogliere ed etichettare migliaia di esempi di addestramento, permettendo agli sviluppatori di automatizzare immediatamente l'organizzazione dei loro file.

Sommario tecnico

Riepilogo Tecnico: Classificazione dei Conventional Commit tramite Large Language Models e Prompt Engineering

Enunciato del Problema

I Conventional Commit forniscono un formato strutturato per i messaggi di commit (ad esempio, tipo: descrizione), abilitando strumenti di automazione come generatori di changelog e sistemi di versionamento semantico. Tuttavia, gli sviluppatori scrivono frequentemente messaggi non strutturati, rendendo necessaria una classificazione automatica per ripristinare tale struttura. Gli approcci tradizionali si basano su modelli di machine learning (ML) e deep learning (DL) addestrati su grandi dataset etichettati. Questi metodi richiedono un significativo pre-processing dei dati, ingegneria delle feature e riaddestramento frequente quando la terminologia del progetto o le tassonomie di classificazione evolvono. Questo studio investiga un'alternativa senza addestramento: sfruttare i Large Language Models (LLM) tramite prompt engineering per classificare i messaggi di commit senza il sovraccarico di curare dati di addestramento etichettati o di fine-tuning dei modelli.

Metodologia

Lo studio impiega un framework senza addestramento in cui gli LLM classificano le modifiche al codice direttamente basandosi sui prompt, senza fine-tuning del modello.

• Dataset: Un dataset bilanciato di 3.200 commit è stato estratto dal repository open-source InfluxDB. Il dataset include messaggi di commit e i relativi diff di codice (modifiche). I dati sono approssimativamente bilanciati tra i tipi di commit (ad esempio, feat, fix, docs, refactor, test, chore).
• Modelli Valutati: Sono stati testati tre LLM open-source di diverse scale parametriche:
  • Mistral-7B-Instruct (7B parametri)
  • LLaMA-3-8B (8B parametri)
  • DeepSeek-R1-32B (32B parametri)
• Strategie di Prompting: Sono state valutate tre distinte strategie di prompting:
  1. Zero-Shot: Al modello vengono fornite definizioni di classe e istruzioni, ma nessun esempio.
  2. Few-Shot: Al modello vengono forniti esempi etichettati rappresentativi di messaggi di commit e diff di codice insieme alle istruzioni.
  3. Chain-of-Thought (CoT): Al modello viene istruito a generare passaggi intermedi di ragionamento (identificando indizi e mappandoli sui tipi) prima di produrre la classificazione finale.
• Valutazione: I modelli sono stati valutati utilizzando metriche standard di classificazione: Accuratezza, Precisione, Recall e F1-score. La verità fondamentale (ground truth) è stata derivata dalle etichette esistenti nel repository InfluxDB.

Risultati Chiave

La valutazione empirica ha prodotto le seguenti scoperte:

1. Prestazioni delle Strategie di Prompting:

   • Il prompting few-shot ha costantemente raggiunto la più alta accuratezza su tutti i modelli. Ad esempio, DeepSeek-R1-32B ha raggiunto un'accuratezza di 0,5749 con prompting few-shot, rispetto a 0,5652 (Zero-shot) e 0,5497 (CoT).
   • Il Chain-of-Thought (CoT) non ha prodotto guadagni aggiuntivi per questo specifico compito di classificazione. In diversi casi, le prestazioni del CoT sono state intermedie o inferiori rispetto al few-shot, suggerendo che la classificazione strutturata si basa più sul riconoscimento di pattern che sul ragionamento multi-step.
   • Lo Zero-shot ha generalmente prodotto le prestazioni più basse o quasi le più basse, in particolare per modelli più piccoli come Mistral-7B-Instruct (accuratezza 0,3356).

2. Impatto della Scala del Modello:

   • DeepSeek-R1-32B (32B parametri) ha dimostrato le prestazioni complessive più forti su tutte le metriche e le strategie di prompting, raggiungendo un'accuratezza media di 0,563.
   • LLaMA-3-8B ha registrato le prestazioni più basse (accuratezza media di 0,372).
   • Mistral-7B-Instruct ha mostrato prestazioni intermedie.
   • I risultati suggeriscono che la scala del modello gioca un ruolo significativo nella capacità di comprendere il contesto e classificare accuratamente le modifiche al codice.

3. Metriche Aggregata:

   • Su tutti i modelli, il prompting few-shot ha raggiunto la più alta accuratezza media (0,531) e F1-score (0,468).
   • Il prompting zero-shot ha raggiunto la più alta precisione media (0,508) ma una recall inferiore.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Approccio Innovativo: Propone un approccio senza addestramento alla classificazione dei conventional commit utilizzando LLM e prompt engineering, in contrasto con le pipeline ML/DL tradizionali che richiedono dataset etichettati.
2. Valutazione Empirica: Fornisce una valutazione empirica completa di questo approccio utilizzando un ampio dataset (3.200 commit) e molteplici modelli open-source all'avanguardia.
3. Guida Pratica: Discute l'efficacia della classificazione basata su prompt, identificando che il prompting few-shot è superiore allo zero-shot e al CoT per questo compito, e sottolineando i compromessi all'interno del framework dell'ingegneria del software.

Significato e Affermazioni

Gli autori posizionano questo lavoro come una guida pratica per ricercatori e professionisti che mirano ad automatizzare la classificazione dei commit senza il processo intensivo di risorse di curatela dei dati e addestramento dei modelli.

• Il Design del Prompt è Critico: Lo studio enfatizza che la progettazione del prompt influisce significativamente sulle prestazioni, spesso superando l'influenza dell'architettura del modello stessa. Nello specifico, includere esempi chiari e diversificati (few-shot) agisce come un segnale di addestramento implicito.
• Limiti del Ragionamento: Il documento afferma con modestia che, sebbene il CoT sia efficace per il ragionamento complesso, non migliora necessariamente le prestazioni per compiti di classificazione strutturata come la tipologia dei commit, dove il riconoscimento di pattern è fondamentale.
• Portata del Confronto: Gli autori dichiarano esplicitamente di non mirare a superare direttamente i baseline ML/DL tradizionali. Invece, lo studio si concentra sull'analisi di come diversi design di prompt influenzino la classificazione basata su LLM. L'affermazione che "i modelli più grandi performano meglio" è strettamente relativa agli LLM valutati e non un confronto contro baseline supervisionati esterni.
• Direzioni Future: Il documento suggerisce che il lavoro futuro potrebbe coinvolgere il test della generalizzazione su repository più diversificati, l'applicazione di ottimizzazione automatica dei prompt e l'esplorazione di approcci ibridi che combinano LLM con tecniche ML tradizionali. Segnala anche il potenziale di applicare queste scoperte alla generazione automatizzata di note di rilascio e alla previsione di bug.