Error Understanding in Program Code With LLM-DL for Multi-label Classification

Titolo: Comprensione degli Errori nel Codice Sorgente con LLM-DL per la Classificazione Multi-Etichetta

1. Il Problema

La programmazione è una competenza fondamentale nell'ingegneria del software e nell'informatica, ma l'identificazione e la risoluzione degli errori rimangono sfide significative, specialmente per i principianti.

• Limiti degli strumenti tradizionali: I compilatori convenzionali e gli strumenti di analisi statica sono efficaci nel rilevare errori sintattici o di tipo (es. variabili non definite), ma falliscono nel rilevare errori logici semantici. Questi errori permettono al codice di compilare ed eseguire, ma producono risultati errati o non intenzionali.
• Natura Multi-Etichetta: In un singolo frammento di codice, possono coesistere più tipi di errori simultaneamente (es. un errore in un ciclo, un altro in un operatore di confronto e un altro in una chiamata di funzione). Le tecniche di classificazione standard (single-label) non sono adatte a questo scenario.
• Gap nella ricerca: Sebbene i Large Language Models (LLM) abbiano mostrato capacità eccezionali nella generazione e nel riassunto del codice, il loro utilizzo per la classificazione multi-etichetta degli errori (MLEC) in combinazione con architetture di Deep Learning (DL) per catturare sia le dipendenze semantiche che quelle strutturali sequenziali è stato poco esplorato.

2. Metodologia

Gli autori propongono un framework ibrido LLM-DL che integra encoder basati su trasformatori (LLM) con decoder ricorrenti (DL) per la classificazione multi-etichetta.

• Dataset: È stato utilizzato un dataset reale derivato da Aizu Online Judge (AOJ), contenente 95.631 coppie di codice (soluzione errata vs soluzione accettata) in Python. Le etichette originali (55 tipi) sono state raggruppate in 11 categorie di errori riassunte (es. operazioni su variabili, loop, import, operatori condizionali, ecc.) per ridurre la sparsità.
• Architettura Ibrida:
  1. Encoder (LLM): Utilizza modelli pre-addestrati specifici per il codice e il linguaggio naturale per estrarre embedding contestuali ricchi. I modelli testati includono: CodeT5, GraphCodeBERT, CodeT5+, UniXcoder, RoBERTa, PLBART, CoTexT.
  2. Decoder (DL): Gli embedding dell'LLM vengono passati attraverso layer ricorrenti per modellare le dipendenze sequenziali e strutturali del codice. Le architetture testate sono: GRU, LSTM, BiLSTM, e BiLSTM con meccanismo di attenzione additiva (BiLSTM-A).
  3. Output: Uno strato fully connected seguito da un'attivazione sigmoide mappa le caratteristiche apprese in un vettore di probabilità per ogni etichetta di errore possibile.
• Ottimizzazione: È stata utilizzata una rigorosa ottimizzazione degli iperparametri tramite Optuna (algoritmo TPE) per 32 varianti di modelli. I parametri ottimizzati includono: tasso di apprendimento (learning rate), dimensione nascosta, dropout, dimensione del batch, regolarizzazione (weight decay) e numero di layer.
• Metriche di Valutazione: Oltre all'accuratezza standard, sono state utilizzate metriche specifiche per la classificazione multi-etichetta:
  • Average Accuracy (AvgAcc) e Exact Match Accuracy (EMAcc).
  • Precision, Recall, F1-score (Macro e Weighted).
  • One-Error (OE), Hamming Loss (HM), Jaccard Similarity (Js).
  • ROC-AUC (Micro, Macro, Weighted).

3. Contributi Chiave

• Architettura Unificata: Introduzione del primo framework sistematico che combina encoder LLM basati su trasformatori con decoder ricorrenti (RNN) specifici per la comprensione degli errori di programmazione in contesti di apprendimento e ingegneria del software.
• Integrazione Sinergica: Dimostrazione che combinare la rappresentazione semantica globale degli LLM con la capacità di modellazione temporale delle RNN (in particolare GRU) permette di catturare sia il contesto che la struttura degli errori nel codice.
• Ottimizzazione Rigorosa: Applicazione di un tuning degli iperparametri basato su Optuna su 32 configurazioni diverse, garantendo stabilità e generalizzazione.
• Valutazione Completa: Analisi estesa su un dataset reale multi-etichetta con un set completo di metriche, fornendo un benchmark dettagliato per futuri studi.

4. Risultati

Gli esperimenti hanno rivelato risultati significativi:

• Modello Migliore: La combinazione CodeT5+ con GRU ha ottenuto le prestazioni superiori in quasi tutte le metriche.
  • F1-score Weighted: 0.8243 (il più alto).
  • Average Accuracy: 91.84%.
  • Exact Match Accuracy: 53.78% (un miglioramento drastico rispetto ai modelli peggiori).
  • Hamming Loss: 0.0816 (basso, indica pochi errori di etichetta).
  • One-Error: 0.0708.
• Confronto Architetture:
  • I modelli basati su GRU hanno generalmente superato LSTM e BiLSTM, probabilmente grazie alla loro efficienza nel gestire le dipendenze temporali senza sovraccarico parametrico eccessivo, sfruttando già il contesto bidirezionale fornito dall'LLM.
  • I modelli RoBERTa standard hanno mostrato prestazioni instabili con le RNN, ma la variante RoBERTa LR (con un intervallo di learning rate più ristretto) ha migliorato notevolmente la stabilità e le prestazioni.
  • Le combinazioni con LSTM e BiLSTM su alcuni encoder (es. RoBERTa, GraphCodeBERT) hanno talvolta portato a un collasso dell'ottimizzazione o a prestazioni inferiori, suggerendo incompatibilità tra le caratteristiche dell'encoder e la dinamica di apprendimento sequenziale.
• Miglioramento: Rispetto al modello peggiore (RoBERTa LSTM/BiLSTM-A con F1 di 0.1503), il modello migliore ha mostrato un miglioramento assoluto di circa il 67.40%.

5. Significato e Implicazioni

• Educazione alla Programmazione (PE): Il framework può essere integrato in sistemi di tutoraggio intelligente (ITS) e piattaforme di valutazione automatica (OJ) per fornire feedback dettagliati e multi-dimensionali agli studenti, aiutandoli a comprendere non solo che c'è un errore, ma quali tipi di errori logici stanno commettendo.
• Ingegneria del Software (SE): Offre strumenti scalabili per l'analisi automatica del codice, il debugging assistito, la localizzazione dei difetti e la revisione del codice, andando oltre le semplici correzioni sintattiche.
• Validazione Scientifica: Lo studio conferma che l'integrazione di encoder pre-addestrati specializzati con decoder ricorrenti efficienti è una strategia vincente per compiti complessi di comprensione del codice, superando l'uso isolato di LLM o DL.
• Scalabilità: L'approccio modulare suggerisce che il framework può essere adattato ad altri linguaggi di programmazione (Java, C++) e a compiti correlati come la classificazione di algoritmi o il rilevamento di difetti.

In sintesi, il paper dimostra che un approccio ibrido LLM-DL, attentamente ottimizzato, è estremamente efficace per la classificazione multi-etichetta degli errori di programmazione, ponendo le basi per strumenti di feedback automatico più intelligenti e precisi.