Riepilogo Tecnico: Modelli di Linguaggio di Grandi Dimensioni per il Rilevamento di Mutanti Equivalenti Multi-lingua

1. Definizione del Problema

Il testing di mutazione è una tecnica robusta per valutare l'efficacia delle suite di test introducendo guasti artificiali (mutanti) nel codice sorgente. Tuttavia, la sua adozione pratica è ostacolata dal problema dei mutanti equivalenti: mutanti che sono sintatticamente diversi ma semanticamente identici al programma originale. Questi "mutanti equivalenti" non possono essere uccisi da alcun caso di test, portando a costi computazionali gonfiati e punteggi di mutazione distorti (impedendo alla metrica di raggiungere il 100% anche per suite di test perfette).

Sebbene esistano numerosi metodi di Rilevamento di Mutanti Equivalenti (EMD), essi affrontano distinzioni limitazioni:

• I metodi basati sull'analisi del codice puro (ad es. testing basato su vincoli, ottimizzazione del compilatore) si affidano a specifiche infrastrutture di compilazione o euristiche manuali.
• Gli approcci tradizionali di Machine Learning (ML) e di Reti Neurali (NN) basate su alberi faticano con dati di addestramento etichettati scarsi e una limitata generalizzazione a pattern di mutanti non visti, spesso fallendo nel catturare la profonda semantica del programma.

Sebbene i Large Language Models (LLM) abbiano dimostrato una comprensione semantica superiore in varie attività di ingegneria del software, il loro potenziale per l'EMD, in particolare in un contesto multi-lingua, rimane ampiamente inesplorato. Il lavoro precedente degli autori ha stabilito la superiorità degli LLM in Java, ma ha lasciato lacune critiche riguardanti altri linguaggi (ad es. C), l'ampiezza delle architetture dei modelli e la generalizzazione cross-lingua.

2. Metodologia

Questo studio presenta una valutazione empirica completa degli LLM per l'EMD attraverso i linguaggi di programmazione Java e C.

2.1 Dataset

Gli autori hanno utilizzato MutantBench, un benchmark ampiamente utilizzato contenente 4.400 coppie di mutanti. Lo studio si è concentrato su:

• Java: 3.302 coppie di mutanti a livello di metodo da 19 programmi.
• C: 1.088 coppie di mutanti a livello di metodo da 18 programmi.
  I dati sono stati pre-elaborati a livello di metodo (allineandosi ai flussi di lavoro del testing unitario) e privati dei commenti in linguaggio naturale. Il campionamento stratificato ha creato set di addestramento e di test bilanciati.

2.2 Modelli e Strategie

Lo studio ha valutato 13 LLM allo stato dell'arte, categorizzati in architetture basate su encoder (ad es. CodeBERT, UniXCoder, CodeT5+) e decoder-only (ad es. Code Llama, Llama 3, Qwen2.5-Coder, DeepSeek-Coder, GPT-4).

Sono state investigate quattro distinte strategie di adattamento degli LLM:

1. Pre-trained Code Embedding: Utilizzo della componente encoder degli LLM per generare embedding, seguiti da un encoder fisso e un classificatore Multi-Layer Perceptron (MLP) addestrato.
2. Fine-tuned Code Embedding: Simile al precedente, ma con l'ottimizzazione congiunta dei parametri dell'encoder e del classificatore.
3. Strategie di Prompting (Zero-shot & Few-shot): Utilizzo di istruzioni in linguaggio naturale strutturate per chiedere all'LLM di determinare l'equivalenza semantica senza aggiornamenti dei parametri.
4. Fine-tuning con Istruzione: Addestramento di modelli decoder-only su dataset contenenti istruzioni strutturate (coppia di mutanti + istruzione + etichetta) per allinearli all'intento dell'utente.

2.3 Baseline e Metriche

Gli approcci LLM sono stati messi a confronto con 10 tecniche EMD consolidate:

• Basate su compilatore: Trivial Compiler Equivalence (TCE) utilizzando vari compilatori (javac, Soot, gcc, clang).
• Basate su ML: Sette classificatori (KNN, DT, RF, SVM, LDA, LR, GNB) utilizzando feature del codice.
• NN basate su Alberi: Abstract Syntax Tree Neural Network (ASTNN).

Le prestazioni sono state misurate utilizzando Precision, Recall e F1-score (media macro per gestire lo sbilanciamento delle classi). L'efficienza è stata valutata tramite tempo di inferenza e tempo di addestramento.

3. Contributi Chiave

Questo articolo estende il lavoro precedente degli autori (ISSTA 2024) fornendo:

1. Estensione dello Scope Linguistico: Passaggio da uno studio su un singolo linguaggio (Java) a una valutazione multi-lingua che include il C.
2. Espansione della Copertura dei Modelli: Inclusione degli ultimi LLM (DeepSeek-Coder, Llama 3, Qwen2.5-Coder) per garantire che i risultati non siano specifici di un modello.
3. Generalizzazione Cross-Lingua: Investigazione se i modelli addestrati su dataset multi-lingua possano generalizzare a compiti di inferenza a singolo linguaggio.
4. Analisi Comprensiva: Fornitura di un'analisi approfondita dell'ortogonalità delle strategie, dei compromessi di efficienza e dei modi di fallimento qualitativi.

4. Risultati Sperimentali

4.1 Efficacia (RQ1 & RQ2)

• Superiorità rispetto alle Baseline: Gli approcci basati su LLM hanno ottenuto F1-score significativamente più alti di tutti i 10 metodi tradizionali.
  • In Java, gli LLM hanno migliorato gli F1-score del 75,18% rispetto ai metodi basati su compilatore, del 19,14% rispetto ai metodi basati su ML e del 12,75% rispetto alle tecniche basate su NN ad alberi.
  • In C, i miglioramenti sono stati del 557,79% (Compilatore), 7,21% (ML) e 48,83% (NN ad alberi).
• Miglior Strategia: Il fine-tuned code embedding ha superato costantemente le strategie di prompting.
  • Java: Il UniXCoder fine-tuned ha ottenuto il F1-score più alto (86,58%), migliorando dell'1,16%–84,10% rispetto ad altre combinazioni.
  • C: Il CodeT5+ fine-tuned ha prodotto i risultati migliori, con miglioramenti dell'F1-score dello 0,08%–471,96% rispetto alle alternative.
• Limitazioni del Prompting: Le strategie che si affidano esclusivamente al prompting (zero-shot/few-shot) hanno prodotto metriche significativamente inferiori rispetto agli approcci basati su embedding.

4.2 Ortogonalità (RQ3)

• Le tecniche basate su LLM e le strategie di fine-tuned code embedding hanno dimostrato un'alta ortogonalità, identificando rilevamenti corretti unici che altre categorie hanno mancato.
• Hanno anche prodotto meno rilevamenti errati unici (falsi positoli) rispetto ai metodi basati su Compilatore e NN ad alberi, in particolare nell'ambiente C dove gli LLM hanno avuto zero rilevamenti errati unici.

4.3 Efficienza (RQ4)

• Tempo di Inferenza: Le tecniche basate su LLM (ad es. UniXCoder a ~0,04s per Java) sono significativamente più veloci delle tecniche basate su compilatore (ad es. TCE a ~2,35s per Java) ma leggermente più lente dei modelli ML leggeri (ad es. KNN a ~0,002s).
• Compromesso: Lo studio conclude che gli LLM offrono un equilibrio pratico, accettando un lieve aumento del tempo di inferenza per un sostanziale guadagno nell'accuratezza del rilevamento.

4.4 Generalizzazione Cross-Lingua (RQ5)

• Instruction Tuning: Il fine-tuning con istruzioni su dataset cross-lingua (Java + C) ha migliorato le prestazioni per entrambi i linguaggi, ottenendo F1-score superiori del 3,55%–3,70% rispetto al fine-tuning a singolo linguaggio.
• Strategia di Embedding: Al contrario, le strategie di fine-tuned code embedding hanno performato peggio quando addestrate su dati cross-lingua, suggerendo che per gli approcci basati su embedding, il tuning specifico per il linguaggio è preferibile.

4.5 Analisi Qualitativa dei Fallimenti

Gli autori hanno identificato specifici modi di fallimento in cui gli LLM hanno faticato rispetto ai metodi tradizionali:

1. Coercizione del Tipo/Effetti Collaterali: Interpretazione errata degli operatori pre/post-incremento in contesti di casting del tipo.
2. Mismatch di Copertura degli Operatori: Incapacità di ragionare sulla cardinalità degli intervalli di valori coperti dagli operatori relazionali (ad es. >= vs ==).
3. Invarianti del Programma: Mancato riconoscimento di vincoli stabiliti da istruzioni precedenti nel metodo.
4. Identità Algebrica: Incapacità di riconoscere equivalenze aritmetiche complesse.

• Osservazione: In questi casi, le tecniche basate su compilatore spesso hanno avuto successo dove gli LLM hanno fallito, evidenziando la necessità di pipeline ibride.

5. Significato e Rivendicazioni

L'articolo sostiene che gli LLM rappresentano una soluzione vitale ed efficiente per la sfida di lunga data del rilevamento dei mutanti equivalenti. I punti chiave includono:

• Prestazioni allo Stato dell'Arte: Gli LLM, in particolare quando sottoposti a fine-tuning con code embedding, superano tutti gli esistenti metodi EMD tradizionali sia in Java che in C.
• Vitalità Pratica: Nonostante i costi computazionali più elevati rispetto ai semplici modelli ML, gli LLM offrono un compromesso necessario, fornendo un'alta accuratezza con tempi di inferenza compatibili con avvisi IDE in tempo reale o pipeline automatizzate.
• Potenziale Cross-Lingua: Il fine-tuning con istruzioni consente agli LLM di generalizzare tra linguaggi strutturalmente simili (Java/C), riducendo potenzialmente l'onere di manutenzione dei modelli specifici per linguaggio.
• Direzione Futura: Gli autori suggeriscono che gli LLM non debbano sostituire ma piuttosto complementare le tecniche tradizionali. Una pipeline ibrida — che utilizza metodi basati su compilatore per il filtraggio iniziale e LLM per l'analisi semantica complessa — è proposta come la via più promettente.

Lo studio stabilisce un nuovo baseline per la ricerca EMD e fornisce dati e codice open-source per facilitare la riproducibilità e l'ulteriore avanzamento nel testing di mutazione.