PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

Riepilogo Tecnico: PITMuS

Enunciato del Problema
L'ascesa dell'ingegneria del software basata su LLM ha creato una domanda critica di artefatti di bug eseguibili e ricchi di contesto. Questi artefatti—nello specifico coppie di codice corretto e errato, metodi sotto test (MUT), documentazione e metadati—sono essenziali per l'addestramento e la valutazione di tecniche automatizzate per la localizzazione dei bug, la riparazione e la generazione di test. Sebbene esistano benchmark curati come Defects4J, questi sono statici, limitati nel loro ambito e sempre più vulnerabili alla contaminazione dei dati man mano che i modelli di codice vengono addestrati su grandi corpora pubblici.

Una strategia complementare consiste nel generare dataset nuovi e consapevoli della data di taglio (cutoff-aware) selezionando versioni reali di sistemi e iniettando bug controllati tramite mutation testing. Nell'ecosistema Java, PIT è lo strumento di mutation testing all'avanguardia nella pratica. Tuttavia, PIT opera a livello di bytecode per velocità e praticità, riportando i mutanti tramite metadati XML (tipo di mutatore, file sorgente, numero di riga, descrizione) anziché fornendo il codice sorgente effettivamente mutato. Questa progettazione crea un divario significativo: gli utenti non possono facilmente ispezionare, riprodurre, compilare o riutilizzare i mutanti PIT come record strutturati a livello di sorgente. Inoltre, ricostruire l'esatto edit del sorgente partendo da un numero di riga e una descrizione della mutazione non è banale, poiché una singola riga di sorgente può contenere più operatori candidati (ad esempio, multiple addizioni), portando a un'ambiguità che le informazioni a livello di bytecode risolvono ma che gli strumenti a livello di sorgente spesso trascurano.

Metodologia
PITMuS è uno strumento progettato per colmare questo divario ricostruendo mutanti a livello di sorgente dai report PIT standard senza sostituire il motore di mutazione sottostante. Il flusso di lavoro integra tre input principali:

1. Report XML di PIT: Identifica i mutanti riportati.
2. File .class compilati: Forniscono informazioni di debug e dettagli a livello di bytecode.
3. File sorgente Java originali: Servono come base per la ricostruzione.

Lo strumento opera in due fasi distinte:

• Fase 1: Generazione Automatizzata del Dataset
  PITMuS analizza il report XML per estrarre i dettagli della mutazione. Per risolvere le ambiguità in cui un numero di riga e una descrizione non identificano univocamente un token sorgente, lo strumento adotta un approccio ibrido:

  • Utilizza javalang per analizzare il codice sorgente originale e identificare i token candidati.
  • Se sulla riga esistono più candidati, utilizza le informazioni bytecode dal file di classe compilato per individuare il target esatto.
  • Una volta identificato il token specifico, la mutazione viene applicata per ricostruire l'istruzione mutata.
  • Lo strumento estrae quindi il metodo contenitore, eventuali Javadoc precedenti e i metadati rilevanti (ID del mutante, percorso del file, indice bytecode) per formare un record strutturato: <metodo_originale, metodo_mutato, documentazione, metadati>.

• Fase 2: Iniezione di Mutanti a Livello di Sorgente
  Questa fase materializza i mutanti ricostruiti come effettivi file sorgente Java. PITMuS copia il file sorgente originale, sostituisce l'istruzione target con l'istruzione mutata ricostruita preservando l'indentazione e convalida il risultato utilizzando la tokenizzazione javalang. L'iniezione può essere eseguita a quattro granularità:

  • Livello di mutazione: Un mutante specifico per ID.
  • Livello di istruzione: Tutti i mutanti associati a una specifica istruzione.
  • Livello di classe: Tutti i mutanti per una classe selezionata.
  • Livello di sistema: Tutti i mutanti nell'intero sistema.

Contributi Chiave
Il paper presenta i seguenti contributi:

1. Strumento PITMuS: Un sistema che ricostruisce mutanti a livello di sorgente dai report PIT standard, consentendo la creazione di dataset strutturati contenenti coppie di codice errato/corretto e contesto documentale.
2. Utilità Duali: La fornitura di strumenti sia per l'iniezione di mutanti a livello di sorgente (creazione di file sorgente eseguibili) sia per la costruzione di dataset a livello di metodo (generazione di record strutturati per addestramento/valutazione).
3. Valutazione Empirica: Una valutazione completa su otto sistemi Java open-source, che dimostra la capacità dello strumento di elaborare e ricostruire un grande volume di mutazioni.

Risultati
La valutazione è stata condotta su otto diversi sistemi Java open-source (inclusi commons-lang3, bcel e jsoup), coprendo domini che vanno dall'ingegneria del bytecode all'analisi HTML.

• Scala: PITMuS ha elaborato 69.229 mutazioni PIT attraverso 1.913 file sorgente.
• Tasso di Ricostruzione: Lo strumento ha ricostruito con successo 69.198 coppie allineate metodo originale-mutante, raggiungendo un tasso di successo del 99,96%.
• Contesto Documentale: 45.913 (66,35%) delle coppie ricostruite includevano Javadoc non vuoto, preservando il contesto documentale cruciale per l'addestramento degli LLM.
• Prestazioni degli Operatori: Sei operatori di mutazione (VoidMethodCall, NullReturns, TrueReturns, FalseReturns, Increments, InvertNegatives) hanno raggiunto il 100% di ricostruzione. Gli operatori rimanenti hanno mantenuto tassi superiori al 99,69%. Il tasso di fallimento più alto è stato osservato in RemoveConditionals (14 fallimenti su 35.739).
• Analisi dei Fallimenti: Le 31 mutazioni non ricostruite (tasso di fallimento < 0,05%) sono state attribuite a discrepanze nella posizione del sorgente. Queste si sono verificate sia quando più mutanti a livello di bytecode mappavano sulla stessa modifica sorgente (portando all'evitamento dei duplicati) sia quando le mutazioni avvenivano in espressioni su più righe in cui il numero di riga riportato differiva dalla riga effettiva dell'operatore.

Significato
Il paper afferma che PITMuS risponde a un bisogno critico per ricercatori e sviluppatori che richiedono coppie allineate di codice originale-mutato e contesto documentale senza elaborazione manuale. Convertendo artefatti di mutazione standard a livello di report in esempi utilizzabili a livello di sorgente, PITMuS:

• Riduce lo sforzo richiesto per costruire dataset basati su mutazioni.
• Rende i mutanti PIT accessibili agli utenti che necessitano di rappresentazioni a livello di sorgente per studi empirici, addestramento di modelli e valutazione di strumenti.
• Fornisce una strategia scalabile e consapevole della data di taglio per generare dataset nuovi, mitigando i rischi di contaminazione associati ai benchmark statici nell'era degli LLM.

Gli autori sottolineano che, sebbene valutato su sistemi specifici, lo strumento è applicabile a qualsiasi sistema Java in cui PIT può essere integrato. Il codice e gli artefatti sono rilasciati come open source sotto la licenza Apache 2.0.