MR-Coupler: Automated Metamorphic Test Generation via Functional Coupling Analysis

1. Il Problema: Il "Problema dell'Oracolo" e la Generazione di MR

Il testing metamorfico (Metamorphic Testing - MT) è una tecnica potente per affrontare il problema dell'oracolo nel testing software, ovvero la difficoltà di determinare se l'output di un programma è corretto quando non esiste un risultato atteso noto (es. modelli linguistici, compilatori, sistemi di traduzione).
Il MT risolve questo problema utilizzando Relazioni Metamorfiche (MR): regole logiche che definiscono come gli output dovrebbero cambiare in base a relazioni note tra gli input.
Tuttavia, l'adozione del MT è limitata dalla difficoltà di costruire MR efficaci, che spesso richiedono:

• Conoscenza specifica del dominio.
• Sforzo manuale significativo.
• Disponibilità di specifiche di alta qualità o casi di test esistenti (che sono rari, coprendo solo l'1% dei casi di test reali).

Esistono approcci precedenti che tentano di generare MR, ma soffrono di dipendenza da sforzi manuali, scenari di regression testing specifici, o limitazioni di dominio. Manca un metodo automatico, agnostico rispetto al dominio, che possa generare casi di test metamorfici (MTC) direttamente dal codice sorgente senza conoscenze esterne difficili da ottenere.

2. Metodologia: MR-Coupler

Gli autori propongono MR-Coupler, un approccio automatizzato che sfrutta il accoppiamento funzionale (functional coupling) tra i metodi presenti nel codice sorgente per costruire MR. L'idea centrale è che coppie di metodi funzionalmente correlati (es. encrypt e decrypt, o insert e get) possono formare la base per relazioni metamorfiche (es. $x = decrypt(encrypt(x))$).

Il sistema opera in tre fasi principali:

Fase 1: Identificazione dei Metodi Accoppiati (Coupled Methods Identification)

Dato un metodo target, MR-Coupler analizza la classe che lo contiene per identificare metodi funzionalmente accoppiati. Per evitare un'enumerazione costosa di tutte le possibili coppie, utilizza tre caratteristiche di accoppiamento derivate dall'analisi di MTC scritti da umani:

1. Comunalità delle Firme (Signature Commonality): Analizza nomi, tipi di parametri e tipi di ritorno. Cerca sovraccarichi (overloading) o metodi con nomi complementari (es. encrypt/decrypt) che operano sugli stessi tipi di dati.
2. Chiamate di Funzione (Function Call): Analizza le dipendenze dirette (un metodo chiama l'altro) o l'uso comune di API esterne, indicando una specializzazione funzionale o una composizione.
3. Interazione sullo Stato (State Interaction): Analizza la lettura e scrittura di campi (field) condivisi. Se un metodo scrive dati che un altro legge (o viceversa), o se accedono agli stessi campi, esiste un accoppiamento di stato.

Fase 2: Generazione dei Casi di Test (MTC Generation)

Una volta identificate le coppie di metodi, MR-Coupler utilizza Large Language Models (LLM) per generare i casi di test.

• Prompting Contestuale: Per ridurre le allucinazioni degli LLM, il sistema fornisce un contesto mirato: esempi reali di invocazione dei metodi estratti dal progetto, uno scheletro della classe contenitore e un template specifico per MTC.
• Raffinamento: I casi di test generati vengono compilati ed eseguiti. Se falliscono (es. errori di sintassi o dipendenze mancanti), il sistema invia il messaggio di errore all'LLM per una revisione automatica o aggiunge manualmente le importazioni mancanti tramite analisi statica.

Fase 3: Amplificazione e Validazione (MTC Amplification and Validation)

Questa fase serve a validare la correttezza degli MTC generati e a scoprire più bug.

• Amplificazione degli Input: L'LLM genera nuovi input di test (valori limite, dati casuali, caratteri speciali) basati sulla relazione metamorfica identificata, creando una suite di test più ampia.
• Validazione tramite Mutazione: Poiché non esiste un "ground truth" per verificare la correttezza assoluta, MR-Coupler utilizza l'analisi delle mutazioni. Vengono creati "mutanti" del programma originale (con bug artificiali iniettati).
  • Un MTC valido dovrebbe passare sulla versione originale e fallire sui mutanti.
  • Se un MTC passa sia sull'originale che sui mutanti (o fallisce su entrambi), viene considerato sospetto e filtrato. Questo meccanismo riduce drasticamente i falsi positivi.

3. Contributi Chiave

1. Prima Automazione basata sull'Accoppiamento Funzionale: È il primo lavoro che costruisce MR sfruttando sistematicamente l'accoppiamento funzionale tra metodi come fonte primaria di conoscenza, rendendo il processo dipendente solo dal codice sotto test.
2. Pipeline End-to-End: MR-Coupler non si limita a suggerire relazioni, ma genera, raffina, amplifica e valida casi di test eseguibili.
3. Meccanismo di Validazione Innovativo: L'uso dell'analisi delle mutazioni combinata con l'amplificazione degli input per filtrare gli MTC invalidi senza bisogno di un oracolo umano.
4. Dataset e Tool Open Source: Gli autori hanno rilasciato MR-Coupler, i dati sperimentali e un dataset di 100 MTC scritti da umani e 50 bug reali, utili per la ricerca futura.

4. Risultati Sperimentali

L'approccio è stato valutato su:

• 100 compiti basati su MTC scritti da umani (per valutare validità e similarità).
• 50 bug reali scoperti in precedenza tramite MT (per valutare la capacità di rilevamento).

Risultati principali:

• Validità: MR-Coupler ha generato MTC validi per oltre il 90% dei compiti (98 su 100).
• Miglioramento rispetto ai Baseline: Rispetto a baseline che usano LLM senza l'analisi di accoppiamento, MR-Coupler ha migliorato la generazione di MTC validi del 64,90% e ridotto i falsi allarmi del 36,56%.
• Rilevamento Bug: Gli MTC generati hanno individuato il 44% (22 su 50) dei bug reali.
• Similarità: Gli MTC generati mostrano una coerenza dello scheletro MR (MR-skeleton) con quelli scritti da umani superiore al 90%, indicando che il sistema imita efficacemente le pratiche degli sviluppatori.
• Costo: Il costo medio per metodo target è compreso tra $0,09 e$0,40 (a seconda dell'LLM usato), rendendolo economicamente sostenibile.

5. Significato e Impatto

MR-Coupler rappresenta un passo significativo verso l'automazione del testing metamorfico.

• Democratizzazione del MT: Rimuove la barriera principale (la conoscenza di dominio necessaria per scrivere MR) rendendo la tecnica applicabile a progetti che non hanno test metamorfici esistenti.
• Complementarità: Si posiziona come complemento a tecniche come MR-Scout (che estrae MR da test esistenti), funzionando proprio quando tali test non sono disponibili.
• Scalabilità: Dimostra che l'uso combinato di analisi statica del codice e ragionamento degli LLM può produrre test di alta qualità, riducendo il carico di lavoro manuale e aumentando la copertura dei bug in scenari complessi dove l'oracolo è assente.

In sintesi, il paper dimostra che l'analisi strutturale del codice (accoppiamento funzionale) può guidare efficacemente gli LLM nella creazione di test sofisticati, trasformando il testing metamorfico da una tecnica di nicchia a una pratica più accessibile e automatizzata.