MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases

1. Il Problema

Il Metamorphic Testing (MT) è una tecnica di testing che risolve il problema dell'oracolo (la difficoltà di determinare l'output atteso per un dato input) definendo relazioni tra input correlati e i loro output. Tuttavia, l'adozione diffusa del MT è ostacolata dalla difficoltà di progettare manualmente le Relazioni Metamorfiche (MR), che richiede una profonda conoscenza specifica del dominio e l'esperienza dei tester.

Esistono approcci esistenti per identificare le MR (basati su specifiche software o pattern predefiniti), ma spesso richiedono sforzi manuali significativi o sono limitati a domini specifici (es. programmi numerici). L'osservazione chiave degli autori è che i test case scritti dagli sviluppatori spesso incorporano implicitamente conoscenze di dominio che codificano MR, anche se non sono stati originariamente progettati per il MT. Il problema è che queste MR sono "nascoste" nel codice e non sono facilmente estraibili o riutilizzabili automaticamente.

2. Metodologia: MR-Scout

Gli autori propongono MR-Scout, un approccio automatizzato per scoprire e sintetizzare MR a partire da test case esistenti in progetti Open Source (OSS). Il processo si articola in tre fasi principali:

Fase 1: Scoperta dei Test Case Codificati con MR (MTC Discovery)

MR-Scout analizza staticamente i test case per identificare quelli che soddisfano due proprietà semantiche fondamentali di una MR:

1. Invocazioni di Metodi (P1): Il test case deve contenere almeno due invocazioni di metodi della stessa classe (o classi correlate) con input distinti.
2. Asserzioni di Relazione (P2): Il test case deve contenere almeno un'asserzione che valida una relazione tra gli input e/o gli output di queste invocazioni.
   Il sistema filtra le asserzioni basandosi su pattern specifici (es. operatori booleani o metodi di confronto come assertEquals o assertTrue con operatori numerici) per distinguere le relazioni di output vere dalle semplici asserzioni indipendenti.

Fase 2: Sintesi delle MR (MR Synthesis)

Una volta identificati i test case candidati (MTC), MR-Scout deduce i costituenti della MR (input sorgente, input di follow-up, trasformazione degli input, output e relazione di output).

• Codifica: I costituenti vengono trasformati in MR codificate (Codified MRs), ovvero metodi parametrizzati che accettano l'input sorgente come parametro.
• Trasformazione: Il sistema rimuove le dichiarazioni hardcoded e le asserzioni irrilevanti (specifiche solo per l'input originale), lasciando una struttura che permette di generare nuovi input e verificare la relazione.
• Vincolo: Questo processo si concentra su MR che coinvolgono esattamente due invocazioni di metodi e che possiedono una trasformazione degli input esplicita (es. text2 = text1.setBold()).

Fase 3: Filtraggio delle MR (MR Filtering)

Non tutte le MR sintetizzate sono di alta qualità o applicabili a nuovi input. MR-Scout utilizza EvoSuite per generare nuovi input validi e testa le MR codificate.

• Criterio di Qualità: Una MR è considerata di alta qualità se supera il test con almeno il 95% degli input validi generati.
• Scopo: Rimuovere le MR che generano falsi allarmi (false positives) su nuovi dati, garantendo che solo le relazioni robuste vengano mantenute per la generazione automatica di test.

3. Contributi Chiave

1. MR-Scout: Il primo approccio che sintetizza automaticamente le MR dai test case esistenti senza richiedere specifiche software o intervento manuale.
2. Dataset: Creazione e rilascio di un dataset di oltre 11.000 MTC scoperti in 701 progetti OSS, una risorsa preziosa per la ricerca futura sul testing metamorfico.
3. Validazione Sperimentale: Una valutazione estensiva che dimostra la precisione, la qualità, l'utilità e la comprensibilità delle MR sintetizzate.
4. Risorsa Open Source: Pubblicazione di tutti gli artefatti di ricerca e dei dataset per facilitare la riproducibilità.

4. Risultati Sperimentali

Gli autori hanno valutato MR-Scout su 701 progetti Java, rispondendo a quattro domande di ricerca (RQ):

• RQ1 (Precisione): Su un campione di 164 test case, MR-Scout ha dimostrato una precisione del 97% nell'identificare correttamente i MTC.
• RQ2 (Qualità): Il 97,18% delle MR codificate è risultato di alta qualità e applicabile a nuovi input generati automaticamente, confermando l'efficacia della fase di filtraggio.
• RQ3 (Utilità): L'integrazione dei test basati su MR codificate con i test esistenti ha portato a miglioramenti significativi nell'adeguatezza del test:
  • +13,52% nella copertura delle righe (Line Coverage) rispetto ai test scritti dagli sviluppatori.
  • +9,42% nel punteggio di mutazione (Mutation Score).
  • Un aumento del 82,8% nel punteggio di mutazione quando combinato con i test generati da EvoSuite.
• RQ4 (Comprensibilità): Uno studio qualitativo con 5 partecipanti esperti ha mostrato che tra il 55,76% e il 76,92% delle MR codificate sono facilmente comprensibili per gli sviluppatori, suggerendo un buon potenziale per l'adozione pratica e la manutenzione dei test.

5. Significato e Impatto

Il lavoro di MR-Scout rappresenta un passo avanti significativo nell'automazione del Metamorphic Testing. Dimostra che:

• La conoscenza di dominio necessaria per definire le MR è già presente nel codice di test esistente, ma deve essere "estratta" e formalizzata.
• Le MR sintetizzate possono agire come oracoli riutilizzabili, permettendo di generare automaticamente nuovi test case che esplorano più percorsi del programma rispetto ai test tradizionali.
• L'approccio migliora la capacità di rilevamento dei difetti (fault detection) e la copertura del codice, offrendo un metodo scalabile per potenziare le suite di test esistenti senza richiedere un onere manuale eccessivo.

In sintesi, MR-Scout trasforma i test case statici in oracoli dinamici e riutilizzabili, colmando il divario tra la difficoltà di progettazione manuale delle MR e la necessità di test automatizzati robusti.