MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing

1. Il Problema

Il Metamorphic Testing (MT) è una tecnica di testing potente che affronta il problema dell'oracolo (la difficoltà di determinare l'output corretto di un programma) verificando le relazioni tra gli input e gli output invece di confrontare l'output con un valore atteso specifico. Tuttavia, un'analisi recente di Xu et al. ha rivelato una limitazione critica nei test case esistenti:

• Codifica Implicita: Oltre il 70% dei test case che codificano relazioni metamorfiche (MR) "hard-codano" (scrivono in modo fisso) sia l'input sorgente che l'input di follow-up.
• Mancanza di Trasformazione Esplicita: Questi test non contengono una funzione di trasformazione esplicita che converta un input sorgente generato automaticamente nel corrispondente input di follow-up.
• Conseguenza: Senza questa funzione di trasformazione, le relazioni metamorfiche codificate non possono essere riutilizzate con nuovi input sorgenti generati automaticamente, limitando drasticamente l'adeguatezza del test (test adequacy) e impedendo l'automazione completa del MT.

L'obiettivo del paper è dedurre automaticamente questa funzione di trasformazione degli input partendo da coppie di input hard-coded, permettendo così il riutilizzo delle MR esistenti su un vasto insieme di nuovi input.

2. Metodologia: MR-Adopt

Il sistema proposto, MR-Adopt, è un approccio basato su Large Language Models (LLM) progettato per dedurre automaticamente le funzioni di trasformazione. Il processo è strutturato in due fasi principali, ciascuna con passaggi di generazione, raffinamento e validazione:

Fase 1: Preparazione delle Coppie di Input (Input Pair Preparation)

Poiché fornire all'LLM solo una singola coppia di input (es. input A e input B) porta spesso a soluzioni "sovra-adattate" (overfitting) che non generalizzano, MR-Adopt genera esempi aggiuntivi.

1. Generazione: L'LLM viene istruito a generare nuove coppie di input (sorgente e follow-up) che rispettino la stessa relazione logica della coppia originale hard-coded, utilizzando il contesto del test case e del metodo sotto test (SUT).
2. Raffinamento (Data-Flow Analysis): Gli LLM tendono a includere codice irrilevante o errato (es. asserzioni o chiamate a metodi inesistenti). MR-Adopt utilizza un'analisi del flusso di dati per estrarre solo le dichiarazioni necessarie a costruire gli input, rimuovendo il codice spurio.
3. Validazione: Le nuove coppie di input vengono eseguite contro le asserzioni scritte dagli sviluppatori (la relazione di output $R_o$). Solo le coppie che passano il test vengono mantenute come esempi validi per la fase successiva.

Fase 2: Generazione della Trasformazione (Transformation Generation)

1. Generazione: Utilizzando la coppia originale e le nuove coppie generate nella Fase 1 come esempi (approccio Programming by Example), l'LLM genera una funzione di trasformazione che mappa un input sorgente generico all'input di follow-up.
2. Raffinamento: Simile alla Fase 1, il codice generato viene pulito rimuovendo elementi irrilevanti e aggiungendo le dipendenze necessarie (import di classi) tramite analisi sintattica.
3. Valutazione e Selezione: Le funzioni candidate vengono testate su un set di nuovi input sorgenti. Viene selezionata la trasformazione che riesce a generare input di follow-up validi per il maggior numero di input sorgenti (massima generalizzabilità).

3. Contributi Chiave

• Prima di questo lavoro: Non esistevano approcci per generare automaticamente funzioni di trasformazione per MR codificate in test case esistenti.
• Novità Metodologica: MR-Adopt è il primo sistema a combinare la capacità di comprensione del codice degli LLM con un processo di raffinamento basato sull'analisi del flusso di dati e validazione tramite oracoli esistenti.
• Strategia Anti-Overfitting: L'uso di una fase preliminare per generare molteplici esempi di input risolve il problema della scarsità di esempi (spesso solo una coppia) tipica dei problemi di programmazione per esempio (PBE).
• Dataset: Gli autori hanno creato e rilasciato un dataset di 100 test case con MR codificate (datati dopo aprile 2023) per garantire che gli LLM non avessero visto i dati durante l'addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 100 test case reali, confrontando MR-Adopt con il prompting diretto di vari LLM (GPT-3.5, Llama3, Deepseek).

• Efficacia nella Generazione:
  • MR-Adopt ha generato trasformazioni compilabili per il 95% dei casi (95 su 100).
  • Il 72% delle trasformazioni generate è stato generalizzabile al 100% degli input sorgenti preparati.
  • Questo rappresenta un miglioramento del 33,33% rispetto all'uso diretto di GPT-3.5 (che ha ottenuto solo il 54% di generalizzazione al 100%).
• Qualità degli Input di Follow-up:
  • Le trasformazioni generate da MR-Adopt hanno prodotto input di follow-up validi per il 91,21% degli input sorgenti, superando di oltre il 75% le prestazioni degli LLM puri usati come "scatole nere".
• Miglioramento dell'Adeguatezza del Test (Test Adequacy):
  • Integrando le trasformazioni generate con nuovi input sorgenti, i test case basati su MR hanno aumentato la Line Coverage del 10,62% e il Mutation Score del 18,91% rispetto ai soli test scritti dagli sviluppatori.
• Studio Ablativo:
  • L'analisi ha dimostrato che tutti e tre i componenti (coppie di input aggiuntive, raffinamento del codice e validazione) contribuiscono alle prestazioni, con la fase di validazione/selezione che ha l'impatto maggiore.

5. Significato e Impatto

Il paper dimostra che è possibile "recuperare" e automatizzare relazioni metamorfiche preziose ma sottoutilizzate presenti nei repository di codice esistenti.

• Riutilizzo del Conoscenza: Permette di trasformare test case statici in framework di testing dinamici e scalabili.
• Superamento del Problema dell'Oracolo: Sfrutta le asserzioni già scritte dagli sviluppatori (che sono oracoli affidabili) per validare nuovi input, evitando la difficoltà di scrivere nuovi oracoli da zero.
• Affidabilità: A differenza dell'uso diretto degli LLM per generare input o asserzioni (che può essere inaffidabile), MR-Adopt usa gli LLM solo per generare la logica di trasformazione, affidando la validazione al codice di test esistente, risultando in un approccio più robusto.

In sintesi, MR-Adopt colma il divario tra le relazioni metamorfiche teoriche e la loro applicazione pratica automatizzata, migliorando significativamente la capacità di rilevamento dei difetti del software.