Riepilogo Tecnico: Una Metrica di Mutazione Semantica per l'Adeguatezza delle Relazioni Metamorfiche nei Programmi di Calcolo Scientifico

1. Enunciato del Problema

Il Testing Metamorfico (MT) affronta il problema dell'oracolo di test nel calcolo scientifico verificando invarianti (Relazioni Metamorfiche, o MR) tra input correlati piuttosto che confrontare gli output con valori corretti noti. Tuttavia, la valutazione dell'adeguatezza di un insieme di MR rispetto a difetti specifici del dominio ha fatto mancare una metrica legata alla genealogia classica del Punteggio di Mutazione (MS).

Il MS classico si basa su mutazioni sintattiche dell'Albero di Sintassi Astratta (AST) (ad esempio, sostituzione di operatori, modifica di costanti). Questi strumenti non riescono a catturare la semantica del dominio critica per il calcolo scientifico, come le leggi di conservazione, la monotonicità, gli ordini di convergenza, le forme delle traiettorie e l'ordinamento della fedeltà. Inoltre, sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) possano generare mutanti semanticamente più ricchi, il lavoro precedente non ha isolato il contributo della diversità della sorgente degli LLM dalla progettazione delle MR stesse.

2. Metodologia

2.1 Il Punteggio di Mutazione Semantica (SMS)

Gli autori propongono il Punteggio di Mutazione Semantica (SMS), una metrica progettata come una generalizzazione rigorosa del MS classico. Il SMS si basa su un framework a tre livelli:

• Livello 1 (Definitorio): Un mutante è definito "semantico" se soddisfa almeno una delle tre condizioni necessarie:

  1. Trans-frontaliera: Attraversa un confine di chiamata di funzione o di importazione di modulo.
  2. Dipendente dalla conoscenza del dominio: La sua legalità dipende da conoscenze matematiche, fisiche o statistiche (non solo dalla preservazione dei tipi).
  3. Cambiamento di classe algoritmica: Altera la classe algoritmica dell'implementazione.
     Sulla base di ciò, sono definite cinque classi di meta-operatori:
  • Erosione della Conservazione (CE): Violazione delle leggi di conservazione.
  • Sostituzione di Operatori (OS): Sostituzione di operatori con alternative semanticamente distinte (ad esempio, det vs sum(diag)).
  • Iperparametro (HP): Modifica di parametri con semantica specifica del dominio (ad esempio, livelli di rumore, tassi di apprendimento).
  • Ribaltamento della Traiettoria (TF): Distorsione delle traiettorie numeriche o degli ordini di integrazione.
  • Iniezione Strutturale (SI): Iniezione di cambiamenti strutturali che influenzano la fedeltà o l'ordine.

• Livello 2 (Operativo): Un giudizio di equivalenza ($E_1 \land E_2$) determina se un mutante è equivalente all'originale.

  • $E_1$ (Coerente con AVP): Il mutante supera la Pipeline di Verifica Automatica (AVP) per tutte le MR.
  • $E_2$ (Equivalente in output): Il mutante produce output entro una tolleranza $\epsilon_{eq}$ su $K_{eq}=1000$ campioni.
  • Un mutante è "ucciso" se fallisce l'AVP per almeno una MR.

• Livello 3 (Applicato): Tracciabilità empirica che confronta i mutanti generati dagli LLM con i mutanti sintattici (utilizzando lo strumento cosmic-ray) a livello normalizzato AST.

2.2 Disegno Sperimentale

• Soggetti: 12 Programmi in Test (PUT) che rappresentano quattro classi di kernel scientifici a output singolo ($float \to float$): Numerico (A), Probabilistico (B), Surrogato (C) e Apprendimento Automatico (D). Ogni PUT è inferiore a 2 KB.
• Disegno: Una matrice $12 \text{ PUT} \times 5 \text{ Operatori} \times 5 \text{ Pattern Metamorfici}$, risultante in 60 celle sperimentali.
• Protocollo LLM:
  • v3 (Stessa sorgente): Mutanti generati da un singolo LLM (Claude Opus).
  • v4 (Sorgente incrociata): Mutanti generati da tre LLM (Claude, GPT-5.4, DeepSeek) con un prompt identico per isolare l'effetto della diversità della sorgente LLM.
• Attribuzione (LRCA): Un classificatore a tre livelli (Likely Root Cause Attribution) categorizza i mutanti uccisi in:
  • C1: Vero fallimento semantico.
  • C2–C5: Tolleranza numerica, Fuori Distribuzione (OOD), violazioni statistiche o artefatti del mutatore.
  • Le metriche includono $C1\_share$ (proporzione di veri fallimenti semantici) e $suspect\_share$.

2.3 Compatibilità Retroattiva

Il documento dimostra che, sotto un limite degenere ($L$) in cui gli operatori diventano sintattici basati su regole, l'equivalenza diventa bit-a-bit e i programmi sono imperativi deterministici, il SMS si riduce quasi ovunque al Punteggio di Mutazione classico (Teorema 9.1). Ciò garantisce la coerenza strutturale con la letteratura esistente sul testing di mutazione.

3. Risultati Chiave

3.1 Raggiungibilità Semantica vs. Strumenti Sintattici

• Sovrapposizione AST: C'è una sovrapposizione AST di solo 5,14% tra i mutanti generati dagli LLM e i mutanti sintattici predefiniti di cosmic-ray sui 12 PUT.
• Inraggiungibilità: Tre classi di operatori—Iperparametro (HP), Iniezione Strutturale (SI) e Ribaltamento della Traiettoria (TF)—sono 0% raggiungibili dagli strumenti sintattici di primo ordine predefiniti (0/72, 0/33 e 0/54 sovrapposizioni, rispettivamente). Questi costituiscono il 54,5% del pool di mutanti LLM.
• Conclusione: Gli strumenti sintattici predefiniti (anche con composizioni di ordine superiore, sebbene non testati empiricamente) non possono generare sistematicamente questi difetti specifici del dominio.

3.2 Dimensione dell'Effetto e Diversità della Sorgente LLM

• Delta di Cliff ($\delta$): Lo studio confronta le "fette allineate" (l'operatore corrisponde al pattern MR) con le "fette incrociate" (mismatch).
  • v3 (Stessa sorgente): $\delta = 0,323$ (IC 95% [0,017, 0,622]).
  • v4 (Sorgente incrociata): $\delta = 0,314$ (IC 95% [0,014, 0,622]).
• Ipotesi H2: La soglia pre-registrata per un effetto grande ($\delta \ge 0,474$) non è stata raggiunta. L'effetto osservato rientra nell'intervallo di effetto medio.
• Diversità della Sorgente: Il passaggio da un pool a sorgente singola a uno a sorgente incrociata sotto un prompt identico ha spostato $\delta$ di soli -0,009 (l'IC copre lo zero). Ciò indica che l'identità dell'LLM non è la leva principale per la dimensione dell'effetto allineato-vs-incrociato in questo disegno.

3.3 Qualità del Mutante e LRCA

• Miglioramento della Qualità: Il pooling a sorgente incrociata ha aumentato la media $C1\_share$ (veri fallimenti semantici) dal 16,4% al 20,9% (+27%).
• Ipotesi H4: La soglia pre-registrata di media $suspect\_share \le 0,20$ (cioè $C1\_share \ge 0,80$) non è stata raggiunta. La media osservata di $C1\_share$ è stata 0,209 (miglior calibrata), il che significa che il 79,1% degli uccisioni è stato attribuito a cause non semantiche (tolleranza, OOD, ecc.).
• Disaccoppiamento: È stato osservato un netto disaccoppiamento tra Fattibilità Semantica ($R_{sem}$) e Tasso di Uccisione ($R_{kill}$). Molti mutanti erano sintatticamente validi e semanticamente intenzionati ($R_{sem} \approx 1,0$) ma non sono stati uccisi dalle MR primarie ($R_{kill} = 0$), suggerendo che l'adeguatezza della progettazione delle MR, non solo la generazione dei mutanti, limita il SMS.

3.4 Potenza Statistica

• Analisi della Potenza: Lo studio riconosce una bassa potenza statistica dovuta alla dimensione del campione ($N=12$ PUT, 60 celle). La potenza stabilita per rilevare un effetto grande ($\delta \ge 0,474$) era solo del 49,1%. Gli autori inquadrano il verdetto "non raggiunto" come un'affermazione fattuale sul fatto che la stima puntuale non ha raggiunto la soglia, non come una prova definitiva che l'effetto sia piccolo.

4. Significato e Affermazioni

Il documento rivendica i seguenti contributi:

1. Metrica Formale: Introduce il SMS, il primo punteggio di mutazione semantica specifico per il dominio per l'adeguatezza delle MR nei kernel di calcolo scientifico, con una riduzione retrocompatibile provata al MS classico.
2. Framework di Operatori: Definisce e implementa cinque operatori di mutazione semantica (CE, OS, HP, TF, SI) che prendono di mira difetti irraggiungibili dagli strumenti sintattici predefiniti.
3. Evidenza Empirica di Inraggiungibilità: Fornisce prove empiriche che gli strumenti sintattici di primo ordine predefiniti non possono generare mutanti HP, SI e TF, validando la necessità di operatori semantici.
4. Risultati sulla Diversità della Sorgente LLM: Dimostra che, sotto un prompt identico, la diversità della sorgente LLM non sposta apprezzabilmente la dimensione dell'effetto (delta di Cliff) dell'adeguatezza delle MR allineate-vs-incrociate, sebbene migliori la qualità (condivisione C1) dell'insieme di uccisioni.
5. Framework Metodologico: Stabilisce un framework a tre livelli (Definitorio, Operativo, Applicato) per la valutazione della mutazione semantica, includendo un giudizio di equivalenza conservativo ($E_1 \land E_2$) e un livello di attribuzione ingegneristica (LRCA).

Limitazioni e Modestia:
Gli autori dichiarano esplicitamente che lo studio è un contributo esplorativo sottopotenziato. Il verdetto "non raggiunto" per H2 è attribuito al fatto che la stima puntuale non ha raggiunto la soglia, con la possibilità che una dimensione del campione più grande (P4) potrebbe rivelare una dimensione dell'effetto diversa. Non affermano che gli LLM siano la soluzione definitiva per la generazione di test, né affermano che il SMS sia pronto per la certificazione industriale normativa (ad esempio, IEC 60880, DO-178C) a causa di incompatibilità con le reti isolate e della necessità di ulteriore scalabilità. Il lavoro è posizionato come un passo fondamentale (P2) in una roadmap di cinque documenti, con teoremi formali e trasferimento industriale riservati a documenti companion (P4, P5).