Technische Samenvatting: Een Semantische Mutatiemetric voor Adequaatheid van Metamorfe Relaties in Wetenschappelijke Rekenprogramma's

1. Probleemstelling

Metamorfe Testen (MT) adresseert het test-orakel-probleem in wetenschappelijk rekenen door invarianten (Metamorfe Relaties, of MR's) tussen gerelateerde invoer te verifiëren, in plaats van uitvoer te controleren tegen bekende correcte waarden. Echter, het beoordelen van de adequaatheid van een MR-set tegen domeinspecifieke fouten heeft een metric gemist die is verbonden met de klassieke Mutation Score (MS) stamboom.

Klassieke MS vertrouwt op syntactische Abstract Syntax Tree (AST) mutaties (bijvoorbeeld operatorvervanging, constante modificatie). Deze tools falen in het vastleggen van domeinsemantiek die cruciaal is voor wetenschappelijk rekenen, zoals behoudswetten, monotonie, convergentieordes, trajectvormen en volgorde van fideliteit. Bovendien, terwijl Groot Taalmodellen (LLM's) semantisch rijker mutanten kunnen genereren, heeft eerder werk niet de bijdrage van LLM-brondiversiteit geïsoleerd van het ontwerp van de MR's zelf.

2. Methodologie

2.1 De Semantische Mutatiescore (SMS)

De auteurs stellen Semantische Mutatiescore (SMS) voor, een metric ontworpen als een strikte generalisatie van klassieke MS. SMS is gebouwd op een drie-laags kader:

• Laag 1 (Definitief): Een mutant wordt gedefinieerd als "semantisch" als het aan ten minste één van drie noodzakelijke voorwaarden voldoet:

  1. Grensoverschrijdend: Het overschrijdt een functie-aanroep- of module-importgrens.
  2. Domeinkennis-afhankelijk: De wettigheid ervan hangt af van wiskundige, fysieke of statistische kennis (niet alleen typebehoud).
  3. Algoritmische klassewisseling: Het verandert de algoritmische klasse van de implementatie.
     Op basis hiervan worden vijf meta-operatorklassen gedefinieerd:
  • Behoud Erosie (CE): Het verbreken van behoudswetten.
  • Operator Substitutie (OS): Het vervangen van operatoren door semantisch verschillende alternatieven (bijvoorbeeld det versus sum(diag)).
  • Hyperparameter (HP): Het modificeren van parameters met specifieke domeinsemantiek (bijvoorbeeld ruisniveaus, leersnelheden).
  • Traject Flip (TF): Het vervormen van numerieke trajecten of integratieordes.
  • Structurele Injectie (SI): Het injecteren van structurele veranderingen die fideliteit of orde beïnvloeden.

• Laag 2 (Operationeel): Een equivalentie-oordelen ($E_1 \land E_2$) bepaalt of een mutant equivalent is aan het origineel.

  • $E_1$ (AVP-coherent): De mutant slaagt voor de Geautomatiseerde Verificatiepiplijn (AVP) voor alle MR's.
  • $E_2$ (Output-equivalent): De mutant produceert uitvoer binnen een tolerantie $\epsilon_{eq}$ op $K_{eq}=1000$ steekproeven.
  • Een mutant wordt "gedood" als het faalt voor de AVP voor ten minste één MR.

• Laag 3 (Toegepast): Empirische traceerbaarheid die LLM-genereren mutanten vergelijkt met syntactische mutanten (met behulp van de cosmic-ray tool) op het AST-genormaliseerde niveau.

2.2 Experimenteel Ontwerp

• Onderwerpen: 12 Programma's onder Test (PUT's) die vier klassen van single-output wetenschappelijke kernen vertegenwoordigen ($float \to float$): Numeriek (A), Probabilistisch (B), Surrogaat (C), en Machine Learning (D). Elke PUT is kleiner dan 2 KB.
• Ontwerp: Een $12 \text{ PUT's} \times 5 \text{ Operatoren} \times 5 \text{ Metamorfe Patronen}$ matrix, resulterend in 60 experimentele cellen.
• LLM-protocol:
  • v3 (Zelfde-bron): Mutanten gegenereerd door één LLM (Claude Opus).
  • v4 (Cross-bron): Mutanten gegenereerd door drie LLM's (Claude, GPT-5.4, DeepSeek) onder een identieke prompt om het effect van LLM-brondiversiteit te isoleren.
• Attributie (LRCA): Een drie-laags classifier (Likely Root Cause Attribution) categoriseert gedode mutanten in:
  • C1: Ware semantische fout.
  • C2–C5: Numerieke tolerantie, Out-of-Distribution (OOD), statistische schendingen, of mutator-artefacten.
  • Metrics omvatten $C1\_share$ (proportie van ware semantische fouten) en $suspect\_share$.

2.3 Achterwaartse Compatibiliteit

Het artikel bewijst dat onder een degenererend limiet ($L$) waarbij operatoren regelgebaseerd syntactisch worden, equivalentie bit-voor-bit wordt en programma's deterministisch imperatief zijn, SMS bijna overal reduceert tot de klassieke Mutation Score (Stelling 9.1). Dit zorgt voor structurele consistentie met bestaande mutatie-testliteratuur.

3. Belangrijkste Resultaten

3.1 Semantische Bereikbaarheid versus Syntactische Tools

• AST Overlap: Er is slechts een 5,14% AST-overlap tussen LLM-genereren mutanten en standaard cosmic-ray syntactische mutanten over de 12 PUT's.
• Onbereikbaarheid: Drie operatorklassen—Hyperparameter (HP), Structurele Injectie (SI), en Traject Flip (TF)—zijn 0% bereikbaar door standaard first-order syntactische tools (0/72, 0/33, en 0/54 overlappingen, respectievelijk). Deze vormen 54,5% van de LLM-mutantpool.
• Conclusie: Standaard syntactische tools (zelfs met higher-order composities, hoewel niet empirisch getest) kunnen deze domeinspecifieke fouten niet systematisch genereren.

3.2 Effectgrootte en LLM-brondiversiteit

• Cliff's Delta ($\delta$): De studie vergelijkt "uitgelijnde" slices (operator komt overeen met MR-patroon) versus "cross" slices (niet-gecorreleerd).
  • v3 (Zelfde-bron): $\delta = 0,323$ (95% BI [0,017, 0,622]).
  • v4 (Cross-bron): $\delta = 0,314$ (95% BI [0,014, 0,622]).
• Hypothese H2: De vooraf geregistreerde groot-effectdrempel ($\delta \ge 0,474$) is niet gehaald. Het waargenomen effect ligt in het medium-effectbereik.
• Brondiversiteit: Het overschakelen van een single-source naar een cross-source pool onder een identieke prompt verschuift $\delta$ met slechts -0,009 (BI omvat nul). Dit geeft aan dat LLM-identiteit niet de primaire hefboom is voor de uitgelijnd-versus-cross effectgrootte in dit ontwerp.

3.3 Mutantkwaliteit en LRCA

• Kwaliteitsverbetering: Cross-source pooling verhoogde het gemiddelde $C1\_share$ (ware semantische fouten) van 16,4% naar 20,9% (+27%).
• Hypothese H4: De vooraf geregistreerde drempel van gemiddelde $suspect\_share \le 0,20$ (d.w.z. $C1\_share \ge 0,80$) is niet gehaald. Het waargenomen gemiddelde $C1\_share$ was 0,209 (best gekalibreerd), wat betekent dat 79,1% van de doden werd toegeschreven aan niet-semantische oorzaken (tolerantie, OOD, enz.).
• Ontkoppeling: Een scherpe ontkoppeling werd waargenomen tussen Semantische Haalbaarheid ($R_{sem}$) en Kill Rate ($R_{kill}$). Veel mutanten waren syntactisch geldig en semantisch bedoeld ($R_{sem} \approx 1,0$) maar faalden om gedood te worden door de primaire MR's ($R_{kill} = 0$), wat suggereert dat MR-ontwerpadequaatheid, niet alleen mutantgeneratie, SMS beperkt.

3.4 Statistische Kracht

• Krachtanalyse: De studie erkent lage statistische kracht vanwege de steekproefomvang ($N=12$ PUT's, 60 cellen). De gestelde kracht om een groot effect te detecteren ($\delta \ge 0,474$) was slechts 49,1%. De auteurs formuleren het "niet gehaald" oordeel als een feitelijke verklaring over het puntsschatting dat de drempel niet haalt, niet als een definitief bewijs dat het effect klein is.

4. Betekenis en Claims

Het artikel claimt de volgende bijdragen:

1. Formele Metric: Het introduceert SMS, de eerste domeinspecifieke semantische mutatiescore voor MR-adequaatheid in wetenschappelijke rekenkernen, met een bewezen achterwaarts compatibele reductie tot klassieke MS.
2. Operator Kader: Het definieert en implementeert vijf semantische mutatie-operatoren (CE, OS, HP, TF, SI) die fouten targeten die onbereikbaar zijn voor standaard syntactische tools.
3. Empirisch Bewijs van Onbereikbaarheid: Het levert empirisch bewijs dat standaard first-order syntactische tools geen HP-, SI- en TF-mutanten kunnen genereren, wat de noodzaak van semantische operatoren valideert.
4. Vindingen over LLM-brondiversiteit: Het toont aan dat onder een identieke prompt, LLM-brondiversiteit de effectgrootte (Cliff's delta) van uitgelijnd-versus-cross MR-adequaatheid niet merkbaar verschuift, hoewel het wel de kwaliteit (C1 share) van de kill-set verbetert.
5. Methodologisch Kader: Het vestigt een drie-laags kader (Definitief, Operationeel, Toegepast) voor het evalueren van semantische mutatie, inclusief een conservatief equivalentie-oordelen ($E_1 \land E_2$) en een engineering-attributielayer (LRCA).

Beperkingen en Bescheidenheid:
De auteurs stellen expliciet dat de studie een ondergekrachte exploratieve bijdrage is. Het "niet gehaald" oordeel voor H2 wordt toegeschreven aan het feit dat de puntsschatting de drempel niet haalt, met de mogelijkheid dat een grotere steekproefomvang (P4) een andere effectgrootte zou kunnen onthullen. Zij claimen niet dat LLM's de ultieme oplossing zijn voor testgeneratie, noch claimen zij dat SMS klaar is voor normatieve industriële certificering (bijvoorbeeld IEC 60880, DO-178C) vanwege air-gap onverenigbaarheden en de noodzaak van verdere schaling. Het werk is gepositioneerd als een fundamentele stap (P2) in een vijf-papieren roadmap, met formele stellingen en industriële overdracht voorbehouden aan begeleidende papieren (P4, P5).