Résumé technique : Une métrique de mutation sémantique pour l'adéquation des relations métamorphiques dans les programmes de calcul scientifique

1. Énoncé du problème

Le test métamorphique (MT) résout le problème de l'oracle de test dans le calcul scientifique en vérifiant des invariants (relations métamorphiques, ou MR) entre des entrées liées plutôt qu'en vérifiant les sorties par rapport à des valeurs correctes connues. Cependant, l'évaluation de l'adéquation d'un ensemble de MR face à des défauts spécifiques au domaine a manqué d'une métrique liée à la lignée classique du score de mutation (MS).

Le MS classique repose sur des mutations syntaxiques d'arbres de syntaxe abstraite (AST) (par exemple, remplacement d'opérateurs, modification de constantes). Ces outils échouent à capturer la sémantique du domaine critique pour le calcul scientifique, telle que les lois de conservation, la monotonie, les ordres de convergence, les formes de trajectoires et l'ordre de fidélité. De plus, bien que les grands modèles de langage (LLM) puissent générer des mutants sémantiquement plus riches, les travaux antérieurs n'ont pas isolé la contribution de la diversité des sources LLM de la conception des MR elles-mêmes.

2. Méthodologie

2.1 Le score de mutation sémantique (SMS)

Les auteurs proposent le score de mutation sémantique (SMS), une métrique conçue comme une généralisation stricte du MS classique. Le SMS est fondé sur un cadre à trois couches :

• Couche 1 (Définitionnelle) : Un mutant est défini comme « sémantique » s'il satisfait au moins l'une des trois conditions nécessaires suivantes :

  1. Transfrontalier : Il traverse une frontière d'appel de fonction ou d'importation de module.
  2. Dépendant des connaissances du domaine : Sa légalité dépend de connaissances mathématiques, physiques ou statistiques (et non pas seulement de la préservation des types).
  3. Changement de classe algorithmique : Il modifie la classe algorithmique de l'implémentation.
     Sur cette base, cinq classes de méta-opérateurs sont définies :
  • Érosion de la conservation (CE) : Rupture des lois de conservation.
  • Substitution d'opérateur (OS) : Remplacement d'opérateurs par des alternatives sémantiquement distinctes (par exemple, det vs sum(diag)).
  • Hyperparamètre (HP) : Modification de paramètres ayant une sémantique spécifique au domaine (par exemple, niveaux de bruit, taux d'apprentissage).
  • Retournement de trajectoire (TF) : Distorsion des trajectoires numériques ou des ordres d'intégration.
  • Injection structurelle (SI) : Injection de changements structurels affectant la fidélité ou l'ordre.

• Couche 2 (Opérationnelle) : Un jugement d'équivalence ($E_1 \land E_2$) détermine si un mutant est équivalent à l'original.

  • $E_1$ (cohérent avec le pipeline de vérification automatisée, AVP) : Le mutant passe le pipeline de vérification automatisée (AVP) pour toutes les MR.
  • $E_2$ (équivalent en sortie) : Le mutant produit des sorties dans une tolérance $\epsilon_{eq}$ sur $K_{eq}=1000$ échantillons.
  • Un mutant est « tué » s'il échoue au test AVP pour au moins une MR.

• Couche 3 (Appliquée) : Traçabilité empirique comparant les mutants générés par LLM aux mutants syntaxiques (en utilisant l'outil cosmic-ray) au niveau normalisé par AST.

2.2 Conception expérimentale

• Sujets : 12 programmes à tester (PUT) représentant quatre classes de noyaux scientifiques à sortie unique ($float \to float$) : Numérique (A), Probabiliste (B), Surrogate (C) et Apprentissage automatique (D). Chaque PUT fait moins de 2 Ko.
• Conception : Une matrice $12 \text{ PUTs} \times 5 \text{ Opérateurs} \times 5 \text{ Modèles métamorphiques}$, résultant en 60 cellules expérimentales.
• Protocole LLM :
  • v3 (Même source) : Mutants générés par un seul LLM (Claude Opus).
  • v4 (Sources croisées) : Mutants générés par trois LLM (Claude, GPT-5.4, DeepSeek) sous un même prompt pour isoler l'effet de la diversité des sources LLM.
• Attribution (LRCA) : Un classificateur à trois couches (Attribution probable de la cause racine) catégorise les mutants tués en :
  • C1 : Vrai échec sémantique.
  • C2–C5 : Tolérance numérique, hors distribution (OOD), violations statistiques ou artefacts du mutateur.
  • Les métriques incluent $C1\_share$ (proportion de vrais échecs sémantiques) et $suspect\_share$.

2.3 Rétrocompatibilité

L'article démontre que, sous une limite dégénérée ($L$) où les opérateurs deviennent syntaxiques basés sur des règles, l'équivalence devient bit à bit, et les programmes sont impératifs déterministes, le SMS se réduit presque partout au score de mutation classique (Théorème 9.1). Cela assure une cohérence structurelle avec la littérature existante sur le test de mutation.

3. Résultats clés

3.1 Accessibilité sémantique vs outils syntaxiques

• Chevauchement AST : Il n'y a qu'un 5,14 % de chevauchement AST entre les mutants générés par LLM et les mutants syntaxiques par défaut de cosmic-ray sur les 12 PUT.
• Inaccessibilité : Trois classes d'opérateurs — Hyperparamètre (HP), Injection structurelle (SI) et Retournement de trajectoire (TF) — sont 0 % accessibles par les outils syntaxiques d'ordre un par défaut (0/72, 0/33 et 0/54 chevauchements respectivement). Ceux-ci constituent 54,5 % du pool de mutants LLM.
• Conclusion : Les outils syntaxiques par défaut (même avec des compositions d'ordre supérieur, bien que non testées empiriquement) ne peuvent pas générer systématiquement ces défauts spécifiques au domaine.

3.2 Amplitude de l'effet et diversité des sources LLM

• Delta de Cliff ($\delta$) : L'étude compare des tranches « alignées » (l'opérateur correspond au modèle MR) et des tranches « croisées » (inadéquation).
  • v3 (Même source) : $\delta = 0,323$ (IC à 95 % [0,017, 0,622]).
  • v4 (Sources croisées) : $\delta = 0,314$ (IC à 95 % [0,014, 0,622]).
• Hypothèse H2 : Le seuil d'effet important pré-enregistré ($\delta \ge 0,474$) n'a pas été atteint. L'effet observé se situe dans la plage d'effet moyen.
• Diversité des sources : Le passage d'un pool à source unique à un pool à sources croisées sous un même prompt a déplacé $\delta$ de seulement -0,009 (l'IC couvre zéro). Cela indique que l'identité du LLM n'est pas le levier principal de l'amplitude de l'effet aligné-vs-croisé dans cette conception.

3.3 Qualité des mutants et LRCA

• Amélioration de la qualité : Le regroupement à sources croisées a augmenté la moyenne de $C1\_share$ (vrais échecs sémantiques) de 16,4 % à 20,9 % (+27 %).
• Hypothèse H4 : Le seuil pré-enregistré de moyenne $suspect\_share \le 0,20$ (c'est-à-dire $C1\_share \ge 0,80$) n'a pas été atteint. La moyenne observée de $C1\_share$ était de 0,209 (la mieux calibrée), ce qui signifie que 79,1 % des tuages étaient attribués à des causes non sémantiques (tolérance, OOD, etc.).
• Découplage : Un découplage net a été observé entre la faisabilité sémantique ($R_{sem}$) et le taux de tuage ($R_{kill}$). De nombreux mutants étaient syntaxiquement valides et sémantiquement intentionnés ($R_{sem} \approx 1,0$) mais n'ont pas été tués par les MR principales ($R_{kill} = 0$), suggérant que l'adéquation de la conception des MR, et non seulement la génération de mutants, limite le SMS.

3.4 Puissance statistique

• Analyse de puissance : L'étude reconnaît une faible puissance statistique due à la taille de l'échantillon ($N=12$ PUT, 60 cellules). La puissance stipulée pour détecter un effet important ($\delta \ge 0,474$) n'était que de 49,1 %. Les auteurs présentent le verdict « non atteint » comme une affirmation factuelle concernant l'estimation ponctuelle échouant au seuil, et non comme une preuve définitive que l'effet est faible.

4. Signification et revendications

L'article revendique les contributions suivantes :

1. Métrique formelle : Il introduit le SMS, le premier score de mutation sémantique spécifique au domaine pour l'adéquation des MR dans les noyaux de calcul scientifique, avec une réduction rétrocompatible prouvée vers le MS classique.
2. Cadre d'opérateurs : Il définit et implémente cinq opérateurs de mutation sémantique (CE, OS, HP, TF, SI) qui ciblent des défauts inaccessibles par les outils syntaxiques par défaut.
3. Preuve empirique d'inaccessibilité : Il fournit des preuves empiriques que les outils syntaxiques d'ordre un par défaut ne peuvent pas générer de mutants HP, SI et TF, validant le besoin d'opérateurs sémantiques.
4. Résultats sur la diversité des sources LLM : Il démontre que, sous un même prompt, la diversité des sources LLM ne déplace pas de manière appréciable l'amplitude de l'effet (delta de Cliff) de l'adéquation des MR alignées-vs-croisées, bien qu'elle améliore la qualité (part de C1) de l'ensemble des tuages.
5. Cadre méthodologique : Il établit un cadre à trois couches (Définitionnel, Opérationnel, Appliqué) pour évaluer la mutation sémantique, incluant un jugement d'équivalence conservateur ($E_1 \land E_2$) et une couche d'attribution technique (LRCA).

Limites et modestie :
Les auteurs déclarent explicitement que l'étude est une contribution exploratoire sous-dimensionnée. Le verdict « non atteint » pour H2 est attribué à l'estimation ponctuelle échouant au seuil, avec la possibilité qu'un échantillon plus grand (P4) puisse révéler une amplitude d'effet différente. Ils ne prétendent pas que les LLM sont la solution ultime pour la génération de tests, ni que le SMS est prêt pour une certification industrielle normative (par exemple, IEC 60880, DO-178C) en raison des incompatibilités liées aux zones de sécurité (air-gap) et du besoin d'une mise à l'échelle supplémentaire. Le travail est positionné comme une étape fondamentale (P2) dans une feuille de route de cinq articles, les théorèmes formels et le transfert industriel étant réservés à des articles compagnons (P4, P5).