Resumen Técnico: Una Métrica de Mutación Semántica para la Adecuación de Relaciones Metamórficas en Programas de Computación Científica

1. Planteamiento del Problema

Las Pruebas Metamórficas (PM) abordan el problema del oráculo de pruebas en la computación científica verificando invariantes (Relaciones Metamórficas, o RM) entre entradas relacionadas en lugar de comprobar salidas contra valores correctos conocidos. Sin embargo, la evaluación de la adecuación de un conjunto de RM frente a fallos específicos del dominio ha carecido de una métrica vinculada a la línea genealógica clásica de la Puntuación de Mutación (PM).

La PM clásica se basa en mutaciones sintácticas del Árbol de Sintaxis Abstrata (AST) (por ejemplo, reemplazo de operadores, modificación de constantes). Estas herramientas no logran capturar la semántica del dominio crítica para la computación científica, como las leyes de conservación, la monotonía, los órdenes de convergencia, las formas de las trayectorias y la ordenación de la fidelidad. Además, si bien los Modelos de Lenguaje Grandes (LLM) pueden generar mutantes semánticamente más ricos, trabajos anteriores no han aislado la contribución de la diversidad de fuentes de los LLM del diseño de las propias RM.

2. Metodología

2.1 La Puntuación de Mutación Semántica (PMS)

Los autores proponen la Puntuación de Mutación Semántica (PMS), una métrica diseñada como una generalización estricta de la PM clásica. La PMS se construye sobre un marco de tres capas:

• Capa 1 (Definicional): Un mutante se define como "semántico" si satisface al menos una de las tres condiciones necesarias:

  1. Transfronterizo: Cruza un límite de llamada a función o de importación de módulo.
  2. Dependiente del conocimiento del dominio: Su legalidad depende de conocimientos matemáticos, físicos o estadísticos (no solo de la preservación de tipos).
  3. Cambio de clase algorítmica: Altera la clase algorítmica de la implementación.
     Basándose en esto, se definen cinco clases de meta-operadores:
  • Erosión de la Conservación (EC): Romper leyes de conservación.
  • Sustitución de Operadores (SO): Reemplazar operadores con alternativas semánticamente distintas (por ejemplo, det vs. sum(diag)).
  • Hiperparámetro (HP): Modificar parámetros con semántica específica del dominio (por ejemplo, niveles de ruido, tasas de aprendizaje).
  • Volteo de Trayectoria (VT): Distorsionar trayectorias numéricas u órdenes de integración.
  • Inyección Estructural (IE): Inyectar cambios estructurales que afecten la fidelidad o el orden.

• Capa 2 (Operacional): Un juicio de equivalencia ($E_1 \land E_2$) determina si un mutante es equivalente al original.

  • $E_1$ (Coherente con el PVA): El mutante pasa la Pipeline de Verificación Automatizada (PVA) para todas las RM.
  • $E_2$ (Equivalente en salida): El mutante produce salidas dentro de una tolerancia $\epsilon_{eq}$ en $K_{eq}=1000$ muestras.
  • Un mutante es "matado" si falla la PVA para al menos una RM.

• Capa 3 (Aplicada): Trazabilidad empírica comparando mutantes generados por LLM frente a mutantes sintácticos (usando la herramienta cosmic-ray) a nivel normalizado por AST.

2.2 Diseño Experimental

• Sujetos: 12 Programas Bajo Prueba (PBP) que representan cuatro clases de núcleos científicos de salida única ($float \to float$): Numérico (A), Probabilístico (B), Sustituto (C) y Aprendizaje Automático (D). Cada PBP tiene menos de 2 KB.
• Diseño: Una matriz de $12 \text{ PBP} \times 5 \text{ Operadores} \times 5 \text{ Patrones Metamórficos}$, resultando en 60 celdas experimentales.
• Protocolo LLM:
  • v3 (Misma fuente): Mutantes generados por un único LLM (Claude Opus).
  • v4 (Fuentes cruzadas): Mutantes generados por tres LLM (Claude, GPT-5.4, DeepSeek) bajo un mismo prompt para aislar el efecto de la diversidad de fuentes del LLM.
• Atribución (ARCP): Un clasificador de tres capas (Atribución de Causa Raíz Probable) categoriza los mutantes muertos en:
  • C1: Fallo semántico verdadero.
  • C2–C5: Tolerancia numérica, Fuera de Distribución (OOD), violaciones estadísticas o artefactos del mutador.
  • Las métricas incluyen $C1\_share$ (proporción de fallos semánticos verdaderos) y $suspect\_share$.

2.3 Compatibilidad Retroactiva

El artículo demuestra que bajo un límite degenerado ($L$) donde los operadores se vuelven sintácticos basados en reglas, la equivalencia se vuelve bit a bit y los programas son imperativos deterministas, la PMS se reduce casi en todas partes a la Puntuación de Mutación clásica (Teorema 9.1). Esto asegura la consistencia estructural con la literatura existente sobre pruebas de mutación.

3. Resultados Clave

3.1 Alcanzabilidad Semántica frente a Herramientas Sintácticas

• Superposición de AST: Solo hay una superposición de AST del 5.14% entre los mutantes generados por LLM y los mutantes sintácticos predeterminados de cosmic-ray en los 12 PBP.
• Inalcanzabilidad: Tres clases de operadores—Hiperparámetro (HP), Inyección Estructural (IE) y Volteo de Trayectoria (VT)—son 0% alcanzables por herramientas sintácticas de primer orden predeterminadas (0/72, 0/33 y 0/54 superposiciones, respectivamente). Estos constituyen el 54.5% del conjunto de mutantes LLM.
• Conclusión: Las herramientas sintácticas predeterminadas (incluso con composiciones de orden superior, aunque no se probaron empíricamente) no pueden generar sistemáticamente estos fallos específicos del dominio.

3.2 Magnitud del Efecto y Diversidad de Fuentes LLM

• Delta de Cliff ($\delta$): El estudio compara rebanadas "alineadas" (el operador coincide con el patrón de RM) frente a rebanadas "cruzadas" (desajustadas).
  • v3 (Misma fuente): $\delta = 0.323$ (IC 95% [0.017, 0.622]).
  • v4 (Fuentes cruzadas): $\delta = 0.314$ (IC 95% [0.014, 0.622]).
• Hipótesis H2: El umbral de gran efecto pre-registrado ($\delta \ge 0.474$) no se cumplió. El efecto observado se encuentra en el rango de efecto medio.
• Diversidad de Fuentes: Cambiar de un conjunto de una sola fuente a uno de fuentes cruzadas bajo un mismo prompt desplazó $\delta$ solo en -0.009 (el IC cubre cero). Esto indica que la identidad del LLM no es la palanca principal para la magnitud del efecto alineado vs. cruzado en este diseño.

3.3 Calidad del Mutante y ARCP

• Mejora de Calidad: La agrupación de fuentes cruzadas aumentó la media de $C1\_share$ (fallos semánticos verdaderos) de 16.4% a 20.9% (+27%).
• Hipótesis H4: El umbral pre-registrado de media $suspect\_share \le 0.20$ (es decir, $C1\_share \ge 0.80$) no se cumplió. La media observada de $C1\_share$ fue 0.209 (mejor calibrada), lo que significa que el 79.1% de las muertes se atribuyeron a causas no semánticas (tolerancia, OOD, etc.).
• Desacoplamiento: Se observó un agudo desacoplamiento entre la Viabilidad Semántica ($R_{sem}$) y la Tasa de Muerte ($R_{kill}$). Muchos mutantes eran sintácticamente válidos y semánticamente intencionados ($R_{sem} \approx 1.0$) pero no lograron ser muertos por las RM principales ($R_{kill} = 0$), lo que sugiere que la adecuación del diseño de las RM, y no solo la generación de mutantes, limita la PMS.

3.4 Potencia Estadística

• Análisis de Potencia: El estudio reconoce una baja potencia estadística debido al tamaño de la muestra ($N=12$ PBP, 60 celdas). La potencia estipulada para detectar un efecto grande ($\delta \ge 0.474$) fue solo del 49.1%. Los autores enmarcan el veredicto de "no cumplido" como una declaración factual sobre la estimación puntual que no alcanza el umbral, y no como una prueba definitiva de que el efecto es pequeño.

4. Significado y Afirmaciones

El artículo afirma las siguientes contribuciones:

1. Métrica Formal: Introduce la PMS, la primera puntuación de mutación semántica específica del dominio para la adecuación de RM en núcleos de computación científica, con una reducción compatible retroactiva probada hacia la PM clásica.
2. Marco de Operadores: Define e implementa cinco operadores de mutación semántica (EC, SO, HP, VT, IE) que apuntan a fallos inalcanzables por herramientas sintácticas predeterminadas.
3. Evidencia Empírica de Inalcanzabilidad: Proporciona evidencia empírica de que las herramientas sintácticas de primer orden predeterminadas no pueden generar mutantes HP, IE y VT, validando la necesidad de operadores semánticos.
4. Hallazgos sobre la Diversidad de Fuentes LLM: Demuestra que bajo un mismo prompt, la diversidad de fuentes LLM no desplaza apreciablemente la magnitud del efecto (delta de Cliff) de la adecuación de RM alineada vs. cruzada, aunque sí mejora la calidad (participación C1) del conjunto de muertes.
5. Marco Metodológico: Establece un marco de tres capas (Definicional, Operacional, Aplicada) para evaluar la mutación semántica, incluyendo un juicio de equivalencia conservador ($E_1 \land E_2$) y una capa de atribución de ingeniería (ARCP).

Limitaciones y Modestia:
Los autores declaran explícitamente que el estudio es una contribución exploratoria subpotenciada. El veredicto de "no cumplido" para H2 se atribuye a que la estimación puntual no alcanza el umbral, con la posibilidad de que un tamaño de muestra mayor (P4) pueda revelar una magnitud de efecto diferente. No afirman que los LLM sean la solución definitiva para la generación de pruebas, ni afirman que la PMS esté lista para la certificación industrial normativa (por ejemplo, IEC 60880, DO-178C) debido a incompatibilidades de desconexión de red y la necesidad de mayor escalado. El trabajo se posiciona como un paso fundamental (P2) en una hoja de ruta de cinco artículos, con teoremas formales y transferencia industrial reservados para artículos complementarios (P4, P5).