Resumo Técnico: Uma Métrica de Mutação Semântica para Adequação de Relações Metamórficas em Programas de Computação Científica

1. Declaração do Problema

O Teste Metamórfico (TM) aborda o problema do oráculo de teste em computação científica, verificando invariantes (Relações Metamórficas, ou RMs) entre entradas relacionadas, em vez de verificar saídas contra valores corretos conhecidos. No entanto, avaliar a adequação de um conjunto de RMs em relação a falhas específicas do domínio careceu de uma métrica vinculada à linhagem clássica da Pontuação de Mutação (PM).

A PM clássica baseia-se em mutações sintáticas de Árvore de Sintaxe Abstrata (AST) (por exemplo, substituição de operadores, modificação de constantes). Essas ferramentas falham em capturar semânticas de domínio críticas para a computação científica, como leis de conservação, monotonicidade, ordens de convergência, formas de trajetória e ordenação de fidelidade. Além disso, embora Modelos de Linguagem Grandes (LLMs) possam gerar mutantes semanticamente mais ricos, trabalhos anteriores não isolaram a contribuição da diversidade de fontes do LLM do design das próprias RMs.

2. Metodologia

2.1 A Pontuação de Mutação Semântica (PMS)

Os autores propõem a Pontuação de Mutação Semântica (PMS), uma métrica projetada como uma generalização estrita da PM clássica. A PMS é construída sobre uma estrutura de três camadas:

• Camada 1 (Definicional): Um mutante é definido como "semântico" se satisfizer pelo menos uma de três condições necessárias:

  1. Transversal a limites: Ele cruza uma fronteira de chamada de função ou importação de módulo.
  2. Dependente de conhecimento de domínio: Sua legalidade depende de conhecimento matemático, físico ou estatístico (não apenas preservação de tipo).
  3. Mudança de classe algorítmica: Ele altera a classe algorítmica da implementação.
     Com base nisso, cinco classes de meta-operadores são definidas:
  • Erosão de Conservação (EC): Quebrar leis de conservação.
  • Substituição de Operador (SO): Substituir operadores por alternativas semanticamente distintas (por exemplo, det vs. sum(diag)).
  • Hiperparâmetro (HP): Modificar parâmetros com semânticas de domínio específicas (por exemplo, níveis de ruído, taxas de aprendizado).
  • Inversão de Trajetória (IT): Distorcer trajetórias numéricas ou ordens de integração.
  • Injeção Estrutural (IE): Injetar mudanças estruturais que afetam a fidelidade ou a ordem.

• Camada 2 (Operacional): Um julgamento de equivalência ($E_1 \land E_2$) determina se um mutante é equivalente ao original.

  • $E_1$ (Coerente com AVP): O mutante passa no Pipeline de Verificação Automatizada (AVP) para todas as RMs.
  • $E_2$ (Equivalente de saída): O mutante produz saídas dentro de uma tolerância $\epsilon_{eq}$ em $K_{eq}=1000$ amostras.
  • Um mutante é "morto" se falhar no AVP para pelo menos uma RM.

• Camada 3 (Aplicada): Rastreabilidade empírica comparando mutantes gerados por LLMs contra mutantes sintáticos (usando a ferramenta cosmic-ray) no nível normalizado por AST.

2.2 Desenho Experimental

• Sujeitos: 12 Programas Sob Teste (PUTs) representando quatro classes de kernels científicos de saída única ($float \to float$): Numérico (A), Probabilístico (B), Surrogado (C) e Aprendizado de Máquina (D). Cada PUT tem menos de 2 KB.
• Desenho: Uma matriz $12 \text{ PUTs} \times 5 \text{ Operadores} \times 5 \text{ Padrões Metamórficos}$, resultando em 60 células experimentais.
• Protocolo LLM:
  • v3 (Mesma fonte): Mutantes gerados por um único LLM (Claude Opus).
  • v4 (Fontes cruzadas): Mutantes gerados por três LLMs (Claude, GPT-5.4, DeepSeek) sob um prompt idêntico para isolar o efeito da diversidade de fontes do LLM.
• Atribuição (LRCA): Um classificador de três camadas (Atribuição Provável da Causa Raiz) categoriza mutantes mortos em:
  • C1: Falha semântica verdadeira.
  • C2–C5: Tolerância numérica, Fora de Distribuição (OOD), violações estatísticas ou artefatos do mutador.
  • Métricas incluem $C1\_share$ (proporção de falhas semânticas verdadeiras) e $suspect\_share$.

2.3 Compatibilidade Reversa

O artigo prova que, sob um limite degenerado ($L$) onde operadores se tornam sintáticos baseados em regras, a equivalência torna-se bit a bit e os programas são imperativos determinísticos, a PMS reduz-se quase em toda parte à Pontuação de Mutação clássica (Teorema 9.1). Isso garante consistência estrutural com a literatura existente de teste de mutação.

3. Resultados Principais

3.1 Alcançabilidade Semântica vs. Ferramentas Sintáticas

• Sobreposição de AST: Há apenas uma 5,14% de sobreposição de AST entre mutantes gerados por LLMs e mutantes sintáticos padrão do cosmic-ray nos 12 PUTs.
• Inalcançabilidade: Três classes de operadores — Hiperparâmetro (HP), Injeção Estrutural (IE) e Inversão de Trajetória (IT) — são 0% alcançáveis por ferramentas sintáticas de primeira ordem padrão (0/72, 0/33 e 0/54 sobreposições, respectivamente). Estas constituem 54,5% do pool de mutantes do LLM.
• Conclusão: Ferramentas sintáticas padrão (mesmo com composições de ordem superior, embora não testadas empiricamente) não podem gerar sistematicamente essas falhas específicas do domínio.

3.2 Tamanho do Efeito e Diversidade de Fontes do LLM

• Delta de Cliff ($\delta$): O estudo compara fatias "alinhadas" (operador corresponde ao padrão RM) vs. fatias "cruzadas" (incompatíveis).
  • v3 (Mesma fonte): $\delta = 0,323$ (IC 95% [0,017, 0,622]).
  • v4 (Fontes cruzadas): $\delta = 0,314$ (IC 95% [0,014, 0,622]).
• Hipótese H2: O limiar de grande efeito pré-registrado ($\delta \ge 0,474$) não foi atingido. O efeito observado situa-se na faixa de efeito médio.
• Diversidade de Fontes: A mudança de um pool de fonte única para um pool de fontes cruzadas sob um prompt idêntico deslocou $\delta$ em apenas -0,009 (o IC cobre zero). Isso indica que a identidade do LLM não é a alavanca primária para o tamanho do efeito alinhado-vs-cruzado neste desenho.

3.3 Qualidade do Mutante e LRCA

• Melhoria de Qualidade: O agrupamento de fontes cruzadas aumentou a média $C1\_share$ (falhas semânticas verdadeiras) de 16,4% para 20,9% (+27%).
• Hipótese H4: O limiar pré-registrado de média $suspect\_share \le 0,20$ (ou seja, $C1\_share \ge 0,80$) não foi atingido. A média observada de $C1\_share$ foi 0,209 (melhor calibrada), significando que 79,1% das mortes foram atribuídas a causas não semânticas (tolerância, OOD, etc.).
• Desacoplamento: Um desacoplamento acentuado foi observado entre Viabilidade Semântica ($R_{sem}$) e Taxa de Morte ($R_{kill}$). Muitos mutantes eram sintaticamente válidos e semanticamente intencionados ($R_{sem} \approx 1,0$), mas falharam em serem mortos pelas RMs primárias ($R_{kill} = 0$), sugerindo que a adequação do design da RM, e não apenas a geração de mutantes, limita a PMS.

3.4 Poder Estatístico

• Análise de Poder: O estudo reconhece baixo poder estatístico devido ao tamanho da amostra ($N=12$ PUTs, 60 células). O poder estipulado para detectar um grande efeito ($\delta \ge 0,474$) foi de apenas 49,1%. Os autores enquadram o veredito "não atingido" como uma afirmação factual sobre a estimativa pontual falhar no limiar, e não como uma prova definitiva de que o efeito é pequeno.

4. Significado e Alegações

O artigo alega as seguintes contribuições:

1. Métrica Formal: Introduz a PMS, a primeira pontuação de mutação semântica específica de domínio para adequação de RM em kernels de computação científica, com uma redução comprovada de compatibilidade reversa para a PM clássica.
2. Estrutura de Operadores: Define e implementa cinco operadores de mutação semântica (EC, SO, HP, IT, IE) que visam falhas inalcançáveis por ferramentas sintáticas padrão.
3. Evidência Empírica de Inalcançabilidade: Fornece evidência empírica de que ferramentas sintáticas de primeira ordem padrão não podem gerar mutantes HP, IE e IT, validando a necessidade de operadores semânticos.
4. Descobertas sobre Diversidade de Fontes do LLM: Demonstra que, sob um prompt idêntico, a diversidade de fontes do LLM não altera apreciavelmente o tamanho do efeito (delta de Cliff) da adequação de RM alinhada-vs-cruzada, embora melhore a qualidade (partilha C1) do conjunto de mortes.
5. Estrutura Metodológica: Estabelece uma estrutura de três camadas (Definicional, Operacional, Aplicada) para avaliar mutação semântica, incluindo um julgamento conservador de equivalência ($E_1 \land E_2$) e uma camada de atribuição de engenharia (LRCA).

Limitações e Modéstia:
Os autores afirmam explicitamente que o estudo é uma contribuição exploratória subpoderada. O veredito "não atingido" para H2 é atribuído à estimativa pontual falhar no limiar, com a possibilidade de que um tamanho de amostra maior (P4) possa revelar um tamanho de efeito diferente. Eles não afirmam que LLMs são a solução definitiva para geração de testes, nem afirmam que a PMS está pronta para certificação industrial normativa (por exemplo, IEC 60880, DO-178C) devido a incompatibilidades de ar-condicionado e à necessidade de maior escalabilidade. O trabalho é posicionado como um passo fundamental (P2) em um roteiro de cinco artigos, com teoremas formais e transferência industrial reservados para artigos companheiros (P4, P5).