Resumo Técnico: Um Protocolo de Medição Validado para Avaliação de Testes de Software Comparável e Consciente de Custos

Declaração do Problema

Avaliações empíricas de testes de software em domínios emergentes, particularmente em software quântico, sofrem com uma falta de comparabilidade. Resultados publicados sobre a eficácia de estratégias de geração de testes, oráculos e modelos de falhas são frequentemente incompatíveis entre si porque dependem de programas, modelos de falha, orçamentos de execução e procedimentos estatísticos díspares. Esse acúmulo de alegações individualmente credíveis, mas incomparáveis, dificulta a capacidade da área de determinar quais técnicas são verdadeiramente eficazes. Além disso, há uma falta de garantias estatísticas validadas quanto ao orçamento de amostragem necessário para que oráculos de teste probabilísticos produzam vereditos confiáveis, e a validade de construto do teste de mutação sintética (especificamente, se mutantes semeados predizem a detecção de falhas reais de desenvolvedores) permanece uma hipótese não testada em domínios com oráculos probabilísticos.

Metodologia

Os autores abordam essas questões projetando, validando e executando um protocolo de medição fixo e reprodutível chamado Q-EVAL, instanciado dentro de um conjunto de benchmarks chamado QSQ-Bench. O estudo é uma simulação controlada usando 15 programas quânticos totalmente instrumentados (variando de 2 a 9 qubits) executados em um simulador padrão (Qiskit Aer).

As inovações metodológicas centrais incluem:

1. Protocolo Fixo: O protocolo fixa o corpus de programas, um conjunto canônico de cinco operadores de mutação (Substituição de Porta, Deleção, Inserção, Reconfiguração de Qubits e Perturbação de Parâmetros), uma família de oráculos específica (padronizando para um oráculo de distância $L_1$ estatística), um orçamento de amostragem e procedimentos estatísticos (tamanhos de efeito de Vargha-Delaney $\hat{A}_{12}$, testes de Mann-Whitney).
2. Garantia de Orçamento de Amostragem do Oráculo: Os autores derivam e validam um limite teórico para o número de disparos (shots) ($N$) necessários para um oráculo estatístico distinguir um programa correto de um defeituoso com um diferencial distributivo ($d$) e nível de confiança ($\alpha$). O limite é dado por $N = O((K + \log(1/\alpha))/d^2)$, onde $K$ é o número de resultados possíveis.
3. Estudo de Validade de Construto: Para testar a validade da mutação, os autores executam 52 pares reais de erro/correção do repositório Bugs4Q através do mesmo suporte de medição usado para mutantes sintéticos. Eles classificam os resultados de detecção e analisam as falhas (misses) para determinar se são invisíveis a oráculos baseados em saída por definição.
4. Validação Cross-Domain: Para testar a generalidade do protocolo, o código central não modificado (especificamente, o limite de orçamento de amostragem e as funções do oráculo) foi reexecutado em um sistema estocástico clássico, não quântico: um sistema de divisão de tráfego ponderado (sistema de feature-flag bucketing).

Principais Contribuições

O artigo apresenta seis contribuições primárias, ordenadas por importância para a pesquisa de qualidade de software:

1. Um Protocolo de Medição Fixo (QSQ-Bench/Q-EVAL): Um framework que torna a comparabilidade uma propriedade do instrumento, e não da ferramenta, apresentando um conjunto canônico de operadores de mutação e relatório estrutural obrigatório (largura do circuito, tamanho, profundidade).
2. Garantia Estatística Validada: Um limite numericamente validado para o orçamento de amostragem necessário para um oráculo estatístico controlar as taxas de falso-positivo e de falha (miss rate), condicionado a um conjunto de validação que deve ser aprovado antes que os resultados experimentais sejam relatados.
3. Validade de Construto Medida: Uma medição direta de quão bem os mutantes sintéticos predizem a detecção de erros reais, executada em pares de erros reais em vez de apenas assumida.
4. Estudo Empírico Cross-Strategy: Uma comparação direta de quatro estratégias de geração de testes (Aleatória, Cobertura de Entrada, Combinatória, Baseada em Busca) através de 15 programas e 726 mutantes, incluindo tamanhos de efeito e testes de significância.
5. Validação Fora de Domínio: Uma demonstração executada de que a maquinaria do protocolo e os achados qualitativos se replicam em um sistema estocástico clássico sem modificação de código.
6. Pacote de Reprodutibilidade: Um artefato completo contendo a biblioteca, o conjunto de validação, os executores de experimentos e os arquivos de resultados brutos, garantindo que todas as figuras e tabelas relatadas sejam regeneradas diretamente a partir dos dados.

Principais Resultados

• Orçamento de Amostragem: O limite teórico do orçamento de amostragem mantém-se na prática. O risco medido nunca excedeu o limite teórico. No entanto, sob ruído de execução (modelo depolarizante), a estatística $L_1$ converge para um piso de ruído imposto pelo dispositivo (0.028–0.051), necessitando que os limiares de detecção excedam esse piso para evitar falsos positivos.
• Dominância de Oráculo: Nenhum tipo de família de oráculo (Erro de Saída, Probabilidade de Saída ou $L_1$ Estatística) domina a grade completa de programas e orçamentos. O oráculo Estatístico $L_1$ é o único com um orçamento de amostragem provável e ajustável, mas sofre taxas mais altas de falsos positivos em orçamentos baixos comparado ao oráculo de Erro de Saída.
• Geração de Testes: A seleção baseada em busca (SB) supera significativamente outras estratégias apenas sob orçamentos apertados (ex: execução de um único teste). À medida que o orçamento aumenta (6+ testes), todas as estratégias convergem para taxas de detecção próximas ao teto.
• Análise de Mutação: 12,3% dos mutantes gerados eram provadamente equivalentes. Mutantes de Perturbação de Parâmetro (PP) foram os mais difíceis de eliminar (taxa de eliminação de 62%) em comparação com outros operadores (89–100%), principalmente porque pequenos desvios de ângulo frequentemente produzem lacunas de falha abaixo do limiar de detecção.
• Validade de Falhas Reais: Dos 52 pares de erros reais, 21 eram executáveis sob a camada de compatibilidade. O protocolo detectou 81% dessas falhas reais executáveis. Crucialmente, todas as 4 falhas não detectadas pertenciam a classes provadamente invisíveis a qualquer oráculo baseado em distribuição de saída (ex: erros de fase global, falhas de visualização apenas, ou ordenação de interface que não afetava a distribuição de saída).
• Escalabilidade: Os custos de amostragem são impulsionados pela dispersão da distribuição de saída, não meramente pelo tamanho do programa. Para distribuições concentradas (como estados GHZ), o número de disparos necessários para atingir um limiar permaneceu constante (64–128 disparos) mesmo com o aumento do número de qubits, enquanto os limites teóricos de pior caso cresceram exponencialmente.
• Replicação Clássica: A validação de feature-flag clássica replicou todos os achados principais: o limite manteve-se, nenhum oráculo dominou, mutantes equivalentes eram prevalentes (37,5%) e falhas de pequena magnitude foram as mais difíceis de eliminar.

Significância e Alegações

O artigo afirma que a comparabilidade, a consciência de custos e a validade de construto podem ser entregues como propriedades de um protocolo de medição fixo. A significância reside em mover o campo do acúmulo de alegações incomparáveis para o estabelecimento de um instrumento reprodutível.

Os autores explicitamente rotulam suas alegações pelo status de evidência:

• Provado: A fórmula do limite de orçamento de amostragem e o fato de o conjunto de validação passar.
• Medido: As taxas específicas de detecção, a taxa de detecção de falhas reais de 81%, a taxa de mutantes equivalentes de 12,3% e os valores do piso de ruído.
• Hipótese: Que as constantes quantitativas (ex: taxas de detecção específicas) serão transferíveis para corpora maiores, hardware real ou outros domínios clássicos como componentes de aprendizado de máquina.
• Trabalhos Futuros: Integração de binários de ferramentas upstream, escalonamento para corpora de programas maiores e validação em hardware quântico real.

O artigo conclui que, embora os resultados quantitativos específicos estejam atrelados ao corpus de 15 programas, a metodologia — fixar o protocolo para permitir a comparação, validar o orçamento do oráculo e auditar falhas sintéticas contra bugs reais — é a principal contribuição transferível. O estudo demonstra que os escores de mutação sintética podem superestimar a capacidade de detecção de falhas reais em cerca de 20% neste domínio, especificamente porque falhas reais podem existir fora da distribuição de saída observável.