Claim against Measurement: Statistical Artefacts in Quantum Error Mitigation Benchmarks

Resumo Técnico: "Reivindicação contra Medição: Artefatos Estatísticos em Benchmarks de Mitigação de Erros Quânticos"

Declaração do Problema
A Mitigação de Erros Quânticos (QEM) é posicionada como uma ponte crítica entre dispositivos Quânticos de Escala Intermediária Ruidosa (NISQ) e futuros Computadores Quânticos Tolerantes a Falhas (FTQC). No entanto, a avaliação empírica das técnicas de QEM frequentemente carece de fundamentos estatísticos rigorosos. A literatura atual depende frequentemente de relatórios descritivos em vez de estatística inferencial, potencialmente levando a conclusões que não são estatisticamente suportadas. Além disso, os benchmarks de QEM frequentemente falham em contabilizar duas fontes cumulativas de artefatos: a sensibilidade dos resultados a parâmetros implicitamente assumidos (por exemplo, fatores de escala, métodos de extrapolação) e a deriva temporal da calibração do hardware. Essas omissões arriscam confundir efeitos genuínos de mitigação com ruído estatístico ou artefatos experimentais, superestimando assim a robustez e a eficácia dos métodos de QEM.

Metodologia
Os autores empregam uma abordagem de métodos mistos, combinando uma revisão sistemática da literatura com dois estudos de caso empíricos:

1. Revisão Sistemática: Os autores analisaram 81 artigos recentes sobre QEM (2022–2026) utilizando um quadro de oito critérios. Os critérios avaliaram a justificação do tamanho da amostra, o relato de variância, evidências estatísticas inferenciais, controle de deriva, quantificação de sobrecarga, validação do modelo de ruído, reprodutibilidade e relato de resultados negativos.
2. Replicação do Espaço de Parâmetros (Estudo de Caso 1): Utilizando a técnica de Extrapolação de Ruído Zero (ZNE) com extrapolação de Richardson como caso representativo, os autores replicaram um estudo de Khan et al. (2024). Eles formalizaram o "espaço de parâmetros de reprodução" ($P$) em categorias: Hardware/Backend ($H$), Circuito ($C$), Tiros e Repetições ($Q$), Dobramento ($F$), Extrapolação ($E$) e Fatores de Escala ($S$). Eles varreram sistematicamente 132 configurações, variando parâmetros não especificados (por exemplo, fatores de escala $\{1, 3, 5\}$ vs. $\{1, 1.5, \dots, 3\}$, métodos de extrapolação e instantâneos de calibração) enquanto mantinham outros constantes. A significância estatística foi avaliada usando testes t pareados e tamanhos de efeito (Cohen's $d$ e Cliff's $\delta$).
3. Estudo Longitudinal de Deriva (Estudo de Caso 2): Para isolar o impacto da deriva temporal, os autores conduziram um experimento longitudinal de 72 horas no sistema de 54 qubits IQM Euro-Q-Exa. Eles executaram a mesma configuração ZNE em intervalos de 30 minutos ao longo de três sessões (dois dias de 12 horas e um fim de semana de 48 horas). Eles analisaram a autocorrelação dos valores esperados brutos e a variação nos tamanhos de efeito da ZNE ($d$) ao longo do tempo.

Principais Contribuições

• Resultados da Revisão Sistemática: A revisão revela uma lacuna significativa no rigor estatístico. Das 59 artigos onde evidência estatística era aplicável, apenas 15 (25%) utilizaram métodos inferenciais (por exemplo, teste de hipóteses). A maioria (42%) relatou incerteza de forma descritiva sem testar a significância estatística, e 32% não forneceram nenhuma evidência estatística. O controle de deriva foi abordado em apenas 30% dos artigos.
• Identificação de Parâmetros Ativos: O estudo de replicação demonstra que parâmetros frequentemente deixados não especificados na literatura (fatores de escala, métodos de extrapolação, instantâneos de calibração) são "ativos", o que significa que sua variação pode alterar fundamentalmente as conclusões experimentais. Na varredura de 132 configurações, variações deslocaram os resultados de "melhoria estatisticamente significativa" para "degradação estatisticamente significativa" em configurações específicas.
• Ilusão de Eficácia Induzida por Deriva: O estudo longitudinal mostra que a deriva temporal do hardware sozinha pode fazer com que a eficácia aparente da ZNE varie por um fator superior a 3,4 (por exemplo, Cohen's $d$ variando de 3,3 a 11,3) dentro de uma janela de 48 horas no mesmo dispositivo.
• Redução do Tamanho Efetivo da Amostra: O estudo quantifica como a deriva temporal viola a suposição de independência dos testes estatísticos padrão. A autocorrelação nos dados reduz o número efetivo de observações independentes ($n_{eff}$) de um nominal de 30 repetições para tão pouco quanto 1,8, enfraquecendo drasticamente a base evidencial de reivindicações derivadas de medições repetidas.

Resultados

• Sensibilidade a Parâmetros: Na replicação de Khan et al., a escolha dos fatores de escala e do método de extrapolação impactou significativamente os resultados. Por exemplo, em um modelo de ruído despolarizante, a ZNE mostrou melhoria significativa em 29/33 configurações, mas em instantâneos de hardware real (IBM Osaka), a melhoria foi menos consistente. Crucialmente, no processador IBM Marrakesh com baixas taxas de erro, a ZNE foi encontrada como contraproducente para circuitos rasos (TC1), aumentando o erro devido à amplificação da variância superando a correção.
• Variabilidade Temporal: O estudo longitudinal confirmou que a deriva do hardware é não estacionária e exibe padrões diferentes entre sessões (por exemplo, mudanças abruptas, declínios graduais, deslocamentos noturnos). A variação na eficácia da ZNE causada pela deriva (3,4x) excedeu a variação observada ao alterar todo o modelo de ruído (2,7x).
• Poder Estatístico: O estudo destaca que baixas contagens de tiros e poucas repetições arriscam falsos negativos para efeitos genuínos e uma incapacidade de confirmar a ausência de melhoria. Por outro lado, altas contagens de tiros podem inflar os tamanhos de efeito ($d$) sem refletir robustez genuína se o hardware subjacente for instável.

Significância e Reivindicações
Os autores não afirmam que os métodos de QEM são intrinsecamente insustentáveis. Em vez disso, argumentam que as práticas atuais de avaliação fazem o desempenho de mitigação parecer mais robusto do que a evidência justifica. O artigo afirma que:

1. Validade da Avaliação: Sem controlar a sensibilidade a parâmetros e a deriva temporal, os benchmarks de QEM não podem distinguir confiavelmente efeitos genuínos de mitigação de artefatos estatísticos ou experimentais.
2. Crise de Reprodutibilidade: O "risco de reprodutibilidade" é alto porque os parâmetros documentados frequentemente representam apenas um pequeno subconjunto do espaço de parâmetros completo, e o instantâneo de calibração específico no momento da execução é uma variável crítica, frequentemente não relatada.
3. Padrões Propostos: Para abordar essas questões, os autores propõem padrões mínimos de relato para avaliações de QEM, incluindo:
   • Documentação explícita de todos os parâmetros ativos (incluindo instantâneos de calibração).
   • Teste estatístico inferencial obrigatório com relato de tamanho de efeito.
   • Verificações de robustez em uma grade de configurações.
   • Avaliação de deriva longitudinal ou randomização da ordem de execução para desconfundir a deriva dos efeitos dos parâmetros.

O artigo conclui que essas melhorias metodológicas são necessárias para garantir a solidez científica e a credibilidade prática da pesquisa em QEM à medida que o campo avança para demonstrar utilidade quântica.