QMutBench: A Dataset of Quantum Circuit Mutants

Título: QMutBench: Um Conjunto de Dados de Mutantes de Circuitos Quânticos

1. Problema Identificado

O teste de software quântico é uma área emergente que enfrenta desafios únicos devido a fenômenos como superposição e emaranhamento. Embora diversas técnicas automatizadas para gerar casos de teste tenham sido desenvolvidas, existe uma lacuna crítica na avaliação da eficácia dessas técnicas: a falta de conjuntos de dados de benchmarks contendo programas defeituosos.

• Limitação Atual: Programas quânticos reais com falhas são escassos.
• Solução Parcial Insuficiente: A análise de mutação (introdução artificial de falhas) é o método padrão para avaliar testes, mas as ferramentas existentes geram um volume massivo de mutantes sem um método automatizado e sistemático para selecionar subconjuntos representativos. Isso torna difícil para pesquisadores e desenvolvedores obter benchmarks específicos para suas necessidades sem processar dados excessivos e complexos.

2. Metodologia

O QMutBench foi construído sobre os resultados de uma avaliação empírica extensa realizada anteriormente pelos autores.

• Geração de Dados: Utilizou-se a ferramenta de mutação quântica Muskit para gerar mutantes a partir de 375 circuitos quânticos originais.
• Operadores de Mutação: Foram aplicados três operadores principais em todas as portas quânticas suportadas e em todas as posições possíveis dos circuitos:
  1. Adicionar (Add): Inserir uma nova porta.
  2. Remover (Remove): Eliminar uma porta existente.
  3. Substituir (Replace): Trocar uma porta existente por outra.
• Métrica de Seleção (Taxa de Sobrevivência): Diferente da pontuação de mutação tradicional (que mede a detecção), o QMutBench utiliza a Taxa de Sobrevivência (porcentagem de mutantes não detectados). Isso permite agrupar mutantes por dificuldade de detecção.
• Processamento e Formatação:
  • Os circuitos originais e mutantes foram agrupados por características (algoritmo, número de qubits, operador, porta afetada, posição).
  • Todos os arquivos foram convertidos para QASM (Quantum Assembly Language), o padrão de facto para circuitos quânticos, garantindo compatibilidade com diversas plataformas (ex: IBM Qiskit, Cirq, etc.).
  • Desenvolveu-se uma interface online que permite filtrar e selecionar subconjuntos de mutantes com base em critérios específicos, evitando o download do conjunto de dados completo.

3. Principais Contribuições

O artigo apresenta o QMutBench, que consiste em:

• Um Dataset Massivo: Contém mais de 723.000 mutantes de circuitos quânticos derivados de 375 circuitos originais.
• Interface de Seleção Interativa: Uma ferramenta web que permite aos usuários filtrar mutantes com base em:
  • Algoritmo quântico original (ex: Grover, Amplitude Estimation).
  • Faixa de qubits (de 2 a 30).
  • Taxa de Sobrevivência desejada (para selecionar mutantes fáceis, difíceis ou equivalentes).
  • Características da mutação (tipo de porta, operador de mutação, posição no circuito).
• Formato Padronizado: Entrega dos dados em arquivos .qasm organizados em um arquivo .zip, estruturado por algoritmo e configurações de qubits, facilitando a integração com ferramentas de teste existentes.
• Acesso Público: Disponibilização do código, dados e interface online para a comunidade científica.

4. Resultados e Estatísticas

• Distribuição de Dados: A análise da distribuição das taxas de sobrevivência revela que o conjunto de dados contém predominantemente mutantes em faixas extremas:
  • 0-10% de sobrevivência: Mutantes muito fáceis de detectar.
  • 90-100% de sobrevivência: Mutantes muito difíceis de detectar ou equivalentes (que não alteram o comportamento do programa).
  • Existe também uma representação significativa de mutantes em faixas intermediárias, permitindo testes de graduação de dificuldade.
• Usabilidade: A interface permite que pesquisadores obtenham benchmarks sob medida sem a necessidade de processamento manual de centenas de milhares de arquivos, resolvendo o problema de usabilidade do dataset bruto da avaliação empírica anterior.

5. Significado e Impacto

O QMutBench é fundamental para o avanço do teste de software quântico por várias razões:

1. Avaliação de Técnicas de Teste: Permite que desenvolvedores avaliem a qualidade de seus casos de teste gerados automaticamente medindo a capacidade de detecção de falhas em um benchmark padronizado.
2. Desenvolvimento de Novas Técnicas: Facilita a criação de novas técnicas de teste guiadas por mutação, permitindo focar em tipos específicos de falhas (ex: erros em portas específicas ou posições no circuito).
3. Depuração e Reparo: Serve como base para avaliar a eficácia de técnicas de depuração quântica na localização e correção de falhas.
4. Reprodutibilidade e Comparação: Ao fornecer um conjunto de dados público e acessível, permite a comparação justa e reprodutível entre diferentes abordagens de teste na comunidade científica.
5. Futuro: O projeto é projetado para ser extensível, com planos futuros para integrar sistemas de recomendação baseados em IA e permitir que usuários adicionem seus próprios circuitos e mutantes ao repositório.

Em resumo, o QMutBench preenche uma lacuna crítica na infraestrutura de testes de software quântico, transformando um conjunto de dados complexo e difícil de usar em um recurso acessível, padronizado e altamente filtrável para a comunidade de pesquisa e desenvolvimento.