Benchmarking Quantum Computers: Towards a Standard Performance Evaluation Approach

Este artigo revisa os métodos de benchmarking clássicos e os desafios específicos da computação quântica para propor diretrizes gerais que visam estabelecer uma padronização na avaliação de desempenho de processadores quânticos, inspirada na organização SPEC.

O essencial

Imagine que você acabou de comprar um carro novo. Antes de sair dirigindo, você quer saber: "Este carro é rápido? Ele gasta muita gasolina? Ele é seguro?". Para responder a isso, os fabricantes de carros fazem testes padronizados, como o "consumo em cidade" ou "aceleração de 0 a 100 km/h". Se cada fabricante inventasse seu próprio teste (um diz que o carro é rápido porque ele sobe uma ladeira, outro diz que é econômico porque roda em uma pista de terra), ninguém saberia quem realmente tem o melhor carro.

O problema dos computadores quânticos hoje é exatamente esse.

Este artigo é como um manual de instruções para criar uma "pista de testes" justa para os computadores quânticos. Vamos explicar o que os autores propõem usando analogias simples:

1. O Cenário Atual: Uma Selva de "Marketing"

Hoje, existem muitos tipos de computadores quânticos (alguns usam íons presos, outros circuitos supercondutores, etc.). É como se cada fabricante estivesse vendendo um carro com um motor diferente.

• O Problema: Alguns fabricantes dizem "nosso computador é o melhor" porque ele tem mais qubits (peças do motor). Outros dizem "o nosso é melhor" porque ele comete menos erros.
• O Risco: Sem uma regra comum, eles podem trapacear. É como se um fabricante ajustasse o carro apenas para passar no teste de aceleração, mas ele quebrasse na primeira curva. Isso é chamado de "Lei de Goodhart": quando uma medida vira um alvo, ela deixa de ser uma boa medida.

2. O Que Aprendemos com os Computadores "Normais" (Clássicos)

Os autores olharam para como avaliamos os computadores de hoje (os que usamos em casa). Lá, já aprendemos lições valiosas:

• Não existe um número mágico: Você não pode dizer que um computador é "melhor" apenas olhando para um número. É preciso olhar para velocidade, precisão, consumo de energia e confiabilidade.
• Regras do Jogo: Para ser justo, todo mundo deve usar o mesmo combustível e a mesma pista. Se um fabricante usa um aditivo especial no teste, o resultado é falso.
• Banco de Testes (Suite): Em vez de um único teste, usamos um pacote de testes (como o SPEC para computadores clássicos) que testa o carro em várias situações: estrada, cidade, subida, etc.

3. Por que os Computadores Quânticos são Diferentes?

Aqui está a parte complicada. Um computador quântico não é apenas um computador "mais rápido". Ele funciona com leis da física quântica (como superposição e emaranhamento).

• A Analogia do Copo de Água: Imagine que um computador clássico é um copo de água que você pode medir com uma régua. Um computador quântico é como tentar medir a água enquanto ela está congelando, derretendo e evaporando ao mesmo tempo.
• O Desafio: Eles são muito sensíveis ao "ruído" (temperatura, vibração). Um computador quântico hoje é como um carro de corrida que precisa ser recalibrado toda hora porque o motor está instável.
• A Dificuldade: Como medir a velocidade de um carro que muda de cor e tamanho a cada segundo? Medir o resultado de um computador quântico muitas vezes exige repetir o teste milhares de vezes para ter certeza, o que demora muito.

4. A Solução Proposta: O "SPEQC"

Os autores propõem a criação de uma organização chamada SPEQC (Semelhante à SPEC dos computadores clássicos).

• O que eles farão: Seriam como os juízes olímpicos. Eles não vão inventar o computador, mas vão criar as regras do teste.
• As Regras de Ouro (Diretrizes):
  1. Relevância: O teste deve medir algo útil. Não adianta testar se o computador sabe fazer contas de somar se o objetivo dele é prever o clima.
  2. Reprodutibilidade: Se você rodar o teste hoje e amanhã, o resultado deve ser o mesmo (dentro de uma margem de erro aceitável).
  3. Justiça: O teste não pode favorecer um tipo de tecnologia (ex: íons) em detrimento de outro (ex: supercondutores).
  4. Verificabilidade: Alguém tem que poder conferir se o resultado é real.
  5. Usabilidade: O teste não pode ser tão caro ou difícil que ninguém consiga fazê-lo.

5. O Mapa do Tesouro (Roadmap)

O artigo sugere que não podemos usar a mesma régua para todas as eras.

• Era Atual (NISQ): Estamos na fase de "protótipos barulhentos". Os testes devem focar em ajudar os engenheiros a consertar os defeitos, não apenas em dar uma nota final.
• Futuro (Tolerante a Falhas): Quando os computadores forem perfeitos, os testes mudarão para focar em aplicações reais (como descobrir novos remédios ou quebrar códigos).

Resumo Final

Este artigo é um chamado para a comunidade científica e empresas pararem de brigar com números falsos e começarem a construir uma pista de testes comum.

Em vez de cada fabricante gritar "Meu computador é o maior!", eles devem dizer: "Meu computador correu a 100km/h na pista X, com o combustível Y, e aqui está o relatório detalhado".

Isso permitirá que os cientistas, empresas e governos saibam realmente qual tecnologia está evoluindo de verdade, evitando que o dinheiro e o esforço sejam desperdiçados em "truques de mágica" e focando no desenvolvimento de computadores quânticos que realmente funcionem no futuro.

Resumo técnico

Resumo Técnico: Benchmarking de Computadores Quânticos

1. O Problema

O desenvolvimento acelerado de processadores quânticos em diversas plataformas (íons presos, circuitos supercondutores, fótons, etc.) criou uma necessidade urgente de comparar o desempenho desses dispositivos de forma justa e padronizada. O campo enfrenta desafios semelhantes aos que a computação clássica enfrentou em seus primórdios:

• Falta de Padronização: A ausência de regras unificadas permite que fabricantes otimizem seus sistemas especificamente para testes de benchmark, distorcendo os resultados (fenômeno conhecido como "benchmarketing").
• Risco da Lei de Goodhart: Sem uma abordagem rigorosa, a pressão para obter bons resultados em métricas específicas pode desviar o foco do desenvolvimento de processadores verdadeiramente escaláveis e confiáveis.
• Heterogeneidade e Complexidade: Diferentemente da computação clássica, onde a arquitetura é relativamente unificada, os computadores quânticos possuem paradigmas diversos (NISQ, correção de erros parcial, tolerância a falhas), tecnologias físicas distintas e ruídos intrínsecos que impedem a transferência direta de métricas clássicas.
• Terminologia Ambígua: Termos como "validação", "verificação", "teste" e "benchmark" são usados de forma inconsistente na literatura, dificultando a comparação de propostas.

2. Metodologia

Os autores adotaram uma abordagem baseada em três pilares principais:

1. Análise Histórica da Computação Clássica: Revisaram extensivamente a evolução do benchmarking clássico (incluindo o trabalho da SPEC e TPC), identificando lições aprendidas, armadilhas comuns (como o "jogo de razões" e a agregação de dados) e as propriedades essenciais de um bom teste.
2. Adaptação às Propriedades Quânticas: Analisaram as características intrínsecas da computação quântica (superposição, emaranhamento, medição projetiva, ruído, decoerência e o modelo Input-Process-Output) para determinar por que métricas clássicas falham e quais novos critérios são necessários.
3. Revisão Crítica da Literatura: Avaliaram as principais métricas e benchmarks propostos atualmente (como Quantum Volume, Q-Score, CLOPS, XEB, etc.) contra um conjunto de atributos de qualidade definidos, categorizando-os em técnicas, métricas estáticas/não-estáticas e benchmarks de aplicação.

3. Principais Contribuições

A. Definição de Terminologia Unificada
O artigo propõe definições precisas para conceitos fundamentais, alinhando-os com a computação clássica, mas adaptados à realidade quântica:

• Benchmark Quântico: Um teste ou conjunto de testes para medir desempenho/eficiência.
• Métrica de Desempenho: Um valor derivado que caracteriza uma propriedade (ex: fidelidade, tempo de execução).
• Verificação vs. Teste: Distinção entre certificar que o dispositivo produz resultados corretos (verificação) e confirmar que o comportamento do programa corresponde aos requisitos (teste).
• Família de Benchmarks: Estrutura para definir famílias de circuitos ou programas.

B. Atributos de Qualidade para Métricas e Benchmarks
Baseado na experiência clássica, os autores estabelecem cinco atributos essenciais para um benchmark e cinco para uma métrica:

• Para Benchmarks: Relevância (correlação com casos de uso reais), Reprodutibilidade, Justiça (Fairness), Verificabilidade e Usabilidade.
• Para Métricas: Praticidade (computável em tempo viável), Repetibilidade, Confiabilidade, Linearidade e Consistência.
• Resultado: A maioria das métricas atuais falha em pelo menos um desses atributos (ex: Quantum Volume não é prático para muitos qubits; Fidelidade de Portas não é consistente entre arquiteturas diferentes).

C. Análise do Estado Atual (Era NISQ)
O artigo destaca que estamos na era NISQ (Noisy Intermediate-Scale Quantum), onde a correção de erros completa ainda não é viável. Isso implica que:

• Benchmarks devem focar em componentes individuais e mitigação de erros, não apenas em aplicações finais.
• A heterogeneidade das plataformas impede o uso de limiares numéricos rígidos (ex: um tempo de porta de 100ns em uma plataforma pode ser ótimo, enquanto em outra é lento).
• É necessário um conjunto diversificado de benchmarks (suítes) para cobrir diferentes aspectos do espaço de comportamento (escalabilidade, qualidade, velocidade).

D. Diretrizes Práticas e Estrutura de Benchmarking
Os autores propõem um roteiro prático para desenvolvedores e usuários, incluindo:

1. Adaptação por Era: Benchmarks para NISQ devem ser diferentes dos de computadores quânticos tolerantes a falhas (FTQC).
2. Resultados Base e Pico: Relatar tanto o desempenho com configurações padrão (Base) quanto com otimizações avançadas (Pico), permitindo comparações justas e incentivo à inovação.
3. Não depender de uma única métrica: A performance não pode ser reduzida a um único número; é necessária uma suíte de testes complementares.
4. Estrutura de Relatórios: Um modelo passo a passo que inclui verificação do dispositivo, definição de métricas, configuração de transpilação (flags de base e pico), execução e relatório detalhado.

E. Proposta de SPEQC
A contribuição mais visionária é a proposta de criação de uma organização sem fins lucrativos chamada SPEQC (Standard Performance Evaluation for Quantum Computers), análoga à SPEC (Standard Performance Evaluation Corporation) da computação clássica.

• Objetivo: Estabelecer critérios padronizados, desenvolver suítes de testes e garantir a imparcialidade e reprodutibilidade.
• Governança: Envolver todas as partes interessadas (academia, indústria, governos) para evitar viés de fabricantes e garantir que os benchmarks reflitam o progresso real da tecnologia.

4. Resultados e Análise

A aplicação das diretrizes aos benchmarks existentes revelou limitações significativas:

• Quantum Volume (QV): É uma métrica de qualidade, mas não é prática para grandes números de qubits (requer simulação clássica exponencial) e não é linear.
• CLOPS: Mede velocidade, mas é inconsistente entre plataformas com diferentes conjuntos de portas nativas e pode ser manipulado via eletrônica clássica.
• Q-Score e AQ: São orientados a aplicação, mas têm limitações de escalabilidade e confiabilidade para problemas genéricos.
• Conclusão da Análise: Nenhuma métrica atual satisfaz todos os atributos de qualidade idealmente. A solução não é uma métrica "mágica", mas sim uma suíte de benchmarks que cubra diferentes dimensões (escalabilidade, qualidade, velocidade) e seja adaptada à maturidade tecnológica do dispositivo.

5. Significado e Impacto

Este trabalho é fundamental para a maturidade da computação quântica por:

• Evitar o "Benchmarketing": Estabelece barreiras contra a otimização artificial de testes, forçando a indústria a melhorar a qualidade real dos processadores.
• Guiar o Desenvolvimento: Ao focar em atributos como escalabilidade e correção de erros, as diretrizes ajudam a direcionar o investimento e a pesquisa para onde é realmente necessário.
• Facilitar a Comparação: Oferece uma linguagem comum e uma estrutura de relatórios (exemplificada na Figura 5 do artigo) que permite a usuários e investidores comparar dispositivos de diferentes fabricantes de forma objetiva.
• Preparação para o Futuro: A estrutura proposta é flexível o suficiente para evoluir da era NISQ para a era de Computadores Quânticos Tolerantes a Falhas (FTQC), evitando a obsolescência prematura dos padrões.

Em suma, o artigo fornece a base teórica e prática necessária para transitar de uma fase de "prova de conceito" para uma fase de engenharia de sistemas robustos e comparáveis na computação quântica, propondo a SPEQC como o órgão regulador necessário para essa transição.