Metriq: A Collaborative Platform for Benchmarking Quantum Computers

O artigo apresenta o Metriq, uma plataforma colaborativa de código aberto que unifica a definição, execução e análise de benchmarks para permitir a avaliação reprodutível e comparativa de diversos computadores quânticos, culminando na introdução de uma pontuação agregada (Metriq Score) baseada em dados coletados de múltiplos fornecedores de hardware.

O essencial

Imagine que o mundo dos computadores quânticos é como uma cidade em construção, cheia de diferentes tipos de carros (os computadores) sendo fabricados por várias montadoras (IBM, Quantinuum, Rigetti, etc.). Até agora, cada montadora tinha sua própria régua, seu próprio cronômetro e seu próprio juiz para dizer: "Meu carro é o mais rápido e o melhor". O problema? Não havia como comparar o carro da Montadora A com o da Montadora B de forma justa, porque as regras eram diferentes.

É aqui que entra o Metriq.

O Que é o Metriq?

Pense no Metriq como um "Super Test Drive" independente e transparente. Ele é uma plataforma criada por uma comunidade de cientistas e desenvolvedores (e não por uma única empresa) para testar todos esses computadores quânticos usando as mesmas regras, no mesmo dia, com a mesma régua.

O Metriq é composto por três partes principais, que funcionam juntas como um grande ecossistema:

1. O Corredor (metriq-gym): É o "piloto" que dirige o teste. Ele é um software que sabe falar a língua de todas as montadoras. Você diz: "Quero testar o carro X com o circuito Y", e ele se adapta para rodar no computador quântico da IBM, no da Quantinuum ou em qualquer outro, sem que você precise saber os detalhes técnicos de cada um.
2. O Livro de Registros (metriq-data): É a "caixa-preta" digital. Tudo o que o piloto testa é anotado em um livro público e organizado. Ninguém pode apagar ou mudar os resultados depois que eles são escritos. Isso garante que, se alguém quiser verificar, pode olhar os dados originais.
3. O Painel de Controle (metriq-web): É o site onde todo mundo pode ver os resultados. É como um placar de esportes ou um site de comparação de preços de carros. Você pode filtrar por tipo de teste, por fabricante e ver gráficos mostrando quem está melhorando com o tempo.

Como Eles Testam? (Os Jogos Olímpicos Quânticos)

O Metriq não faz apenas um teste. Ele cria uma "Olimpíada" com várias modalidades, desde provas básicas até desafios complexos:

• Provas de Força Básica (Benchmarks de Sistema):

  • BSEQ (Entrelaçamento): Imagine tentar segurar várias mãos ao mesmo tempo em uma roda gigante. Se a roda girar e as mãos se soltarem, o computador falhou. O Metriq testa quantas "mãos" (qubits) o computador consegue manter conectadas com alta qualidade.
  • EPLG (Precisão das Portas): É como testar a precisão de um relógio. O computador precisa executar uma sequência de movimentos (portas lógicas) perfeitamente. O teste mede quantos erros ele comete a cada movimento.
  • CLOPS (Velocidade): É o cronômetro. Quantas voltas o computador consegue dar por segundo? Isso mede a velocidade real de processamento, incluindo o tempo de espera na fila.

• Provas de Aplicação (Benchmarks Inspirados em Tarefas Reais):

  • QML Kernel (Aprendizado de Máquina): O computador tenta resolver um problema de reconhecimento de padrões, como identificar se uma foto é de um gato ou de um cachorro, mas usando física quântica.
  • WIT (Teletransporte de "Buraco de Minhoca"): Soa como ficção científica, e é! O teste tenta simular um pequeno "buraco de minhoca" para ver se o computador consegue manter a informação intacta enquanto a "teletransporta" através de um labirinto complexo. É um teste de resistência para a física quântica.
  • QAOA (Otimização): O computador tenta encontrar a melhor rota para um caminhão de entregas que precisa visitar 50 cidades. É um teste de lógica e eficiência.

A "Nota Metriq" (Metriq Score)

Como resumir tudo isso em uma única nota? O Metriq cria uma Nota Composta, parecida com o índice de desempenho de um celular ou a nota de um atleta em uma competição multi-esportiva.

• Eles dão pesos diferentes para cada prova. Provas mais difíceis (com mais qubits) contam mais.
• Eles comparam tudo com um "carro de referência" (um computador padrão). Se o computador testado for 20% melhor que o padrão, a nota sobe. Se for pior, a nota desce.
• O resultado final é um número que diz: "Este computador é X% melhor que a média atual".

Por Que Isso é Importante?

Antes do Metriq, era como se cada montadora de carro dissesse: "Meu carro faz 300 km/h!", mas ninguém sabia se eles estavam medindo em uma pista de terra ou em uma pista de corrida, ou se estavam usando pneus diferentes.

O Metriq traz:

1. Justiça: Todos usam a mesma régua.
2. Transparência: Os dados são públicos. Ninguém pode esconder um resultado ruim.
3. Evolução: Como o teste é contínuo, podemos ver se um computador está melhorando mês a mês, ou se a montadora está apenas fazendo promessas vazias.
4. Economia: O Metriq foi desenhado para ser barato de rodar, para que universidades e pequenos pesquisadores também possam participar, não apenas as grandes empresas.

Conclusão

O Metriq é a ferramenta que a comunidade científica precisava para sair da fase de "achismos" e entrar na fase de "dados reais". Ele não diz qual é o computador perfeito hoje (porque a tecnologia muda rápido), mas cria um mapa confiável para que todos saibam onde estamos e para onde estamos indo na corrida quântica. É o "Geekbench" ou o "Banco de Dados de Carros" do mundo quântico, aberto a todos e feito para o futuro.

Resumo técnico

Resumo Técnico: Metriq – Uma Plataforma Colaborativa para Benchmarking de Computadores Quânticos

1. O Problema

O cenário atual de benchmarking (avaliação de desempenho) de computadores quânticos é caracterizado por uma fragmentação severa que impede avaliações confiáveis e comparáveis entre plataformas. Os principais desafios identificados são:

• Ferramentas Específicas por Sistema: A maioria das ferramentas de avaliação é mantida pelos próprios provedores de hardware (ex: IBM, Quantinuum), o que cria viés e falta de padronização.
• Metodologias Inconsistentes: A definição, execução e comparação de benchmarks variam drasticamente entre diferentes arquiteturas (supercondutores, íons aprisionados, átomos neutros), dificultando comparações justas.
• Falta de Dados Públicos e Padronizados: A maioria dos resultados aparece como estudos de caso isolados, sem conjuntos de dados públicos, padronizados ou de longo prazo que permitam comparações sistemáticas entre provedores e ao longo do tempo.
• Ausência de Avaliação de Terceiros: A falta de comparações imparciais de terceiros dificulta a avaliação objetiva do progresso real da tecnologia.

2. Metodologia e Arquitetura da Plataforma

O Metriq é introduzido como uma plataforma de código aberto, colaborativa e contínua que integra a definição, execução, coleta de dados e apresentação de resultados em um fluxo de trabalho unificado. A arquitetura é modular e baseada em arquivos, seguindo os princípios FAIR (Findable, Accessible, Interoperable, Reusable).

A plataforma é composta por três componentes principais:

1. Runner (metriq-gym): Um framework em Python que atua como uma interface unificada para definir e executar benchmarks em backends heterogêneos.
   • Utiliza o SDK qBraid para abstração de hardware e transpilação de circuitos.
   • Define protocolos através de esquemas JSON explícitos e validados, garantindo reprodutibilidade e evitando desvios de configuração.
   • Suporta execução assíncrona (envio e polling), permitindo testes em larga escala sem bloquear o usuário.
   • Funciona tanto em hardware em nuvem quanto em simuladores locais.
2. Dataset (metriq-data): Um repositório versionado no GitHub que armazena os resultados estruturados em arquivos JSON.
   • Organizado por provedor, dispositivo, timestamp e tipo de benchmark.
   • Permite análise offline, versionamento e agregação automática de dados de múltiplos provedores.
3. Website (metriq-web): Uma interface web interativa que visualiza os dados do conjunto.
   • Oferece gráficos de séries temporais, tabelas filtráveis e exportação de dados para análise.
   • Serve como um hub central para discussão e exploração de resultados.

3. Contribuições Principais

• Plataforma de Código Aberto: Lançamento de uma infraestrutura completa para benchmarking colaborativo, com ferramentas públicas para execução e curadoria de dados.
• Novos Benchmarks e Adaptações: Implementação de protocolos novos e adaptados para múltiplas plataformas, incluindo:
  • BSEQ (Bell State Effective Qubits): Avalia a capacidade de gerar estados emaranhados de alta qualidade em toda a topologia do dispositivo (baseado na violação da desigualdade CHSH).
  • EPLG (Error Per Layered Gate): Mede a fidelidade de camadas de portas de dois qubits em cadeias conectadas, focando em arquiteturas com conectividade restrita.
  • Circuitos Espelho (Mirror Circuits): Circuitos com inversão determinística para medir a fidelidade acumulada de forma eficiente.
  • CLOPS (Circuit Layer Operations Per Second): Medida de velocidade e throughput do sistema.
  • Benchmarks Inspirados em Aplicações: Incluem Quantum Machine Learning (Kernel), Teletransporte inspirado em Buracos de Minhoca (WIT), LR-QAOA e Transformada de Fourier Quântica (QFT).
• Metriq Score (MS): Introdução de um índice composto que agrega os resultados de diversos benchmarks heterogêneos em um único valor escalar.
  • O cálculo normaliza os resultados em relação a um dispositivo de referência.
  • Utiliza um esquema de ponderação que prioriza circuitos de maior largura (número de qubits) e escalabilidade, refletindo a dificuldade crescente de simulação clássica.
• Estimativa de Custos: Ferramentas integradas para estimar o custo financeiro de execução de benchmarks em diferentes provedores, promovendo acessibilidade.

4. Resultados e Análise

O artigo apresenta uma curadoria inicial de dados coletados de mais de dez computadores quânticos de vários provedores (IBM, Quantinuum, IQM, Rigetti, OriginQ) entre março de 2025 e março de 2026.

• Comparação Cross-Platform: A Tabela I do artigo exibe os resultados normalizados e o Metriq Score para diversos dispositivos. Por exemplo, dispositivos da IBM (como o ibm boston) e da Quantinuum (h2-2) mostram desempenhos distintos dependendo do benchmark, evidenciando que não há um "vencedor" absoluto, mas sim pontos fortes e fracos específicos.
• Correlações e Insights:
  • Existe uma forte correlação entre benchmarks de aplicação (como Mirror Circuits e QML Kernel) e métricas de nível de sistema (como fidelidade de portas de dois qubits).
  • O Metriq Score correlaciona-se fortemente (ρ ≈ 0.98) com a fidelidade de portas de dois qubits reportada pelos provedores, validando a abordagem.
  • A análise revela que a qualidade da compilação (transpilação) e a presença de barreiras no circuito são críticas; sem compilação verbatim (literal), alguns resultados podem ser enganosos (ex: circuitos simétricos sendo otimizados para identidade).
• Limitações Identificadas: O custo de execução em hardware comercial ainda é uma barreira para cobertura exaustiva. Além disso, a falta de padronização nos dados de temporização (timing) entre provedores limita a comparabilidade direta do CLOPS.

5. Significado e Impacto Futuro

O trabalho do Metriq representa um marco na maturidade da avaliação de computadores quânticos:

• Transparência e Reprodutibilidade: Ao tornar os dados, códigos e metodologias públicos, o Metriq permite que a comunidade científica, provedores e órgãos de padronização inspecionem, critiquem e melhorem as métricas de desempenho.
• Avaliação Contínua: Diferente de "instantâneos" únicos, a plataforma permite o rastreamento longitudinal do desempenho dos dispositivos conforme eles são atualizados ou recalibrados.
• Base para o Futuro: A arquitetura é projetada para evoluir. O artigo discute a futura integração de benchmarks para qubits lógicos (computação tolerante a falhas), mitigação de erros quânticos (QEM) e suporte a novas arquiteturas (fotônica, átomos neutros).
• Indústria e Academia: Oferece uma base empírica compartilhada para guiar o desenvolvimento de hardware e algoritmos, ajudando a identificar gargalos físicos e de software que impedem a vantagem quântica prática.

Em suma, o Metriq estabelece um padrão independente e extensível para medir o progresso na computação quântica, movendo o campo de avaliações proprietárias e isoladas para uma era de comparação aberta, sistemática e baseada em dados.