Self-Verifying Measurement Records: Hash-Linked Evidence Graphs for Hardware Benchmarking

Resumo Técnico: Registros de Medição Autoverificáveis para Benchmarking de Hardware

Problema
Os benchmarks de desempenho de hardware são tradicionalmente aceitos com base na confiança. Os números relatados (ex: taxas de FLOP/s) estão desvinculados de sua evidência subjacente: o estado específico do dispositivo, a versão do driver e o formato exato da entrada são frequentemente perdidos no momento em que um resultado é publicado. Além disso, o hardware não é infalível; estudos de frota indicam que uma pequena, mas constante fração de núcleos (aproximadamente um em mil) pode produzir resultados aritméticos incorretos sem levantar erros. Consequentemente, um número de desempenho relatado carece de evidência tanto de sua origem de medição quanto da correção da computação subjacente. O artigo aborda isso como um problema de integridade, visando criar um registro de medição que seja à prova de adulteração e independentemente verificável sem exigir que o leitor confie no produtor.

Metodologia
Os autores propõem um grafo de evidência com encadeamento de hash, um log de transparência para medições de hardware onde cada quantidade relatada é vinculada à sua observação e verificação via hashes de conteúdo. O sistema opera através de vários mecanismos interconectados:

1. Estrutura do Grafo de Evidência: O registro é um grafo acíclico onde os nós representam observações (medições brutas), reduções (funções puras como medianas ou dispersões) e alegações (os números finais relatados). As arestas são hashes de conteúdo (SHA-256). Uma auditoria offline pode verificar todo o grafo recomputando hashes e reduções sem a necessidade do hardware ou acesso à rede originais.
2. Verificação de Quantidades Lineares (Produtos de Matrizes): Para operações lineares como multiplicação de matrizes ($C=AB$), o sistema emprega uma verificação de identidade probabilística (algoritmo de Freivalds). Uma matriz de sondagem aleatória $X$ é usada para computar o resíduo $\|A(BX) - CX\|$.
   • Tolerância Calibrada: Em vez de um limite teórico, a tolerância de aceitação ($\tau$) é derivada da análise de erro de ponto flutuante e calibrada para o "piso de resíduo" (o menor resíduo observado para execuções corretas) específico do dispositivo. Isso distingue entre o arredondamento legítimo de baixa precisão e erros genuínos.
   • Transcrição de Múltiplas Etapas: A verificação é registrada como uma sequência de estágios (adquirir, testemunhar, decidir, reparar). Se um resultado exceder a tolerância, ele é sinalizado, reparado via recomputação de maior precisão e re-testemunhado.
3. Verificação de Quantidades Não Lineares: Para operações que carecem de verificações algébricas baratas (ex: mecanismos de atenção, acumulações atômicas), o sistema utiliza:
   • Guardas Algébricas: Decomposição da atenção em produtos de matrizes (verificados via Freivalds) e uma invariante de softmax (verificação de somas de linhas).
   • Checksums Ponderados: Para acumulações atômicas, um check de soma ponderada detecta falhas consistentes que verificações de divergência de execução seriam incapazes de identificar.
   • Classes de Reprodutibilidade: As quantidades são classificadas como bit-estáveis ($S_0$) ou limitadas por divergência medida ($S_{nd}$).
4. Corroboração Entre Dispositivos: Usando duas placas idênticas, o sistema mede o diferencial $D[q] = q(\text{card}_1) - q(\text{card}_0)$. Kernels determinísticos geram um diferencial zero, fornecendo uma testemunha independente bit a bit. Diferenciais de throughput servem como uma impressão digital por componente.
5. Melhorias de Segurança: Para evitar que um adversário explore uma semente de sondagem comprometida (que poderia ocultar erros no espaço nulo da sondagem), o sistema deriva a semente de sondagem de um desafio Fiat-Shamir baseado na saída alegada. Isso garante que o desafio dependa da saída sendo verificada.

Principais Resultados
Os autores demonstraram a construção em arquiteturas Blackwell (RTX PRO 6000 Max-Q) e Hopper, bem como em configurações de consumo (RTX 5090) e servidor.

• Pisos de Resíduo: O estudo mediu o piso de resíduo de produtos de matrizes através de diversas precisões (FP16, TF32, BF16, FP8) e tamanhos. Estes pisos foram encontrados como invariantes independentes de arquitetura (estáveis entre diferentes dispositivos Blackwell), mas distintos do throughput do dispositivo.
• Capacidades de Detecção:
  • Um único bit invertido em um produto de matriz foi rejeitado com alta probabilidade ($1 - 2^{-k}$).
  • Falhas consistentes em operações não lineares (que passam em verificações de reprodutibilidade) foram capturadas por guardas algébricas.
  • Um produto FP8 que excedeu a tolerância calibrada em FP16 foi sinalizado com sucesso e reparado via acumulação FP32.
• Independência de Dispositivo: As "invariantes transferíveis" (pisos de resíduo e classes numéricas) foram reconstruídas com sucesso em diferentes dispositivos (RTX 5090, RTX PRO 6000 Server) usando sementes comprometidas, alcançando 100% de recuperação dessas alegações específicas. Métricas locais do dispositivo (throughput) não foram recuperáveis, como esperado.
• Teste de Estresse Físico: Sob estresse de saturação térmica e vírus de potência $di/dt$, o piso de resíduo permaneceu invariante, e nenhum erro silencioso natural foi observado em 139.264 verificações. Isso sugere que erros silenciosos são raros (peças defeituosas) ou requerem acesso privilegiado, em vez de serem induzidos por cargas de trabalho padrão de usuários.
• Análise de Segurança: O desafio Fiat-Shamir removeu com sucesso a superfície de ataque onde um adversário ciente da sondagem poderia ocultar 50% de um erro no espaço nulo. Um ataque coordenado através de 4 testemunhas bit-idênticas também foi capturado pelo desafio derivado da saída.

Significância e Alegações
O artigo afirma mudar o benchmarking de hardware de um modelo "baseado em confiança" para um modelo "baseado em evidência". Sua principal significância reside em:

1. Registros à Prova de Adulteração: Fornecer uma estrutura onde um leitor pode verificar a correção e a origem de um número offline, sem confiar no produtor.
2. Confiança Calibrada: Estabelecer que a confiança em um número deve ser proporcional à evidência anexada. O método separa a dependência apropriada da fé equivocada ao calibrar as tolerâncias com a realidade física do silício (o piso de resíduo).
3. Hardware como Testemunha: Tratar o próprio hardware como a testemunha e o signatário da medição, e não apenas como o objeto do teste.
4. Reconstrutibilidade: Demonstrar que mesmo após a aposentadoria de um dispositivo, suas "invariantes transferíveis" (as propriedades matemáticas de sua computação) podem ser rederivadas em um hardware sucessor, preservando a integridade do registro histórico.

Os autores posicionam isso não como um substituto para as raíções de confiança de hardware (que são necessárias se o host que produz o registro for fisicamente subvertido), mas como uma aplicação disciplinada de identidades probabilísticas e endereçamento de conteúdo para tornar as medições de hardware autoverificáveis. O trabalho é apresentado como um arquivo completo e auditável onde o código, as observações e as transcrições de verificação estão vinculados a um único hash raiz, permitindo uma auditoria offline de passagem única.