TAO: Tolerance-Aware Optimistic Verification for Floating-Point Neural Networks

O TAO é um protocolo de verificação otimista e tolerante a erros para redes neurais em ponto flutuante que, ao combinar limites teóricos e perfis empíricos para aceitar saídas dentro de faixas aceitáveis e resolver disputas por meio de um jogo de contestação ancorado em Merkle, permite a verificação escalável e sem necessidade de hardware confiável em ambientes de ML heterogêneos.

O essencial

Imagine que você está pedindo uma pizza muito complexa e cara para um restaurante que fica em outro país. Você não pode ver a cozinha, não sabe qual chef está cozinhando, e nem se eles estão usando os ingredientes frescos que você pagou ou se estão usando uma versão barata e congelada.

No mundo da Inteligência Artificial (IA), isso é o que acontece quando usamos serviços de nuvem. Você envia uma pergunta, e a IA responde. Mas como você sabe se a IA realmente usou o "cérebro" (modelo) que você pediu, ou se o provedor trocou por um cérebro mais simples e barato para economizar dinheiro?

O problema é que os computadores que fazem esse trabalho (chamados de GPUs) são um pouco "bagunçados". Se você pedir a mesma conta matemática para dois computadores diferentes, ou até para o mesmo computador duas vezes, o resultado pode ter uma diferença minúscula, como uma vírgula a mais ou a menos. Isso acontece porque a matemática dos computadores não é perfeita como a dos humanos.

Aqui entra o TAO, a nova solução apresentada neste artigo. Pense no TAO como um sistema de "Verificação Tolerante".

A Analogia do "Cheque de Precisão"

Imagine que você e o restaurante combinam uma regra: "O sabor da pizza deve ser perfeito, mas aceitamos uma diferença de até 1 grama no peso dos ingredientes, porque balanças diferentes podem variar um pouquinho."

1. A Tolerância Inteligente: O TAO não exige que o resultado seja exatamente igual ao esperado em cada dígito (o que seria impossível devido à bagunça dos computadores). Em vez disso, ele define uma "zona de segurança" para cada etapa da receita. Se a resposta cair dentro dessa zona, está tudo bem. Se sair dela, algo está errado.

2. O Jogo de Detetive (Sem Precisão Absoluta): Se você suspeita que o restaurante trapaceou, você não precisa refazer a pizza inteira do zero (o que seria caro e demorado). O TAO usa um jogo de "dividir e conquistar":

   • Você e o restaurante dividem a receita em pedaços menores.
   • Vocês verificam apenas o pedaço onde a diferença apareceu.
   • Continuam dividindo esse pedaço até chegar a um único ingrediente (um único passo matemático).
   • Nesse ponto final, um pequeno grupo de juízes (ou um cálculo rápido) decide se aquele ingrediente estava dentro da "zona de segurança" combinada.

3. Dois Tipos de Regras:

   • Regra Teórica (O Pior Cenário): "Nunca pode errar mais do que X". É uma regra segura, mas muito conservadora (como dizer que a pizza pode pesar até 1kg a mais, o que é absurdo).
   • Regra Empírica (A Realidade): O TAO aprendeu, testando em milhares de computadores, qual é a variação real e normal. Essa regra é muito mais apertada e justa. É como dizer: "Sabemos que a balança varia 1 grama, então aceitamos até 2 gramas, mas nada mais".

Por que isso é revolucionário?

• Sem "Cofres de Confiança": Antigamente, para confiar, você precisava de um hardware especial e caro (como um cofre blindado) que garantia que ninguém trapaceava. O TAO não precisa disso. Ele confia na matemática e na economia.
• Velocidade: Como não precisa refazer tudo nem usar criptografia pesada, o TAO é quase tão rápido quanto o serviço original. É como se o restaurante entregasse a pizza no mesmo tempo, mas com um selo de garantia que você pode verificar.
• Economia: Se o restaurante tentar trapacear (usar ingredientes ruins), o jogo de detetive vai descobrir o erro em um único ingrediente. O restaurante perde o dinheiro da aposta (o depósito) e você é recompensado.

Em resumo

O TAO é como um garantidor de qualidade para a Inteligência Artificial. Ele aceita que os computadores não são perfeitos e que podem ter pequenas variações, mas cria regras claras e inteligentes para garantir que ninguém esteja roubando você trocando o modelo por um pior.

Ele permite que você use qualquer computador no mundo para rodar sua IA, sem precisar confiar cegamente no dono do computador, mantendo tudo rápido, barato e seguro. É a garantia de que você está recebendo exatamente o que pagou, mesmo que a cozinha seja um pouco bagunçada.

Resumo técnico

1. O Problema

O artigo aborda o desafio crítico de verificar a execução de redes neurais (NNs) em ambientes de computação heterogêneos e descentralizados (como GPUs na nuvem, mercados de inferência e aceleradores especializados), onde o usuário não tem controle sobre o hardware subjacente.

Os principais pontos de dor identificados são:

• Falta de Transparência e Recurso: Usuários de "ML-as-a-Service" não podem verificar se o modelo executado foi o prometido, se os dados de entrada foram processados corretamente ou se houve degradação silenciosa do serviço (ex: troca de modelo, quantização não declarada, early exit).
• Não Determinismo Inerente: A execução de ponto flutuante (IEEE-754) em aceleradores modernos é inerentemente não determinística. Fatores como reordenação de reduções, fusão de operadores, agendamento de threads e atomicidade geram pequenas variações nas saídas, mesmo com o mesmo hardware e entrada.
• Limitações das Soluções Existentes:
  • zkML (Zero-Knowledge Machine Learning): Ainda é impraticável para modelos grandes em ponto flutuante devido ao alto custo computacional e necessidade de converter operações para aritmética de campo finito.
  • Reprodução Determinística: Exige bibliotecas e kernels personalizados que ignoram otimizações de hardware nativas, sacrificando desempenho.
  • Ambientes de Execução Confiáveis (TEEs): Transferem a confiança para um único fornecedor de hardware e introduzem riscos de canais laterais e degradação de desempenho.
  • Replicação: O custo de executar o mesmo modelo múltiplas vezes para votação majoritária é proibitivo para modelos grandes.

2. Metodologia: TAO (Tolerance-Aware Optimistic)

O TAO propõe um protocolo de verificação otimista que aceita resultados dentro de regiões de aceitação baseadas em tolerância, em vez de exigir igualdade bit-a-bit. A abordagem combina dois modelos de erro complementares e um jogo de disputa interativo.

A. Dois Modelos de Erro Complementares

1. Limites Teóricos IEEE-754 (Sound Bounds):
   • Calcula limites de erro de arredondamento no pior caso para cada operador individualmente.
   • É "são" (sound) por construção, garantindo que qualquer erro dentro deste limite seja matematicamente justificável pela aritmética de ponto flutuante.
   • É conservador (muito amplo) para redes profundas, mas serve como uma verificação rápida e barata no nível de folha (leaf).
2. Limites Empíricos de Percentil (Tight Thresholds):
   • Calibrado offline executando o modelo em múltiplos dispositivos (GPUs) para capturar a distribuição real de desvios entre hardware.
   • Gera perfis de erro específicos para cada operador e modelo, que são muito mais apertados (100x a 1000x mais apertados) do que os limites teóricos.
   • Usado para guiar a disputa e para votação majoritária de um comitê no final.

B. Protocolo de Disputa Interativa (Dispute Game)

O sistema opera em um modelo otimista onde um proponente (provedor de computação) executa o modelo e publica um compromisso (commitment). Se não houver desafio, o resultado é finalizado. Se houver disputa:

1. Localização de Discrepância: Um jogo interativo baseado em Árvore de Merkle divide o grafo de computação recursivamente.
2. Seleção Guiada por Limiar: O desafiante (challenger) reexecuta subgrafos e usa os limites empíricos de percentil para identificar o primeiro subgrafo onde a discrepância excede o limite aceitável.
3. Redução a um Operador Único: Após $O(\log N)$ rodadas, a disputa é isolada em um único operador (folha da árvore).
4. Adjudicação Final:
   • Se o erro estiver dentro do limite teórico, é aceito.
   • Se estiver dentro do limite teórico, mas o desafiante suspeitar de má-fé, um comitê (pequeno grupo de verificadores) reexecuta o operador e vota contra os limites empíricos calibrados.

C. Implementação

• Runtime: Instrumentação do PyTorch para calcular limites teóricos em tempo real e registrar traços intermediários.
• Coordenador: Contratos inteligentes na Ethereum (testnet Holesky) gerenciam compromissos, janelas de desafio, garantias (bonds) e penalidades.
• Overhead: O sistema roda kernels de fornecedor não modificados em FP32, com sobrecarga de latência insignificante (~0,3%).

3. Principais Contribuições

1. Semântica de Verificação Econômica: Formaliza a "correção tolerante" para programas de tensores, permitindo verificação sem exigir determinismo bit-a-bit.
2. Análise de Erro e Ataques: Desenvolve modelos de erro duais (teórico e empírico) e realiza um estudo abrangente de ataques adversariais adaptativos, mostrando que perturbações admissíveis por operador não se acumulam para causar erros de tarefa.
3. Resolução de Disputas Eficiente: Um protocolo de disputa ancorado em Merkle que localiza erros em um único operador, permitindo adjudicação de baixo custo via verificação de limites ou votação de comitê.
4. Sistema End-to-End: Implementação funcional de um runtime compatível com PyTorch e contratos inteligentes, demonstrando viabilidade em modelos reais (LLMs, Transformers, CNNs).

4. Resultados e Avaliação

Os autores avaliaram o TAO em quatro modelos representativos (ResNet-152, BERT-large, Qwen3-8B, Stable Diffusion) e quatro GPUs (A100, H100, RTX 6000, RTX 4090).

• Precisão dos Limites: Os limites empíricos são 102 a 103 vezes mais apertados do que os limites teóricos de pior caso para modelos Transformer.
• Segurança contra Ataques:
  • Sob ataques adversariais projetados para explorar as margens de erro, os limites empíricos resultaram em 0% de taxa de sucesso do ataque (ASR) em todos os modelos, mesmo com limites relaxados em 3x.
  • Limites puramente teóricos deixaram uma pequena janela de vulnerabilidade (até 2,4% de ASR no Qwen3-8B), justificando o uso do comitê para adjudicação final.
  • Não foram observados falsos positivos (disputas contra execuções honestas).
• Desempenho e Custo:
  • Sobrecarga de latência de execução otimista: 0,3% (no Qwen3-8B).
  • Custo de disputa na blockchain: ~2 milhões de gas por disputa completa.
  • O custo computacional para o desafiante chegar à folha é comparável a uma única passagem para frente do modelo (fator de 0,39x a 1,24x).

5. Significado e Impacto

O TAO representa um avanço significativo na viabilidade de ML verificável em escala de produção.

• Equilíbrio entre Escalabilidade e Verificabilidade: Ao aceitar a não determinística inerente ao hardware moderno e tratá-la com limites de erro fundamentados, o TAO elimina a necessidade de kernels determinísticos ou hardware confiável (TEE), permitindo o uso de qualquer GPU do mercado.
• Viabilidade Econômica: Ao contrário do zkML (que ainda é lento e caro para LLMs) ou da replicação (custo linear), o TAO oferece verificação com custo logarítmico e latência nativa.
• Aplicabilidade Real: O sistema é projetado para o cenário de "modelos abertos" (weights públicos), mas pode ser adaptado para APIs fechadas através de compromissos de subgrafos.
• Confiança Descentralizada: Permite que usuários executem modelos em qualquer provedor de nuvem com a garantia de que o resultado está dentro das especificações matemáticas do modelo, sem depender da confiança cega no provedor de serviço.

Em resumo, o TAO reconcilia a necessidade de alta performance e heterogeneidade de hardware com a exigência de transparência e responsabilidade em sistemas de aprendizado de máquina descentralizados.