Resumo Técnico: VeriLLM

Definição do Problema

A inferência descentralizada oferece um paradigma escalável para o serviço de Grandes Modelos de Linguagem (LLMs) ao utilizar recursos globais fragmentados, reduzindo assim a dependência de provedores centralizados. No entanto, em ambientes sem permissão que carecem de nós confiáveis, garantir a correção dos outputs do modelo permanece um desafio crítico. Os provedores são economicamente incentivados a praticar o "free-riding" (aproveitamento parasitário) ao pular a computação, usar modelos quantizados ou aplicar otimizações ocultas que degradam a fidelidade do output.

As abordagens de verificação existentes enfrentam trade-offs inerentes:

• Replicação Exata: Incorrendo em custos computacionais proibitivos e sofrendo do "Dilema do Verificador", onde verificadores racionais pulam a computação.
• Provas de Conhecimento Zero (ZK): Embora atestem formalmente a correção, elas incorrem em overheads várias ordens de magnitude superiores à inferência nativa, tornando-as impraticáveis para modelos de escala transformer.
• Abordagens Baseadas em Consenso: Sofrem com problemas de escalabilidade, não-determinismo de ponto flutuante entre hardwares heterogêneos e a necessidade de conjuntos impaticamente grandes de nós honestos para manter a segurança.

O desafio central é alcançar a corretude publicamente verificável com overhead mínimo, robustez contra o não-determinismo de ponto flutuante e resistência a participantes preguiçosos ou coludidos sem depender de uma maioria confiável em cada comitê local.

Metodologia

O VeriLLM aborda esses desafios através de um protocolo leve e publicamente verificável que aproveita a assimetria estrutural da execução de Transformers e um framework de incentivo game-teórico.

1. Assimetria Estrutural e Verificação Paralela

O VeriLLM explora a separação entre as fases de Prefill e Autoregressive Decode da inferência de LLM.

• Inferência: Requer decodificação sequencial, que é limitada por largura de banda de memória e serial.
• Verificação: Como o verificador possui a sequência completa de entrada-saída, ele pode contornar o loop de decodificação sequencial. Em vez disso, ele concatena o prompt e os tokens de saída gerados e processa toda a sequência como uma operação única de Prefill totalmente paralelizável.
• Resultado: Isso desloca a carga de trabalho para uma operação paralela limitada por computação, saturando os Tensor Cores da GPU. Empiricamente, isso reduz o overhead de verificação para aproximadamente 1% do custo total da inferência.

2. Arquitetura de Inferência-Verificação Isomórfica

Para evitar que os nós otimizem especificamente para a verificação ou para a inferência, o VeriLLM emprega uma arquitetura de rede isomórfica:

• Indistinguibilidade de Tarefa: Inferenciadores e Verificadores recebem formatos de mensagem e chamadas de API idênticos. Um nó não consegue distinguir se está realizando inferência ao vivo ou uma sonda de verificação.
• Papéis Multiplexados: Os mesmos trabalhadores de GPU realizam ambos os papéis, melhorando a utilização e ampliando o conjunto efetivo de validadores.
• Atribuição Dinâmica de Papéis: Uma Função de Verificação Aleatória (VRF) seleciona os nós para os papéis e índices de amostragem, garantindo imprevisibilidade e prevenindo ataques direcionados.

3. Protocolo Commit-Then-Sample (Compromisso e Amostragem)

Para resolver o Dilema do Verificador e prevenir a verificação preguiçosa, o VeriLLM implementa um mecanismo de verificação de duas camadas:

• Compromisso (Commitment): Verificadores comprometem-se com seus estados ocultos calculados (via raízes de Merkle) antes de revelá-los.
• Amostragem (Sampling): Um contrato inteligente usa uma VRF para gerar índices de desafio aleatórios. Os verificadores devem abrir estados ocultos específicos amostrados e fornecer provas de inclusão.
• Adjudicação: O contrato compara os estados amostrados contra os estados comprometidos do Inferenciador usando um algoritmo de comparação tolerante a ruído, calibrado para o não-determinismo de ponto flutuante. Desvios disparam o slashing (punição econômica); o alinhamento gera recompensas.
• Resolução de Disputas: Se um comitê local for suspeito de estar capturado (falha de maioria local), um único round de re-verificação com um novo conjunto maior de verificadores é acionado. A análise game-teórica mostra que este escalonamento único é suficiente para ancorar as decisões na maioria honesta global, tornando o voto honesto o único Equilíbrio de Nash.

4. Primitivas Criptográficas

• VRFs: Garantem a seleção de nós e a amostragem imparciais.
• Provas de Merkle: Ancoram dados off-chain para verificação on-chain sucinta.
• Esquemas de Commit-Reveal: Previnem front-running e modificação ex-post facto de resultados.

Principais Contribuições

1. Custo de Verificação Mínimo: Ao explorar a separação estrutural das fases de Prefill e Decoder, o VeriLLM reduz o overhead de verificação para ~1% do custo de inferência total.
2. Requisito de Maioria Honesta Global: O protocolo garante a segurança baseada em uma premissa relaxada de maioria honesta global, em vez de exigir uma maioria honesta em cada comitê local, aumentando a robustez.
3. Verificação Pública e Resistente à Colusão: Um mecanismo de duas camadas baseado em blockchain garante a computação honesta enquanto mantém as operações on-chain leves. Ele contorna o Dilema do Verificador através de um framework de consistência de pares.
4. Design de Rede Isomórfica: A multiplexação de papéis de inferência e verificação entre trabalhadores de GPU idênticos evita o comportamento adversário específico de tarefa e melhora o throughput.
5. Design Resistente a Ruído: O protocolo inclui um algoritmo de comparação calibrado que distingue entre erros benignos de ponto flutuante e desvios maliciosos.
6. Avaliação Abrangente: O artigo fornece análise de segurança teórica e resultados empíricos demonstrando escalabilidade, baixo overhead e altas taxas de detecção para vários vetores de ataque.

Resultados Experimentais

Os autores implementaram o VeriLLM e o avaliaram utilizando um modelo de 7 bilhões de parâmetros (Qwen2.5-7B-Instruct) em dispositivos heterogêneos (ex: NVIDIA RTX 5090 e Apple M4).

• Latência e Overhead: Para um output de 128 tokens, a latência total foi de 1,37 segundos. O overhead de verificação average foi de 0,78% do tempo total de inferência.
• Capacidade de Detecção: O sistema detectou com sucesso quantização, terminação precoce, outputs forjados e verificação preguiçosa com probabilidades superiores a 99,8%.
• Latência de Detecção: Ataques foram detectados e finalizados dentro de 1,2 a 2,8 segundos.
• Tolerância a Ponto Flutuante: Experimentos confirmaram que desvios nos estados ocultos causados por quantização são estatisticamente significativos e distinguíveis do ruído benigno de hardware, permitindo uma verificação precisa sem falsos positivos.
• Custo On-Chain: A verificação custa aproximadamente $0,004 por verificação no Ethereum L2, com custos de gas dominados por provas de Merkle e verificação de VRF.

Significância

O artigo afirma que o VeriLLM fornece uma base prática para a inferência de LLM descentralizada, confiável e escalável. Ao desacoplar a verificação da replicação total e incorporar transparência nas trilhas de inferência, ele permite:

• Verificabilidade Pública: Qualquer participante pode auditar a corretude da inferência sem depender de terceiros confiáveis.
• Viabilidade Econômica: O overhead desprezível (1%) torna a inferência descentralizada economicamente viável em comparação com alternativas centralizadas ou provas criptográficas pesadas.
• Robustez: O sistema permanece seguro mesmo na presença de não-determinismo de ponto flutuante e adversários racionais tentando minimizar os custos de computação.

O trabalho demonstra que a inferência descentralizada de alta garantia é alcançável sem os custos proibitivos associados ao Machine Learning de Conhecimento Zero (ZKML) ou as limitações de escalabilidade dos mecanismos de consenso tradicionais.