TensorCommitments: A Lightweight Verifiable Inference for Language Models

1. O Problema: A Falta de Verificabilidade em Inferência de LLMs

À medida que os Grandes Modelos de Linguagem (LLMs) migram de chatbots para agentes autônomos e tomadores de decisão em setores críticos (saúde, finanças, direito), a confiança na execução remota torna-se um gargalo.

• Cenário Atual: Usuários enviam prompts para servidores externos (nuvem), pagam pela inferência e devem confiar cegamente de que o GPU remoto executou o modelo corretamente, sem adulteração maliciosa, falhas de hardware ou configurações errôneas.
• Riscos: Uma inferência corrompida pode levar a decisões catastróficas (ex: um assistente médico resumindo o registro errado de um paciente ou um agente financeiro operando com sinais falsos).
• Limitações das Soluções Existentes:
  • Criptografia (ZK-Proofs): Embora ofereçam garantias matemáticas, são computacionalmente proibitivas para LLMs de escala bilionária, exigindo minutos de tempo de prova por consulta.
  • Métodos Não-Criptográficos (Aprendizado de Máquina): Requerem verificação por um GPU potente (reexecutando o modelo) ou re-treinamento, violando a privacidade e sendo estatisticamente fracos contra ataques direcionados.
  • Trabalhos Recentes (ex: TOPLOC): Focam apenas nas últimas camadas ou ativam vetores unidimensionais, perdendo a estrutura tensorial natural e sendo vulneráveis a manipulações "lentas" (slow-burn) que preservam a assinatura final.

Objetivo Central: Desenvolver um mecanismo prático que permita a clientes leves (sem GPUs potentes) verificar se uma inferência complexa de LLM foi executada corretamente, sem reexecutar o modelo e sem expor seus estados internos.

---

2. Metodologia: TensorCommitments (TCs) e Terkle Trees

A proposta central é o TensorCommitments (TCs), um esquema de compromisso (commitment) nativo de tensores, combinado com uma estrutura de árvore chamada Terkle Trees.

A. TensorCommitments (TCs)

Diferente dos compromissos vetoriais tradicionais que achatam dados em vetores unidimensionais (usando polinômios univariados), os TCs tratam os tensores de ativação do LLM em sua forma multidimensional natural.

• Interpolação Multivariada: Os tensores de ativação são tratados como amostras de um polinômio multivariado $f_T(X_1, \dots, X_m)$.
• Vantagem de Escala: A interpolação multivariada é exponencialmente mais rápida que a univariada para o mesmo número de pontos à medida que a dimensão aumenta. Isso reduz drasticamente o custo de geração de provas.
• Compromisso: O provedor calcula um compromisso $C_T$ (um único elemento de grupo) que "trava" o tensor inteiro.
• Abertura (Prova): Para verificar um ponto específico, o provedor gera provas de abertura iterativas (divisão de polinômios) que permitem ao verificador confirmar que o valor aberto corresponde ao compromisso original, sem revelar o tensor completo.

B. Terkle Trees (TTs)

Para lidar com conversas longas e múltiplas inferências, os TCs são organizados em uma Árvore Terkle.

• Estrutura: Uma árvore de alta aridade onde cada nó interno compromete um bloco de tensores (não apenas hashes, como em Merkle Trees, nem vetores 1D, como em Verkle Trees).
• Eficiência: Preserva a estrutura tensorial, permitindo consultas localizadas (ex: verificar apenas um bloco de camadas ou uma região espacial) com um único compromisso raiz global.
• Privacidade: O verificador não precisa ver os estados ocultos, apenas as provas de abertura para as camadas selecionadas.

C. Algoritmo de Seleção de Camadas

Verificar todas as camadas de um modelo de 70B é caro. O sistema utiliza um algoritmo de seleção baseado em espectro de cauda pesada (heavy-tailed spectral scores).

• Mecanismo: Analisa a sensibilidade das camadas a ruídos. Camadas com espectros de autovalores de cauda mais pesada são mais críticas para a saída final.
• Otimização: Um problema de programação linear inteira (resolvido via Programação Dinâmica) seleciona um subconjunto contíguo de camadas para verificação, maximizando a cobertura de ataques dentro de um orçamento limitado de verificação.

---

3. Principais Contribuições

1. Esquema de Compromisso Multivariado: Desenho de um esquema de compromisso nativo para tensores, otimizado para inferência de LLMs e sequências longas, superando a ineficiência dos métodos vetoriais unidimensionais.
2. Terkle Trees: Introdução de uma estrutura de autenticação que organiza compromissos de tensores em uma árvore, permitindo rastrear estados ocultos evolutivos com um único compromisso raiz e provas compactas.
3. Seleção Inteligente de Camadas: Desenvolvimento de um algoritmo que identifica e verifica as camadas mais críticas para a robustez do modelo, reduzindo o overhead sem sacrificar a segurança contra ataques direcionados.
4. Implementação e Open Source: Estudo sistemático em vários LLMs (incluindo LLaMA2) e ataques personalizados, com código aberto pronto para integração em pipelines de inferência.

---

4. Resultados Experimentais

Os autores avaliaram o TensorCommitments (TC) contra métodos criptográficos (zkLLM) e não criptográficos (SVIP, TOPLOC, Raw Activations) usando o modelo LLaMA2-13B.

• Overhead Computacional Mínimo:
  • Provedor: Adiciona apenas 0,97% ao tempo de inferência.
  • Verificador: Adiciona apenas 0,12% ao tempo de inferência.
  • Memória do Verificador: 0 GB (não requer GPU para verificação, ao contrário do TOPLOC que exige 71GB).
• Robustez Superior:
  • O TC supera o estado da arte (TOPLOC) em 48% na detecção de ataques de adulteração de prompts (prompt tampering).
  • Melhora a detecção em 12% sob injeção de ruído (noise injection).
  • Mantém alta precisão (96,02%) em detecção de ataques, superando todos os benchmarks.
• Escalabilidade:
  • A construção e verificação de árvores Terkle são significativamente mais rápidas que Merkle e Verkle trees para grandes conjuntos de dados, com tempos de verificação na ordem de milissegundos (12ms vs 17s do Merkle).
  • A prova de tamanho é extremamente compacta (2 bytes por token vs 5.5KB do zkLLM).

---

5. Significado e Impacto

O trabalho apresenta um avanço fundamental na viabilidade de LLMs verificáveis em ambientes de produção.

• Viabilidade Prática: Ao reduzir o overhead para menos de 1% e eliminar a necessidade de hardware de verificação pesado, torna-se possível integrar a verificação criptográfica em pipelines de inferência interativos e multi-agentes.
• Segurança e Privacidade: Permite que clientes verifiquem a integridade computacional sem expor os dados de entrada, os pesos do modelo ou os estados ocultos, resolvendo o dilema entre privacidade e verificabilidade.
• Mudança de Paradigma: A abordagem "nativa de tensores" demonstra que explorar a estrutura matemática inerente aos modelos de IA (em vez de achatá-los em vetores) é a chave para escalar a criptografia para modelos de inteligência artificial modernos.

Em resumo, TensorCommitments oferece a primeira solução leve, privada e criptograficamente segura para garantir que as decisões tomadas por LLMs remotos sejam realmente o resultado da execução correta do modelo prometido.