Resumo Técnico: Chai: Descoberta Agêntica de Vulnerabilidades de Uso Indevido de Criptografia

1. Definição do Problema

A descoberta de vulnerabilidades de uso indevido de criptografia apresenta um desafio único para a pesquisa de segurança assistida por IA. Diferente de bugs de segurança de memória, que podem ser verificados através de instrumentação (ex: sanitizadores) que confirmam violações e filtram falsos positivos, o uso indevido de criptografia carece de "oráculos" comparáveis. Identificar se uma implementação criptográfica está usando um protocolo de forma indevida muitas vezes requer um julgamento subjetivo em relação à intenção da especificação, levando a altas taxas de falsos positivos quando se depende exclusivamente de agentes de IA.

Além disso, protocolos criptográficos (ex: JWT, X.509, SAML) são compostos por múltiplas especificações realizadas através de dezenas de bibliotecas e linguagens. Essas implementações frequentemente resolvem cantos subespecificados de formas distintas. Um comportamento que parece correto isoladamente (ex: aceitar uma chave incorporada em um token) pode constituir uma vulnerabilidade quando as suposições de confiança da aplicação não coincidem com o comportamento da biblioteca. Abordagens tradicionais que auditam apenas o código-fonte de uma única aplicação falham em detectar esses problemas porque o perigo geralmente reside no contrato entre a aplicação e suas dependências externas, não dentro do próprio código da aplicação.

2. Metodologia: O Sistema Chai

O Chai é um sistema baseado em IA que descobre e valida vulnerabilidades de uso indevido de criptografia combinando testes diferenciais com descoberta agêntica. Ele inverte o paradigma predominante de auditar um código-fonte em busca de muitos erros; em vez disso, ele cataloga falhas ao nível da biblioteca e as propaga através de um grafo de dependências.

O sistema opera em dois estágios primários:

Estágio 1: Teste Diferencial Amplificado

O Chai trata o nível da biblioteca como a fonte da verdade para discrepâncias.

• Geração de Inputs: Em vez de usar gramáticas fixas (que são difíceis de construir para protocolos complexos como SAML baseado em XML), o Chai utiliza agentes de IA para gerar inputs de teste. Esses agentes aproveitam o vasto conhecimento de protocolos para raciocinar sobre o que sondar, em vez de apenas como codificá-lo.
• Iteração Adaptativa: O sistema utiliza um agente de mutação para propor mudanças nos inputs semente, um construtor para montar deterministicamente as mensagens, e um harness para avaliá-las simultaneamente em todas as bibliotecas implementadas.
• Alocação de Recursos: Para evitar exploração redundante, o Chai utiliza um algoritmo de banda larga (multi-armed bandit - UCB1) para alocar "licenças" para grupos de mutação específicos (combinações de famílias de ataque e operações). Isso garante que a busca explore diversas regiões comportamentais (ex: integridade de assinatura, confiança de chave, parsing) em vez de convergir para padrões conhecidos.
• Detecção de Discrepâncias: Quando múltiplas bibliotecas processam o mesmo input e produzem resultados diferentes (ex: uma aceita, outras rejeitam), uma discrepância é registrada.
• Classificação: Um classificador rotula as discrepâncias em quatro categorias:
  1. Vulnerabilidade: Um atacante pode subverter uma decisão de segurança.
  2. Bug de Segurança: A biblioteca viola a especificação, mas a exploração exige capacidades além de um atacante padrão.
  3. Ambiguidade: A especificação permite latitude, e as bibliotecas fazem escolhas defensáveis distintas. Estas são tratadas como pistas para auditorias a jusante.
  4. Diferença Não Acionável: Não há consequência de segurança.

Estágio 2: Rastreamento de Discrepâncias

Este estágio aborda as "ambiguidades" identificadas no Estágio 1.

• Busca Reversa: O Chai consulta um grafo de dependências (construído a partir de manifestos de pacotes em 17 ecossistemas) para identificar todas as aplicações que dependem transitivamente da biblioteca que exibe o comportamento ambíguo.
• Auditoria Direcionada: Em vez de realizar uma busca aberta no código-fonte da aplicação, um agente realiza uma auditoria estreita e de fim fechado. Ele verifica especificamente se a aplicação depende da propriedade de segurança que a biblioteca falhou em impor (ex: "Esta aplicação confia em uma chave fornecida no token?").
• Prova de Conceito (PoC): Para aplicações suscetíveis, o sistema gera um PoC em um ambiente de sandbox para demonstrar a vulnerabilidade, minimizando suposições de configuração.

3. Principais Contribuições

1. Geração de Sinal Híbrido: O Chai combina testes diferenciais com IA para criar um sinal verificável. O teste diferencial fornece uma discrepância determinística (o "oráculo"), enquanto a IA fornece o conhecimento de protocolo e a busca adaptativa para gerar inputs significativos sem gramáticas construídas manualmente.
2. Paradigma de Descoberta Invertido: O sistema muda de "um projeto, muitos bugs" para "uma falha de biblioteca, muitas aplicações". Ao identificar uma discrepância no nível da biblioteca e rastreá-la a jusante, o Chai alcança ganhos de eficiência compostos.
3. Tratamento Sistemático de Ambiguidade: O Chai trata explicitamente as ambiguidades de especificação não como ruído, mas como pistas de alto valor para vulnerabilidades a jusante, uma classe de problemas frequentemente descartada por ferramentas anteriores de testes diferenciais.
4. Implementação: Um sistema completo abrangendo os protocolos X.509, JWT e SAML, utilizando 47 bibliotecas em 8 linguagens.

4. Resultados e Avaliação

O Chai foi avaliado em implementações de X.509, JWT e SAML.

• Volume de Descobertas: O sistema revelou mais de 100 vulnerabilidades e bugs de segurança.
• Descobertas Críticas:
  • wolfSSL: Descobriu duas bypasses críticas de validação de cadeia (CVE-2026-11310 e CVE-2026-11999) na wolfSSL, uma biblioteca usada em bilhões de dispositivos. Estas foram confirmadas e corrigidas pelos mantenedores em poucas horas. Notavelmente, estas foram perdidas por uma auditoria recente usando o Mythos da Anthropic.
  • Bibliotecas de Navegador e SO: Encontrou bugs de segurança em uma biblioteca TLS por trás de um grande navegador web e outro em grandes distribuições Linux.
  • Impacto a Jusante: Identificou vulnerabilidades em aplicações a jusante, incluindo um bypass de revogação de token em um sistema RAG de código aberto e uma vulnerabilidade de replay de asserção SAML em um serviço de identidade.
• Comparação de Eficiência:
  • Comparado aos baselines (ex: MLCerts, jwt-fuzzer, AFL++), o Chai encontrou ~2x mais diferenças únicas com significativamente menos inputs e menor custo (ex: encontrando 147 discrepâncias únicas de X.509 por $52.5 vs. 73 por ~$560).
  • Os achados do Chai foram amplamente únicos; 132 de 147 achados de X.509 não foram encontrados por nenhum baseline.
  • O Chai identificou com sucesso discrepâncias de "cauda esquerda" (onde apenas algumas bibliotecas aceitam um input), que são sinais fortes de falhas ao nível da biblioteca, enquanto os baselines tendiam a se concentrar em divisões equilibradas.
• Agnosticismo de Modelo: O sistema funcionou efetivamente em quatro LLMs diferentes (GPT-5.5, Opus 4.8, Gemini 3.5 Flash, Kimi K2.6), indicando que o valor reside no design do sistema, não em um modelo proprietário específico.

5. Significância e Alegações

O artigo afirma que o Chai demonstra um caminho prático para automatizar a descoberta de uso indevido de criptografia, um domínio anteriormente resistente à análise automatizada devido à falta de oráculos verificáveis.

• Escalabilidade: Ao amplificar um único input de teste através de todas as implementações e rastrear ambiguidades a jusante, o Chai torna a auditoria minuciosa acessível e desloca a economia da segurança em direção aos defensores.
• Além do Fuzzing: Diferente do fuzzing tradicional que depende da detecção de crashes, o Chai depende do desacordo comportamental, permitindo encontrar vulnerabilidades de nível de lógica que não causam crashes.
• Resistência ao Uso Indevido: Os achados destacam um padrão recorrente onde bibliotecas delegam verificações de segurança críticas (como proteção contra replay ou validação de chave) para as aplicações sem documentação clara. A abordagem do Chai força esses contratos implícitos para o aberto, permitindo a descoberta de vulnerabilidades que surgem do descompasso entre o comportamento da biblioteca e as suposições da aplicação.

Os autores enfatizam que, embora o sistema seja poderoso, a revisão humana continua sendo obrigatória para a verificação final para evitar desperdiçar o tempo dos mantenedores com relatórios falsos, e o sistema é projetado para apoiar, não substituir, o pesquisador de segurança humano.