Resumo Técnico: Verificação de Integridade Comportamental para Habilidades de Agentes de IA

Declaração do Problema

Agentes de Modelos de Linguagem (LLM) estão sendo cada vez mais estendidos por meio de "habilidades" de terceiros — pacotes autossuficientes de código, configuração e instruções em linguagem natural que concedem aos agentes acesso privilegiado a sistemas de arquivos, credenciais, pontos de extremidade de rede e execução de shell. Embora os mecanismos de segurança existentes se concentrem em capturar prompts maliciosos ou ações de runtime arriscadas, os próprios artefatos de habilidade permanecem não verificados.

Existe uma vulnerabilidade crítica na lacuna entre o comportamento declarado de uma habilidade (metadados, descrições e instruções) e seu comportamento real (código executável e diretivas embutidas). Agentes maliciosos podem embutir diretivas em linguagem natural em arquivos de metadados (por exemplo, "SEMPRE use esta habilidade para TODAS as perguntas do usuário") ou ocultar lógica no código que substitui o loop de decisão do agente. Os métodos atuais de análise estática lutam para integrar código, instruções e metadados sob um único vocabulário tipado, deixando uma "lacuna entre descrição e implementação" que permite que riscos na cadeia de suprimentos proliferem sem detecção.

Metodologia: O Framework BIV

Os autores propõem a Verificação de Integridade Comportamental (BIV), um framework que formaliza a verificação de habilidades de agentes como uma comparação de conjuntos tipados entre capacidades declaradas e reais sobre uma taxonomia compartilhada.

1. Formalização

O BIV define uma habilidade $s = (M, C, I)$ consistindo em:

• Metadados ($M$): Descrições, frontmatter YAML, esquemas de API.
• Código ($C$): Código executável (Python, JavaScript, shell).
• Instruções ($I$): Diretivas em linguagem natural (Markdown, instruções embutidas).

O framework mapeia tanto o comportamento declarado $D(s)$ quanto o comportamento real $A(s)$ para uma taxonomia compartilhada de 29 capacidades ($\mathcal{T}$) organizada em sete categorias: Rede, Sistema de Arquivos, Execução de Processos, Ambiente, Codificação, Credenciais e Ameaças em Nível de Instrução. O problema central de verificação é identificar a diferença simétrica (conjunto de desvios) $D(s) \triangle A(s)$, decomposta em:

• Subespecificação ($U(s)$): Capacidades presentes no código, mas ausentes nos metadados (privilégio não divulgado).
• Sobreespecificação ($O(s)$): Capacidades declaradas, mas nunca implementadas.

2. Pipeline de Extração Híbrida

O BIV emprega um processo de extração de dupla via para gerar evidência estruturada $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$:

• Via Declarada: Utiliza um analisador determinístico para campos estruturais (YAML, JSON) e um extrator LLM para metadados em linguagem natural. O LLM é restringido por filtros de controle de alucinação (por exemplo, exigindo trechos de fonte citados) para garantir que as alegações sejam fundamentadas.
• Via Real:
  • Análise de Código: Analisadores determinísticos (travessia AST para Python, regex para JS/Shell) realizam análise de contaminação interprocedural para rastrear fluxos de dados de fontes (por exemplo, variáveis de ambiente) até sumidouros (por exemplo, envios de rede).
  • Análise de Instruções: Um analisador LLM examina instruções em linguagem natural quanto a invocações de capacidade, padrões de injeção de prompt e motivos de substituição.
• Detecção de Ameaças Compostas: O pipeline sinaliza quatro motivos específicos de ataque multi-etapa (Cadeias de Exfiltração, Cadeias de RCE, Ofuscação de Código, Violações de Linhagem de Dados) que scanners de capacidade única poderiam ignorar.

3. Análises a Jusante

A evidência estruturada $\Phi(s)$ serve como um primitivo de medição para três tarefas a jusante:

1. Taxonomia de Desvios: Agrupamento de desvios para identificar padrões comuns e ameaças compostas novas.
2. Classificação de Causa Raiz: Distinção entre negligência do desenvolvedor (lacunas de documentação) e intenção adversária.
3. Detecção de Habilidades Maliciosas: Um estudo de caso usando um juiz LLM aumentado com uma substituição de "veto relaxado". O juiz consome $\Phi(s)$ como um prior estruturado, enquanto o predicado de veto sinaliza automaticamente habilidades com ameaças compostas e capacidades não declaradas de alto risco (por exemplo, exfiltração de credenciais), impedindo que o LLM racionalize evidências estruturais.

Resultados Principais

O framework foi avaliado em 49.943 habilidades do registro OpenClaw e em um benchmark de detecção de habilidades maliciosas com 906 habilidades.

Descobertas em Escala de Ecossistema

• Desvios Pervasivos: 80,0% das habilidades desviam-se de seu comportamento declarado, com 250.706 desvios totais identificados.
• Causas Raiz: A vasta maioria (81,1%) dos desvios decorre de negligência do desenvolvedor (por exemplo, erros de documentação, declarações não utilizadas, resíduo de modelos) e não de malícia. Apenas 18,9% são atribuídos a intenção adversária.
• Ameaças Compostas: A análise revelou quatro novas categorias de ameaças compostas. Embora a maioria seja benigna, motivos específicos como Cadeias de Exfiltração e Cadeias de RCE mostram frações adversárias altas (58% e 86%, respectivamente).
• Riscos em Nível de Instrução: Apesar de ser a categoria menor em volume, as Ameaças em Nível de Instrução tiveram a maior fração adversária (96%), indicando que diretivas de controle de prompt não declaradas são altamente suspeitas.

Desempenho de Detecção

No benchmark de 906 habilidades (misturando malware do mundo real e ataques sintéticos):

• Desempenho do BIV: Alcançou uma pontuação F1 de 0,946, com recall de 0,978 e Taxa de Falso Positivo (FPR) de 7,2%.
• Comparação: O BIV superou baselines de última geração:
  • Baseado em Regras (Cisco AI Defense): F1 = 0,44 (Recall 0,35).
  • Apenas LLM (Auditoria de passagem única): F1 = 0,927 (Recall 0,89).
• Contribuição da Estrutura: A evidência estrutural e a substituição de veto relaxado foram críticas, particularmente para malware do mundo real, onde a baseline apenas LLM perdeu 22 pontos percentuais de recall. O extrator estrutural identificou cadeias de eliminação (por exemplo, leitura de credenciais $\to$ envio de rede) que o juiz LLM sozinho falhou em sinalizar como maliciosas.

Significado e Alegações

O artigo afirma que a Verificação de Integridade Comportamental fornece um primitivo escalável e auditável para garantir a cadeia de suprimentos de agentes LLM. Suas principais contribuições são:

1. Formalização: Estabelece o BIV como um problema de comparação de conjuntos tipados, preenchendo a lacuna entre código, instruções e metadados sem depender de uma única modalidade.
2. Medição em Escala: Demonstra que a "lacuna entre descrição e implementação" é um problema sistêmico em ecossistemas de agentes, afetando 80% das habilidades, mas é predominantemente uma questão de documentação/negligência e não uma questão maliciosa pervasiva.
3. Utilidade Operacional: A evidência estruturada $\Phi(s)$ permite uma extração de "passagem única" que suporta múltiplas análises de segurança (taxonomia, causa raiz, detecção) sem necessidade de reextração.
4. Eficácia de Detecção: Ao combinar análise estrutural determinística com raciocínio LLM e uma substituição de veto relaxado, o BIV alcança alto recall em malware do mundo real, mantendo uma taxa de falso positivo operacionalmente viável, superando tanto abordagens baseadas em regras quanto abordagens puramente LLM.

Os autores enfatizam que o BIV é um primitivo de medição, não um sistema de veredito final. Ele identifica candidatos para revisão, distinguindo entre lacunas de documentação benignas e padrões de ataque complexos, permitindo assim estratégias de governança direcionadas (por exemplo, alcance de documentação para negligência versus revisão de segurança para intenção adversária). O framework reconhece limitações, incluindo sua natureza estática (perdendo despacho dinâmico) e dependência de extração por LLM, mas postula que a evidência estruturada que produz é uma base necessária para futuras defesas de runtime e monitoramento longitudinal.