When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems

Resumo Técnico: Quando Monitores Locais Ignoram o Dano Composicional

Definição do Problema
O artigo aborda uma lacuna fundamental na segurança de sistemas multiagentes de LLM (Large Language Model) que utilizam ferramentas. As defesas de tempo de execução atuais tipicamente empregam monitores locais que inspecionam mensagens individuais, chamadas de ferramentas ou etapas isoladamente para detectar intenção maliciosa. Os autores argumentam que essa abordagem possui um "buraco fundamental" ao enfrentar backdoors distribuídos. Em tais ataques, um payload nocivo é dividido entre múltiplos agentes e etapas. Embora o resultado montado seja malicioso (ex: código executável que exfiltra credenciais), cada fragmento individual parece benigno para um monitor local.

O problema central não é meramente a divisão do ataque, mas a benignidade local dos fragmentos. Se cada fragmento parece ser um tráfego comum e benigno e não contém tokens ou arestas de proveniência suspeitos, um monitor local não consegue distingui-lo de um tráfego seguro, independentemente da força do detector. O dano existe apenas na composição dos fragmentos.

Metodologia e Formalização
Os autores formalizam essa limitação como uma fronteira de observabilidade. Eles definem a capacidade de um monitor com base em sua janela de observação (o que ele vê: um único fragmento, o conjunto completo de fragmentos ou o objeto montado) e se ele pode acessar a representação decodificada desse objeto.

• Condições Formais: Um ataque é considerado "localmente benigno" se cada fragmento $x_i$ é benigno na visão $v$ do monitor ($h(v(x_i)) = 0$), mas o objeto montado $C(x_1, \dots, x_K)$ é malicioso ($h(C) = 1$).
• Indistinguibilidade: O artigo introduz a $\epsilon$-indistinguibilidade local, onde a distância de variação total entre a distribuição de fragmentos benignos e fragmentos de ataque na visão do monitor é pequena ($\le \epsilon$).
• Limite Teórico (Proposição 1): Os autores provam que, se os fragmentos forem $\epsilon$-localmente indistinguíveis, nenhuma regra de decisão operando exclusivamente em uma única observação local pode alcançar uma vantagem de detecção (Taxa de Verdadeiros Positivos menos Taxa de Falsos Positivos) superior a $\epsilon$. Isso implica que fortalecer o classificador local é fútil se a janela de observação não mudar.

Configuração Experimental
O estudo utiliza um ambiente de teste controlado chamado Collaborative Shadows, juntamente com benchmarks externos como R-Judge, AgentDojo e DemonAgent.

• Varredura de Localidade (Locality Sweep): Os autores controlam a visibilidade das evidências do ataque dentro dos fragmentos, variando de "arestas visíveis" (ex: caminhos claros de fluxo de dados fonte-destino) até fragmentos "localmente benignos", onde todos os indícios são removidos.
• Tipos de Monitor: Eles avaliam vários monitores:
  • Local: Detectores estatísticos por etapa, análise de taint (rastreamento de fluxo de dados).
  • Montagem (Assembly): Monitores que veem o objeto montado, mas não a decodificação (baseados em marcadores, sem marcadores, cegos ao codec).
  • Decodificado: Um "gate de visão decodificada" que decodifica o payload antes da execução (usado como um teto de diagnóstico, não como uma defesa implantável).
• Payloads: O foco principal é a montagem de payloads de código estruturado (ex: scripts Python para exfiltração de credenciais) divididos em $K=3$ fragmentos ocultos dentro de transportadores de relatórios benignos.

Resultos Principais

1. Monitores Locais Falham em Fragmentos Benignos: À medida que os fragmentos se tornam localmente benignos (perdendo tokens suspeitos ou arestas visíveis), os monitores por etapa e verificações de taint colapsam para um desempenho de acaso (AUROC $\approx 0.5$). Isso ocorre mesmo para detectores neurais pré-treinados fortes (ex: sobre o AgentDojo).
2. A Divisão Não é a Causa: A falha não se deve ao ato de dividir em si, mas à remoção de evidências utilizáveis da visão local. Se os fragmentos retiverem artefatos suspeitos, os monitores locais ainda podem detectá-los.
3. Recuperação via Montagem: O "sinal ausente" reaparece apenas quando o monitor observa o objeto montado.
   • Um monitor de montagem sem marcadores (treinado apenas em tráfego benigno usando uma floresta de isolamento de classe única) recupera com sucesso a estrutura do ataque em famílias de codificação não testadas, alcançando um AUROC médio de 0.874. Ele detecta o ataque com base na densidade da estrutura do código e na capacidade parcial de parsing, sem precisar conhecer a codificação específica ou os marcadores.
   • Um monitor de montagem supervisionado alcança separação perfeita (AUROC 1.000).
4. Representação é Crítica: Ampliar meramente a janela de observação (ver todos os fragmentos) é insuficiente se a representação permanecer codificada.
   • Monitores cegos ao codec (veem todos os fragmentos, mas são incapazes de decodificar) falham em bloquear ataques (ASR permanece alto).
   • Gates de visão decodificada (recebem a família de codificação) bloqueiam 100% dos ataques em todos os modelos testados.
   • Tentativas de usar LLMs para reconstruir o payload sem conhecimento do codec (busca sem codec) performam próximo ao acaso, falhando em produzir uma representação decodificada calibrada.
5. Generalização: A fronteira mantém-se através de diferentes tamanhos de modelo (Llama-3.1-8B a Qwen2.5-32B) e diferentes codecs de ataque (incluindo a criptografia dinâmica DemonAgent, publicada de forma independente). No entanto, o mecanismo específico de recuperação (análise de estrutura de código) não se transfere para payloads não relacionados a código (ex: instruções de linguagem natural), onde o sinal cai abaixo do nível de acaso.

Significância e Alegações
O artigo alega que segurança local não é segurança global quando o dano é composicional. A principal contribuição é a identificação da fronteira de observabilidade: um monitor não pode detectar um ataque se os fragmentos forem localmente indistinguíveis do tráfego benigno em sua visão específica.

• Valor Diagnóstico: Altas taxas de detecção local não garantem segurança contra ataques composicionais. A avaliação deve considerar se o monitor vê a representação onde o dano se forma.
• Implicações de Defesa: A solução não é um classificador local mais forte, mas uma mudança na janela de observação para recuperar a representação montada.
• Problema Aberto: O artigo conclui que o desafio aberto é encontrar a representação correta para detecção além de danos do tipo código (ex: em planos, crenças ou compromissos de linguagem natural) e fazê-lo sem exigir um decodificador oráculo. O sucesso atual é limitado a cenários onde o payload montado expõe uma estrutura recuperável (como código).

Os autores enfatizam que seu trabalho é defensivo, visando diagnosticar quando os monitores perdem evidências, e afirmam que não propõem novas capacidades ocultas nem resolvem o problema de auto-montagem totalmente oculta em linguagem natural.