Stateful Online Monitoring Catches Distributed Agent Attacks

Resumo Técnico: Monitoramento Online com Estado para Ataques de Agentes Distribuídos

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) são cada vez mais capazes de identificar vulnerabilidades de software e realizar tarefas complexas de cibersegurança. No entanto, essa capacidade introduz um novo vetor de ameaça: ataques de agentes distribuídos. Nesses cenários, atacantes decompõem um objetivo nocivo único (ex: um exploit cibernético) em inúmeras subtarefas distribuídas entre muitas contas de usuário e sessões de agentes. Embora as transcrições individuais pareçam benignas e passem pelos filtros de segurança padrão, a atividade agregada constitui um ataque coordenado.

Os monitores de segurança padrão são arquitetonicamente limitados porque avaliam apenas um contexto de agente (transcrição) por vez. Eles carecem de "estado" para correlacionar evidências entre diferentes usuários. Consequentemente, são estruturalmente cegos para o uso indevido que só é visível no agregado. O artigo demonstra que os atacantes podem evitar os monitores padrão ao dividir tarefas de modo que nenhuma sessão individual dispare uma recusa, permitindo que o ataque prossiga até causar danos significativos antes da detecção.

Metodologia

1. O Ataque de Agente Distribuído (A Ameaça)
Os autores constroem o primeiro ataque de agente distribuído totalmente geral usando um scaffold multi-agente chamado ARTEMIS.

• Arquitetura: Um agente supervisor (usando um modelo mais fraco, gpt-oss-120b) recebe um objetivo de cibersegurança de alto nível. Ele delega subtarefas a subagentes mais fortes (usando gpt-5.2) que rodam em contextos de conversa isolados e novos através de diferentes contas de usuário.
• Ofuscação: O orquestrador enquadra cada subtarefa como uma tarefa de engenharia benigna (ex: "escanear esta rede", "validar credenciais", "depurar um script"). O objetivo nocivo é reconstruído apenas quando o supervisor agrega as saídas.
• Eficácia: O ataque resolve com sucesso tarefas difíceis de cibersegurança (CyBench) que o supervisor fraco não consegue resolver sozinho, enquanto evita monitores padrão que detectam apenas ~20% de tais tentativas em comparação com ataques anteriores de contexto único.

2. O Monitor com Estado Online (A Defesa)
Para combater isso, os autores propõem um monitor com estado online que raciocina sobre grupos de usuários em vez de transcrições isoladas. O sistema opera em tempo real com três estágios principais:

• Pontuação Local: Um monitor padrão pontua a requisição recebida ($x_t$) quanto à suspeitabilidade imediata.
• Agrupamento Online (Clustering): A requisição é incorporada (embedded) e comparada contra um conjunto de clusters online que representam interações anteriores semanticamente relacionadas de outros usuários.
  • Em vez de re-agrupar todos os dados históricos (o que é $O(N^2)$ e muito lento), o sistema mantém um pequeno conjunto de centroides de cluster ($M_t$).
  • Novas requisições são roteadas para o centroide mais próximo. Se a similaridade for baixa, um novo cluster é criado; caso contrário, o centroide e seu buffer de evidências são atualizados online.
• Escalação de Contexto Cruzado: Uma requisição é escalada para um "Monitor de Contexto Cruzado" (um juiz LLM mais forte) apenas se:
  1. A pontuação local for moderadamente alta, mas não imediatamente negada, OU
  2. O cluster atribuído tiver acumulado evidência de contexto cruzado suficiente (ex: múltiplas sessões suspeitas no mesmo cluster).
  • O Monitor de Contexto Cruzado revisa a requisição atual juntamente com os $k$ itens históricos mais suspeitos do mesmo cluster para determinar se uma campanha coordenada está ocorrendo.

Principais Contribuições

1. Primeiro Ataque de Agente Distribuído: O artigo implementa e avalia um ataque multi-agente que divide tarefas nocivas entre contas de usuário, demonstrando que os monitores padrão falham em detectá-lo efetivamente (detectando apenas 20% das vezes em comparação com ataques de contexto único).
2. Monitor com Estado Online: Uma nova arquitetura de defesa que utiliza agrupamento de fluxo em tempo real para agregar sinais fracos entre milhões de usuários. Ela escala apenas clusters raros e suspeitos para um juiz LLM pesado, garantindo baixa latência para a vasta maioria do tráfego benigno.
3. Red-Teaming e Generalização: Através de um exercício de red-teaming de caixa branca de dois meses, os autores refinaram a defesa. Surpreendentemente, descobriram que o monitor com estado também melhora a detecção de jailbreaks padrão e ataques de decomposição sequencial, pois atacantes adaptativos frequentemente reutilizam variantes de ataque em diferentes contas, deixando rastros que o monitor com estado pode correlacionar.

Resultos
As avaliações foram conduzidas usando tráfego de datacenter simulado com um enorme background de conversas de agentes de codificação benignas (10x a 100x mais benignas do que o tráfego de ataque).

• Desempenho de Detecção: O monitor com estado domina o Pareto em relação aos monitores padrão. Ele alcança maior recall para a mesma taxa de falsos positivos (FPR). Por exemplo, com 100x de background benigno, atingiu 65,8% de recall com 1,47% de FPR, enquanto o melhor monitor padrão alcançou apenas 55% de recall na mesma FPR.
• Tempo para Detecção (TTD): O monitor com estado captura ataques 30% mais cedo na trajetória. Ele reduz o número de passos nocivos que um atacante pode realizar antes da detecção (ex: reduzindo o TTD99 de 37,2 passos para 25,4 passos).
• Latência: Para ~99% do tráfego de usuários, a latência adicional é insignificante. O sistema incorre no custo do juiz LLM de contexto cruzado apenas para uma pequena fração das requisições (a "cauda" do tráfego suspeito).
• Red-Teaming: A defesa capturou com sucesso 82% das tentativas de "envenenamento de contexto do monitor" e 100% dos ataques de decomposição sequencial durante a fase de red-teaming.

Significância e Alegações
O artigo argumenta que ataques distribuídos representam uma limitação fundamental das atuais arquiteturas de segurança "sem estado". A significância deste trabalho reside na mudança do paradigma de monitoramento de transcrição isolada para o raciocínio ao nível da população.

• Os autores alegam que, embora o monitoramento com estado não resolva o uso indevido distribuído (um atacante adaptativo com forte ofuscação ainda pode se esconder), ele fornece uma camada de defesa crítica que captura ataques mais cedo e com maior recall.
• A abordagem é escalável, mantendo baixa latência para a maioria dos usuários enquanto identifica efetivamente "agulhas no palheiro" ao alavancar o agrupamento semântico.
• A descoberta de que o monitoramento com estado se generaliza para ameaças não distribuídas (como jailbreaks) sugere que o raciocínio sobre populações de usuários é uma estratégia de segurança robusta para o futuro da IA de agentes.