Resumo Técnico: JANUS - Prevendo o Risco Latente para a Segurança de Agentes de Longo Horizonte

Declaração do Problema

A implantação de agentes que utilizam ferramentas (ex: OpenClaw, Codex, Claude Code) expande a superfície de falha dos Grandes Modelos de Linguagem (LLMs) de erros textuais para falhas operacionais. Diferente da moderação de conteúdo tradicional, a segurança de agentes exige prevenir ações que deletem arquivos, vazem dados ou interrompam serviços. As salvaguardas existentes são predominantemente reativas, avaliando a segurança com base em prefixos de trajetórias observadas ou respostas finais. Essa abordagem é insuficiente para tarefas de longo horizonte, onde sinais precoces podem escalar para danos após muitos passos. O desafio central é reconhecer estados de execução inseguros antes que ações prejudiciais ocorram, conectando o contexto inicial com consequências tardias.

Metodologia: O Framework Janus

Os autores propõem o Janus, um framework orientado à previsão projetado para treinar guardiões preditivos que antecipam riscos atrasados a partir de trajetórias parciais. O framework consiste em dois componentes primários:

1. Construção de Dados Baseada em Simulação

Para lidar com a escassez de dados de falha de longo horizonte do mundo real, o Janus utiliza um pipeline de simulação multiagente para sintetizar trajetórias diversas.

• Taxonomia de Risco: Os exemplos de treinamento são categorizados por três origens de risco:
  • Origem do Usuário: Objetivos prejudiciais disfarçados de tarefas benignas (ex: fraude, abuso cibernético).
  • Origem do Ambiente: Riscos decorrentes de artefatos externos, como saídas de ferramentas ou prompts injetados (ex: injeção de prompt, exfiltração de dados).
  • Origem do Agente: Falhas devidas ao próprio raciocínio do agente, como negligenciar dependências ou seguir instruções de forma rígida.
• Pipeline de Síntese: Um agente Gerenciador decompõe estratégias de geração em papéis especializados (Instrutor, Designer de Ferramentas, Avaliador, Injetor de Ambiente) para construir cenários. Um Executor executa as trajetórias usando um simulador que gera observações estruturadas sem executar ferramentas reais. Um Revisor realiza a amostragem de rejeição para garantir consistência da tarefa, cobertura de risco e completude.
• Anotação: Cada trajetória é dividida em um prefixo de execução ($\tau_{pre}$) e uma continuação futura ($\tau_{after}$). Os prefixos são rotulados como Seguro, Inseguro ou Potencialmente Inseguro, acompanhados de um resumo ($s$) do risco futuro.

2. Aprendizado por Reforço de Antecipação e Adjudicação Acoplados (CoAA-RL)

O Janus treina uma política compartilhada ($\pi_\theta$) com duas tarefas acopladas, otimizadas via Otimização de Política Relativa ao Grupo (GRPO):

• Tarefa de Antecipação: Dada uma trajetória parcial, o modelo amostra múltiplos resumos futuros ($S_k$) que abstraem eventos críticos de segurança (ex: chamadas de ferramentas de alto risco). O objetivo é prever futuros relevantes para a segurança em vez de reproduções passo a passo exatas.
• Tarefa de Adjudicação: O modelo prevê um rótulo de segurança ($y$) condicionado tanto ao prefixo observado quanto ao resumo futuro antecipado ($S_k$).
• Design de Recompensa Acoplada: As tarefas são ligadas através de um mecanismo de recompensa:
  • A Recompensa de Adjudicação ($r_D$) combina correção de rótulo e validade de formato.
  • A Recompensa de Antecipação ($r_A$) é uma soma ponderada da consistência do resumo com o solo verdadeiro (ground truth) e sua utilidade para a adjudicação subsequente. Especificamente, um resumo é recompensado se ele ajudar a tarefa de adjudicação a tomar decisões de segurança corretas.
  • Este acoplamento garante que o modelo aprenda a antecipar apenas os eventos futuros que são úteis para a decisão de segurança, em vez de meramente prever o futuro com precisão.

3. Inferência: O Modelo Vanguard

O modelo guardião resultante, Vanguard, realiza o julgamento preditivo em duas etapas durante o tempo de inferência:

1. Antecipação: Ele gera um resumo futuro relevante para a segurança a partir do prefixo da trajetória atual.
2. Adjudicação: Ele usa este resumo para prever um rótulo de segurança e uma justificativa.
   Se o rótulo for inseguro, o sistema bloqueia a ação antes da execução.

Principais Contribuições

1. Paradigma de Guarda Preditiva: O artigo identifica a guarda preditiva como um requisito central para a segurança de longo horizonte, mudando o foco da intenção imediata prejudicial para consequências atrasadas.
2. Framework Janus: Um novo framework de treinamento que combina construção de trajetória baseada em simulação com CoAA-RL para otimizar conjuntamente a antecipação futura e o julgamento de segurança.
3. Modelo Vanguard: Um modelo de guarda preditiva que demonstra proteção melhorada contra comportamentos inseguros enquanto preserva a conclusão de tarefas benignas.

Resultados Experimentais

Os autores avaliaram o Vanguard em quatro benchmarks de segurança de agentes: AgentDojo, Agent-SafetyBench, AgentLAB e LPS-Bench.

• Desempenho: O Vanguard alcançou a menor Taxa de Sucesso de Ataque (ASR) em todos os quatro benchmarks comparado a modelos de guarda de linha de base (ex: Qwen3-8B, Llama-Guard-3) e frameworks (ex: LlamaFirewall, Sandwich Defense).
  • Taxa de Proteção: O Vanguard melhorou a taxa de proteção média em 15,9 pontos percentuais sobre as guardas de linha de base.
  • Utilidade Benigna: Ele aumentou a conclusão de tarefas benignas em 5,1 pontos percentuais sobre as linhas de base, igualando a utilidade da referência sem guarda no AgentDojo (0,680).
• Estudos de Ablação:
  • Necessidade de Antecipação: Remover a tarefa de antecipação aumentou a ASR média de 0,072 para 0,148, confirmando que antecipar riscos futuros é crítico.
  • Recompensas Acopladas: Desacoplar as tarefas ou usar apenas recompensas de similaridade/utilidade degradou significativamente o desempenho, validando a necessidade do design de recompensa acoplada.
  • Previsão Precoce: O Vanguard manteve uma baixa ASR mesmo observando apenas 25% do prefixo da trajetória, demonstrando sua capacidade de detectar riscos antes que se tornem explícitos.

Significância e Alegações

O artigo afirma que a antecipação de risco futuro é uma capacidade fundamental para construir salvaguardas proativas e conscientes de trajetória. Ao aprender a conectar o contexto inicial com consequências atrasadas, o Janus permite que os agentes intervenham antes que operações de alto impacto sejam executadas. Os autores posicionam este trabalho como uma mudança do monitoramento reativo para a segurança preditiva, argumentando que, para agentes de longo horizonte, a segurança deve ser raciocinada além da resposta final para cobrir estados intermediários e chamadas de ferramentas.

Limitações

Os autores reconhecem modestamente duas limitações:

1. Simulação vs. Realidade: As trajetórias de treinamento são construídas via simulação multiagente em vez de coletadas de sistemas implantados, o que pode não capturar totalmente as distribuições de comportamentos de ferramentas e interações de usuários do mundo real.
2. Generalização: A avaliação é limitada a backbones de agentes específicos, ambientes de ferramentas e cenários de risco definidos pelos benchmarks. A generalização da política aprendida para ferramentas não vistas ou novas adaptações adversariais permanece a ser plenamente caracterizada.