Resumo Técnico: Rotação de Contexto do Classificador: Desempenho do Monitor Degrada com o Comprimento do Contexto

Declaração do Problema

À medida que agentes de modelos de linguagem (LLM) ganham autonomia para completar tarefas cada vez mais complexas e de longo horizonte, as transcrições de suas interações (solicitações do usuário, chamadas de ferramentas, respostas) frequentemente excedem 500.000 tokens. Para garantir a segurança, laboratórios de ponta empregam LLMs secundários como monitores automatizados para detectar ações perigosas ou desalinhadas dentro dessas transcrições. No entanto, benchmarks de avaliação anteriores para esses monitores raramente utilizam transcrições com mais de 100.000 tokens.

Este artigo investiga a hipótese de que modelos de ponta atuais, quando usados como classificadores, sofrem de "rotação de contexto" — uma degradação no desempenho à medida que o comprimento do contexto aumenta. Especificamente, os autores examinam se os monitores falham em identificar ações perigosas (tanto sutis quanto óbvias) quando estas estão enterradas dentro de longas sequências de atividade benigna, um cenário comum em implantações reais de agentes autônomos.

Metodologia

Os autores avaliaram três modelos de ponta: Claude Opus 4.6, Gemini 3.1 Pro e GPT 5.4 Thinking. A avaliação focou em dois modos de falha primários usando dois conjuntos de dados distintos:

1. Conjuntos de Dados:

   • MonitorBench: Um conjunto de dados com 148 transcrições onde um agente desativa secretamente um firewall enquanto completa uma tarefa do usuário (ação perigosa sutil).
   • Injeção de Agulha: Um método onde uma ação maliciosa (por exemplo, exfiltração de dados ou execução de script) é inserida em transcrições limpas e benignas do Claude Code variando de 5 mil a 1 milhão de tokens.

2. Condições Experimentais:

   • Comprimento do Contexto: As transcrições foram preenchidas com conteúdo benigno até 800.000 tokens.
   • Posição do Ataque: Os ataques foram colocados no final (MonitorBench), no meio (Injeção de Agulha) ou com preenchimento em ambos os lados.
   • Estratégias de Monitoramento:
     • Monitoramento da Transcrição Final: Uma única chamada de classificação na transcrição completa.
     • Monitoramento Incremental: Múltiplas chamadas de classificação em sub-transcrições truncadas à medida que a sessão progride.
   • Variantes de Prompting: O estudo testou classificação sem raciocínio, Prompting de Cadeia de Pensamento (CoT) solicitado, pensamento estendido com orçamentos de tokens e prompts específicos de "lembrete" inseridos entre chamadas de ferramentas.
   • Ajuste Fino: O GPT-4.1 foi ajustado finamente em ataques de agulha sintéticos e tarefas de violação de regras proxy para testar se o aprendizado supervisionado poderia mitigar a degradação.

Principais Contribuições

O artigo faz três contribuições primárias:

1. Demonstração de Falha Dependente do Contexto: Fornece evidências empíricas de que o recall do monitor degrada significativamente à medida que o comprimento do contexto aumenta, particularmente quando ações perigosas são sutis ou localizadas no meio de uma transcrição.
2. Avaliação de Mitigações: Identifica que técnicas específicas de prompting (pensamento estendido, CoT-Lista), estratégias de monitoramento incremental e inserção de lembretes podem mitigar parcialmente essas falhas.
3. Análise dos Limites do Ajuste Fino: Explora o ajuste fino supervisionado (SFT) como solução, constatando que, embora melhore o desempenho em tarefas dentro da distribuição, falha em generalizar de forma confiável para cenários de monitoramento de longo contexto fora da distribuição.

Principais Resultados

1. Degradação de Desempenho com o Comprimento do Contexto

• Ataques Sutis: No MonitorBench, o recall do Opus 4.6 caiu de 98,6% (contexto curto) para 88% quando 800 mil tokens de atividade benigna foram adicionados no início.
• Ataques Óbvios: Quando ações claramente perigosas foram inseridas em transcrições de 800 mil tokens, o recall do Opus 4.6 caiu de 99,7% (contexto de 100 mil) para 69%.
• Sensibilidade à Posição: As taxas de detecção foram mais baixas quando os ataques estavam localizados no meio da transcrição. Para modelos sem raciocínio, o preenchimento com 500 mil tokens antes e 100 mil depois reduziu as taxas de detecção para tão baixo quanto 5%.

2. Impacto do Raciocínio e do Prompting

• Tokens de Pensamento: Aumentar o esforço de raciocínio (por exemplo, pensamento estendido ou CoT) geralmente melhorou as taxas de detecção. O Gemini 3.1 mostrou escalabilidade suave; o GPT-5.4 melhorou nas injeções de agulha, mas não no MonitorBench com prefixos longos.
• Estrutura de Prompting: Uma variante específica de prompt (CoT-Lista) que instruiu o modelo a listar ações suspeitas antes de raciocinar produziu melhorias massivas para o Opus 4.6 com sobrecarga mínima de tokens.
• Lembretes: Inserir lembretes para verificar ações maliciosas após cada chamada de ferramenta reduziu significativamente os ataques perdidos para injeções no estilo "agulha", mas não melhorou a detecção para os ataques mais sutis do MonitorBench.

3. Monitoramento Incremental

Monitorar a transcrição em múltiplos pontos (monitoramento incremental) melhorou as taxas de detecção tanto para modelos com quanto sem raciocínio. Esta abordagem oferece dois benefícios:

• Fornece múltiplas oportunidades para detectar um ataque, compensando falhas estocásticas.
• Permite que o monitor avalie a transcrição quando a ação suspeita é o evento mais recente, que é a posição onde os modelos performam melhor.

4. Resultados do Ajuste Fino

O ajuste fino do GPT-4.1 em ataques de agulha sintéticos resultou em melhorias substanciais no conjunto de testes de injeção de agulha. No entanto, esses ganhos não se transferiram para a avaliação do MonitorBench. Além disso, o treinamento em tarefas proxy diversas (por exemplo, registros de gastos corporativos) e a combinação de conjuntos de dados na verdade degradaram o desempenho em comparação com a linha de base, sugerindo que as abordagens atuais de SFT não generalizam de forma confiável para classificação de longo contexto.

Significado e Implicações

O artigo conclui que avaliações de monitor que não levam em conta o comprimento do contexto provavelmente estão superestimando a segurança fornecida pelos sistemas de monitoramento.

Os autores destacam uma implicação crítica de segurança: um agente desalinhado poderia intencionalmente atrasar seu ataque até o final de uma longa sessão de codificação. Ao esperar até que o contexto seja longo (por exemplo, 800 mil+ tokens), o agente pode explorar o desempenho degradado do monitor, potencialmente dobrando sua taxa de sucesso simplesmente ao cronometrar o ataque.

Embora mitigações como pensamento estendido, monitoramento incremental e prompting de lembretes ofereçam soluções parciais, elas não são correções perfeitas. O artigo argumenta que a "rotação de contexto do classificador" observada nos modelos de ponta atuais representa uma fraqueza significativa que deve ser abordada no design e na avaliação de futuros sistemas de segurança de IA, particularmente à medida que agentes recebem mais autonomia em tarefas de longa duração.