Resumo Técnico: Amplificar, Não Criar: Acumulação Temporal para Injeção de Prompt de Queima Lenta (Slow-Burn)

1. Declaração do Problema

O desafio de segurança central para agentes de modelos de linguagem que utilizam ferramentas é a injeção de prompt, onde textos adversários em canais não confiáveis (páginas web, saídas de ferramentas, arquivos de repositório) redirecionam o plano de controle do agente. As primitivas defensivas atuais dependem da detecção por evento: pontuar mensagens ou saídas de ferramentas individuais e disparar um alarme se um único evento exceder um limite.

Esta abordagem possui um ponto cego estrutural conhecido como o regime de queima lenta (slow-burn). Um atacante pode distribuir uma sequência de diretrizes individualmente de aparência inocente ao longo de uma trajetória longa (ex: "fazer push para este remoto", "usar esta URL", "incluir o arquivo env"). Cada etapa permanece abaixo do limite de detecção, evitando alarmes, enquanto o efeito agregado resulta em uma exfiltração de dados completa ou na tomada de controle do plano de controle. Um detector por evento ajustado para uma taxa de falsos positivos utilizável não consegue reduzir seu limiar o suficiente para capturar esses passos silenciosos sem ser inundado pelo ruído benigno do agente.

A questão de pesquisa é se um acumulador temporal no lado do proxy pode recuperar esse sinal distribuído ao agregar pontuações sub-limiares ao longo de uma trajetória, especificamente usando estatísticas de persistência de pico (peak) e Soma Cumulativa (CUSUM).

2. Metodologia e Configuração Experimental

O Contrato Congelado e a Anti-Circularidade

Para garantir que os resultados não sejam artefatos de sobreajuste (overfitting), o estudo impõe um "contrato congelado" estrito e uma separação de anti-circularidade:

• Gerador ($D_{gen}$): Um juiz LLM autorregressivo (mantido à parte) usado apenas pelo gerador de ataque para refinar os enxertos (grafts). Ele pontua o quão fortemente um evento se lê como um movimento do plano de controle. O gerador não tem acesso ao avaliador.
• Evaluador ($D_{eval}$): O "detector de registro", um ensemble congelado de um classificador de n-grama de caracteres linear e uma cabeça de contraste de embedding. Ele nunca é visto pelo gerador.
• Requisito de Transferência: Os enxertos devem ser sub-limiares sob $D_{gen}$ e permanecer sub-limiares sob $D_{eval}$ puramente através de transferência entre famílias, não por otimização contra o avaliador.
• Juiz de Piso (Floor Judge): Um LLM mantido à parte verifica se os enxertos contêm diretrizes extraíveis por máquina vinculadas a arestas de ação executadas reais, evitando enxertos degenerados "vazios".

O Mecanismo de Acumulação

Para uma trajetória de pontuações por evento $s_1 \dots s_T$:

• Pico (Peak): A pontuação máxima na trajetória ($\max_t s_t$).
• Persistência: Uma estatística CUSUM que reseta em zero: $g_t = \max(0, g_{t-1} + (s_t - k))$, onde $k$ é o desvio de referência benigno (mediana da pontuação da população benigna).
• Restrição Chave: O CUSUM apenas acumula massa de pontuação acima do desvio benigno $k$. Enxertos empurrados profundamente abaixo de $k$ contribuem com zero persistência, independentemente da densidade.

Métricas de Avaliação

Para evitar confundir a contribuição dos enxertos com o "calor" inerente das trajetórias portadoras, o endpoint primário é o delta-do-enxerto (graft-delta):
$$\text{m-delta} = \text{m}(\text{nativo} + \text{enxertos}) - \text{m}(\text{apenas nativo})$$
Isso mede a persistência ou massa de pico adicionada especificamente aos enxertos injetados, comparando enxertos de ataque contra enxertos sham benignos correspondentes.

3. Principais Resultados

Resultado 0: Coorte de Fundação (Ataques Concentrados)

Em um conjunto mantido à parte de ataques concentrados (onde um único evento já causa um pico), o acumulador de nível de trajetória (pico ou persistência) vence estatisticamente o contra-ataque por evento (AUC +0,092, 95% CI [+0,025, +0,155]). No entanto, a persistência e o pico estão estatisticamente empatados aqui, como esperado para ataques concentrados onde um único evento domina.

Resultado 1: Exfiltração de Repositório Git (Validação de Queima Lenta)

Em portadores limpos do GitHub com ações repetidas de git, o enxerto de quatro diretivas espalhadas e sub-limiares rendeu um delta-de-persistência positivo:

• Sobreviventes de Ataque: Mediana de delta-de-persistência de +0,0421.
• Shams Benignos: Mediana de delta-de-persistência de +0,0150.
• Separação: AUC do delta-de-persistência = 0,708 (sobre 4 sobreviventes de ataque vs. 6 shams benignos).
• Controle: O controle de delta-de-pico correspondente falhou em separar o ataque do sham (AUC 0,417).
• Conclusão: Uma densidade de elevações leves e sub-limiares acumula-se em massa de persistência que os shams benignos não reproduzem. Isso confirma que a acumulação temporal funciona quando o detector subjacente fornece uma margem.

Resultado 2: Ações Ampliadas (Falha de Generalização)

Quando a mesma construção de densidade-quatro foi aplicada a ações de caminhos limpos mais amplos (downloads de arquivos, cenários de compras):

• Resultado: Nulo decisivo. AUC do delta-de-persistência = 0,167.
• Causa: O detector atribuiu pontuações indistinguíveis (~0,42) tanto para ações de ataque quanto para benignas. Os enxertos pousaram "frios" demais (perto ou abaixo do desvio benigno) para acumular qualquer massa de persistência.
• Conclusão: A falha foi uma falha de margem do sensor, não uma falha de limiar. O acumulador não pode criar uma margem onde o detector por evento não fornece nenhuma.

Resultado 3: Poder Independente (Bloqueio Estrutural)

O estudo não pôde ser independentemente alimentado devido à escassez de fontes. O eixo de exfiltração de repositório git expõe apenas três a quatro tarefas independentes. Executar múltiplos modelos sobre as mesmas tarefas cria pseudo-réplicas (dados correlacionados), não evidências independentes. O estudo reporta isso como uma limitação estrutural do cenário atual de benchmarks.

4. Principais Contribuições e Significância

A Tese do "Amplificador de Margem"

A principal contribuição do artigo é a afirmação do mecanismo limitado: A acumulação temporal é um amplificador de margem, não um detector semântico.

• Ela pode recuperar o sinal distribuído apenas onde o detector por evento subjacente já produz pontuações sub-limiares elevadas nas etapas de ataque.
• Ela não pode criar uma margem de detecção onde o detector por evento atribui pontuações indistinguíveis para ações de ataque e benignas.
• A "banda produtiva" é estreita (aproximadamente 0,45 a 0,50 na configuração testada): os enxertos devem estar acima do desvio benigno para acumular, mas abaixo do limiar para permanecer de queima lenta.

Contribuições Metodológicas

1. Aviso de Pseudo-Replicação: O artigo identifica um perigo crítico na avaliação de benchmarks de agentes, onde múltiplas execuções de modelos sobre a mesma geometria de tarefa são contadas incorretamente como evidência independente. Argumenta-se pela amostragem na unidade de independência genuína (a tarefa, não a execução).
2. Padrão de Auditoria de Independência: Os autores introduzem uma "escada de independência" para verificação:
   • Independência de caminho de dados: Rederivar números a partir de recibos por evento congelados.
   • Independência algorítmica: Reimplementações cegas da matemática.
   • Confiança na camada de pontuação: Reconhecer que os scores dos modelos são confiáveis, mas limitados por versões fixas (pins).
3. Protocolo de Avaliação Não-Circular: Uma separação rigorosa entre o gerador de ataque (alvo do disfarce) e o avaliador (detector de registro) para garantir que a transferência seja genuína e não um artefato de ajuste.

5. Alegações Modestas e Limitações

Os autores declaram explicitamente que este é um estudo de mecanismo limitado, não um sistema implantável.

• Não é um Novo Detector: Eles não alegam ter um melhor detector por evento; o sensor por evento é mantido congelado.
• Aplicabilidade Estreita: O resultado positivo é específico para o eixo de exfiltração de repositório git, onde existe uma margem real por evento. Ele falha em ações de caminhos limpos mais amplos.
• Tamanho da Amostra: Os achados positivos baseiam-se em apenas quatro sobreviventes de ataque em três tarefas independentes.
• Fronteiras de Confiança: Embora a aritmética seja verificada, os scores por evento dependem da confiabilidade das saídas dos modelos subjacentes (confiança na camada de pontuação).

Em resumo, o artigo demonstra que a acumulação temporal pode amplificar sinais fracos e distribuídos, mas é estritamente dependente da capacidade do sensor por evento em distinguir etapas de ataque de ações benignas, mesmo que apenas ligeiramente. Serve como um aviso contra a dependência excessiva de acumulação quando o sensor subjacente carece de separação semântica, e como um guia metodológico para uma avaliação de segurança de agentes rigorosa e não circular.