Resumo Técnico: Fantasma no Contexto

Definição do Problema

Este artigo identifica um modo de falha de segurança distinto em agentes de Modelos de Linguagem Grandes (LLM) denominado falha de transporte de política durante a montagem de contexto no momento da decisão.

Em pilhas de agentes implantados, o modelo não atua sobre o histórico de interação bruto. Em vez disso, uma camada de orquestração ($E$) monta um "estado de decisão" delimitado ($C_t$) ao truncar, resumir, reordenar e reescrever o estado anterior antes da chamada final do modelo ($M$). Os autores argumentam que a fronteira de segurança se estende além dos pesos do modelo e da superfície visível do prompt para incluir este subsistema de montagem.

A ameaça central é que o estado portador de diretivas (por exemplo, políticas de segurança, regras de permissão/negação, restrições de autoridade) compete por um orçamento limitado de tokens contra saídas de ferramentas, notas do planejador e conteúdo do usuário. Se o processo de montagem descartar, enfraquecer ou reatrelar essas diretivas antes que o modelo as veja, o agente pode cruzar uma fronteira de política sem qualquer injeção de prompt, comprometimento do modelo ou envenenamento persistente de memória. O adversário precisa apenas controlar a pressão de agendamento (o volume e a ordenação do conteúdo não de controle) para induzir essas falhas.

O artigo categoriza essas falhas em três famílias:

1. Ejeção: O estado portador de diretivas é deslocado e não mais atinge o estado de decisão (Falha de Disponibilidade).
2. Aliasing: A diretiva sobrevive, mas é semanticamente enfraquecida, reescrita ou distorcida, falhando em preservar a fronteira operacional original (Falha de Integridade).
3. Instabilidade de Ligação: A diretiva permanece visível, mas é reatrelada ao ator, objeto ou condição errados (Deriva de Referência).

Metodologia

O estudo avalia esses modos de falha usando uma campanha controlada e fechada em modelos locais e alinhados: Llama 3.1 8B, Qwen 2.5 7B e Mistral 7B, com extensão para Qwen 2.5 14B e Llama 3.1 70B.

Configuração Experimental

• Regime de Orçamento: Um orçamento de momento de decisão deliberadamente severo de 260 tokens. Isso força compensações realistas entre a estrutura do sistema, rastros de ferramentas, resumos e a consulta final, garantindo que a competição de políticas seja observável.
• Vetores de Ataque: Cenários são construídos para induzir ejeção, aliasing e instabilidade de ligação variando a ordenação e o volume do conteúdo "de preenchimento" (saídas de ferramentas, notas do planejador) em relação aos segmentos portadores de diretivas.
• Métricas:
  • Taxa de Retenção Exata de Restrições (ECR): Se a resposta final respeita exatamente todas as restrições aplicáveis.
  • Taxa de Sobrevivência de Restrições (CSR): Uma medida graduada de respeito parcial.
  • Taxa de Inversão de Decisão (DFR): Se alterar apenas a ordem do prompt inverte o resultado de controle.
  • Taxa de Preservação Direta (DPR): Uma auditoria direta do estado de decisão montado para verificar se os marcadores de restrição estão explicitamente visíveis antes da chamada do modelo.

Intervenção: SafeContext

Os autores propõem e avaliam o SafeContext, uma camada de controle que intervém no processo de montagem sem modificar os pesos do modelo. Seus mecanismos incluem:

• Controle de Admissão (LPC): Classificar segmentos de entrada como "Política" ou "Dados" antes da competição de orçamento.
• Fixação de Controle Semântico (SCP): Reservar um orçamento protegido para o estado portador de diretivas e fixá-lo no estado de decisão.
• Reutilização de Prefixo Consciente de Cache: Reutilizar prefixos de controle retidos entre turnos para evitar custos de reserialização.
• Engenharia de Contexto Invasiva (ICE): Acionar lembretes de controle curtos perto da consulta final quando a pressão de tokens de entrada excede um limiar (Meia-Vida de Segurança).
• Auditor de Pontuação de Ligação de Autoridade (ABS): Verificar se as diretivas sobreviventes permanecem ligadas aos seus objetos pretendidos.

Resultados Principais

1. Risco Sistemático Não Mitigado (C1)

O risco não mitigado é sistemático. No regime de baixo orçamento, o respeito exato às restrições (ECR) é extremamente baixo em todos os modelos e famílias de ataque.

• Ejeção e Aliasing são os modos de falha dominantes.
• Instabilidade de Ligação é menor e mais ruidosa.
• Sem mitigação, os segmentos portadores de diretivas são frequentemente deslocados ou enfraquecidos pelo histórico ordinário antes da chamada do modelo.

2. Efeitos Residuais Contra Compactação Forte (C2)

A eficácia da mitigação depende altamente da política de montagem concorrente.

• Contra truncamento simples, o SafeContext produz ganhos pequenos, mas positivos no ECR (por exemplo, subindo de ~0,027 para ~0,061 para SCP+ICE).
• Contra compactação estruturada forte (B2+), o aumento agregado desaparece em grande parte. O benefício residual concentra-se quase exclusivamente na ejeção de transbordamento (onde a pressão é mais alta) e em fatias específicas de aliasing.
• Apenas Replay (repetir simplesmente as restrições) não explica o efeito; os ganhos vêm do tratamento específico do estado de controle (fixação e isolamento), não apenas da recência.

3. Heterogeneidade e Escala (C3)

• O efeito é recorrente, mas heterogêneo. O sinal e a magnitude dos benefícios de mitigação dependem da interação entre os priores do modelo e a política de montagem específica.
• Modelos maiores (14B, 70B) não eliminam o fenômeno. Embora o Qwen 14B mostre resultados positivos no aliasing, o Llama 70B permanece condicional à política. A escala não colapsa o modo de falha em um efeito simples de "modelo maior"; a regra governante ainda deve chegar ao momento da decisão ao vivo e corretamente representada.

4. Perfil Custo-Benefício (C4)

O SafeContext introduz uma compensação sintonizável entre segurança e sobrecarga:

• SCP (Admissão/Fixação): Baixo custo (~+5 tokens) com ganhos modestos de ECR.
• SCP+ICE: Custo mais alto (~+37 tokens) com ganhos maiores de ECR.
• SCP+Cache+ICE: Pode realmente reduzir contagens totais de tokens (~-365 tokens) ao evitar a reserialização de segmentos de controle fixados, enquanto ainda alcança os maiores ganhos de ECR.
• O "Ganho de Segurança" não é uniforme; é mais pronunciado onde o estado portador de controle está sob maior pressão.

Significado e Alegações

O artigo alega que a montagem de contexto no momento da decisão é uma parte mensurável e distinta do caminho de controle em agentes LLM.

• Mudança no Modelo de Ameaça: A segurança não pode ser limitada aos pesos do modelo ou à superfície final do prompt. O subsistema que monta o contexto ($E$) faz parte da Base de Computação Confiável (TCB). Um adversário não precisa injetar strings maliciosas; pode simplesmente manipular a pressão de agendamento para causar que diretivas autoritárias sejam descartadas ou enfraquecidas.
• Decomposição de Falhas: O artigo operacionaliza uma taxonomia de falhas (Ejeção, Aliasing, Instabilidade de Ligação) que vai além da "degradação genérica de contexto longo" para falhas específicas de estado de controle.
• Endurecimento Parcial: Embora o respeito exato absoluto permaneça baixo mesmo após a mitigação, o tratamento direcionado do estado portador de diretivas (admissão, fixação e reforço acionado por pressão) pode endurecer parcialmente o sistema.
• Implicação de Design: O estado portador de diretivas deve ser tratado como estado de tempo de execução de primeira classe, distinto do contexto conversacional ordinário ou gerado por ferramentas. Requer caminhos de admissão explícitos, orçamentos reservados e auditorias de integridade, em vez de estar sujeito a compressão oportunista.

Os autores concluem que, embora janelas maiores e melhorias genéricas de memória não eliminem este problema, as falhas específicas de transporte de política na montagem delimitada podem ser decompostas, medidas e parcialmente mitigadas através de intervenções na camada de orquestração.