Resumo Técnico: Caught in the Act(ivation)

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) frequentemente operam combinando contexto confiável (contendo credenciais sensíveis como chaves de API ou senhas) com conteúdo recuperado não confiável dentro de uma única janela de contexto. Esta arquitetura cria uma vulnerabilidade à Injeção de Prompt Indireta (IPI), onde um payload adversário no conteúdo não confiável pode redirecionar o agente para exfiltrar credenciais.

As defesas existentes operam primariamente ao nível do texto:

• Filtros de entrada monitoram o conteúdo não confiável antes que ele chegue ao modelo.
• Monitores de saída escaneiam o texto gerado em busca de padrões de credenciais.

Essas abordagens sofrem de limitações estruturais: a detecção ao nível de saída pode ser evitada via codificações (Base64, Unicode), paráfrases ou vazamento de baixa taxa distribuído ao longo de múltiplas voltas de conversação. A detecção ao nível de entrada enfrenta o problema de generalização de frases adversárias. O artigo argumenta que a exfiltração de credenciais requer o monitoramento em três níveis distintos: acesso interno ao modelo, canários de credenciais plantados e vazamento cumulativo de conversação.

Metodologia: O Sistema Imunológico Agêntico (AIS)

Os autores propõem o AIS, um protótipo de pesquisa que integra três mecanismos de defesa complementares:

1. CIFT: Detecção de Ativação Pré-Saída

• Objetivo: Detectar comportamento de busca de credenciais antes que qualquer token de saída seja emitido, contornando a necessidade de analisar o texto final.
• Mecanismo:
  • O sistema registra hooks de propagação (forward hooks) nas últimas $K$ camadas do transformer (padrão $K = \lfloor 0.25 \cdot L_{total} \rfloor$).
  • Em vez de analisar posições estáticas de credenciais (que são causalmente mascaradas para consultas subsequentes em modelos decoder-only), o CIFT agrupa estados ocultos em posições de leitura ($R_t$) que ocorrem após tanto o contexto secreto quanto a consulta/payload atual.
  • Ele computa um Score de Fluxo Causal (CFS) usando um desvio de Mahalanobis dessas características agrupadas contra uma linha de base benigna.
  • Um probe não linear leve (MLP) mapeia o CFS para um logit de detecção.
• Restrição Chave: Este método requer acesso white-box às ativações do modelo.

2. DP-HONEY: Geração de Honeytokens Calibrados

• Objetivo: Detectar tentativas de exfiltração plantando credenciais "canário" que são estatisticamente indistinguíveis das reais, mas que disparam alertas se vazadas.
• Mecanismo:
  • Geração: Os honeytokens são gerados usando modelos de caracteres por bigramas treinados com Privacidade Diferencial (DP) (ruído de Laplace adicionado às tabelas de contagem) para evitar que atacantes os distingam com base em artefatos estatísticos.
  • Detecção: Um detector ao nível de texto escaneia as saídas em busca desses canários.
  • Calibração: O limiar de detecção é determinado via Predição Conformal Dividida (Split Conformal Prediction) para garantir uma taxa de falsos positivos controlada sem ajuste manual, assumindo a permutabilidade (exchangeability).
• Lógica: Se um atacante não consegue distinguir credenciais reais de honeytokens, a probabilidade de disparar um canário é proporcional à razão entre honeytokens e o total de credenciais visíveis.

3. NIMBUS: Contabilização de Vazamento Cumulativo

• Objetivo: Detectar exfiltração de múltiplas voltas onde um atacante vaza pequenas quantidades de informação (ex: um caractere por turno) que, individualmente, parecem inofensivas, mas cumulativamente revelam um segredo.
• Mecanismo:
  • Trata a exfiltração de múltiplas voltas como um problema de fluxo de informação.
  • Utiliza um crítico InfoNCE para estimar um score de vazamento por turno (em bits) baseado na informação mútua entre a saída e o contexto secreto, condicionado ao histórico da conversa.
  • Mantém um orçamento de vazamento cumulativo ($\hat{I}_{cum}$). Se o score acumulado exceder um limiar, o sistema dispara ações (avisar, sanitizar ou bloquear).
• Limitação: O estimador fornece um sinal prático (um limite inferior aprendido) em vez de um limite superior formal de liberação de informação.

Principais Contribuições

1. Estudo Empírico de Probes de Ativação: Demonstrou que as características de ativação em LLMs de pesos abertos podem separar prompts benignos de prompts de busca de credenciais com alta precisão, mesmo sob transformações de codificação mantidas fora do conjunto de teste, sem depender de posições estáticas de segredos.
2. Honeytokens Disciplinados Estatisticamente: Adaptou a modelagem diferencialmente privada e a calibração conformal para a geração e detecção de honeytokens, esclarecendo as garantias e limitações estatísticas da detecção baseada em canários.
3. Monitor de Vazamento Cumulativo: Introduziu um protótipo (NIMBUS) para rastrear o vazamento estimado através de turnos de conversa, mostrando que ele pode detectar ataques que detectores por turno perdem.

Resultados Experimentais

Experimentos foram conduzidos em modelos de pesos abertos (Qwen-2.5, Llama-3.1, Mistral-7B) e um pequeno benchmark sintético interno de múltiplas voltas.

• Desempenho do CIFT: Em um conjunto de turno único mantido fora do treinamento, o CIFT alcançou um AUROC de 0.998 e F1 de 0.990 no Qwen-7B, superando significativamente as linhas de base de nível de texto (ex: Substring, Fuzzy, Embedding Semântico) que degradaram sob várias codificações (Base64, Hex, ROT13, etc.).
• Desempenho do DP-HONEY: Alcançou precisão e recall perfeitos em um pequeno conjunto de cenários. A calibração conformal removeu a necessidade de ajuste manual de limiar enquanto mantinha uma cobertura de 0.998.
• Desempenho do NIMBUS: Em uma suíte sintética de 50 conversas (20 turnos cada), o NIMBUS detectou 90% dos ataques de baixa taxa, enquanto as linhas de base por turno (como LlamaGuard) detectaram apenas 12%. O NIMBUS conseguiu capturar ataques onde os turnos individuais permaneceram abaixo dos limiares de detecção.
• Sistema Integrado: O pipeline completo do AIS (combinando os três) alcançou uma taxa de detecção de 0.94 com uma Taxa de Falso Positivo (FPR) de 0.018 em benchmarks de turno único.

Significância e Alegações

O artigo posiciona estes resultados como preliminares, mas indicativos de uma mudança necessária no design de segurança de agentes.

• Modéstia nas Alegações: Os autores declaram explicitamente que o AIS é um protótipo de pesquisa, não uma defesa pronta para implantação. O benchmark de múltiplas voltas é pequeno e sintético; o método de ativação requer acesso white-box; e o NIMBUS fornece um sinal prático em vez de um limite de segurança formal.
• Direção de Design: A principal contribuição é estabelecer uma direção de pesquisa sugerindo que defesas eficazes contra exfiltração de credenciais devem combinar:
  1. Monitoramento pré-saída (estados internos do modelo).
  2. Detecção de canário calibrada (honeytokens estatisticamente disciplinados).
  3. Contabilização de fluxo de informação temporal (fluxo de informação cumulativo).
• Limitações Reconhecidas: O sistema não lida atualmente com credenciais passadas através de argumentos estruturados de chamadas de ferramentas (um grande ponto cego), depende de suposições de permutabilidade para calibração e requer acesso white-box para seu componente mais eficaz (CIFT).

O artigo conclui que, embora os filtros atuais de nível de texto sejam insuficientes contra exfiltrações sofisticadas, de múltiplas voltas ou codificadas, uma abordagem multicamadas monitorando o acesso interno, canários plantados e fluxo cumulativo oferece um caminho promissor para assegurar agentes de LLM.