Resumo Técnico: PRISM – Detecção e Mitigação em Tempo de Geração de Vazamento de Segredos em Pipelines de LLM Multi-Agente

1. Declaração do Problema: Amplificação de Propagação

O artigo identifica uma vulnerabilidade estrutural crítica em sistemas de Modelos de Linguagem de Grande Escala (LLM) multi-agente: a amplificação de propagação. Diferentemente de implantações de modelo único, pipelines multi-agente (por exemplo, AutoGen, ChatDev, MetaGPT) dependem de um contexto compartilhado e apenas de adição, onde os agentes passam informações sequencialmente.

Os autores formalizam que, quando um segredo sensível $s$ é recuperado por um agente a montante $A_i$, ele entra no contexto compartilhado $C$. Agentes a jusante $A_{i+1} \dots A_K$ consomem esse contexto. Mesmo que um agente a jusante não precise explicitamente do segredo para executar sua tarefa, a probabilidade de ele reproduzir o segredo aumenta com a profundidade do pipeline. O artigo modela a probabilidade de vazamento como:
$$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$$
onde $p_j$ é a probabilidade de reprodução. Sob a suposição de que a probabilidade de reprodução por agente é não nula, o risco cumulativo se compõe à medida que o pipeline se aprofunda. Dados empíricos de um pipeline de quatro agentes sem defesa mostram uma taxa de vazamento em nível de tarefa de 71,2%, confirmando que o vazamento é uma consequência estrutural da composição de contexto compartilhado, e não meramente um resultado de prompts adversariais.

Defesas existentes são inadequadas para este cenário:

• Escaneadores estáticos (por exemplo, detect-secrets, TruffleHog) dependem de padrões de superfície e operam post-hoc, falhando em capturar reconstruções parciais ou reutilização contextual.
• LLM como juiz/Barreiras de segurança operam após a conclusão da geração, permitindo que segredos se propaguem através de agentes intermediários antes de serem filtrados.
• Safeguards baseados em prompt degradam-se sob raciocínio multi-salto e enquadramento adversarial.

2. Metodologia: PRISM (Intervenção de Risco Preditiva para Monitoramento de Segredos)

O PRISM é um mecanismo de defesa em tempo real projetado para intervir durante o processo de geração de tokens, antes que um segredo seja totalmente reconstruído e propagado.

Insight Central

Os autores observam que a reprodução de uma credencial memorizada é precedida por uma mudança mensurável na dinâmica de geração. À medida que um LLM transita da geração aberta para a reprodução determinística de um segredo estruturado (por exemplo, uma chave de API), a entropia em nível de token colapsa e a concentração de logits aumenta. Essa "transição de fase" serve como um sinal de alerta precoce.

Arquitetura

O PRISM opera como um monitor por token integrado ao loop de decodificação de cada agente no pipeline.

1. Extração de Recursos: Em cada etapa de decodificação $t$, o PRISM agrega um vetor de recursos de 16 dimensões $f_t$ composto por:
   • Dinâmica Temporal de Geração: Colapso de entropia, concentração de logits (divergência) e escalada de trajetória (aumento de risco ao longo das etapas).
   • Sinais Estruturais de Texto: Padrões de identificadores (por exemplo, UUIDs, e-mails), sequências numéricas e correspondências de regex estilo credencial.
   • Sinais Contextuais/Comportamentais: Uso de ferramentas (por exemplo, read_file), densidade de palavras-chave e sobreposição de n-gramas.
2. Pontuação de Risco: Um modelo de regressão logística calcula uma pontuação de risco $r_t = \sigma(w^\top f_t + b)$.
3. Política de Intervenção: A pontuação mapeia para três zonas:
   • VERDE ($r_t < \tau_1$): Passar o token inalterado.
   • AMARELO ($\tau_1 \le r_t < \tau_2$): Sanitizar o token (substituir por [MASK]) para quebrar a sequência enquanto preserva a estrutura de saída.
   • VERMELHO ($r_t \ge \tau_2$): Interromper a geração imediatamente para prevenir a reconstrução completa do segredo.
4. Auditoria Pós-Geração (ZK-RC): Uma camada de fallback leve usando correspondência de 8-gramas hash (SHA-256) para capturar fragmentos residuais se tokens individuais escaparem abaixo do limiar, mas coletivamente formarem um segredo.

3. Contribuições Principais

1. Formalização da Amplificação de Propagação: O artigo fornece um modelo probabilístico demonstrando como o risco de vazamento se compõe através das fronteiras dos agentes em pipelines de contexto compartilhado, distinguindo isso do vazamento de modelo único.
2. Framework PRISM: Introdução de uma defesa em tempo de geração que trata o vazamento como um problema de acúmulo de risco sequencial, utilizando intervenção por token em vez de filtragem post-hoc.
3. Complementaridade de Sinais: Identificação de que nem a dinâmica temporal (entropia/logits) nem as pistas estruturais (padrões) sozinhas são suficientes. A combinação de colapso de entropia e detecção de padrões de identificador é necessária para alto poder discriminativo.
4. Construção de Benchmark: Criação de um benchmark adversarial de 2.000 tarefas cobrindo 13 categorias de ataque (por exemplo, injeção de prompt, engenharia social, propagação inter-agente) e três níveis de pressão (Baixo, Médio, Alto) em um pipeline heterogêneo de quatro agentes.

4. Resultados Experimentais

Avaliado contra 10 métodos de defesa de base (incluindo Span Tagger, GBT Classifier, LLM Judge e escaneadores estáticos) no benchmark de 2.000 tarefas:

• Prevenção de Vazamento: O PRISM alcançou uma taxa de vazamento em nível de tarefa de 0,0%, significando que nenhuma tarefa resultou em um segredo totalmente reconstruído na saída final. Este é o único método a eliminar o vazamento observado no benchmark.
• Métricas de Desempenho:
  • Pontuação F1: 0,832 (superando a base mais forte, Span Tagger, em 0,719).
  • Precisão: 1,000 (sem falsos positivos).
  • Revocação (Recall): 0,712.
  • Utilidade: 0,893 (89,3% das tarefas benignas passaram sem modificação).
• Comparação:
  • Span Tagger: 15,0% de taxa de vazamento em nível de tarefa.
  • GBT Classifier: 19,2% de taxa de vazamento em nível de tarefa.
  • Escaneadores Estáticos/Juízes LLM: >60% de taxas de vazamento em nível de tarefa.
• Robustez: O PRISM manteve taxas de detecção $\ge 95,9\%$ em oito transformações de ofuscação em nível de superfície (por exemplo, codificação hexadecimal, divisão de caracteres), enquanto as bases baseadas em padrões degradaram-se para detecção próxima de zero.
• Latência: O PRISM adiciona sobrecarga mínima (~5,5 ms por tarefa), operando significativamente mais rápido que juízes baseados em LLM (>1.800 s) e comparável a correspondentes de padrão leves.

5. Significado e Alegações

O artigo argumenta que a segurança de sistemas multi-agente requer uma mudança de paradigma da filtragem estática ou post-hoc para o monitoramento contínuo do próprio processo de geração.

• Vulnerabilidade Estrutural: Os autores enfatizam que o vazamento em sistemas multi-agente não é apenas uma falha em nível de prompt, mas uma consequência estrutural da propagação de informações. Uma vez que um segredo entra no contexto compartilhado, é provável que ele reapareça a jusante.
• Intervenção Precoce: Ao detectar a transição de fase de "colapso de entropia", o PRISM intervém antes que o segredo seja totalmente materializado, prevenindo a propagação de dados sensíveis para agentes a jusante.
• Praticidade: O sistema alcança alta precisão de detecção com baixa latência, tornando-o viável para implantação em tempo real em fluxos de trabalho interativos multi-agente.
• Modéstia nas Alegações: Os autores observam explicitamente que seu benchmark é sintético e controlado. Eles reconhecem limitações, incluindo a dependência de acesso de caixa branca (log-probabilidades) para desempenho ótimo (embora exista uma variante de caixa preta com uma taxa de vazamento residual de 1,4%) e o fato de que o sistema modela dinâmicas de vazamento passivo em vez de ocultação estratégica e direcionada a objetivos por adversários adaptativos. Eles posicionam o PRISM como um mecanismo direcionado para reprodução de credenciais via propagação sequencial, não uma solução universal para todos os vazamentos de informações.