Resumo Técnico: Confiança Componível para Modelos de Linguagem

1. Declaração do Problema

A limitação arquitetural fundamental dos Grandes Modelos de Linguagem (LLMs) atuais é que instruções e dados compartilham um fluxo de tokens único e indiferenciado. Consequentemente, nada dentro do processo de geração do modelo pode distinguir inerentemente entre uma instrução de sistema confiável e uma entrada de usuário ou dado recuperado não confiável. Isso torna o modelo vulnerável a injeção de prompt, onde textos não confiáveis podem "direcionar" o modelo para sobrescrever instruções do sistema, vazar dados ou executar ações não autorizadas.

As abordagens existentes para mitigar isso sofrem de modos de falha distintos:

• Testes de Desempenho: Confiar apenas em benchmarks (ex: precisão vs. taxas de rejeição) falha porque um sistema que ignora todas as entradas e alucina respostas pode superar um sistema que rejeita corretamente ataques, mas perde precisão.
• Proibições Baseadas em Instrução: Pedir ao modelo que imponha suas próprias regras falha porque o modelo não é um monitor de referência à prova de violações; a conformidade pode ser revertida por falhas subsequentes de contexto ou atenção.
• Autoverificação Agêntica: Fazer com que o modelo percorra ciclos de verificação de conformidade adiciona complexidade sem garantia, já que cada verificação é apenas mais uma amostra da mesma distribuição não confiável.

O problema central é estabelecer um limite comprovado onde a autoridade é determinada pela integridade da fonte (canal) em vez da redação do conteúdo, permitindo que o sistema sintetize múltiplamente várias fontes de diferentes níveis de confiança sem permitir que fontes de menor confiança sobreponham as de maior confiança.

2. Metodologia: O Cascata Condicionada

O artigo propõe um design de sistema que move a autoridade para fora do modelo e para um pipeline determinístico. A arquitetura consiste em três componentes: um Monitor Determinístico, uma Cascata de Passivação Condicionada e um Wrapper (Envoltório).

A. O Látice de Integridade e o Monitor

O sistema atribui a cada entrada um anel de integridade fixo (nível de confiança) baseado no canal pelo qual ela chega, não em seu conteúdo. A hierarquia implantada (ordem decrescente de confiança) é:

1. SYSTEM (SISTEMA): Instruções do operador (totalmente confiáveis).
2. USER (USUÁRIO): Solicitações do usuário.
3. CONTENT (CONTEÚDO): Documentos recuperados.
4. WEB: Retornos de ferramentas e da web.

O Monitor é um componente determinístico, não baseado em modelo, que impõe cinco invariantes sobre esses valores rotulados:

• I1 (Regra de Encontro): A combinação de entradas assume o anel mais baixo (látice de integridade Biba), garantindo que a confiança nunca aumente através da composição.
• I2 (Autoridade Fora de Banda): Os anéis só podem subir via tokens fora de banda, que o conteúdo não pode forjar.
• I3 (Limiar de Ação): Ações são autorizadas apenas se as entradas controladoras atenderem a um limiar fixo.
• I4 (Carimbo): Os valores carregam seu anel através de etapas intermediárias; eles não podem perdê-lo.
• I5 (Vinculação de Operação): A operação vincula-se à instrução no anel mais alto presente.

Garantia Teórica: Como o látice é finito, o monitor pode provar por enumeração que nenhuma entrada não confiável pode alterar a operação vinculada ou autorizar uma ação. Isso fornece uma propriedade de não-interferência comprovada para a autoridade, independente do comportamento do modelo.

B. A Cascata de Passivação Condicionada

Embora o monitor garanta a autoridade, a geração de texto em si permanece uma defesa "suave". O sistema emprega um processo de passivação para remover comandos incorporados de conteúdos de menor confiança enquanto preserva fatos genuínos.

• Condicionamento: Diferente da filtragem padrão, a passivação é condicionada no contexto estabelecido pelos canais de maior confiança processados até então. Isso permite que o sistema distinga entre um fato relevante e uma instrução irrelevante ou maliciosa.
• Ordenação: Os canais são processados em ordem decrescente de confiança (SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB). Cada canal de menor confiança é passivado uma vez, condicionado ao contexto de maior confiança já passivado.
• Atribuição: Se uma fonte de menor confiança (ex: WEB) contiver um fato não presente em uma fonte de maior confiança (ex: CONTENT), o sistema retém o fato, mas o atribui à fonte de menor confiança, em vez de descartá-lo ou afirmá-lo como um fato absoluto.

C. O Wrapper (Envoltório)

O wrapper assembly o prompt final para o modelo. Ele:

• Delimita as entradas com nonces e as rotula com seus rótulos de anel fixos.
• Instrui explicitamente o modelo a seguir apenas o bloco SYSTEM.
• Resolve conflitos (ex: CONTENT vs. WEB) priorizando o anel superior.
• Previne a "lavagem de confiança" (ex: um usuário pedindo ao modelo para seguir uma página web que contém uma injeção).

D. Ajuste via SkillOpt

A defesa depende de prompts de linguagem natural para passivação e rotulagem. Como não há gradientes disponíveis para busca de prompts, os autores utilizam um regime de reescrita estruturada do tipo SkillOpt:

• Busca Conjunta: Os prompts são ajustados conjuntamente (ponta a ponta) em vez de independentemente, levando em conta o acoplamento entre os estágios de passivação e o wrapper.
• Multiobjetivo: A busca otimiza tanto a Qualidade Limpa ($Q$) quanto a Taxa de Rejeição ($R$), mantendo uma fronteira de Pareto.
• Regularização: Os prompts possuem limite de comprimento para evitar a memorização de strings de ataque específicas, forçando-os a serem baseados em princípios.
• Sem Pesos do Modelo: A defesa ajusta apenas o conjunto de prompts, deixando os pesos do modelo inalterados (agnóstico ao modelo).

3. Principais Contribuições

1. Limite de Autoridade Comprovado: Uma prova formal de que entradas não confiáveis não podem alterar a operação do sistema ou autorizar ações, alcançada ao mover o monitor de referência para fora do modelo e impor um látice de integridade finito.
2. Arquitetura de Cascata Condicionada: Um pipeline inovador que processa canais não confiáveis em ordem decresscente de confiança, condicionando a passivação de menor confiança ao contexto de maior confiança para melhorar a confiabilidade e a atribuição.
3. Defesa Agnóstica ao Modelo: Um método que protege LLMs não modificados (incluindo modelos hospedados) via engenharia de prompt e monitoramento determinístico, sem exigir ajuste fino ou mudanças de pesos.
4. Síntese Graduada por Confiança: A capacidade de reter e atribuir fatos de fontes de menor confiança em vez de descartá-los, permitindo a síntese de múltiplas fontes enquanto respeita seus níveis de integridade.

4. Resultados

O sistema foi avaliado em um modelo Gemma 4 26B não modificado, utilizando um conjunto de conteúdo novo e diversos vetores de ataque (incluindo templates AgentDojo e red-teaming adaptativo).

• Defesa de Injeção de Instrução:
  • Modelo Base: 27% de taxa de defesa (métrica de vazamento genuíno).
  • Cascata Implantada: 94% de taxa de defesa (IC 95%: [88, 97]).
  • Isso representa uma redução de ~12x em vazamentos bem-sucedidos.
• Avaliação Adversária Adaptativa:
  • Sob ataques adaptativos por um modelo diferente (Gemma 4 31B) e várias famílias de atacantes (branco-caixa, preto-caixa, otimizador de múltiplos anéis), o limite de autoridade permaneceu com 0 violações (comprovado incondicionalmente).
  • A defesa de texto medida manteve-se em 87% contra ataques adaptativos.
• Atribuição:
  • O sistema atribuiu com sucesso fatos oriundos da web às suas fontes menos confiáveis em 92% dos casos, enquanto o modelo base atribuiu 0%.
• Qualidade Limpa:
  • A defesa incorreu em um custo mínimo na qualidade da tarefa limpa: $Q_{rel} = 0.96$ (96% da qualidade do modelo base).
• Ablação:
  • A combinação de passivação e o wrapper foi necessária; a passivação sozinha ou o wrapper sozinho deixaram lacunas significativas, particularmente em ataques de delegação (Nível 3).

5. Significância e Alegações

O artigo afirma que a confiança em sistemas de IA é uma constelação de conceitos, não uma propriedade singular. O sistema proposto aborda a lacuna específica da confiança componível: a capacidade de sintetizar confiavelmente múltiplas fontes de diferentes níveis de confiança.

• Provável vs. Medido: Os autores distinguem entre a autoridade provada (que é absoluta e arquitetural) e a defesa de texto medida (que é probabilística e melhorada via ajuste). Eles afirmam explicitamente que, embora não possam provar que a defesa de texto é 100% livre de vazamentos, podem provar que um vazamento, mesmo que ocorra, não pode alterar a autoridade do sistema ou disparar ações não autorizadas.
• Modéstia: Os autores reconhecem que a defesa é um "piso" e que as taxas medidas são estimativas do risco residual. Eles não alegam ter resolvido totalmente a injeção de prompt, mas sim estabelecido um limite onde as consequências de uma injeção são limitadas.
• Praticidade: O sistema foi projetado para ser implantável em modelos existentes e não modificados (incluindo APIs hospedadas) e requer apenas o reajuste de prompts quando o modelo ou a configuração de confiança muda.

Em resumo, o artigo apresenta uma mudança de tentar tornar o modelo "seguro" via restrições internas para construir uma camada de governança externa e determinística que impõe relações de confiança, permitindo que os LLMs operem de forma segura em ambientes multi-fonte e adversariais.