Resumo Técnico: Firewall Cognitivo para Segurança de LLM

Declaração do Problema

As salvaguardas de tempo de execução atuais para Grandes Modelos de Linguagem (LLMs) operam predominantemente como classificadores por mensagem. Esses sistemas pontuam prompts ou respostas individuais contra um catálogo fixo de danos de forma isolada. Os autores argumentam que esse enquadramento é insuficiente porque falha em modelar o objetivo em evolução do usuário, em reter a memória da trajetória conversacional ou em verificar a autoridade assertiva. Consequentemente, adversários pacientes podem contornar essas defesas usando estratégias de múltiplos turnos onde o dano não está presente em nenhuma mensagem individual, mas emerge através da interação como um todo.

Vulnerabilidades específicas incluem:

• Escalação de Múltiplos Turnos: Ataques como Crescendo começam de forma inocente e usam as respostas anteriores do modelo para direcionar o fluxo para um objetivo prejudicial.
• Decomposição: Ataques como ActorAttack dividem objetivos proibidos em uma rede de subperguntas individualmente benignas.
• Manipulação de Autoridade: Usuários podem reivindicar papéis não autorizados (ex: desenvolvedor, clínico) ou sobreposições de política para contornar restrições, o que os filtros de mensagem por mensagem frequentemente tratam como contexto comum em vez de evidência não verificada.

Defesas conscientes da trajetória existentes frequentemente reduzem todo o histórico da conversa a um único escore de risco, o que pode diluir sinais de escalação localizados. Além disso, a maioria das defesas baseadas em supervisão atua pós-geração ou foca em ataques de turno único, carecendo de um mecanismo proativo para bloquear interações inseguras antes que o modelo alvo gere uma resposta.

Metodologia: O Firewall Cognitivo

O artigo propõe o Firewall Cognitivo, um framework de supervisão proativa de tempo de execução que interpõe um modelo de supervisão independente entre o usuário e o modelo alvo protegido. Diferente dos classificadores por mensagem, este framework lê a interação como um todo e decompõe a avaliação de segurança em quatro portões categóricos. As decisões são combinadas via uma regra de escalação: se qualquer portão retornar um veredito de perigo, a interação é bloqueada imediatamente.

Os Quatro Portões

1. Portão de Intenção (G1) - Pré-geração:

   • Função: Identifica o objetivo operacional de uma requisição ao resolver o entregável real literal.
   • Mecanismo: Distingue entre a redação superficial e os referentes reais (ex: diferenciar uma descrição de cena de filme de uma síntese real de malware). Ele retorna "inseguro" apenas se o entregável constituir um dano transferível (ex: síntese de armas, discurso de ódio).
   • Objetivo: Previne a recusa de requisições benignas que meramente soam perigosas enquanto bloqueia ataques diretos.

2. Portão de Contexto Zero-Trust (G2) - Pré-geração:

   • Função: Verifica reivindicações de papel, identidade, autoridade, permissão ou sobreposições de política.
   • Mecanismo: Aderindo ao princípio "nunca confie, sempre verifique", trata todas as reivindicações de autoridade dentro do diálogo como evidência não verificada. É cego ao tópico, focando apenas em reivindicações de primeira pessoa sobre o usuário ou as regras do assistente.
   • Objetivo: Bloqueia tentativas manipulativas de desbloquear conteúdo restrito via credenciais falsas ou interpretação de papéis, um canal frequentemente negligenciado por filtros de conteúdo gerais.

3. Portão de Consistência (G3) - Pré-geração:

   • Função: Analisa a transcrição completa para detecção de manipulação temporal.
   • Mecanismo: Detecta escalação gradual (crescendo), derivação de aberturas benignas para objetivos restritos, contradições com o contexto anterior e tarefas prejudiciais decompostas ao longo dos turnos.
   • Objetivo: Bloqueia interações onde o dano é montado ao longo do tempo, mesmo que os turnos individuais pareçam seguros. Ele se abstém no primeiro turno para evitar falsos positivos em aberturas benignas.

4. Portão de Risco de Saída (G4) - Pós-geração:

   • Função: Inspeciona a resposta candidata gerada pelo modelo alvo.
   • Mecanismo: Julga o conteúdo real entregue, procurando por capacidades perigosas acionáveis, etapas parciais ou artefatos prejudiciais (ex: phishing, insultos).
   • Objetivo: Atua como um backstop para payloads de decomposição que só se tornam prejudiciais quando montados na resposta final.

Regra de Decisão

O framework utiliza uma regra de decisão baseada em escalação em vez de média de escores. Como cada portão emite um rótulo categórico (ex: inseguro, manipulativo, escalando) em vez de um escore numérico, o sistema bloqueia o turno assim que qualquer portão habilitado retorna um veredito de perigo. Isso garante que um sinal de perigo confiante não seja diluído por sinais seguros de outros portões e fornece uma razão legível por humanos e auditável para cada bloqueio.

Principais Contribuições

1. Framework de Tempo de Execução Proativo: Introdução de um modelo de supervisão separado que decompõe o julgamento de segurança em análise de intenção, verificação de contexto zero-trust, análise de trajetória de conversa e avaliação de risco de saída.
2. Verificação de Contexto Zero-Trust: Um portão dedicado que isola e verifica reivindicações de papel e autoridade como evidência não verificada, abordando um canal de manipulação anteriormente confundido com segurança de conteúdo geral.
3. Regra de Decisão Baseada em Escalação: Um método para combinar vereditos categóricos de portões que evita a diluição de escores, permitindo que qualquer sinal de perigo confiante bloqueie uma interação enquanto mantém a auditabilidade.
4. Avaliação Abrangente: Validação empírica através de benchmarks de ataque de turno único, multi-turno, baseados em autoridade e conjuntos de ataques criados por humanos, demonstrando desempenho superior sobre modelos de guarda existentes e firewalls conscientes de trajetória.

Resultados Experimentais

O framework foi avaliado em quatro benchmarks de ataque e um conjunto de teste de segurança benigna ($n=100$ para turno único, $n=50$ para ataques de múltiplos turnos, $n=16$ para sondagens de autoridade, $n=120$ para prompts benignos).

• Redução da Taxa de Sucesso de Ataque (ASR):

  • Turno único (jbb): Reduziu o ASR de 45% (sem defesa) para 1%.
  • Escalação de Múltiplos Turnos (Crescendo): Reduziu o ASR de 10% para 0%.
  • Decomposição (safemt/ActorAttack): Reduziu o ASR de 30% para 2%.
  • Jailbreaks Criados por Humanos (mhj): Reduziu o ASR de 74% para 14%.
  • Sondagens de Autoridade: Bloqueou 75% dos ataques baseados em autoridade (12/16), comparado a 6–31% para outras bases de comparação.

• Tempo de Contenção:

  • O framework alcança a contenção principalmente antes da geração. Para ataques Crescendo, 100% foram bloqueados pré-geração. Para ataques diretos, 92% foram bloqueados pré-geração.
  • Em contraste, guardas por mensagem e firewalls conscientes de trajetória frequentemente falham em conjuntos de decomposição porque pontuam turnos isoladamente ou fazem a média de escores de risco.

• Sobre-recusa (Over-Refusal):

  • O framework manteve uma taxa de sobre-recusa de 8% em prompts benignos (xstest), significativamente menor que bases de comparação de guarda mais estritas (ex: ShieldGemma em 18%, Granite Guardian em 21%).

• Contribuições dos Portões (Ablação):

  • Remover o Portão de Consistência causou a maior queda na contenção pré-geração para ataques de múltiplos turnos (ex: a contenção de Crescendo caiu de 100% para 72%).
  • Remover o Portão de Saída aumentou significativamente o ASR em conjuntos de decomposição (ex: o ASR de safemt subiu de 2% para 16%), confirmando seu papel como um backstop necessário.
  • O Portão de Contexto foi decisivo para sondagens de autoridade (reduzindo a taxa de bloqueio para 0% quando removido), mas teve impacto mínimo em conjuntos de ataques padrão onde nenhuma autoridade foi reivindicada.

Significância e Alegações

O artigo afirma que o Firewall Cognitivo demonstra que a supervisão decomposta ao nível de conversa pode melhorar significamente a contenção proativa e a auditabilidade para a segurança de LLMs.

• Mudança de Classificação para Compreensão: O trabalho argumenta que guardar um modelo é um problema de compreensão que requer um modelo do objetivo em evolução do usuário, em vez de um simples problema de classificação.
• Operacionalização da Contenção Cognitiva: Fornece uma instanciação concreta do conceito de "firewall cognitivo", movendo-se de camadas inibitórias teóricas para um sistema prático que interrompe a escalação em direção a objetivos inseguros antes que o modelo alvo gere.
• Auditabilidade: Ao usar portões categóricos e uma regra de escalação, cada interação bloqueada é rastreável a um veredito específico e legível por humanos (ex: "escalando" ou "manipulativo"), ao contrário de sistemas opacos baseados em escores.
• Complementaridade: Os resultados mostram que os portões pré-geração e pós-geração são complementares; nenhum é suficiente sozinho para lidar com todo o espectro de ataques de múltiplos turnos e decomposição.

Os autores observam limitações, incluindo o uso de um único juiz da mesma família para avaliação, tamanhos de amostra modestos para certos tipos de ataque e a falta de testes de estresse contra ataques de injeção de prompt direcionados ao próprio modelo supervisor. No entanto, o framework estabelece um novo patamar para lidar com estratégias adversárias complexas de múltiplos turnos que as defesas atuais de mensagem única não conseguem mitigar efetivamente.