Resumo Técnico: Verificação de Intenção e Dano: Uma Defesa Unificada Contra Ameaças Geradas por LLM

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em aplicações interativas, mas permanecem vulneráveis a interações adversariais que induzem saídas prejudiciais, enganosas ou que violam políticas. Os mecanismos de defesa existentes sofrem de uma limitação estrutural: eles tipicamente analisam ou o prompt do usuário (intenção) ou a resposta gerada (dano) isoladamente, mas não ambos conjuntamente.

Os autores identificam uma vulnerabilidade crítica de "separação entre intenção e dano". Em muitos ataques do mundo real, a intenção adversarial é expressa no prompt através de um enquadramento benigno, educacional, defensivo ou de pesquisa, enquanto o dano acionável se manifesta apenas na resposta gerada. Inversamente, uma resposta pode discutir conteúdo sensível em um contexto legítimo (ex: educação em segurança ou análise de malware) sem permitir o dano. As defesas de lado único falham aqui: defesas baseadas apenas no prompt perdem respostas prejudiciais disfarçadas por enquadramentos benignos, enquanto defesas baseadas apenas na resposta bloqueiam excessivamente solicitações legítimas que contêm conteúdo sensível porque não conseguem raciocinar sobre a intenção do usuário. Isso cria um ponto cego estrutural onde interações inseguras parecem benignas quando visualizadas de apenas um dos lados.

2. Metodologia: Verificação de Prompt–Resposta

Para abordar essa vulnerabilidade estrutural, os autores propõem a Verificação de Prompt–Resposta, um princípio de segurança que avalia conjuntamente a intenção do usuário e o dano da resposta antes que uma resposta seja entregue ao usuário. Isso é instanciado através de um framework de defesa multiagente centrado na verificação que opera como uma camada pós-geração.

Arquitetura do Framework

O framework emprega três agentes especializados, todos recebendo o prompt do usuário e a resposta gerada pelo LLM como entrada, mas focando em dimensões de raciocínio ortogonais:

1. Analista de Tarefa (TA - Task Analyst): Avalia o prompt do usuário para identificar a intenção adversarial. Ele classifica as solicitações em cinco tipos de tarefas (generativa, regenerativa, instrucional, contextual, multi-turno) e distingue entre usos legítimos (ex: educação em segurança) e tentativas de explorar o LLM para geração maliciosa.
2. Analista de Segurança (SA - Safety Analyst): Avalia a resposta gerada pelo LLM quanto a conteúdo prejudicial em cinco categorias de ameaça: jailbreaks, injeção de prompt, phishing/engenharia social, código malicioso/abuso cibernético e conteúdo prejudicial/tóxico. Ele foca na acionabilidade e severidade da ameaça, em vez de palavras-chave superficiais.
3. Juiz (Judge): Atua como um resolvedor de conflitos. Ele realiza o contra-exame das avaliações do TA e do SA através de um protocolo de diálogo estruturado de duas rodadas. O Juiz resolve divergências aplicando regras de decisão consistentes com a segurança, priorizando a severidade do dano quando um conteúdo procedimental de alto risco é detectado, ou reduzindo falsos positivos quando uma intenção benigna clara é estabelecida.

Protocolo de Diálogo de Duas Rodadas

Os agentes interagem via um protocolo determinístico de duas rodadas para impor a verificação independente e o contra-exame:

• Rodada 1: O TA e o SA avaliam o par prompt-resposta de forma independente, sem acesso ao raciocínio um do outro. Isso evita que o enquadramento adversarial no prompt contamine a avaliação de dano e evita que a saída prejudicial enviese a classificação de intenção.
• Rodada 2: Ambos os agentes recebem as avaliações da Rodada 1 um do outro e são convidados a refinar suas posições. Por exemplo, o SA pode elevar sua avaliação se o TA identificar que uma solicitação de "informação" é, na verdade, uma busca por dano procedimental, ou o TA pode revisar uma classificação se o SA identificar um dano acionável no conteúdo.
• Decisão Final: O Juiz revisa todo o intercâmbio e produz uma decisão final de permitir ou negar.

Adaptabilidade

O framework codifica toda a lógica de segurança em Instruções de Sistema (SIs) em vez de pesos do modelo. Isso permite que o sistema se adapte a novas categorias de ameaças ou estratégias apenas através de atualizações de SI, sem a necessidade de retreinar o modelo subjacente ou coletar novos dados. A arquitetura é agnóstica ao modelo e pode ser implantada em diversos backbones de LLM.

3. Avaliação e Resultados

O framework foi avaliado em cinco categorias de ameaça (jailbreaks, injeção de prompt, phishing, código malicioso/abuso cibernético e conteúdo prejudicial) usando 18 configurações de conjuntos de dados, incluindo JailbreakBench, AdvBench, PhishBots, MOCHA e HarmBench.

Principais Métricas de Desempenho

• Precisão de Detecção: O framework superou consistentemente as bases de comparação (baselines) mais fortes aplicáveis para cada categoria. Em todas as categorias de ameaça, o F1 score médio melhorou de 0,898 (baselines mais fortes) para 0,952.
• Taxa de Sucesso de Ataque (ASR - Attack Success Rate): O framework reduziu a ASR média para 4,1%.
• Falsos Positivos: Em solicitações benignas-sensíveis (ex: educação em segurança, discussão de políticas), o framework reduziu a Taxa de Falso Positivo (FPR) de 0,116 (baseline Single-Agent+CoT) para 0,062, reduzindo significativamente o bloqueio excessivo.
• Comparação com Baselines: Comparado a um baseline de Agente Único+CoT, o framework completo melhorou o F1 médio de 0,872 para 0,953.

Robustez a Ataques Adaptativos

Os autores avaliaram a robustez contra ataques adaptativos conscientes da arquitetura, onde atacantes conhecem a estrutura do verificador e tentam burlar componentes individuais (ex: ofuscação de intenção ou ataques direcionados ao Juiz).

• Sob ataques de ofuscação de intenção, o framework completo reduziu a ASR adaptativa para 0,073, comparado a 0,219 para o Single-Agent+CoT.
• Sob ataques direcionados ao Juiz, o framework manteve uma ASR média de 0,089, comparado a 0,241 para o baseline.
• Os resultados indicam que o framework degrada de forma mais graciosa porque os ataques devem subverter simultaneamente a análise de intenção, a avaliação de dano e a resolução de conflitos.

Troca de Custo (Cost Tradeoff)

O framework introduz latência e consumo de tokens adicionais (2,81 segundos e 1.740 tokens por amostra) em comparação com os baselines de passagem única. Os autores concluem que este custo é justificado para interações incertas, de alto risco ou sensíveis a políticas, onde prevenir a entrega insegura é primordial.

4. Principais Contribuições

1. Identificação da Separação Intenção–Dano: O artigo estabelece que separar a intenção adversarial (no prompt) do dano acionável (na resposta) é uma limitação estrutural das defesas de lado único existentes.
2. Princípio de Verificação de Prompt–Resposta: Propõe um princípio de segurança unificado que verifica ambos os sinais conjuntamente antes da entrega, instanciado via um framework multiagente com papéis especializados (Analista de Tarefa, Analista de Segurança, Juiz).
3. Cobertura Unificada de Ameaças: O framework demonstra melhorias consistentes em cinco diversas categorias de ameaças habilitadas por LLM sem exigir o retreinamento do modelo.
4. Validação de Robustez: Através de estudos de ablação e avaliações de ataques adaptativos, o artigo mostra que a verificação cruzada estruturada supera o raciocínio de agente único, baselines de CoT e agregação baseada em regras, mantendo baixas taxas de falsos positivos em solicitações benignas-sensíveis.
5. Caminho de Implantação Prática: O design baseado em SI oferece uma abordagem agnóstica ao modelo que pode ser atualizada dinamicamente para enfrentar ameaças em evolução.

5. Significância e Alegações

O artigo afirma que a verificação de prompt–resposta fornece uma base prática para assegurar aplicações de LLM contra ameaças adversariais em evolução. Sua significância reside em abordar o "ponto cego estrutural" onde as defesas existentes falham ao correlacionar intenção com resultado. Ao separar explicitamente e depois reconciliar os sinais de intenção e dano, o framework oferece um mecanismo de defesa mais robusto, menos suscetível ao enquadramento adversarial e à ofuscação de intenção.

Os autores posicionam este trabalho não como um substituto para o red-teaming contínuo ou revisão humana, mas como uma camada complementar que aumenta a confiabilidade das interações com LLMs em ambientes de alto risco. Os resultados sugerem que a vantagem central não é meramente o uso de múltiplos agentes, mas a separação explícita de sinais de segurança que as defesas existentes frequentemente colapsam ou inspecionam isoladamente.