Highlight & Summarize: RAG without the jailbreaks

Resumo Técnico: Highlight & Summarize (H&S)

Autores: Giovanni Cherubin e Andrew Paverd (Microsoft Security Response Center)
Objetivo: Apresentar um novo padrão de design para sistemas de Geração Aumentada por Recuperação (RAG) que previne ataques de jailbreak (quebra de restrições) e sequestro de modelo (model hijacking) por design, sem sacrificar a qualidade das respostas.

---

1. O Problema

Os sistemas RAG combinam a capacidade de recuperação de informações de bancos de dados com a geração de linguagem natural de Grandes Modelos de Linguagem (LLMs). Embora eficazes, eles são vulneráveis a ataques maliciosos onde usuários não confiáveis inserem prompts cuidadosamente construídos para:

• Jailbreak: Forçar o LLM a gerar conteúdo ofensivo, prejudicial à reputação da empresa ou compromissos legais não intencionais.
• Sequestro de Modelo (Model Hijacking): Redirecionar o LLM para realizar tarefas não autorizadas (ex.: usar um chatbot de suporte para resumir textos longos ou gerar código).

As defesas existentes (como hardening de prompts de sistema ou classificadores probabilísticos) são frequentemente contornadas devido ao vasto espaço de possíveis entradas e saídas indesejadas.

2. Metodologia: Highlight & Summarize (H&S)

A proposta central do H&S é separar a pergunta do usuário da etapa de geração final. O pipeline é dividido em dois componentes distintos, garantindo que o LLM generativo (o "resumidor") nunca veja a pergunta original do usuário.

Fluxo de Trabalho:

1. Recuperação: O sistema busca documentos relevantes no banco de conhecimento (confiável).
2. Highlighter (Destaque):
   • Recebe a pergunta do usuário e os documentos recuperados.
   • Extrai ("destaca") trechos contíguos e não sobrepostos dos documentos que são relevantes para responder à pergunta.
   • Restrição de Segurança: O highlighter deve retornar apenas correspondências exatas de texto dos documentos originais, com um comprimento mínimo definido (min_words).
3. Summarizer (Resumidor):
   • Recebe apenas os trechos destacados (sem a pergunta do usuário).
   • Tenta inferir qual pergunta esses trechos poderiam responder e gera uma resposta coerente baseada apenas no texto destacado.
   • Retorna a resposta ao usuário.

Garantias de Segurança:

• Isolamento de Entrada: Como o summarizer não recebe a entrada do usuário, ele não pode ser manipulado diretamente por prompts maliciosos.
• Controle Determinístico: A restrição de que o highlighter só pode retornar trechos exatos e contíguos dos documentos confiáveis reduz exponencialmente o espaço de controle que um atacante tem sobre a saída final do LLM.
• Verificação Prévia: O problema de detectar jailbreaks em um espaço infinito de entradas do usuário é transformado em uma tarefa mais simples: inspecionar o banco de conhecimento em busca de strings que possam ser usadas para desencadear saídas indesejadas.

3. Contribuições Principais

1. Novo Padrão de Design (H&S): Uma arquitetura que mitiga ataques de segurança por design, eliminando a injeção direta de prompts no LLM generativo.
2. Análise Teórica e Formalização:
   • Definição formal da "Região de Controle" de um LLM.
   • Prova teórica (com formalização em Lean 4) de que o H&S reduz exponencialmente a capacidade de um atacante controlar as saídas do modelo, dependendo do limite de tokens do LLM.
3. Implementação e Avaliação Empírica:
   • Desenvolvimento de cinco variantes do componente highlighter (baseadas em LLMs zero-shot, structured output, Chain-of-Thought de dois passos, e modelos extrativos como DeBERTaV3).
   • Avaliação em dois conjuntos de dados de QA: RepliQA (fictício para evitar vazamento de dados de treino) e BioASQ (biomedicina).
4. Código e Dados Abertos: Disponibilização de todo o código, dados experimentais e formalizações para reprodutibilidade.

4. Resultados Experimentais

Segurança:

• Ataques Não Adaptativos: O H&S bloqueou 100% dos ataques de jailbreak de um conjunto de dados massivo (LLMail-Inject), enquanto o RAG padrão ("Vanilla") falhou em 81% dos casos.
• Ataques Adaptativos: Mesmo contra adversários que conhecem o sistema e tentam manipular o highlighter para selecionar palavras específicas (ataque de "highlighting adaptativo"), a restrição de min_words (ex.: 5 palavras contíguas) torna o ataque virtualmente impossível de executar com sucesso.

Qualidade e Desempenho:

• Precisão: Em tarefas de QA, as implementações H&S (especialmente "Two Steps" e "Structured") produziram respostas com qualidade comparável ou superior ao RAG padrão.
  • RepliQA: H&S Two Steps alcançou 95% de precisão vs. 94% do RAG padrão.
  • BioASQ: H&S Two Steps alcançou 89% vs. 86% do RAG padrão.
• Ranking Elo: O H&S obteve pontuações Elo superiores ou equivalentes ao RAG padrão em ambos os conjuntos de dados.
• Métricas de Token: Embora o RAG padrão tenha maior sobreposição lexical (K-Precision) por repetir trechos exatos, o H&S demonstrou maior capacidade de parafrasear e estruturar a informação corretamente, mantendo a semântica correta mesmo com menor sobreposição de tokens.
• Componentes: A ablação mostrou que o componente summarizer é crucial; apenas destacar trechos (sem gerar uma resposta) resultou em desempenho inferior em qualidade e relevância.

5. Significado e Conclusão

O artigo demonstra que é possível construir sistemas RAG seguros por design sem sacrificar a utilidade. Ao separar a compreensão da intenção do usuário (no highlighter) da geração da resposta (no summarizer), o H&S:

• Elimina a superfície de ataque para jailbreaks diretos.
• Transforma um problema de segurança complexo (detecção de prompts maliciosos) em um problema de verificação de dados (limpeza do banco de conhecimento).
• Oferece, em alguns casos, respostas mais robustas e coerentes do que os pipelines RAG tradicionais, possivelmente devido à indução de um raciocínio em duas etapas (Chain-of-Thought).

Limitações e Futuro: O método atual tem dificuldade com tarefas que exigem raciocínio complexo (ex.: cálculos matemáticos entre documentos) e perguntas do tipo "Sim/Não" que não estão explícitas no texto. O trabalho futuro focará em melhorar a capacidade de negar respostas ("não sei") e estender o padrão para tarefas de raciocínio mais avançadas.