ReGA: Model-Based Safeguard for LLMs via Representation-Guided Abstraction

Título: ReGA: Guarda-Costas Baseado em Modelo para LLMs via Abstração Guiada por Representação

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) alcançaram sucesso notável, mas enfrentam desafios críticos de segurança e confiabilidade, especificamente:

• Geração de Conteúdo Prejudicial: LLMs podem responder a solicitações que violam diretrizes éticas ou de segurança.
• Ataques de "Jailbreak": Técnicas adversariais que manipulam o modelo para contornar seus mecanismos de segurança e gerar conteúdo nocivo.
• Limitações das Abordagens Atuais:
  • Métodos de alinhamento (RLHF) são muitas vezes superficiais.
  • Técnicas de análise baseadas em modelo (como extração de modelos abstratos para redes neurais) sofrem de problemas de escalabilidade quando aplicadas a LLMs devido ao seu espaço de características massivo.
  • Abordagens existentes (ex: LUNA) tentam modelar estados universais, o que exige milhões de estados abstratos, tornando-se ineficiente.
  • Filtros de perplexidade e classificadores de "julgamento" (LLM-Judge) são ou pouco eficazes contra ataques complexos ou computacionalmente caros e propensos a falsos positivos (recusa excessiva).

O objetivo do trabalho é preencher a lacuna de escalabilidade na análise baseada em modelo para a segurança de LLMs, criando um sistema que seja eficiente, interpretável e capaz de detectar tanto prompts quanto conversas completas.

2. Metodologia: O Framework ReGA

O ReGA (Representation-Guided Abstraction) é um framework de três fases que utiliza Engenharia de Representação para reduzir a dimensionalidade do espaço de características antes de construir um modelo abstrato.

Fase I: Extração de Representações de Segurança

• Conjunto de Dados Contrastivo: Coleta de pares de dados seguros e prejudiciais, divididos em quatro subgrupos: prompts seguros ($R_S$), conversas seguras ($C_S$), prompts prejudiciais ($R_H$) e conversas prejudiciais ($C_H$).
• Seleção de Camadas: Em vez de usar todas as camadas, o ReGA foca nas camadas intermediárias do LLM (geralmente a camada $L/2$), onde conceitos de segurança emergem antes que a decisão final de resposta seja tomada.
• Redução de Dimensionalidade (PCA): Aplica-se Análise de Componentes Principais (PCA) às diferenças nos estados ocultos entre dados seguros e prejudiciais. Isso extrai representações de segurança (vetores de baixa dimensão, ex: 8 dimensões) que capturam as direções mais discriminativas para conceitos de segurança.

Fase II: Construção do Modelo Abstrato

• Estados Concretos: Os estados ocultos dos dados de entrada são projetados nas representações de segurança extraídas, criando vetores de estado concretos.
• Agrupamento (Clustering): Utiliza-se o algoritmo K-Means para agrupar esses vetores em um conjunto finito de estados abstratos (ex: 32 estados). Cada estado abstrato representa um cluster de conceitos de segurança.
• Modelagem de Transição (DTMC): Constrói-se uma Cadeia de Markov Discreta no Tempo (DTMC).
  • As probabilidades de transição são aprendidas exclusivamente a partir de dados seguros.
  • Transições que fogem da distribuição segura (com baixa probabilidade) são consideradas indicativas de inputs maliciosos.
• Função de Pontuação de Segurança: Atribui-se uma pontuação de segurança a cada estado (baseada na proporção de dados seguros no cluster) e a cada transição (baseada na probabilidade de transição no modelo seguro).

Fase III: Proteção em Tempo de Execução (Runtime Safeguarding)

• Durante a inferência, o ReGA monitora o LLM em dois níveis:
  1. Nível de Prompt (Pré-geração): Avalia o input do usuário antes que o LLM comece a gerar.
  2. Nível de Conversa (Pós-geração): Avalia a sequência completa (prompt + resposta) para detectar se o modelo foi "quebrado" durante a geração.
• Mecanismo de Decisão: Calcula-se uma pontuação de segurança total ($p(x)$) somando as pontuações dos últimos $m$ estados e transições. Se $p(x)$ estiver abaixo de um limiar definido, a resposta é bloqueada.

3. Contribuições Principais

1. Framework ReGA: Proposta de um novo paradigma de guarda-costas baseado em modelo que integra engenharia de representação com abstração formal.
2. Solução de Escalabilidade: Ao focar em representações de segurança críticas em vez de modelar todo o espaço de características, o ReGA reduz drasticamente o número de estados abstratos necessários (de milhões para dezenas), tornando a análise viável para LLMs de grande porte.
3. Interpretabilidade: O modelo abstrato (DTMC) oferece insights sobre como o modelo toma decisões de segurança, diferentemente de "caixas pretas" como classificadores MLP.
4. Validação Abrangente: Avaliação em múltiplos modelos (Vicuna, Llama-2, Qwen, Mistral, etc.) e cenários, incluindo ataques de jailbreak complexos.

4. Resultados Experimentais

Os experimentos foram realizados em seis LLMs de código aberto (7B parâmetros) e validados em diversos datasets (Alpaca, AdvBench, HarmBench, JailbreakBench).

• Desempenho de Detecção:
  • AUROC (Área sob a Curva ROC): Alcançou 0.975 no nível de prompt e 0.985 no nível de conversa.
  • Precisão: Em testes de distribuição (in-distribution), a precisão superou 95% na maioria dos modelos.
  • Generalização: O modelo demonstrou robustez ao detectar inputs de distribuições não vistas (cross-dataset), mantendo alta precisão mesmo em dados de teste externos.
• Resistência a Ataques de Jailbreak:
  • O ReGA conseguiu detectar ataques de jailbreak (como "Role-Playing", "Misspellings", "Technical Terms") com uma precisão média de cerca de 40-50% sob condições rigorosas (limiar de mínima falsos positivos), superando significativamente filtros de perplexidade e outros métodos baseados em modelos universais.
  • A detecção no nível de conversa foi superior à do nível de prompt, validando a necessidade de verificação dupla.
• Eficiência e Escalabilidade:
  • Tempo de Inferência: O custo computacional é insignificante (0.01s por prompt), comparável a um filtro simples e muito mais rápido que usar um LLM para julgar a segurança (LLM-Judge, que leva ~2.86s).
  • Modelos Maiores: O desempenho manteve-se ou melhorou ligeiramente em modelos de 13B e 14B parâmetros, indicando que modelos maiores codificam conceitos de segurança de forma mais clara.
• Comparação com Baselines:
  • Superou classificadores MLP (que não capturam dinâmicas de transição), modelos abstratos universais (que falham em generalização de segurança) e filtros de perplexidade (ineficazes contra ataques sofisticados).

5. Significado e Impacto

O ReGA representa um avanço significativo na área de Engenharia de Software para IA (SE4AI).

• Paradigma Híbrido: Combina a interpretabilidade e formalismo da análise de software tradicional (modelos abstratos, DTMC) com a capacidade de extração de conceitos de alta dimensão da engenharia de representação moderna.
• Viabilidade Prática: Resolve o gargalo de escalabilidade que impedia a aplicação de técnicas de análise formal em LLMs, oferecendo uma solução leve, rápida e eficaz para implantação em produção.
• Segurança Proativa: Ao permitir a detecção tanto no input quanto no output, o ReGA oferece uma camada de defesa robusta contra a geração de conteúdo tóxico, contribuindo para o desenvolvimento de sistemas de IA mais confiáveis e seguros.

O código do projeto está disponível publicamente, facilitando a adoção e o estudo futuro por pesquisadores e desenvolvedores.