Resumo Técnico: GUARD

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) se tornam integrados a diversos domínios, seu potencial de gerar respostas prejudiciais levantou preocupações sociais e regulatórias significativas. Governos e órgãos de autoridade emitiram diretrizes éticas de alto nível (por exemplo, as "Diretrizes Éticas para IA Confiável" da UE, o "Blueprint for an AI Bill of Rights" dos EUA e o "AI Risk Management Framework" do NIST) para regular o desenvolvimento de IA. No entanto, existe uma lacuna crítica entre essas demandas regulatórias abstratas e de alto nível e os testes acionáveis necessários para verificar a conformidade dos LLMs. Os desenvolvedores enfrentam dois desafios principais:

1. Falta de Instruções Acionáveis: As diretrizes frequentemente carecem de etapas práticas específicas para testes. Por exemplo, uma regra pode exigir a proteção de direitos fundamentais, mas, sem etapas concretas de avaliação, verificar a conformidade é difícil.
2. Limitações de Cenário: Testes de conformidade padrão frequentemente falham em detectar vulnerabilidades em cenários especiais. Embora um LLM possa recusar uma consulta prejudicial direta, ele pode cumprir quando a mesma consulta é incorporada em um prompt de "jailbreak" (por exemplo, "Faça Qualquer Coisa Agora") que contorna os mecanismos de segurança integrados.

Métodos existentes frequentemente dependem de benchmarks estáticos ou de red-teaming manual, que podem não traduzir sistematicamente diretrizes de alto nível em casos de teste diversos que violam diretrizes ou identificar efetivamente não conformidades ocultas em cenários imprevistos.

Metodologia: GUARD

Os autores propõem o GUARD (Teste de Respeito às Diretrizes através de Interpretação de Papéis Adaptativa e Diagnóstico de Jailbreak), um framework de teste projetado para operacionalizar diretrizes governamentais em casos de teste específicos e identificar vulnerabilidades de segurança. A metodologia consiste em dois componentes principais:

1. Teste de Respeito às Diretrizes

Este componente transforma diretrizes abstratas em "perguntas que violam diretrizes" ($Q$) específicas para testar se um LLM ($F$) produz uma resposta violadora ($V(Q)$) ou uma resposta aderente ($D(Q)$). O processo emprega um sistema adaptativo de interpretação de papéis multiagente:

• Analista: Extrai princípios-chave e conflitos potenciais das diretrizes brutas.
• Comitê Estratégico: Mapeia esses princípios para domínios concretos e cenários realistas onde violações podem ocorrer.
• Designer de Perguntas: Converte esses cenários em perguntas candidatas de teste, aproveitando benchmarks existentes (por exemplo, AdvBench, HarmBench) para estilo e estrutura.
• Revisor de Perguntas: Avalia as perguntas geradas com base em três métricas:
  • Prejudicialidade ($H$): Probabilidade de induzir uma resposta prejudicial.
  • Densidade de Informação ($I$): Similaridade estilística com benchmarks existentes.
  • Conformidade ($C$): Uma avaliação de quatro opções onde a pergunta gerada é misturada com três violações enganosas; o revisor seleciona aquela que melhor se alinha com a intenção da diretriz para garantir que a pergunta seja um caso de teste válido.
    As perguntas são mantidas apenas se atenderem aos limiares de dano e densidade de informação e passarem na verificação de conformidade.

2. Diagnóstico de Jailbreak (GUARD-JD)

Para perguntas onde o LLM inicialmente fornece uma resposta aderente à diretriz (recusa), o GUARD-JD tenta induzir uma violação criando "cenários de interpretação" ($S$) que atuam como jailbreaks.

• Construção de Grafo de Conhecimento (KG): O sistema analisa 78 prompts de jailbreak existentes (do Jailbreak Chat) para extrair oito características (por exemplo, Introdução/Nomeação, Capacidades, Formato de Resposta). Estas são armazenadas em um Grafo de Conhecimento onde os nós representam palavras-chave/atributos e as arestas representam relações ponderadas por frequência.
• Geração de Cenário: Um papel Gerador utiliza um algoritmo de Passeio Aleatório no KG para montar cenários de interpretação coerentes e em linguagem natural a partir de fragmentos de jailbreak.
• Otimização Iterativa: O processo envolve três papéis:
  • Gerador: Constrói o cenário $S$ e o combina com a pergunta $Q$ para formar um prompt de jailbreak $P = S \oplus Q$.
  • Avaliador: Calcula a pontuação de similaridade semântica entre a resposta do LLM alvo a $P$ e a resposta original aderente à diretriz $D(Q)$.
  • Otimizador: Fornece feedback ao Gerador para modificar o cenário, visando minimizar a pontuação de similaridade (ou seja, forçar o modelo a desviar de sua recusa).
• Critérios de Sucesso: Se a pontuação de similaridade cair abaixo de um limiar (por exemplo, 0,3), o jailbreak é considerado bem-sucedido e o cenário é relatado como uma vulnerabilidade.

Contribuições Principais

1. Formalização dos Testes de Conformidade: O artigo formaliza a tradução de diretrizes governamentais de alto nível em testes de conformidade executáveis usando o framework GUARD.
2. Mecanismo de Interpretação de Papéis Adaptativa: Introduz um sistema multiagente (Analista, Comitê Estratégico, Designer de Perguntas, Revisor de Perguntas) para gerar iterativamente perguntas diversas que violam diretrizes e refletem princípios regulatórios específicos.
3. Diagnóstico de Jailbreak via Otimização de Cenário: O GUARD-JD emprega um novo framework iterativo de interpretação de papéis (Gerador, Avaliador, Otimizador) combinado com Grafos de Conhecimento e Passeios Aleatórios para gerar cenários em linguagem natural que contornam mecanismos de segurança, identificando efetivamente não conformidades em contextos imprevistos.
4. Validação Empírica: O método foi validado em oito LLMs (Vicuna-13B, LongChat-7B, Llama2-7B, Llama3-8B, GPT-3.5, GPT-4, GPT-4o, Claude-3.7) e dois Modelos de Linguagem-Vídeo (MiniGPT-v2, Gemini-1.5) sob três diretrizes governamentais distintas.

Resultados Experimentais

• Taxas de Violação de Diretrizes: O estudo revelou uma variância significativa na conformidade entre os modelos. O Vicuna-13B exibiu as maiores taxas de violação (por exemplo, 74,0% em Direitos Humanos), enquanto o GPT-4 mostrou as menores (por exemplo, 15,6% em Transparência).
• Sucesso do Jailbreak: O GUARD-JD alcançou uma taxa média de sucesso de jailbreak de 82% entre os LLMs, superando significativamente baselines como GCG, AutoDAN, ICA, PAIR e CipherChat.
  • As taxas de sucesso variaram de 68,2% (Claude-3.7) a 86,0% (Vicuna-13B).
  • O GUARD-JD produziu jailbreaks com menores pontuações de perplexidade (média de 35,65), indicando saídas mais naturais e fluentes que são mais difíceis para detectores baseados em perplexidade identificar.
• Transferibilidade: Os diagnósticos de jailbreak transferiram-se com sucesso para Modelos de Linguagem-Vídeo (VLMs), induzindo respostas a imagens Não Seguras para Trabalho (NSFW) com pontuações de toxicidade mais altas do que os métodos baseline.
• Validação Humana: Uma pesquisa com 58 participantes confirmou que as perguntas geradas pelo GUARD representaram com precisão violações éticas definidas pelas diretrizes, com alto acordo sobre relevância e qualidade.
• Estudos de Ablação: A remoção de papéis específicos (por exemplo, o Revisor de Perguntas ou Otimizador) degradou significativamente o desempenho, confirmando a necessidade do processo iterativo multi-papel.

Significado e Alegações

O artigo alega que o GUARD fornece uma abordagem sistemática e automatizada para preencher a lacuna entre diretrizes regulatórias abstratas e testes de segurança concretos. Ao operacionalizar diretrizes em casos de teste específicos e empregar diagnósticos de jailbreak para sondar vulnerabilidades ocultas, o GUARD oferece um mecanismo robusto para avaliar a adesão dos LLMs a padrões éticos. Os autores enfatizam que seu método não apenas identifica não conformidades diretas, mas também descobre possíveis contornamentos em cenários complexos, promovendo assim o desenvolvimento de aplicações de IA mais confiáveis e dignas de confiança. A transferência bem-sucedida desses diagnósticos para VLMs sugere ainda a versatilidade do framework em diferentes modalidades.