Resumo Técnico: RACC: Critérios de Cobertura Consciente de Representação para Testes de Segurança de LLM

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam riscos significativos de segurança decorrentes de ataques de jailbreak, que exploram vulnerabilidades do modelo para gerar conteúdo prejudicial. Os testes de segurança atuais dependem fortemente de conjuntos de dados estáticos e de código aberto (por exemplo, SafetyBench, SorryBench) e carecem de critérios sistemáticos para avaliar a qualidade e a adequação de suites de teste. Embora os critérios de cobertura tenham se mostrado eficazes para Redes Neurais Profundas (DNNs) menores, monitorando ativações de neurônios, eles são inadequados para LLMs por duas razões principais:

1. Escalabilidade: O custo computacional de perfilar bilhões de neurônios em todas as camadas é proibitivo para LLMs.
2. Desalinhamento de Objetivo: Critérios tradicionais em nível de neurônio tratam todas as ativações de forma igual. Em LLMs, a vasta maioria das ativações de neurônios é redundante ou irrelevante para a segurança. Consequentemente, métricas em nível de neurônio frequentemente falham em distinguir entre prompts de segurança significativos e entradas semanticamente redundantes ou benignas, introduzindo ruído nas avaliações de cobertura.

Há uma necessidade crítica de critérios de cobertura que sejam escaláveis para LLMs e fundamentados especificamente em sinais relevantes para a segurança, em vez de estatísticas brutas de ativação.

2. Metodologia: Framework RACC

Os autores propõem o RACC (Critérios de Cobertura Consciente de Representação), um framework que desloca a medição de cobertura de ativações individuais de neurônios para representações de segurança — direções de baixa dimensão no espaço de estado oculto do modelo que codificam conceitos específicos de segurança.

2.1 Princípios de Design Central

O RACC é construído sobre três princípios de design adaptados para testes de segurança de LLM:

• Insensível a Sinônimos: Prompts semanticamente similares (por exemplo, jailbreaks parafraseados) não devem inflar artificialmente as métricas de cobertura.
• Insensível a Inválidos: Entradas benignas ou não adversariais não devem contribuir para a cobertura, pois o objetivo é testar a capacidade do modelo de rejeitar conteúdo prejudicial.
• Sensível a Jailbreak: As métricas devem priorizar prompts que disparam com sucesso comportamentos prejudiciais ou ativam conceitos críticos para a segurança.

2.2 Fluxo de Trabalho Técnico

O framework RACC opera em três etapas:

1. Extração de Representação de Segurança:

   • Um pequeno conjunto de calibração de prompts prejudiciais é curado para representar categorias específicas de segurança.
   • Ativações de estados ocultos desses prompts são coletadas das camadas intermediárias do modelo.
   • Análise de Componentes Principais (PCA) é aplicada a essas ativações para identificar os $n$ principais componentes. Esses componentes formam as representações de segurança, representando as direções primárias dos conceitos de segurança no espaço oculto.

2. Cálculo de Ativação de Conceito:

   • Para qualquer prompt de entrada, o estado oculto do modelo é projetado sobre as representações de segurança identificadas.
   • A magnitude dessa projeção serve como pontuação de ativação de conceito, quantificando a intensidade de conceitos de segurança específicos disparados pela entrada.

3. Cálculo de Cobertura:
   O RACC define seis subcritérios divididos em duas dimensões:

   • Dimensão I: Cobertura de Conceito Individual
     • Cobertura de Recurso de Segurança (SFC): Mede a proporção de recursos de segurança ativados acima de um limiar por pelo menos um prompt.
     • Cobertura de Top-K Recursos (TKFC): Mede a proporção de recursos de segurança que aparecem nos $k$ recursos mais ativos para pelo menos um prompt.
     • Cobertura de Intensidade de Recurso (FIC): Discretiza magnitudes de ativação em intervalos para medir a diversidade de intensidades de ativação entre os recursos.
   • Dimensão II: Cobertura de Conceito Compositivo
     • Cobertura de Cluster Semântico (SCC): Utiliza agrupamento K-Means nos vetores de segurança projetados para medir a diversidade de modos semânticos visitados pela suite de teste.
     • Cobertura de Conceito Par (PCC): Mede a co-ocorrência de pares de recursos de segurança, capturando interações entre conceitos.
     • Cobertura de Limiar de Cluster (CBC): Identifica prompts que residem em regiões de baixa densidade entre clusters semânticos, visando limites de segurança ambíguos onde os modelos são mais vulneráveis.

3. Contribuições Principais

• Framework RACC: A proposta de um critério de cobertura escalável e consciente de representação, especificamente projetado para segurança de LLM, abordando as limitações das métricas em nível de neurônio.
• Seis Subcritérios: Um conjunto novo de métricas cobrindo tanto a ativação de conceito individual quanto interações composicionais, fundamentadas em representações de segurança em vez de neurônios brutos.
• Validação Empírica: Experimentos abrangentes demonstrando que o RACC satisfaz os três princípios de design (insensibilidade a sinônimos, insensibilidade a inválidos, sensibilidade a jailbreak) e supera as linhas de base existentes em nível de neurônio.
• Aplicações Práticas: Demonstração da utilidade do RACC na priorização de suites de teste (filtrando prompts redundantes/inválidos) e amostragem de prompts de ataque (selecionando jailbreaks diversos e bem-sucedidos).
• Código Aberto: Lançamento da implementação para facilitar pesquisas futuras.

4. Resultados Experimentais

Os autores avaliaram o RACC em três LLMs de código aberto (Vicuna-7B, Llama-2-7B, Qwen-2.5-7B) usando benchmarks como SorryBench e ORBench-Toxic.

• Eficácia vs. Critérios em Nível de Neurônio:
  • As métricas do RACC mostraram alta sensibilidade a ataques de jailbreak (por exemplo, $S_{JA}$), resultando em ganhos significativos de cobertura.
  • Crucialmente, o RACC permaneceu insensível a entradas inválidas (prompts benignos) e semânticas redundantes (sinônimos). Em contraste, as linhas de base em nível de neurônio (por exemplo, NC, TKNC) mostraram grandes aumentos enganosos de cobertura quando prompts benignos ou sinônimos foram adicionados, falhando em distinguir entre testes de segurança eficazes e ruído.
• Diversidade de Tipo de Risco: As métricas do RACC aumentaram monotonicamente com a diversidade de categorias de violação de segurança na suite de teste, enquanto as métricas em nível de neurônio permaneceram estagnadas ou flutuaram aleatoriamente.
• Alinhamento Conceitual: Quando as suites de teste foram construídas com sobreposição semântica variada ao conjunto de calibração, as pontuações do RACC diminuíram estritamente à medida que a sobreposição diminuía, confirmando que as métricas medem conceitos específicos de segurança em vez de anomalias genéricas.
• Aplicações:
  • Priorização: A seleção guiada pelo RACC priorizou candidatos válidos significativamente melhor do que as linhas de base em nível de neurônio (por exemplo, AUC de 0,667 vs. 0,340 no SorryBench).
  • Amostragem: O RACC acelerou a descoberta de jailbreaks bem-sucedidos e categorias de ataque diversas em comparação com as linhas de base.
• Generalização: O RACC provou ser robusto em diferentes tamanhos de modelo (escalando para 13B), tamanhos de conjunto de calibração (efetivo mesmo com conjuntos pequenos), camadas de extração e configurações de hiperparâmetros. Uma estratégia de seleção adaptativa de parâmetros (AdaRACC) também foi proposta para eliminar o ajuste manual.

5. Significado e Alegações

O artigo afirma que o RACC fornece uma base escalável e principial para testes de segurança de LLM guiados por cobertura. Ao fundamentar a cobertura em direções de conceitos de segurança em vez de ativações brutas de neurônios, o RACC resolve o gargalo de escalabilidade e a lacuna de alinhamento de objetivos inerentes aos critérios de cobertura tradicionais de DNN.

Os autores afirmam que o RACC não é meramente um detector de anomalias genérico, mas uma ferramenta que mede especificamente a ativação de semânticas relevantes para a segurança. Isso permite a avaliação rigorosa, priorização e otimização de suites de teste de segurança, movendo o campo além da dependência de conjuntos de dados estáticos em direção a uma engenharia de segurança dinâmica e consciente de cobertura. O trabalho estabelece que focar em representações de segurança de baixo rank é uma abordagem viável e superior para avaliar a adequação dos testes de segurança de LLM.