Resumo Técnico: RAS: Medindo a Segurança de LLMs Através do Alinhamento de Recusa

Declaração do Problema

A avaliação de segurança atual para Grandes Modelos de Linguagem (LLMs) baseia-se predominantemente em paradigmas de nível de saída. Esses métodos envolvem consultar modelos com prompts inseguros ou de jailbreak e julgar se as respostas geradas violam políticas de segurança usando anotação humana, filtros baseados em regras ou classificadores de LLM-como-juiz (LLM-as-a-judge). Embora eficazes, os autores identificam quatro limitações críticas nesta abordagem:

1. Custo: É computacionalmente caro, exigindo geração completa e, frequentemente, um modelo juiz secundário.
2. Sensibilidade: Os resultados são altamente sensíveis aos parâmetros de decodificação, templates de recusa e ao comportamento específico do modelo juiz.
3. Obsolescência: Os benchmarks tornam-se desatualizados à medida que os modelos são treinados contra bancos de questões conhecidos.
4. Latência: A segurança de nível de saída é um sinal comportamental tardio; ela confirma se um modelo recusa, mas falha em revelar como o modelo processa internamente a requisição ou se entra em um estado relacionado à recusa durante a computação.

O artigo postula que a segurança pode ser avaliada mais cedo no nível de representação, aproveitando as descobertas de que o comportamento de recusa é mediado por direções específicas nos espaços de ativação ocultos.

Metodologia: SafeVec e RAS

Os autores propõem o SafeVec, um procedimento de avaliação de caixa branca (white-box) que mede a segurança analisando estados ocultos internos em vez de saídas geradas. A métrica central derivada deste procedimento é o Refusal Alignment Score (RAS), uma pontuação de segurança calibrada de 0 a 100.

Modelo de Sistema

O método assume o acesso aos estados ocultos do modelo alvo (ativações do fluxo residual em cada camada do decodificador), tornando-o aplicável a modelos de pesos abertos e auditorias internas, mas não a APIs fechadas. A avaliação utiliza três conjuntos de prompts:

• Seguro ($S$): Requisições benignas do usuário.
• Inseguro ($U$): Requisições diretas de conteúdo nocivo.
• Jailbreak ($J$): Intenções inseguras envoltas em instruções adversariais ou de interpretação de papéis (role-playing).

O procedimento requer um modelo de referência alinhado à segurança ($M_{ref}$) da mesma família de arquitetura e um conjunto de calibração ($C_a$) contendo modelos com variados níveis de segurança (alinhados, não censurados e ablatados).

O Pipeline SafeVec

O método procede através de cinco estáções:

1. Extração da Direção de Recusa:
   Para cada camada $l$ no modelo de referência, os autores computam a média das ativações do fluxo residual para prompts seguros ($\mu^{safe}_l$) e inseguros ($\mu^{unsafe}_l$). A direção de recusa por camada ($r_l$) é definida como o vetor de diferença:
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   Este vetor captura a mudança na representação quando o modelo processa uma requisição insegura versus uma segura.

2. Seleção de Janela de Camadas:
   Nem todas as camadas são igualmente informativas. Os autores selecionam uma janela de camadas contínua ($W$) onde o hiato de separação entre as médias de cosseno de seguro e inseguro é grande e estável. Esta janela é validada usando modelos de calibração para garantir que modelos mais seguros exibam maior alinhamento com a direção de recusa sob prompts inseguros.

3. Pontuação do Modelo de Calibração:
   Para modelos no conjunto de calibração, o método computa as similaridades de cosseno médias entre seus estados ocultos e a direção de recusa de referência ($\hat{r}_l$) para ambos os prompts inseguros e de jailbreak. Estas pontuações brutas medem o grau de alinhamento de recusa interna.

4. Calibração do RAS:
   Para mapear similaridades de cosseno brutas para uma escala comparável de 0–100, os autores realizam uma calibração de múltiplas etapas:

   • Queda de Recusa (Refusal Drop): Calcula a queda no alinhamento em relação ao modelo de referência.
   • Escala de Âncora Ruim (Bad-Anchor Scale): Estima uma escala base "ruim" ($b_a$) usando modelos de calibração de alto risco (aqueles com altas Taxas de Sucesso de Ataque - ASR).
   • Inclinação de Severidade (Severity Slope): Determina inclinações de severidade específicas da arquitetura ($\alpha_a$) correlacionando quedas de recusa normalizadas com aumentos na Taxa de Sucesso de Ataque (ASR).
   • Mapeamento Final: A queda alinhada é mapeada para uma pontuação de 0–100 usando uma função sigmoide:
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     Um RAS mais alto indica um alinhamento de recusa mais forte e uma segurança estimada mais alta.

5. Pontuação do Modelo Alvo:
   Os modelos alvo são pontuados computando seu alinhamento com a direção de recusa pré-calibrada e aplicando o mapeamento RAS específico da família.

Principais Contribuições

1. SafeVec: Um procedimento de avaliação de segurança de nível de representação baseado em alinhamento de recusa, de caixa branca.
2. RAS (Refusal Alignment Score): Uma métrica calibrada que traduz o alinhamento de estados ocultos internos em uma pontuação de segurança padronizada de 0–100.
3. Validação Empírica: Demonstração de que o RAS distingue de forma confiável modelos alinhados à segurança, não censurados e ablatados através de três grandes famílias (Llama, Gemma e Qwen).

Resultados Experimentais

Os autores avaliaram o RAS nas famílias Llama-3.1-8B, Gemma-3-4B e Qwen2.5-7B.

• Separação no Nível de Representação (RQ1): Modelos seguros e inseguros exibem uma clara separação no alinhamento da direção de recusa. Em janelas de camadas selecionadas, modelos alinhados à segurança mostgilmente mostram maior similaridade de cosseno com a direção de recusa sob prompts inseguros e de jailbreak em comparação com variantes não censuradas ou ablatadas.
• Correlação com o Comportamento de Saída (RQ2): O RAS correlaciona-se fortemente com a Taxa de Sucesso de Ataque (ASR) de nível de saída. Modelos com alto RAS geralmente exibem baixo ASR. Embora as pontuações brutas reflitam tendências amplas, o RAS calibrado preserva essas tendências enquanto fornece uma escala padronizada.
• Generalização (RQ3): O procedimento generaliza-se através de diferentes famílias de modelos. Embora as pontuações brutas não sejam diretamente comparáveis entre arquiteturas, a calibração específica da família permite que o RAS classifique consistentemente modelos alinhados acima de variantes inseguras.
• Eficiência (RQ4): O RAS é significativamente mais rápido do que a avaliação baseada em juiz. Como requer apenas passagens de forward pass sem geração de resposta ou julgamento externo, é aproximadamente 216,88× mais rápido em média no cenário experimental dos autores.

Significância e Alegações

O artigo afirma que o alinhamento de recusa fornece um sinal eficiente para a avaliação de segurança de LLM de caixa branca.

• Papel Complementar: Os autores declaram explicitamente que o RAS não pretende substituir frameworks de avaliação comportamental para sistemas fechados ou servir como prova definitiva de segurança para cada requisição específica. Em vez disso, serve como uma métrica rápida, de nível de representação, para comparar variantes de modelos alinhadas à segurança, realizar comparações pós-treinamento e realizar testes de regressão de segurança.
• Detecção Precoce: Ao medir estados internos, o RAS detecta o enfraquecimento do comportamento de recusa antes que o modelo gere uma saída nociva, oferecendo um sinal que é independente de parâmetros de decodificação e vieses de juiz.
• Limitações: Os autores reconhecem que o RAS requer acesso de caixa branca (estados ocultos) e é calibrado dentro de famílias de modelos. Além disso, assume que a segurança é codificada via uma direção de recusa específica; se modelos futuros utilizarem mecanismos de segurança interna fundamentalmente diferentes, a direção de recusa poderá precisar de reestimativa.

O trabalho conclui que, embora a avaliação de nível de saída continue sendo necessária para a verificação de implantação final, métricas de nível de representação como o RAS oferecem uma alternativa escalável, eficiente e robusta para a auditoria rápida de modelos de pesos abertos.