Resumo Técnico: Quando a Avaliação de Segurança Comportamental Falha: Uma Perspectiva ao Nível de Representação

1. Declaração do Problema

As avaliações de segurança atuais para Grandes Modelos de Linguagem (LLMs) operam predominantemente no nível comportamental, medindo saídas observáveis como taxas de recusa, taxas de sucesso de ataque e robustez contra jailbreaks. Embora essas métricas sejam padrão para auditorias pré-implantação, os autores argumentam que elas sofrem de uma limitação fundamental: fornecem evidências limitadas de robustez interna.

O artigo formaliza a discrepância entre a segurança comportamental e a robustez interna como o hiato de auditoria (audit gap). Esse hiato surge porque o comportamento observável pode permanecer estável (ex: o modelo continua a recusar comandos prejudiciais) mesmo enquanto as representações latentes subjacentes tornam-se altamente vulneráveis à intervenção. Especificamente, trabalhos recentes sugerem que os mecanismos de recusa em modelos alinhados podem ser mediados por direções de baixa dimensão no espaço de representação, enquanto as representações relacionadas à nocividade podem permanecer parcialmente separáveis. Consequentemente, um modelo pode passar em testes de segurança comportamental enquanto abriga estruturas latentes que são facilmente desestabilizadas por perturbações limitadas, um modo de falha que as métricas de segurança comportamental padrão não conseguem detectar.

2. Metodologia

Para investigar o hiato de auditoria, os autores propõem um framework centrado na construção de modelos dissociados e um protocolo de avaliação baseada em intervenção.

2.1 Construção de Modelos Dissociados

Os autores constroem "modelos dissociados" que preservam o comportamento externo seguro enquanto retêm ou amplificam a vulnerabilidade latente. Esses modelos são treinados para satisfazer dois objetivos concorrentes:

1. Fidelidade Comportamental: Manter o comportamento de recusa e a utilidade benigna semelhantes a um modelo base alinhado para segurança.
2. Vulnerabilidade Latente: Empurrar as representações internas de prompts prejudiciais em direção a uma classe "insegura", conforme detectado por um monitor latente.

Processo de Treinamento:

• Dados: A construção utiliza triplas de contraste do PKU-SafeRLHF (prompt, resposta segura, resposta insegura) e âncoras benignas do BeaverTails e XSTest.
• Monitor Latente ($g_\phi$): Uma sonda (probe) inicializada para prever a segurança da resposta a partir dos estados ocultos do modelo base.
• Otimização: O modelo $\pi_\theta$ é ajustado finamente (fine-tuned) usando uma função de perda composta:
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: Log-verossimilhança negativa por token para manter a qualidade da saída.
  • Termo do Monitor: Incentiva o modelo a produzir representações "inseguras" (logits do monitor altos) para prompts prejudiciais ($b=1$), mantendo os prompts benignos ($b=0$) inalterados.
  • Divergência KL ($\mathcal{L}_{KL}$): Restringe o modelo dissociado a permanecer próximo ao modelo base congelado $\pi_{\theta_0}$ em nível de token, preservando a fidelidade comportamental.
• Atualizações Alternadas: Os parâmetros do monitor $\phi$ e os parâmetros do modelo $\theta$ são atualizados alternadamente para garantir que o monitor se adapte às representações em evolução do modelo durante o treinamento.

2.2 Framework de Avaliação Baseada em Intervenção

Para medir a robustez, os autores aplicam intervenções suaves (soft interventions) tanto no espaço de parâmetros quanto no espaço latente:

1. Intervenção no Espaço de Parâmetros (Ajuste Fino Prejudicial): Os modelos passam por Ajuste Fino Supervisionado (SFT) com LoRA em um conjunto de dados de instruções prejudiciais ($D_{harm}$). A evolução das taxas de recusa e conformidade é monitorada para avaliar o quão rápido o comportamento de segurança colapsa sob otimização adversária.
2. Intervenção no Espaço Latente (Perturbações Direcionadas): Perturbações aditivas $\delta$ são aplicadas às representações ocultas $h_\ell$ em camadas específicas ($\ell$) durante a inferência.
   • Objetivo: Minimizar a log-verossimilhança negativa (NLL) de uma resposta alvo prejudicial (ex: "Claro, aqui está...") sujeito a uma restrição de norma $\ell_\infty$ ($\|\delta\|_\infty \le \epsilon$).
   • Escopo: As intervenções são testadas em camadas de embedding, intermediárias e finais.

2.3 Pontuação de Vulnerabilidade Latente (LVS)

Para quantificar a sensibilidade do comportamento de segurança a essas intervenções, os autores propõem a Pontuação de Vulnerabilidade Latente (LVS). Diferente de métricas binárias (ex: Taxa de Sucesso de Ataque), a LVS mede a magnitude da degradação comportamental por unidade de perturbação latente.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

Onde $S_{harmless}$ é uma pontuação de segurança contínua, $y$ é a saída original e $y'$ é a saída intervencionada. Um LVS alto indica que pequenas mudanças latentes induzem quedas desproporcionalmente grandes na segurança.

3. Principais Resultados

3.1 Existência do Hiato de Auditoria

O estudo demonstra que as métricas de segurança comportamental são indicadores insuficientes de robustez em nível de representação:

• Estabilidade Comportamental: Modelos dissociados exibem taxas de recusa comparáveis aos seus modelos base alinhados para segurança em pedidos diretos prejudiciais e prompts de jailbreak. Auditorias comportamentais padrão falham em distinguir entre os dois.
• Divergência Latente: Apesar de taxas de recusa semelhantes, os modelos dissociados mostram vulnerabilidade significativamente maior quando testados por monitores latentes. O hiato calibrado entre representações seguras e inseguras contrai-se significamente nos modelos dissociados, embora o sinal ordinal permaneça.

3.2 Sensibilidade à Intervenção

• Ajuste Fino Prejudicial: Sob SFT prejudicial, os modelos dissociados mudam para a conformidade (e para longe da recusa) significativamente mais rápido do que seus equivalentes base. Isso sugere que, embora a recusa de superfície seja preservada, os mecanismos de segurança subjacentes são mais frágeis.
• Vulnerabilidade Específica de Camada: Perturbações latentes revelam que as representações intermediárias são as mais sensíveis à intervenção.
  • Perturbações aplicadas às camadas médias induzem Taxas de Sucesso de Ataque (ASR) e degradação de inocuidade substancialmente maiores em comparação com as camadas de embedding ou finais.
  • Modelos dissociados exibem vulnerabilidade amplificada nessas camadas intermediárias em comparação com suas bases seguras, apesar de manterem um comportamento de saída semelhante.

3.3 Alinhamento e Robustez

A avaliação de várias estratégias de alinhamento (ex: variantes Llama-3, família Alpaca) via LVS revela:

• Modelos alinhados para segurança geralmente alcançam um LVS menor nas camadas finais em comparação com variantes inseguras, sugerindo que o alinhamento estabiliza a geração de tokens.
• No entanto, essa melhoria não é uniforme nem completa. Muitos modelos alinhados retêm um LVS elevado nas camadas de embedding ou intermediárias.
• Observou-se que algumas estratégias de alinhamento (ex: abordagens específicas orientadas à inocuidade) aumentam a vulnerabilidade nas representações intermediárias, apesar de melhorarem as pontuações de inocuidade.

4. Significância e Alegações

O artigo alega que a avaliação de segurança comportamental sozinha fornece uma imagem incompleta da robustez do modelo. A principal significância deste trabalho reside em:

1. Formalizar o Hiato de Auditoria: Identifica um problema de validade de constructo onde o comportamento observável se move independentemente das propriedades de segurança em nível de representação.
2. Demonstrar a Fragilidade Latente: Fornece evidência empírica de que modelos podem ser "dissociados" — seguros na saída, mas frágeis na representação — tornando as auditorias padrão de taxa de recusa insuficientes para casos de segurança pré-implantação.
3. Auditoria Baseada em Intervenção: O framework proposto, utilizando intervenções suaves e a Pontuação de Vulnerabilidade Latente, oferece um método para testar o estresse do alinhamento de segurança além das saídas observáveis.
4. Insights Específicos de Camada: Os achados destacam que as representações intermediárias constituem um gargalo crítico de vulnerabilidade, onde pequenas intervenções podem desestabilizar desproporcionalmente o comportamento alinhado para segurança.

Os autores concluem que os procedimentos de auditoria de segurança devem evoluir para incorporar a avaliação conjunta da vulnerabilidade latente e do comportamento observável para garantir a robustez contra falhas em nível de representação.

5. Limitações e Escopo

O artigo nota explicitamente várias limitações:

• Ambiente Controlado: As vulnerabilidades são identificadas sob intervenções suaves controladas (acesso aos pesos ou estados latentes) e não implicam necessariamente que esses modos de falha sejam diretamente exploráveis via prompting padrão de caixa-preta.
• Construção Sintética: Os modelos dissociados são construídos sinteticamente via otimização contra monitores latentes específicos; as vulnerabilidades observadas podem depender da arquitetura da sonda e dos objetivos de intervenção específicos.
• Escala do Modelo: Os experimentos focam em modelos de pesos abertos relativamente pequenos (ex: 2B–8B parâmetros); permanece incerto se esses modos de falha persistem em escalas maiores.
• Ruído de Avaliação: As métricas dependem de juízes LLM e modelos de recompensa, o que pode introduzir ruído, e a contaminação de benchmarks pode afetar os resultados.

O trabalho não propõe novos mecanismos de defesa, mas sim um framework de diagnóstico para avaliar a fidelidade das métricas de segurança atuais.