Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Resumo Técnico: SKIN-DEEP: Um Diagnóstico Geométrico para Fragilidade de Alinhamento

Declaração do Problema
O ajuste de alinhamento em Grandes Modelos de Linguagem (LLMs) é projetado para garantir a recusa robusta de solicitações prejudiciais. No entanto, esse comportamento de segurança é frequentemente frágil: um modelo que passa em testes de recusa no lançamento pode perder suas capacidades de recusa após passar por intervenções de baixo custo em jusante, como o ajuste fino (fine-tuning) em exemplos de aparência benigna ou o treinamento de adaptadores de baixo posto (LoRA). Embora trabalhos anteriores tenham demonstrado que tais intervenções podem contornar a segurança, os estudos existentes geralmente apenas detectam essa fragilidade após uma ataque ou intervenção de ajuste fino ter sido executada. Atualmente, não existe um método para detectar essa fragilidade diretamente das representações internas de um modelo alinhado antes que tais intervenções ocorram.

Metodologia: SKIN-DEEP
Os autores introduzem o SKIN-DEEP, um framework de diagnóstico geométrico que mede a fragilidade do alinhamento usando as ativações do estado oculto de um modelo alinhado antes de qualquer intervenção. O método opera através das seguintes etapas:

1. Busca de Subespaço: O framework compara as ativações do fluxo residual de um modelo alinhado ($M$) contra seu contraparte base ($M_0$) em conjuntos correspondentes de prompts de solicitações prejudiciais e instruções benignas. Usando PCA contrastivo (cPCA), ele identifica direções candidatas ($v_\ell$) em cada camada $\ell$ que melhor separam solicitações prejudiciais de instruções benignas.
2. Validação: Para garantir que essas direções representem uma geometria de segurança genuína e não artefatos (ex: magnitude de ativação ou templates de prompt), os autores empregam:
   • d de Cohen: Para medir a magnitude da separação ao longo da direção candidata.
   • Testes de espaço total: Usando PERMANOVA e MMD com kernel RBF para verificar se a divisão existe no espaço de ativação total, não apenas na projeção 1D.
   • Controles de norma: Verificando se os resultados se mantêm em ativações normalizadas pela unidade.
   • Comparação de Direção de Arditi: Medindo a similaridade de cosseno com a conhecida "direção de Arditi" (a diferença entre as médias das ativações prejudiciais e inofensivas) para garantir que a geometria recuperada seja distinta ou relacionada aos eixos de recusa conhecidos.
3. Verificação Causal (Ablação de Direção): O framework testa a relevância comportamental dessas direções removendo (ablando) a direção candidata durante a geração. Se a taxa de recusa do modelo cair significativamente em comparação com controles de direção aleatória ou de referência, a geometria está causalmente ligada ao comportamento de recusa.
4. Pontuação de Fragilidade Geométrica (GFS): As medições por camada são comprimidas em uma métrica escalar única, a Pontuação de Fragilidade Geométrica (GFS). A fórmula agrega a força de separação ponderada ($|d_\ell|$), enfatizando camadas posteriores ($w_\ell \propto \ell/L$), e desponderando direções que se alinham muito de perto com o eixo de recusa canônico de Arditi:
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   Um GFS alto indica uma geometria de segurança forte e de emergência tardia que não está concentrada unicamente no eixo de recusa canônico.

Principais Contribuições e Resultados
O artigo avalia o SKIN-DEEP em um grupo de 21 modelos ajustados por instrução (3B–32B parâmetros) através de seis receitas de alinhamento (SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT). Os resultados apoiam quatro principais afirmações:

• Existência de um Subespaço de Segurança de Baixo Posto: Solicitações prejudicas e instruções benignas se separam ao longo de um pequeno conjunto de direções de estado oculto. Essa separação persiste no espaço de ativação total e é robusta a formatações de prompt (templates de chat) e variações de norma de ativação.
• Elo Causal com a Recusa: Remover direções específicas identificadas pela busca cPCA enfraquece a recusa de solicitações prejudiciais em modelos onde uma diminuição é mensurável. Isso confirma que a geometria recuperada fundamenta o comportamento de recusa, não apenas a classificação de prompts. A direção específica que "muda a recusa" varia por modelo, sugerindo um subespaço de baixo posto compartilhado que contém vetores específicos do modelo, em vez de um único vetor de recusa universal.
• Recorrência entre Famílias: Diferentes famílias de modelos (ex: Llama, Qwen, Mistral, Gemma) preservam relações de ativação prompt-para-prompt semelhantes dentro deste subespaço de segurança, embora a camada onde a separação é mais forte varie conforme o modelo.
• Utilidade Diagnóstica (GFS): O GFS prevê com sucesso quais modelos inicialmente seguros manterão a maior parte da recusa após um ajuste fino de LoRA em pequena escala. Em experimentos, o Gemma-2-9B recebeu o menor GFS e foi o único modelo que reteve recusa substancial após atualizações LoRA benignas agressivas, enquanto outros modelos (Llama, Qwen, Mistral) perderam rapidamente as capacidades de recusa. Os autores atribuem a resiliência do Gemma ao fato de suas direções de segurança permanecerem mais próximas do eixo de recusa canônico de Arditi, o qual o GFS despondera, sinalizando corretamente o modelo como menos "frágil" no contexto de perturbações de baixo posto.

Significância e Alegações
O artigo estabelece o GFS como um diagnóstico prático pré-implantação. Sua principal significância reside na capacidade de sinalizar a fragilidade do alinhamento sem executar um ataque ou intervenção de ajuste fino. Ao inspecionar a assinatura geométrica da recusa no fluxo residual, desenvolvedores podem identificar modelos que dependem de mecanismos de segurança frágeis antes de serem lançados.

Os autores posicionam este trabalho como uma ferramenta para utilidade defensiva:

• Ajuda a sinalizar checkpoints sub-alinhados.
• Auxilia na priorização de ajuste fino de segurança ou sondagens de interpretabilidade.
• Assiste no triagem de orçamentos de red-teaming.

O artigo nota explicitamente limitações, incluindo o escopo de tamanhos de modelos (até 32B), o uso de prompts apenas em inglês e o fato de que o ranking de GFS para receitas de alinhamento (ex: modelos DPO parecendo mais robustos) é uma hipótese que requer validação adicional em populações maiores. Os autores também enfatizam um risco de duplo uso: embora o pipeline de diagnóstico seja liberado, artefatos prontos para ataque (como ganchos de ablação por camada e pesos de adaptador) são retidos para evitar exploração imediata, embora reconheçam que adversários determinados poderiam reconstruir pipelines semelhantes usando dados públicos.