Resumo Técnico: Uma Auditoria de Rank Efetivo de Deslocamentos de Ativação Induzidos por Alinhamento

Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) ajustados por instruções exibem uma vulnerabilidade estrutural onde comportamentos de segurança (especificamente recusas a solicitações prejudiciais) são mediados por um subespaço de baixa dimensão dentro das ativações do fluxo residual. Com base na observação empírica de Arditi et al. (2024) de que uma única direção pode mediar a recusa, este artigo formaliza as consequências estruturais desse fenômeno. O problema central é quantificar a "separabilidade" dos deslocamentos de alinhamento — especificamente, quão concentrada está a modificação entre ativações pré-treinadas e alinhadas em entradas relevantes para segurança — e determinar se essa estrutura de baixo rank implica fragilidade comportamental ou suscetibilidade a alinhamento enganoso (fingimento).

O artigo aborda três lacunas específicas:

1. Controle de Confundidores: Medições anteriores frequentemente confundem deslocamentos de alinhamento com artefatos de formatação de modelos de chat.
2. Calibração: Não está claro se aumentar o rank efetivo do deslocamento de alinhamento (via regularização) melhora estruturalmente a robustez ou meramente infla uma métrica.
3. Limites dos Diagnósticos: Desconhece-se se o baixo rank é uma assinatura específica de segurança ou uma propriedade genérica de pós-treinamento, e se existe um limite inferior correspondente para o "custo de fingimento" (ou seja, se alto rank garante resistência à alternância de modos).

Metodologia

O Índice de Separabilidade ($\rho_\epsilon$)

O artigo define a matriz de modificação de alinhamento $M_D$ em uma camada dada como a coleção de diferenças de ativação entre modelos alinhados e pré-treinados em uma distribuição relevante para segurança $D_s$:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
O índice de separabilidade é o rank efetivo dessa matriz, normalizado pela dimensão da representação $d$:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
onde $\text{rank}_\epsilon$ é o número de valores singulares necessários para capturar $(1-\epsilon)$ da variância total (com $\epsilon=0.05$).

Decomposição de Quatro Variantes

Para isolar o sinal real de alinhamento de confundidores, os autores decompõem a matriz de modificação em quatro variantes:

1. $M_{naive}$: Diferença ingênua ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), suscetível a confundidores de modelo.
2. $M_{template}$: Controla a formatação do modelo de chat aplicando o modelo a ambos os checkpoints.
3. $M_{aligned}$: Mede o deslocamento dentro do próprio modelo alinhado.
4. $M_{DiD}$ (Diferença-em-Diferenças): Subtrai a média da coluna de controle de $M_{template}$ para recuperar a direção de recusa intra-alinhada.

Testes Diagnósticos

O artigo emprega três testes para avaliar o alinhamento:

• Teste 1 (Rank): Calcula $\rho_\epsilon$ em $M_{template}$.
• Teste 2 (Ablação Causal): Projeta os $k$ principais componentes de $M_{template}$ e mede a mudança nas taxas de recusa em comparação com um rank-$k$ nulo aleatório.
• Teste 3 (Alinhamento Principal): Mede a similaridade de cosseno entre o vetor singular principal $u_1$ e a direção média de deslocamento $\bar{\Delta}$.

Calibração e Verificação

• Calibração MLP: Um MLP de 3 camadas é treinado com diferentes forças de regularização ($\lambda$) para manipular $\rho_\epsilon$ enquanto observa o compromisso entre inflação de rank e robustez de ablação.
• Auditoria LLM: O diagnóstico é aplicado a três modelos de pesos abertos: Llama-3.1-8B-Instruct, Gemma-2-9B-it e Qwen-2.5-7B-Instruct.
• Limites Teóricos: O artigo investiga a "rota Mirsky" para derivar um limite inferior para a pegada representacional de uma política enganosa (fingimento), testando a hipótese de lacuna espectral necessária para tal limite.

Resultados Principais

1. Medição Controlada por Confundidores

• Concentração de Rank: Em entradas relevantes para segurança, o deslocamento de alinhamento é altamente concentrado. Para Llama, Gemma e Qwen, o rank efetivo centralizado é $\sim 12$–$18$ de $d \in \{3584, 4096\}$, resultando em $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$.
• Confundidor de Modelo: O rank não centralizado é dominado por uma única direção média (o deslocamento do modelo de chat). Subtrair a média (centralização) aumenta o rank residual em 4–7$\times$, confirmando que o rank principal é impulsionado pela formatação e não por lógica complexa de segurança.
• Recuperação da Direção de Recusa: Na $M_{DiD}$ centralizada, o vetor singular principal alinha-se com a direção de recusa de Arditi com alta similaridade de cosseno ($| \cos | \in \{0.77, 0.86, 0.50\}$ para Llama/Gemma/Qwen). Isso confirma que o "colapso rank-1" vale para Llama e Gemma, mas é menos dominante em Qwen.

2. Calibração Construtiva: Ponto Ideal vs. Frágil

• Inflação de Rank $\neq$ Robustez: Na calibração MLP, aumentar $\rho_\epsilon$ via regularização leve ($\lambda=5$) resultou em alta robustez de ablação (conformidade $\ge 0.97$ mesmo após projetar 62,5% da representação). No entanto, regularização forte ($\lambda=50$) no mesmo $\rho_\epsilon$ nominal resultou em extrema fragilidade (conformidade caiu para 0,10).
• Valor Diagnóstico: $\rho_\epsilon$ serve como um diagnóstico para fragilidade, mas não é um alvo cuja inflação mecânica garante robustez. A consequência estrutural de baixo $\rho_\epsilon$ é fragilidade de projeção linear (Prop. 3.1) e um limite de alcançabilidade $O(\rho_\epsilon d)$ para fingimento (Prop. 3.5).

3. Limites dos Diagnósticos Baseados em Rank

• Não Específico de Segurança: Uma linha de base usando conceitos lineares arbitrários (LRH) produz $\rho_\epsilon \approx 0.008$–$0.010$, apenas 2–3$\times$ o valor de segurança. Baixo rank é uma propriedade genérica de deslocamentos de pós-treinamento; o vínculo com comportamento de segurança é estabelecido apenas via ablação causal (Teste 2).
• SVD vs. Ordenação Causal: A ordenação dos valores singulares por variância não garante ordenação causal. Em Llama, o segundo vetor singular ($u_2$) tem efeito causal próximo de zero na recusa, apesar de ocupar o segundo lugar por variância. A ablação cumulativa é não monotônica (por exemplo, a recusa aumenta em $k=5$ antes de cair), indicando que o espectro SVD sozinho não pode prever fragilidade comportamental.
• Falha da Hipótese de Lacuna Espectral: O artigo tenta provar um limite inferior correspondente ($\Omega(\rho_\epsilon d)$) para o custo de fingimento usando um argumento estilo Mirsky que requer uma lacuna espectral ($\kappa > 8$). Empiricamente, essa lacuna falha ($\kappa_{emp} < 8$) em 89/90 pares de referência de camada para Llama e 0/36 no MLP. Estruturalmente, o Lema 8.1 prova que para qualquer $\epsilon r > 1/4$, a condição de lacuna não pode ser atendida, tornando a rota Mirsky insuficiente para um limite inferior geral.

Significado e Afirmações

O artigo afirma fornecer uma quantificação formal e contínua das propriedades estruturais do alinhamento, indo além da observação binária "rank-1" de trabalhos anteriores.

1. Formalização da Fragilidade: Estabelece que baixo rank efetivo ($\rho_\epsilon \ll 1$) implica incondicionalmente vulnerabilidade a ataques de projeção linear (Prop. 3.1) e permite fingimento representacional de baixo custo (Prop. 3.5).
2. Rigor Metodológico: Introduz uma decomposição de quatro variantes para separar rigorosamente artefatos de modelos de chat de deslocamentos de alinhamento genuínos, um passo necessário para auditorias precisas.
3. Diagnóstico vs. Otimização: O artigo argumenta que $\rho_\epsilon$ é uma ferramenta diagnóstica para identificar fragilidade, não um alvo de otimização. A inflação mecânica de rank não compra robustez estrutural.
4. Problemas Abertos: O artigo identifica explicitamente o limite inferior correspondente para fingimento como um problema aberto. Embora prove a alcançabilidade de fingimento de baixo custo (limite superior), demonstra que a abordagem natural de lacuna espectral para provar um limite inferior (que alto rank força alto custo) falha tanto empiricamente quanto estruturalmente.

Os autores enfatizam que seu trabalho é limitado a ataques de fluxo residual (projeção, direção) e não afirma abordar pressão adversária arbitrária no mecanismo interno, ajuste fino LoRA ou jailbreaks de prompt. O diagnóstico é computável por um verificador estritamente mais fraco que o sistema sendo auditado, desde que o verificador tenha acesso de caixa branca a checkpoints emparelhados e uma distribuição de segurança fixa.