Resumo Técnico: Projeção Aleatória de Alta Dimensão para Direcionamento de Ativação em Modelos de Linguagem

Declaração do Problema

O direcionamento de ativação (activation steering) emergiu como um método primário para controlar Grandes Modelos de Linguagem (LLMs) sem o custo de retreinamento. Os métodos atuais de estado da arte, como Adição de Ativação e Ablação Direcional, dependem de vetores de Diferença de Médias (DiM). Esses métodos estimam direções de direcionamento calculando a diferença média linear das ativações de classes alvo e de origem no fluxo residual original.

No entanto, os autores argumentam que esses métodos lineares são fundamentalmente limitados. Sob a hipóteste de superposição, redes neurais codificam mais características do que possuem neurônios, sobrepondo-as no espaço de ativação. Consequentemente, sinais relevantes para o comportamento podem não ser totalmente capturados por deslocamentos de média de primeira ordem. Em vez disso, sinais discriminativos podem existir em subespaços de características não lineares ou como estruturas estatísticas de segunda ordem (por exemplo, diferenças de variância) que os estimadores DiM lineares falham em recuperar. As tentativas existentes de abordar isso usando Autoencoders Esparsos (SAEs) frequentemente apresentam desempenho inferior aos baselines lineares ou exigem treinamento, deixando uma lacuna para uma abordagem livre de treinamento que possa acessar esses sinais de ordem superior.

Metodologia: HiDRA

Os autores propõem o HiDRA (High-Dimensional Random-projection for Activation-steering), um framework livre de treinamento que modifica o espaço no qual as direções de direcionamento são estimadas e aplicadas.

Mecanismo Central

O HiDRA opera elevando as ativações do modelo para um espaço não linear de alta dimensão antes de realizar o direcionamento, e então projetando as ativações modificadas de volta para o fluxo residual original. O pipeline consiste em três etapas:

1. Elevação (Projeção): Dado um vetor de ativação $x \in \mathbb{R}^d$ na camada $\ell$, o HiDRA aplica uma projeção aleatória usando uma matriz Gaussiana $A \in \mathbb{R}^{m \times d}$ (onde $m \gg d$) seguida por uma função de ativação não linear $\sigma$ (padrão: LeakyReLU).
   $$x' = \sigma(Ax)$$
   Isso mapeia os dados para um espaço de características de alta dimensão $\mathcal{H}$.

2. Direcionamento no Espaço Elevado: O vetor de direcionamento $d^{(\ell)}$ é computado como o vetor de Diferença de Médias, mas calculado dentro do espaço elevado de alta dimensão usando as ativações projetadas.
   $$d^{(\ell)} = \frac{1}{|D_{target}|} \sum_{t \in D_{target}} x'^{(\ell)}(t) - \frac{1}{|D_{source}|} \sum_{t \in D_{source}} x'^{(\ell)}(t)$$

3. Injeção e Reconstrução: Durante a inferência, o vetor de direcionamento é adicionado às ativações projetadas com força $\alpha$. O resultado é então projetado de volta para o espaço original usando a pseudo-inversa da matriz de projeção ($A^\dagger$) e a inversa da função não linear ($\sigma^{-1}$).
   $$x^{(\ell)}_{steered} = A^\dagger \sigma^{-1} \left( \sigma(Ax^{(\ell)}) + \alpha d^{(\ell)} \right)$$

Fundamentação Teórica

O artigo fornece uma justificativa teórica baseada no modelo de superposição Gaussiana.

• Proposição 3.1: Demonstra que, se o espaço de características puder ser decomposto em um subespaço linear e um subespaço residual, a razão de Fisher (uma medida de poder discriminativo) no espaço de características é estritamente maior do que no espaço linear se um sinal discriminativo residual existir ($v_{res} \neq 0$).
• Teorema 3.5: Prova que, sob um modelo de superposição Gaussiana, a norma do componente residual no espaço elevado é limitada inferiormente por sinais discriminativos de segunda ordem (lacunas de variância entre classes). Isso sugere que a projeção aleatória com não linearidades permite que estimadores lineares (como DiM) capturem sinais que são invisíveis no espaço linear original.

Principais Contribuições

1. Análise Teórica: Os autores provam que, sob a hipótese de superposição, existem sinais discriminativos de segunda ordem no subespaço de comportamento. Eles demonstram que o DiM de espaço de características pode, comprovadamente, capturar esses sinais residuais, que estão além do alcance dos métodos padrão de deslocamento de média linear.
2. Framework HiDRA: Eles introduzem um método de direcionamento plug-in e livre de treinamento que se integra perfeitamente a pipelines existentes. Ele não requer retreinamento do modelo e utiliza uma matriz de projeção inicializada aleatoriamente e fixa.
3. Validação Empírica: Experimentos extensos em diversas famílias de LLMs (Gemma, Llama, Qwen) e tarefas mostram que o HiDRA supera consistentemente os baselines correspondentes, preservando as capacidades gerais do modelo.

Resultados Experimentais

Os autores avaliaram o HiDRA em três tarefas de direcionamento distintas:

1. Jailbreaking (Quebra de Segurança)

• Configuração: Direcionar modelos para cumprir solicitações prejudiciais (usando datasets como ADVBENCH e MALICIOUSINSTRUCT).
• Baselines: Comparado contra Mean-AcT (direcionamento DiM padrão).
• Resultados: O HiDRA alcançou taxas de sucesso de ataque (ASR) mais altas em todos os modelos testados (Gemma 2, Llama 3.2, Qwen 2.5). Por exemplo, no Gemma2-9B-IT, o ASR aumentou de 84,00% (Mean-AcT) para 90,00% (HiDRA) no cenário de todos os tokens. Crucialmente, as capacidades gerais de modelagem de linguagem (medidas pelo TINYBENCHMARKS) permaneceram comparáveis aos baselines, indicando que não houve degradação significativa na utilidade (helpfulness).

2. Veracidade (Truthfulness)

• Configuração: Direcionar modelos para produzir respostas mais verdadeiras e informativas usando o benchmark TRUTHFULQA.
• Resultados: O HiDRA melhorou a métrica "verdadeiro $\times$ informativo" tanto no Gemma-2-2B quanto no Llama-3-8B em comparação ao Mean-AcT e sem direcionamento. O método manteve o desempenho em benchmarks gerais, sugerindo que os ganhos de veracidade não foram obtidos sacrificando a capacidade geral.

3. QA de Múltipla Escolha Estilo CAA

• Configuração: Controlar a probabilidade de conceitos comportamentais específicos (ex: "Sycophancy" [Sicomania], "Hallucination" [Alucinação]) em um cenário de múltipla escolha, comparando contra Contrastive Activation Addition (CAA) e Sparse Activation Steering (SAS).
• Resultados: O HiDRA demonstrou controle superior sobre os conceitos alvo. Ele alcançou os melhores resultados na supressão de atributos negativos (menor probabilidade de token) para todos os seis conceitos testados e na promoção de atributos positivos para cinco de seis conceitos, superando tanto o CAA quanto o SAS.

Estudos de Ablação

• Extração de Vetor: Os autores compararam o DiM com a Análise Discriminante Linear (LDA) para extração de vetores. Os resultados indicaram que os ganhos de desempenho do HiDRA derivam principalmente da projeção de alta dimensão, e não do condicionamento de covariância, já que o HiDRA com DiM superou o LDA no espaço original.
• Não Linearidade: A escolha do mapa não linear importa. Embora mapas polinomiais (Cube, Cubic) tenham gerado alto ASR, eles produziram gerações degeneradas. As variantes LeakyReLU e Skip-softplus foram consideradas ideais porque são globalmente Lipschitz, garantindo perturbações estáveis ao mapear de volta para o fluxo residual.

Significância e Alegações

O artigo afirma que o HiDRA oferece uma abordagem comprovadamente superior para o direcionamento de ativação ao alavancar a geometria de projeções aleatórias de alta dimensão.

• Além dos Limites Lineares: Ele aborda a limitação dos métodos de direcionamento linear ao capturar sinais discriminativos que existem na estrutura residual não linear do espaço de ativação, especificamente aqueles decorrentes da superposição de características latentes.
• Eficiência e Compatibilidade: Ao contrário dos métodos baseados em SAE, o HiDRA é livre de treinamento e não exige o aprendizado de dicionários esparsos. Ele atua como um "plug-in" que pode ser combinado com qualquer pipeline de direcionamento existente sem modificar a arquitetura ou os pesos do modelo.
• Robustez: O método alcança um controle comportamental mais forte (maior ASR, melhor veracidade, controle de conceito mais fino) sem o significativo overhead computacional de retreinamento ou a degradação de capacidade observada em outros métodos de intervenção.

Os autores concluem que, embora o HiDRA introduza algum overhead de computação em tempo de inferência devido aos passos de projeção e reconstrução, ele fornece um caminho principiado e eficiente em termos de amostras para desbloquear sinais de controle de ordem superior em LLMs.