Resumo Técnico: Direcionamento de Ativação de Grão Fino (AUSteer)

1. Definição do Problema

O direcionamento de ativação (activation steering) emergiu como um paradigma de baixo custo para modificar comportamentos de Grandes Modelos de Linguagem (LLMs) sem treinamento adicional. No entanto, os métodos existentes operam predominantemente ao nível de bloco, intervindo em ativações agrupadas de atenção multi-cabeça (MHA), redes de feed-forward (FFN) ou fluxos residuais.

Os autores identificam uma falha crítica nesta abordagem: as ativações de nível de bloco são inerentemente heterogêneas. Um único vetor de ativação de bloco contém centenas ou milhares de dimensões, cada uma correspondendo a uma característica distinta. Algumas dimensões controlam distribuições de tokens benéficas, enquanto outras controlam distribuições irrelevantes ou até prejudiciais. Consequentemente, o direcionamento de nível de bloco é:

1. Muito grosseiro: Trata o bloco como uma entidade única, impedindo um direcionamento preciso.
2. Ineficiente: Amplifica simultaneamente sinais úteis e prejudiciais, frequentemente levando à degradação do desempenho.
3. Excessivamente intrusivo: Modifica muitas dimensões desnecessárias, aumentando a pegada de intervenção.

O artigo postula que "direcionar menos alcança mais" ao passar de intervenções de nível de bloco para intervenções de nível de Unidade Atômica (AU - Atomic Unit) de grão fino.

2. Metodologia: AUSteer

O método proposto, AUSteer, decompõe as ativações de bloco em Unidades Atômicas (AUs). Uma AU é definida como uma única dimensão de uma ativação de bloco, correspondendo a uma coluna (fatia) específica da matriz de pesos do bloco. Direcionar uma ativação de nível de AU é equivalente a direcionar sua respectiva AU associada.

O AUSteer consiste em dois componentes primários:

A. Localização de Unidade Atômica via Momento de Ativação

Para identificar quais AUs são relevantes para a tarefa sem treinamento, os autores propõem o momento de ativação.

• Amostras Contrastivas: O método utiliza pares de amostras positivas (corretas/alta qualidade) e negativas (incorretas/baixa qualidade).
• Cálculo do Momento: Para cada AU $i$ e par de amostras $j$, o momento de ativação $m_i^j$ é calculado como a diferença entre a ativação na amostra positiva ($x_{i, pos}^j$) e na amostra negativa ($x_{i, neg}^j$).
  $$m_i^j = x_{i, pos}^j - x_{i, neg}^j$$
• Pontuação Discriminativa: O método conta as ocorrências de momento positivo e negativo através de todos os pares para determinar se uma AU promove ou suprime consistentemente a saída desejada. A pontuação discriminativa $s_i$ é definida como a proporção máxima de promoção ou supressão consistente:
  $$s_i = \max(r_{pos}^i, r_{neg}^i)$$
  onde $r_{pos}^i$ e $r_{neg}^i$ são as proporções de pares onde o momento é positivo ou negativo, respectivamente.
• Seleção: As AUs são classificadas globalmente por suas pontuações discriminativas, e as $k$ melhores AUs são selecionadas para intervenção.

B. Direcionamento Adaptativo

Uma vez localizadas as AUs discriminativas, o AUSteer aplica o direcionamento adaptativo para garantir robustez em diversas entradas e AUs.

• Adaptabilidade de Entrada: Em vez de adicionar um vetor constante, o método escala a ativação atual: $\hat{x}_i = x_i + \gamma_i x_i$. Isso preserva o sinal e a direção da ativação original enquanto se adapta à sua magnitude.
• Adaptabilidade de AU: A força de direcionamento $\gamma_i$ é personalizada de acordo com o poder discriminativo de cada AU.
  $$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{se } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{caso contrário} \end{cases}$$
  Aqui, $\alpha$ é um fator global de força de direcionamento. Um direcionamento mais forte é aplicado às AUs com maiores pontuações discriminativas.

3. Principais Contribuições

1. Análise Teórica e Empírica de Heterogeneidade: Os autores demonstram que as ativações de nível de bloco são heterogêneas porque diferentes AUs governam distintas distribuições de tokens de saída. Direcionar uma única AU desloca a saída do modelo em direção à distribuição específica daquela AU, enquanto o direcionamento de nível de bloco mistura distribuições benéficas e prejudiciais.
2. Framework AUSteer: Um método inovador que localiza AUs discriminativas usando o momento de ativação e aplica força de direcionamento adaptativa e específica para a entrada.
3. Eficiência e Precisão: O método alcança um desempenho superior ao intervir em um número significativamente menor de ativações (no máximo 100) em comparação com métodos de estado da arte (SOTA) que modificam milhares.

4. Resultados Experimentais

O AUSteer foi avaliado em múltiplos LLMs (LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B e variantes maiores) em três categorias de tarefas:

• Raciocínio de Senso Comum: BoolQ, COPA, WinoGrande.
• Resolução de Problemas Matemáticos: SVAMP, MAWPS.
• Geração de Texto Aberto: Desintoxicação (RealToxicPrompts) e Alinhamento (BPO).

Principais Descobertas:

• Desempenho: O AUSteer superou consistentemente os baselines SOTA (ITI, CAA, SADI, STA) em todas as tarefas. Por exemplo, no LLaMA2-7B-Chat, o AUSteer-FFN alcançou uma precisão média de 61,34% em tarefas de raciocínio/matemática, superando o SADI (59,49%) enquanto direcionava $\le 100$ ativações contra as milhares do SADI.
• Qualidade de Geração: Na geração de texto aberto, o AUSteer melhorou as taxas de desintoxicação em 2–3% sobre o SADI e aumentou as taxas de vitória para comportamentos preferidos por humanos em 4,5% a 8,5%.
• Escalabilidade: O método permaneceu eficaz em modelos maiores (até 70B parâmetros) e arquiteturas diversas (incluindo modelos MoE esparsos).
• Estudos de Ablação: Remover a localização por momento de ativação ou o direcionamento adaptativo resultou em quedas significativas de desempenho, confirmando a necessidade de ambos os componentes.
• Eficiência: O AUSteer exigiu menos overhead computacional e uma pegada de intervenção menor do que os baselines, com tempos de inferência comparáveis aos modelos vanilla.

5. Significância e Alegações

O artigo afirma que o paradigma tradicional de intervenção de nível de bloco é fundamentalmente limitado pela heterogeneidade dos espaços de ativação. Ao decompor as intervenções para o nível de Unidade Atômica (AU), o AUSteer demonstra que o direcionamento seletivo e de grão fino é mais eficaz do que intervenções amplas e grosseiras.

A principal significância reside no princípio de "direcionar menos, alcançar mais". Os autores mostram que:

• Nem todas as dimensões em um bloco são úteis; muitas são neutras ou prejudiciais.
• Identificar e direcionar apenas as AUs mais discriminativas (usando o momento de ativação) proporciona maior precisão.
• A escala adaptativa baseada na importância da entrada e da AU evita a distorção de sinais úteis.

O trabalho fornece uma justificativa teórica para o porquê de intervenções direcionadas superarem as globais e oferece um framework prático, livre de treinamento, que reduz significativamente o overhead computacional e a pegada de intervenção necessária para controlar os comportamentos de LLMs.