Resumo Técnico: Um Lançamento de Moeda por Token: Direcionamento Esparso de Bernoulli em Grandes Modelos de Linguagem

Declaração do Problema

O direcionamento de ativação via Autoencoders Esparsos (SAEs) oferece um mecanismo para controlar o comportamento de Grandes Modelos de Linguagem (LLMs) — como reduzir a toxicidade ou impor personas específicas — sem a necessidade de ajuste fino (fine-tuning) específico para a tarefa. No entanto, os métodos padrão (ex: ActAdd, ITI, CAA) aplicam sinais de direcionamento em cada token gerado. Essa intervenção densa e uniforme empurra as ativações do modelo para fora de sua variedade (manifold) nativa, frequentemente degradando a fluência, causando saídas repetitivas e levando à correção excessiva em configurações de múltiplos atributos.

A questão central proposta pelos autores é: A intervenção densa, a cada token, é necessária? Eles hipotetizam que a perturbação persistente pode ser redundante e que o controle comportamental pode ser alcançado através da aplicação esparsa e estocástica de sinais de direcionamento.

Metodologia

O artigo introduz duas estratégias de intervenção estocástica que controlam os sinais de direcionamento aleatoriamente, substituindo a aplicação determinística a cada token. Ambos os métodos utilizam um vetor de direcionamento $v$ derivado de características de SAE associadas a um comportamento alvo.

1. Descoberta da Direção de Direcionamento

Utilizando um Autoencoder Esparso (SAE) treinado nas ativações do fluxo residual em uma camada específica $\ell^*$, os autores identificam características discriminativas de comportamento. Eles computam a diferença média de ativação de características ($\Delta_i$) entre um conjunto positivo (que exibe o comportamento alvo) e um conjunto neutro. As top-$K$ características são selecionadas para formar vetores de direcionamento de norma unitária $v$.

2. Mecanismos de Intervenção Estocástica

O sinal de direcionamento na posição do token $t$ é definido como $s_t = m_t \cdot \alpha v$, onde $\alpha$ é a magnitude e $m_t$ é um portão (gate) binário.

• Direcionamento de Token Estocástico (STS): Em cada posição $t$, um portão independente $m_t \sim \text{Bernoulli}(p)$ é amostrado. O sinal é aplicado a um subconjunto aleatório de tokens com probabilidade $p$. Este design é agnóstico à posição, não fazendo suposições sobre quais tokens específicos são comportamentalmente relevantes.
• Direcionamento de Bloco Estocástico (SBS): Um único portão $m \sim \text{Bernoulli}(p)$ é amostrado uma vez por sequência. Se $m=1$, o sinal é aplicado uniformemente a uma janela inicial de tamanho $W$ (ex: os primeiros 32 ou 64 tokens); caso contrário, nenhuma intervenção ocorre. Isso aproveita a hipótese de que os tokens iniciais carregam uma influência contextual desproporcional.

3. Regularização de Preservação de Fluência

Para mitigar o risco de saídas incoerentes causadas por intervenções aditivas, os autores aplicam três correções leves:

1. Preservação de Norma: Reescalonamento da ativação direcionada para restaurar a norma original, restringindo a intervenção a uma rotação em vez de inflação de magnitude.
2. Clamp de Ativação: Limitação da projeção escalar sobre $v$ para evitar amplificação excessiva.
3. Penalidade de Repetição: Desconto de tokens previamente gerados durante a decodificação para combater a tendência à repetição quando continuações de alta probabilidade são suprimidas.

Configuração Experimental

Os métodos foram avaliados em dois modelos (LLaMA 3.1-8B e Gemma-2 2B) através de duas tarefas comportamentais:

1. Redução de Toxicidade: Usando o dataset RealToxicityPrompts para suprimir a geração tóxica.
2. Direcionamento de Emoção: Usando o dataset GoEmotions para elicitar emoções específicas (Medo e Tristeza).

Baselines:

• Sem Direcionamento: Geração não modificada.
• Direcionamento Total (FS): Intervenção determinística em cada token ($p=1$).
• Prompting: Instruções específicas de tarefa cuidadosamente curadas e prependidas ao input.

Métricas:

• Efetividade: Redução média de toxicidade e ganho médio de probabilidade para as emoções alvo.
• Qualidade: Perplexidade (GPT-2) e pontuações de repetição de n-gramas (Rep-3, Rep-4).

Principais Resultados

1. O Direcionamento Esparso Recupera o Desempenho Denso

O principal achado é que direcionar apenas uma fração dos tokens recupera a maior parte da mudança comportamental alcançada pelo direcionamento denso.

• Para o LLaMA 3.1-8B, o STS em $p=0.5$ recupera mais de 95% da redução de toxicidade do direcionamento total e mais de 80% dos ganhos nas tarefas de emoção.
• O STS supera os baselines baseados em prompting cuidadosamente projetados mesmo em razões de intervenção baixas (ex: $p \approx 0.3$ para toxicidade), perturbando menos da metade dos tokens enquanto alcança um controle superior.

2. STS Supera o SBS

O Direcionamento de Token Estocástico (STS) supera consistentemente o Direcionamento de Bloco Estocástico (SBS) em proporções de intervenção equivalentes.

• Para o direcionamento de emoção, o STS em $p=0.5$ aproximadamente dobra o ganho de probabilidade do SBS (com janela $W=32$).
• Isso sugere que o fluxo residual integra o sinal de direcionamento de forma cumulativa ao longo da sequência, em vez de depender de posições iniciais privilegiadas.

3. Escalonamento Inverso de Magnitude e Dosagem

A magnitude ideal de direcionamento ($\alpha^*$) escala de forma inversa com a razão de intervenção ($p$).

• À medida que $p$ diminui, o $\alpha$ necessário aumenta (ex: para o Gemma-2 2B, $\alpha^*$ sobe de 30 em $p=1.0$ para 35 em $p=0.2$).
• Crucialmente, o aumento é sublinear em $1/p$. A "dosagem" efetiva ($p \cdot \alpha$) diminui conforme os tokens são descartados.
• Implicação: O direcionamento esparso alcança mudanças comportamentais comparáveis injetando significativamente menos sinal total no fluxo residual.

Significância e Alegações

O artigo afirma que o direcionamento mediado por SAE é limitado pela taxa (rate-limited): o resultado comportamental depende da dosagem cumulativa do sinal ao longo de uma sequência, em vez da densidade da intervenção.

• Eficiência: O direcionamento esparso permite mudanças comportamentais comparáveis com menos sinal total injetado, reduzindo o risco de degradar a fluência e o desempenho downstream.
• Simplicidade: O método reduz o controle no tempo de inferência a um único parâmetro escalar $p$, não exigindo modelo de recompensa, nenhuma política de gating aprendida e nenhum cálculo além de um "lançamento de moeda por token".
• Generalização: Os achados sustentam-se em diferentes famílias de modelos (LLaMA e Gemma) e tarefas comportamentais (supressão de toxicidade e elicitação de emoção), sugerindo que a redundância da intervenção densa é uma propriedade geral do direcionamento de ativação.

Os autores concluem que distribuir o sinal de direcionamento através de posições aleatórias é uma estratégia mais robusta do que concentrá-lo em janelas iniciais contíguas, e que tornar a intervenção esparsa não apenas redistribui um orçamento fixo de perturbação, mas na verdade reduz o orçamento necessário para alcançar uma mudança comportamental alvo.