Resumo Técnico: FLAS (Direcionamento de Ativação Baseado em Fluxo)

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades robustas, controlar de forma confiável seu comportamento para alinhar com preferências ou conceitos humanos específicos no momento da inferência permanece um desafio. Mecanismos de controle existentes enfrentam limitações distintas:

• Prompting: Embora simples, o prompting em contexto frequentemente falha em incorporar conceitos complexos de forma robusta sem degradar o seguimento de instruções ou a fluência.
• Ajuste Fino (Fine-tuning): Métodos como LoRA ou SFT são computacionalmente caros, propensos ao esquecimento catastrófico e carecem de interpretabilidade.
• Direcionamento de Ativação: Métodos atuais de direcionamento de ativação (e.g., DiffMean, CAA, ReFT) modificam representações intermediárias enquanto mantêm os parâmetros do modelo congelados. No entanto, avaliações em larga escala no AxBench revelam que esses métodos são frequentemente superados pelo prompting simples. Além disso, eles frequentemente exigem ajuste de força por conceito em conjuntos de desenvolvimento e generalizam mal para conceitos não vistos.

Os autores hipotetizam que essas limitações decorrem de suposições simplificadoras não validadas compartilhadas entre métodos anteriores, especificamente:

1. Transformações Fixas e de Passo Único: Intervenções são restritas a um único vetor de deslocamento aplicado uma vez.
2. Invariância de Posição: A mesma intervenção é aplicada uniformemente em todas as posições de token em uma sequência.
3. Supervisão Contrastiva: Muitos métodos dependem de dados pareados positivos/negativos (pares contrastivos) para treinamento.

Metodologia: FLAS

O artigo propõe o FLAS (Direcionamento de Ativação Baseado em Fluxo), um método que substitui intervenções fixas de passo único por um campo de velocidade aprendido e condicionado a conceitos.

Formulação Central

O FLAS modela o processo de direcionamento como um fluxo contínuo, em vez de um salto discreto. Dado um modelo de linguagem base com estado oculto $h$ na camada $\ell$ e uma descrição de conceito em linguagem natural $c$, o FLAS aprende um campo de velocidade $v_\theta(h, t, c)$ definido pela Equação Diferencial Ordinária (ODE):
$$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$$
onde $\phi_0(h) = h$. A ativação direcionada $h'$ é obtida integrando este campo de velocidade do tempo $t=0$ até um tempo de fluxo $T$:
$$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$$

Na prática, esta integral é aproximada usando um método de Euler para frente de N passos:
$$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$$
Isso permite que a intervenção siga trajetórias curvas e de múltiplos passos através do espaço de ativação, adaptando-se conforme o estado de ativação evolui.

Arquitetura (FlowBlock)

O campo de velocidade $v_\theta$ é instanciado como um FlowBlock, um módulo no estilo transformer inserido em uma camada específica do modelo base congelado.

• Entradas: Ativação atual $h_k$, representação codificada do conceito $\phi(c)$ e passo de tempo $t_k$.
• Mecanismo:
  1. Condicionamento de Tempo: O tempo é injetado via embeddings sinusoidais.
  2. Atenção Cruzada: A ativação atende à codificação do conceito (produzida por um codificador de conceitos congelado que reutiliza as camadas iniciais do modelo base).
  3. Atenção Self e MLP: Uma camada de atenção self causal e uma rede feedforward processam a informação para produzir um deslocamento por token.
• Propriedades Chave:
  • Dependente de Estado: A velocidade depende da ativação atual $h$, permitindo trajetórias adaptativas.
  • Por Token: A velocidade é computada para cada posição de token, permitindo direcionamento não uniforme através de uma sequência.
  • Zero-Shot: É treinado apenas em exemplos positivos (respostas alinhadas ao conceito) usando um objetivo padrão de modelagem de linguagem, eliminando a necessidade de pares contrastivos.

Estratégia de Treinamento

• Objetivo: Minimizar a entropia cruzada de modelagem de linguagem nos tokens de saída após injetar a ativação direcionada $h_N$.
• Penalidade de Diversidade: Uma perda de diversidade é adicionada para penalizar a similaridade cosseno entre velocidades agrupadas por média de diferentes conceitos dentro de um lote, garantindo direções de direcionamento distintas.
• Controle de Força: O tempo de fluxo $T$ atua como um parâmetro escalar contínuo. Ao randomizar $T$ durante o treinamento (e.g., $T \sim \text{Uniform}[0.5, 2.0]$), o modelo aprende a extrapolar para diferentes forças na inferência sem ajuste por conceito.

Contribuições Principais

1. Estrutura FLAS: A introdução de um campo de velocidade condicionado a conceitos integrado via passos de Euler de múltiplos passos, permitindo direcionamento adaptativo, de múltiplos passos e sensível à posição, treinado exclusivamente em dados positivos.
2. Desempenho no AxBench: O FLAS é o primeiro método de direcionamento aprendido a superar consistentemente o prompting em contexto no benchmark AxBench.
   • Gemma-2-2B-IT (Retido): HMean 1.015 (vs. Prompting 0.762).
   • Gemma-2-9B-IT (Retido): HMean 1.113 (vs. Prompting 1.091).
   • Crucialmente, isso é alcançado com um único tempo de fluxo fixo ($T=2$) e sem ajuste por conceito.
3. Generalização: O método generaliza entre famílias de modelos (testado em Qwen3-4B) e escala monotonicamente com o número de conceitos de treinamento (até 16k), não mostrando saturação clara.
4. Insights Geométricos: A análise do fluxo aprendido revela que trajetórias de direcionamento eficazes são curvas, requerem múltiplos passos para resolução e variam significativamente entre posições de token. Isso desafia a "Hipótese de Representação Linear" e sugere que suposições anteriores sobre a geometria do espaço de ativação são incompletas.

Resultados e Análise

• Robustez: Diferentemente de baselines (e.g., ReFT, DiffMean, AcT) que degradam o seguimento de instruções e a fluência à medida que a força de direcionamento aumenta, o FLAS mantém pontuações altas em uma ampla faixa de tempos de fluxo ($T \in [0.5, 4.0]$).
• Estudos de Ablação:
  • Atenção Cruzada: Desativar a atenção cruzada (o caminho para informações de conceito) causa uma queda catastrófica no desempenho ($t = -37.82$).
  • Múltiplos Passos: Reduzir os passos de integração para $N=1$ (um único deslocamento adaptativo) degrada significativamente o desempenho, confirmando a necessidade de trajetórias de múltiplos passos e curvas.
  • Perda de Diversidade: Remover a penalidade de diversidade reduz o desempenho e causa um colapso no seguimento de instruções em tempos de fluxo altos.
• Custo Computacional: O FLAS introduz uma sobrecarga de geração por token (aprox. 1.5x em modelos de 2B) devido à avaliação repetida do FlowBlock, mas isso é considerado aceitável dado os ganhos de qualidade. É significativamente mais eficiente em parâmetros que o HyperSteer (que usa uma hiper-rede de 2,6B+ parâmetros).

Significado

O artigo afirma que o FLAS representa uma mudança de paradigma no direcionamento de ativação ao tratar intervenções como fluxos em vez de vetores estáticos.

• Evidência Empírica: Fornece evidência empírica de que o direcionamento eficaz requer intervenções não lineares e sensíveis à posição, sugerindo que as suposições geométricas subjacentes a grande parte da literatura anterior são incompletas.
• Impacto Prático: Ao remover a necessidade de dados contrastivos e ajuste por conceito, o FLAS oferece um caminho mais escalável e robusto para controlar o comportamento de LLMs, conectando com sucesso a lacuna entre a flexibilidade do prompting e a eficiência do direcionamento sem parâmetros.
• Insight Teórico: A visualização de trajetórias curvas e de múltiplos passos oferece uma nova lente para compreender os cálculos internos de LLMs, indo além da hipótese de subespaço linear.