Resumo Técnico: UniSteer

Declaração do Problema

O controle baseado em ativações emergiu como um paradigma leve e modular para orientar Modelos de Linguagem de Grande Escala (LLMs) intervindo em representações internas durante a inferência, evitando a necessidade de atualizações de parâmetros. No entanto, os métodos existentes enfrentam limitações significativas em flexibilidade e composabilidade:

• Direções Fixas: Métodos como Adição de Ativação Contrastiva (CAA) e Engenharia de Representação (RepE) dependem de direções de orientação pré-definidas e fixas, derivadas de exemplos contrastivos.
• Módulos Específicos de Tarefa: Métodos de intervenção aprendida (por exemplo, LoReFT, ODESteer) treinam módulos separados para cada comportamento alvo.
• Falha Composicional: Essas abordagens lutam para lidar com conceitos de granularidade fina ou restrições composicionais (por exemplo, "seja útil, inofensivo e conciso"), porque direções aprendidas independentemente frequentemente interferem umas nas outras em espaços de ativação de alta dimensão.

O desafio central é desenvolver um mecanismo unificado que possa orientar LLMs em direção a comportamentos, conceitos e requisitos de múltiplas restrições arbitrários usando linguagem natural, sem ajustar modelos separados para cada alvo.

Metodologia: UniSteer

Os autores propõem o UniSteer, um modelo de correspondência de fluxo de ativação guiado por texto que aprende uma distribuição condicional sobre ativações do fluxo residual. Em vez de aprender vetores fixos, o UniSteer aprende um campo de velocidade condicional universal no espaço de ativação.

1. Correspondência de Fluxo de Ativação Condicionada por Texto

O UniSteer modela a distribuição condicional $p_\theta(a^{(\ell)}_i | c, \ell, i)$, onde $a$ é a ativação do fluxo residual na camada $\ell$ e no token $i$, e $c$ é uma condição em linguagem natural (por exemplo, "Seja mau" ou "Seja conciso e inofensivo").

• Objetivo de Treinamento: O modelo aprende um campo vetorial condicional $v_\theta$ minimizando a perda de correspondência de fluxo. Ele interpola entre um estado de ruído anterior $a_0 \sim \mathcal{N}(0, I)$ e uma ativação alvo $a_1$ usando um caminho de probabilidade linear $a_t = (1-t)a_0 + ta_1$. A velocidade alvo é $u_t = a_1 - a_0$. O modelo é treinado para prever essa velocidade condicionada ao texto $c$.
• Arquitetura: O modelo de fluxo é implementado como um transformador no estilo DiT com atenção cruzada para um codificador de texto congelado (Qwen3-0.6B) e embeddings aprendidos para posições de camada e token.

2. Orientação de Ativação no Tempo de Inferência via Inversão de Fluxo

Para orientar um LLM congelado, o UniSteer realiza inversão de fluxo em vez de amostragem do zero:

1. Inversão Parcial: Uma ativação de origem $a_{src}$ (observada durante a geração) é transportada para trás ao longo do fluxo condicionado à condição de origem $c_{src}$ até um estado latente ruidoso intermediário $a_\tau$ (onde $\tau = 1 - \lambda$, e $\lambda$ é a força de edição).
2. Regeneração para Frente: O estado latente é então transportado para frente ao longo do fluxo condicionado à condição de alvo $c_{tgt}$ para gerar uma ativação editada $\hat{a}_{edit}$.
3. Injeção: A ativação editada é injetada de volta no fluxo residual do LLM congelado para influenciar a geração subsequente.

3. Classificação no Espaço de Ativação

O UniSteer também funciona como um classificador sem uma cabeça separada. Dado um conjunto candidato de rótulos textuais, o modelo reconstrói a ativação de entrada sob cada condição. O rótulo que produz a menor energia de reconstrução condicional ($\|a - \tilde{a}(c_j)\|^2_2$) é selecionado como a previsão.

Principais Contribuições

1. Formulação Unificada: O artigo formula a orientação de ativação como transporte de ativação condicionado por texto, introduzindo um modelo de correspondência de fluxo condicional que aprende um único campo de velocidade para alvos de controle heterogêneos (traços comportamentais, conceitos de granularidade fina e múltiplas restrições).
2. Inversão de Fluxo para Edição: Os autores propõem um mecanismo de inversão de fluxo que permite que um único modelo lide com orientação de comportamento único e composicional, invertendo e regenerando parcialmente ativações com base em condições de linguagem natural.
3. Interface Unificada para Edição e Classificação: O mesmo modelo de ativação condicional serve a dois propósitos: orientar a geração via inversão de fluxo e classificar estados internos via energia de reconstrução, eliminando a necessidade de classificadores específicos de tarefa ou módulos de intervenção.

Resultados Experimentais

Os autores avaliaram o UniSteer em três LLMs alvo (Llama-3.2-1B, Qwen2.5-1.5B e Qwen2.5-7B) em cinco configurações:

• Controle Comportamental (Persona): O UniSteer alcançou as pontuações mais altas de traço-alvo em todos os modelos para traços como "mau" e "sycophantic" (servil), superando linhas de base como CAA e RepE.
• Orientação para Verdade (TruthfulQA): O UniSteer melhorou a pontuação Truth*Info sobre os modelos originais, demonstrando a capacidade de orientar para precisão factual e não apenas estilo.
• Orientação de Conceito de Granularidade Fina (AxBench): O UniSteer alcançou desempenho competitivo ou superior na orientação de conceitos (por exemplo, "seja breve") em comparação com linhas de base específicas de conceito, apesar de usar um único modelo compartilhado.
• Acompanhamento de Instruções com Múltiplas Restrições (RECAST): O UniSteer lidou com sucesso com restrições simultâneas (por exemplo, 5 ou 10 restrições), superando linhas de base que lutam com interferência entre múltiplas direções fixas.
• Classificação no Espaço de Ativação (ToxiGen): Usando energia de reconstrução, o UniSteer alcançou precisão e AUC de última geração ou empatadas com as melhores na classificação de conteúdo tóxico versus não tóxico, validando sua capacidade de capturar distribuições de ativação dependentes de condições.
• Análise em Nível de Token: A análise de restrições "start_with" mostrou que o UniSteer aplica edições de forma consciente da posição, alinhando-se fortemente com direções de restrição em posições específicas de token (por exemplo, o início de uma resposta) em vez de aplicar perturbações globais.

Significado e Alegações

O artigo afirma que o UniSteer fornece uma interface unificada para orientação e classificação de LLMs. Ao mudar de direções fixas ou módulos específicos de tarefa para um campo de velocidade condicionado por texto, o método lida naturalmente com restrições composicionais e conceitos de granularidade fina que são difíceis para os métodos existentes de combinar.

Os autores enfatizam que essa abordagem permite:

• Versatilidade: Um único modelo pode lidar com tarefas diversas (persona, verdade, restrições) simplesmente alterando a condição textual.
• Composabilidade: Requisitos de múltiplas restrições são expressos diretamente no texto da condição, evitando problemas de interferência de combinar vetores de orientação separados.
• Interpretabilidade: A capacidade do modelo de classificar ativações via energia de reconstrução sugere que o fluxo aprendido captura efetivamente a estrutura semântica dos estados internos do modelo.

Os autores notam limitações, incluindo a falta de avaliação em geração de longo formato, estabilidade em múltiplas voltas e tarefas de raciocínio complexo. Eles também destacam considerações de segurança, reconhecendo que o mesmo mecanismo usado para melhorar a utilidade poderia teoricamente ser usado para amplificar comportamentos indesejáveis, tornando necessários filtros de segurança e auditorias futuras.