Resumo Técnico: ORBIT

Definição do Problema

Modelos de linguagem de grande escala (LLMs) são frequentemente implantados em configurações de assistentes onde o controle de atributos comportamentais (ex: tom, traços de personalidade) é essencial. Embora o direcionamento de ativação em tempo de inferência ofereça um mecanismo leve e livre de treinamento para modificar o comportamento do modelo ao deslocar representações de estados ocultos, os métodos existentes enfrentam limitações significativas no controle multiatributo.

As abordagens atuais focam primariamente no direcionamento de um único atributo. Quando múltiplos atributos devem ser controlados simultaneamente (ex: uma resposta que seja tanto "cautelosa" quanto "concisa"), os métodos ingênuos falham devido à interferência geométrica:

1. Desequilíbrio de Norma: Atributos induzem vetores de direcionamento com magnitudes vastamente diferentes; sem uma normalização cuidadosa, atributos de alta magnitude dominam a soma.
2. Cancelamento Direcional: Diferentes atributos podem induzir direções que são antagônicas (similaridade de cosseno negativa) ou redundantes, fazendo com que os vetores se cancelem mutuamente ou amplifiquem excessivamente direções específicas.
3. Falta de Flexibilidade: Alternativas baseadas em treinamento (ex: classificadores guiados por gradiente) exigem retreinamento sempre que o conjunto de atributos alvo muda, limitando a composição comportamental em tempo real.

Metodologia: ORBIT

Os autores propõem o ORBIT (Orthogonal Rotation-Based Intervention Technique), um método livre de treinamento que estende o direcionamento baseado em rotação para o cenário multiatributo. Em vez de somar vetores de direcionamento independentes, o ORBIT constrói um subespaço conjunto e aplica uma única rotação preservadora de norma dentro dele.

Algoritmo Central

O método opera em duas etapas: configuração e decodificação.

1. Extração do Plano de Atributo: Para cada atributo alvo $k$, um plano de direcionamento 2D é construído usando a direção média contrastiva ($b_1^{(k)}$) e a primeira direção de PCA das diferenças pareadas ortogonalizadas a $b_1^{(k)}$ ($b_2^{(k)}$).
2. Construção do Subespaço Conjunto (Passo 1): Os eixos normalizados de todos os $K$ atributos são concatenados. A Decomposição de Valor Singular (SVD) é aplicada para extrair uma base ortonormal $E$ para o span desses eixos. Este passo remove automaticamente direções redundantes e cria um subespaço compartilhado onde todos os atributos podem ser direcionados simultaneamente.
3. Portão Adaptativo por Token (Passo 2): Para evitar edições desnecessárias, o método calcula uma projeção assinada $s_k$ da ativação do token atual sobre o eixo primário de cada atributo. Um portão linear de margem zero $g_k = \max(0, -s_k)$ determina a força da intervenção. Tokens já alinhados com o alvo não recebem intervenção; tokens desalinhados recebem atualizações mais fortes proporcionais à sua oposição.
4. Direção Alvo Combinada (Passo 3): Uma direção agregada ponderada pelo portão $r$ é formada a partir dos atributos ativos. Se $r$ for diferente de zero, ele é normalizado para formar a direção alvo $t$. Isso permite que o sistema priorize dinamicamente os atributos que estão atualmente mais desalinhados na representação do token.
5. Decomposição de Subespaço e Rotação (Passo 4): A ativação do token $h$ é decomposta em um componente dentro do subespaço conjunto ($h_{in}$) e um resto ortogonal ($h_{\perp}$). O componente dentro do subespaço é rotacionado em direção ao alvo $t$ enquanto preserva sua norma. O componente ortogonal permanece inalterado, garantindo que o conteúdo não relacionado ao atributo seja preservado.
6. Impulso Aditivo Opcional: Para fortalecer o direcionamento quando a projeção inicial é fraca, um deslocamento aditivo opcional é aplicado dentro do plano após a rotação. Este impulso também é controlado pelo portão, aplicando-se apenas a tokens desalinhados.

Propriedades Teóricas

• Preservação de Norma: Ao usar rotação em vez de adição, o ORBIT preserva a norma da ativação, evitando a instabilidade e a degradação de coerência frequentemente observadas em métodos aditivos.
• Generalização: O método não requer treinamento. Ele se generaliza para novas combinações de atributos sem retreinamento, pois o subespaço conjunto é construído em tempo real via SVD.
• Complexidade: O custo por token é $O(Kd + md)$, onde $d$ é a dimensão oculta e $m$ é a dimensão do subespaço ($m \le 2K$). Isso é aproximadamente o dobro do custo do Contrastive Activation Addition (CAA), mas uma ordem de magnitude mais barato que métodos baseados em gradiente como o K-Steering.

Principais Contribuições

1. Algoritmo ORBIT: Um método geométrico livre de treinamento que constrói um subespaço de traços conjunto via SVD e aplica uma única rotação preservadora de norma, deixando componentes fora do subespaço inalterados.
2. Análise de Modos de Falha: Uma caracterização dos modos de falha geométrica na composição multiatributo ingênua (dominância de norma e conflito angular) e validação empírica desses problemas.
3. Benchmark TRAITFACTORY: Um novo benchmark multiatributo focado em 13 traços de personalidade através de 22 categorias de tópicos, projetado para testar tendências comportamentais profundas em vez de estilo superficial.
4. Novas Métricas: Introdução de Ganho Geométrico (exigindo que todos os atributos melhorem simultaneamente) e Taxa de Sucesso Conjunta para avaliar melhor o controle multiatributo equilibrado.
5. Avaliação Abrangente: Testes extensivos em três modelos (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B) e dois benchmarks (TRAITFACTORY e TONEBANK).

Resultados

Os autores avaliaram o ORBIT contra baselines incluindo Unsteered, CAA, K-Steering e variantes de composição geométrica ingênua.

• Eficácia de Direcionamento: O ORBIT alcançou as maiores pontuações de julgamento na maioria das configurações. Ele manteve a coerência dentro de poucos pontos do baseline unsteered, enquanto o CAA degradou consistentemente a coerência. A vantagem foi mais pronunciada no TRAITFACTORY, onde traços adjacentes à segurança (ex: decepção, maldade) resistiram a perturbações aditivas.
• Controle Equilibrado: O ORBIT foi o único método a manter um Ganho Geométrico positivo em todas as configurações, confirmando que todos os atributos alvo melhoraram simultaneamente. Em contraste, o CAA e o K-Steering frequentemente produziram ganhos negativos em $K \ge 2$, indicando dominância de atributo (um traço melhorando às custas de outros).
• Taxa de Sucesso Conjunta: No TRAITFACTORY com $K=2$, o ORBIT alcançou uma taxa de sucesso conjunta de 81% no Llama-3.2-3B, comparado a 23% para o K-Steering.
• Capacidades Gerais: A avaliação no TINYBENCH (ARC-C, GSM8k, MMLU, etc.) mostrou que a precisão direcionada acompanhou de perto o baseline unsteered, com desvios inferiores a 3 pontos percentuais, confirmando que restringir a intervenção ao subespaço de traços preserva as capacidades gerais do modelo.
• Ablação: A variante "calibrated boost" (deslocamento aditivo adaptativo) proporcionou o melhor equilíbrio entre força de direcionamento e qualidade de saída.

Significância e Alegações

O artigo afirma que o ORBIT oferece um mecanismo simples, flexível e poderoso para o controle comportamental multiatributo. Sua significância reside em:

• Resolver a Interferência Geométrica: Ao substituir operações locais independentes por uma rotação unificada em um subespaço conjunto, o ORBIT evita o cancelamento e a inflação de norma que desestabilizam a composição ingênua conforme o número de atributos cresce.
• Flexibilidade Livre de Treinamento: Diferente de operadores de composição aprendidos, o ORBIT não exige retreinamento quando o conjunto de atributos muda, permitindo a composição comportamental dinâmica e em tempo real.
• Robustez: O método demonstra superioridade consistente sobre os baselines na preservação da coerência do output e das capacidades gerais enquanto direciona múltiplos atributos simultaneamente.

Os autores observam limitações, incluindo a dependência de direções de direcionamento lineares (que podem não capturar estruturas de atributos fortemente não lineares) e o escopo atual de escalonamento para conjuntos de atributos muito grandes ($K > 5$), o que é deixado para trabalhos futuros.