Resumo Técnico: Compreensão da Inconfiabilidade de Vetores de Direcionamento em Modelos de Linguagem

Título: Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations
Autor: Joschka Braun
Instituição: Universidade de Tübingen (Faculdade de Ciências)
Data: Junho de 2025

1. O Problema

Os vetores de direcionamento (steering vectors) são uma técnica de "engenharia de ativação" que permite controlar o comportamento de Grandes Modelos de Linguagem (LLMs) adicionando um viés aprendido às ativações durante a inferência. Embora eficazes em média para comportamentos como recusa, verdade ou sentimento, esses métodos apresentam uma inconfiabilidade significativa: o efeito de direcionamento varia drasticamente entre amostras individuais. Em muitos casos, o direcionamento é negligível ou até mesmo contraproducente (gerando o comportamento oposto ao desejado, conhecido como "anti-steerability").

A questão central desta tese é: quais fatores subjacentes nos padrões de ativação do modelo contribuem para essa variabilidade na confiabilidade dos vetores de direcionamento e como o processo de treinamento impacta esse fenômeno?

2. Metodologia

O autor realizou uma análise empírica abrangente utilizando o modelo Llama 2-7B-Chat e o método Contrastive Activation Addition (CAA).

• Conjunto de Dados: Foram utilizados 36 conjuntos de dados de escolha múltipla da coleção Model-Written Evaluations (MWE), cobrindo diversos comportamentos de assistentes de IA (ex: honestidade, recusa, utilitarismo).
• Método de Direcionamento: O CAA calcula o vetor de direcionamento ($s_l$) como a média das diferenças de ativação entre amostras positivas (comportamento alvo) e negativas (comportamento oposto) em uma camada específica do modelo (camada 13).
• Métricas de Avaliação:
  • Tamanho do Efeito: Diferença na propensão de logit entre respostas com e sem direcionamento.
  • Confiabilidade: Fração de amostras "anti-direcionáveis" (onde o efeito é negativo).
  • Ranking de Direcionabilidade: Pontuação baseada na inclinação da curva de propensão média.
• Análises Geométricas: O estudo investigou a geometria do espaço de ativações através de:
  • Acordo Direcional: Medido pela similaridade de cosseno entre as diferenças de ativação individuais e o vetor de direcionamento resultante.
  • Separabilidade: Medida pelo índice de discriminabilidade ($d'$) ao projetar as ativações na linha da diferença de médias (difference-of-means line), bem como em direções aprendidas por Análise Discriminante Linear (LDA) e Regressão Logística.
  • Variações de Prompt: Teste de sete tipos diferentes de prompts de treinamento (incluindo prefilled, instruções e few-shot) para verificar se a engenharia de prompt poderia mitigar a inconfiabilidade.

3. Principais Contribuições e Resultados

A. Preditores Geométricos da Confiabilidade

A tese identifica dois fatores geométricos fundamentais que preveem o sucesso do direcionamento:

1. Alto Acordo Direcional (Directional Agreement):

   • Existe uma correlação estatisticamente significativa entre a similaridade de cosseno média das diferenças de ativação individuais e o vetor de direcionamento final, e a eficácia do direcionamento.
   • Resultado: Quando as diferenças de ativação dentro do conjunto de treinamento apontam consistentemente na mesma direção, o vetor de direcionamento (que é a média) é uma aproximação linear precisa do comportamento latente. Quando há baixa concordância (vetores dispersos ou ortogonais), o vetor médio falha em capturar o comportamento, levando a resultados inconsistentes.

2. Separabilidade das Ativações:

   • A separabilidade das ativações positivas e negativas ao longo da linha da diferença de médias (medida por $d'$) é um preditor forte.
   • Resultado: Comportamentos onde as clusters de ativação positiva e negativa estão bem separados são facilmente direcionáveis. Comportamentos com alta sobreposição ou variância intrínseca alta resultam em direcionamento ineficaz, pois um deslocamento linear constante não consegue separar consistentemente as classes.

B. O Papel do Tamanho da Norma e da Convergência

• A distribuição das normas (magnitudes) das diferenças de ativação é unimodal e simétrica em todos os conjuntos de dados. A inconfiabilidade não é causada por variações complexas de magnitude, mas sim pela inconsistência direcional.
• Conjuntos de dados com alta direcionabilidade exibem uma convergência mais rápida do vetor de direcionamento (atingem estabilidade com menos amostras de treinamento), enquanto os difíceis de direcionar requerem muitas mais amostras e ainda assim apresentam instabilidade.

C. Impacto dos Tipos de Prompt

• O autor testou sete variações de prompts de treinamento (com e sem instruções, com e sem exemplos few-shot, com e sem preenchimento prévio da resposta).
• Resultado Surpreendente: Embora diferentes tipos de prompt gerem vetores de direcionamento direcionalmente distintos (baixa similaridade de cosseno entre vetores de prompts diferentes), a eficácia geral e a confiabilidade permanecem altamente correlacionadas entre os tipos de prompt.
• Isso indica que a inconfiabilidade é uma propriedade intrínseca da representação latente do comportamento no modelo, e não um defeito solucionável apenas pela engenharia de prompts de treinamento. Se o comportamento não é bem representado por uma direção linear, nenhum prompt simples conseguirá extrair um vetor robusto.

4. Significado e Conclusões

A tese conclui que a inconfiabilidade dos vetores de direcionamento (CAA) decorre de um desajuste fundamental (mismatch) entre a classe de função simples do método (um deslocamento linear unidimensional) e a estrutura de representação não linear ou complexa de certos comportamentos latentes no modelo.

• Diagnóstico Prático: Os autores propõem que a similaridade de cosseno das diferenças de ativação e a separabilidade ($d'$) servem como diagnósticos práticos. Se esses valores forem baixos, é improvável que o direcionamento linear funcione bem.
• Implicações Futuras: Para comportamentos que não satisfazem a Hipótese de Representação Linear (LRH) de forma robusta, métodos de direcionamento mais complexos (não-lineares, de maior rank ou baseados em projeção) são necessários. A pesquisa sugere que a simples adição de um viés linear é insuficiente para comportamentos cujas representações internas são entrelaçadas ou não lineares.

Em suma, o trabalho fornece uma explicação geométrica rigorosa para por que alguns comportamentos são fáceis de controlar em LLMs e outros não, deslocando o foco da otimização de prompts para a compreensão da estrutura geométrica do espaço de ativações do modelo.