Towards Isolated Interventions via Almost Orthogonal Features in Language Models

Resumo Técnico: Rumo a Intervenções Isoladas via Características Quase Ortogonais em Modelos de Linguagem

Declaração do Problema
Uma premissa central da interpretabilidade mecanística é que conceitos significativos em modelos de linguagem (LMs) correspondem a características lineares no espaço de ativação. Para que essas características suportem intervenções causais confiáveis, manipular uma característica não deve alterar substancialmente os efeitos de outras. No entanto, na prática, as características aprendidas são frequentemente emaranhadas. Esse "interferência de características" ocorre quando as características estão fortemente alinhadas no espaço de representação, fazendo com que intervenções localizadas (por exemplo, direcionar um modelo) tenham efeitos colaterais indesejados, obscurecendo contribuições causais e limitando a intervenibilidade. Este problema é exacerbado pelo fenômeno da superposição, onde os modelos representam mais características do que possuem dimensões, levando a padrões de interferência difíceis de controlar.

Metodologia
Motivados pelo princípio dos Mecanismos Causais Independentes (ICM), que postula que sistemas complexos podem ser decompostos em módulos autônomos que não influenciam uns aos outros, os autores propõem restringir as características internas para serem quase ortogonais. A metodologia envolve um pipeline de ajuste fino de duas etapas:

1. Treinamento de SAE Ortogonal: Os autores treinam um Autoencoder Esparso (SAE) nas ativações do fluxo residual de um modelo de linguagem. Diferente dos SAEs padrão, eles introduzem uma penalidade de regularização de ortogonalidade explícita na matriz de decodificação $D$. A função de perda inclui um termo $\lambda \| \text{tril}(D^\top D) \|_F^2$, que penaliza os elementos fora da diagonal da matriz de Gram, impondo assim uma baixa autocoerência (quase-ortogonalidade) entre os átomos de características.
2. Adaptação do LM: Uma vez que o SAE é treinado e seus pesos são congelados, os autores o inserem em um Transformer pré-treinado (especificamente um modelo Gemma 2 2B) em uma camada intermediária (camada 12 de 26). Eles então realizam a adaptação de baixo ranking (LoRA) no modelo de linguagem para adaptá-lo à nova geometria de características enquanto preservam o desempenho geral.

Estrutura Teórica
O artigo formaliza a relação entre interferência de características e intervenibilidade. Ao modelar a representação do LM como uma combinação linear esparsa de características ($X = DZ$) e assumir uma hipótese linear para o mapeamento de saída, os autores derivam um limite superior para a discrepância esperada entre a saída real e a saída do modelo após uma intervenção.

• Eles mostram que o desajuste pós-intervenção é controlado por um termo de linha de base e um termo específico da intervenção proporcional à autocoerência do dicionário de características, denotada por $\mu(D)$.
• Especificamente, a discrepância esperada é limitada superiormente por um termo envolvendo $\delta^2 (d-1)\mu(D)$, onde $\delta$ é a magnitude da intervenção. Isso demonstra teoricamente que reduzir a autocoerência (aumentar a ortogonalidade) limita diretamente a propagação da interferência, melhorando assim o isolamento das intervenções.

Principais Contribuições

1. Limite Teórico: Os autores fornecem um limite teórico superior relacionando a intervenibilidade no fluxo residual à interferência de características, ligando explicitamente a discrepância nas saídas do modelo à autocoerência do dicionário de características.
2. Pipeline de Ajuste Fino Ortogonal: Eles demonstram um pipeline que ajusta finamente um LM em torno de um SAE com um decodificador quase ortogonal. Eles mostram que essa abordagem mantém o desempenho e os escores de interpretabilidade comparáveis aos SAEs não penalizados em tarefas de raciocínio matemático.
3. Intervenções Isoladas: Os autores realizam as primeiras intervenções isoladas em conceitos específicos dentro de um SAE ao limitar explicitamente os efeitos de transbordamento (spill-over). Eles conseguem trocar conceitos (por exemplo, mudar o nome "Jerry" para "Aquaman") enquanto preservam as capacidades de raciocínio do modelo e minimizam mudanças indesejadas em outras características.

Resultados

• Ortogonalidade vs. Desempenho: A avaliação empírica no conjunto de dados GSM8K mostra que aumentar a penalidade de ortogonalidade $\lambda$ diminui monotonicamente a perda de ortogonalidade (melhorando a separação de características) sem degradar significativamente a precisão do modelo em tarefas de raciocínio matemático. O desempenho dos modelos com penalidades de ortogonalidade estritas permanece competitivo com o baseline não penalizado.
• Eficácia da Intervenção: Em experimentos envolvendo a substituição de primeiros nomes (ex: "Jerry" para "Aquaman") e outros conceitos (animais, localizações), modelos com penalidades de ortogonalidade mais altas ($\lambda \ge 10^{-6}$) demonstraram significativamente melhor isolamento.
  • Substituição Correta: À medida que a penalidade aumentava, o modelo incluía mais frequentemente o nome substituído correto em sua geração (ex: recuperando "Aquaman" ~70,9% das vezes com $\lambda=10^{-4}$ vs. ~60,1% sem penalidade).
  • Redução de Transbordamento: Os modelos com penalidades de ortogonalidade foram mais bem-sucedidos em descartar o conceito original sem reter erroneamente o mesmo na saída.
• Interpretabilidade: A interpretabilidade das características (medida pela capacidade de um LLM de combinar corretamente as explicações das características com trechos de texto) permaneceu constante através de diferentes penalidades de ortogonalidade, indicando que impor ortogonalidade não sacrifica a compreensibilidade humana das características.

Significância e Alegações
O artigo alega que o emaranhamento de características é um inibidor primário de intervenções isoladas em modelos de linguagem. Ao relacionar formalmente a intervenibilidade ao princípio ICM e demonstrar que a regularização de ortogonalidade reduz a interferência de características, os autores sugerem uma rota fundamentada para melhorar a identificabilidade e atomicidade das características do SAE sem sacrificar a utilidade downstream.

Os autores enquadram modestamente seu trabalho como um passo em direção a sistemas de IA mais confiáveis e previsíveis. Eles argumentam que sua abordagem permite modificações precisas e localizadas de representações internas, o que é crucial para entender como componentes específicos contribuem para as saídas. Eles reconhecem que seu método pode introduzir preocupações de duplo uso em relação ao direcionamento preciso das saídas do modelo. No entanto, observam que sua abordagem requer acesso direto aos internos do modelo e perícia técnica, o que limita a acessibilidade e reduz a probabilidade de uso indevido. O trabalho não pretende resolver todos os problemas de superposição ou robustez adversarial, mas sugere que incentivar a ortogonalidade pode atuar como um forte viés arquitetônico para modelos mais robustos.