💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

O artigo apresenta o FishBack, um novo método de direcionamento de ativação que substitui a falha suposição euclidiana pela métrica de informação de Fisher para derivar uma direção de direcionamento ideal, reduzindo significativamente as distorções fora do alvo em modelos transformer através de vários tamanhos e camadas.

Autores originais: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são vastas redes de neurônios artificiais que aprenderam a prever a próxima palavra em uma frase ao ler trilhões de exemplos. Uma vez treinados, esses modelos podem ser incrivelmente úteis, mas também podem ser teimosos ou inseguros, gerando texto que é tendencioso, desonesto ou simplesmente não é o que o usuário pretendia. Durante anos, pesquisadores tentaram corrigir esses comportamentos adicionando um pequeno empurrão aos cálculos internos do modelo enquanto ele está trabalhando. Essa técnica, conhecida como direcionamento de ativação (activation steering), envolve encontrar uma direção específica nas camadas ocultas do modelo e empurrar os dados ao longo desse caminho para incentivar um traço desejado, como a veracidade ou um tempo gramatical específico. É uma alternativa leve ao retreinamento de todo o modelo, que é caro e demoroso. No entanto, esses empurrões têm sido notoriamente instáveis. Um empurrão que funciona perfeitamente em uma parte da rede frequentemente falha em outra ou, pior, corrige um problema enquanto acidentalmente quebra algo inteiramente diferente, fazendo com que o modelo produza textos sem sentido ou perca sua personalidade original.

A razão central para essa instabilidade, de acordo com um novo estudo de pesquisadores da Universidade de Tecnologia da China do Sul, é um mal-entendido fundamental do espaço no qual esses modelos operam. A maioria dos métodos existentes trata o estado interno do modelo como se fosse uma grade plana e comum, onde mover uma certa distância em qualquer direção custa a mesma quantidade de esforço. Os pesquisadores argumentam que essa visão está incorreta. Na realidade, o espaço dentro de um modelo de linguagem é curvo e irregular, muito parecido com a superfície da Terra em comparação a um mapa plano. Mover uma curta distância em uma direção pode alterar drasticamente a saída do modelo, enquanto mover a mesma distância em uma direção vizinha pode ter quase nenhum efeito. Os métodos antigos, ao assumirem uma superfície plana, estavam essencialmente tentando dirigir um carro em linha reta através de uma cordilheira, ignorando as encostas íngremes e vales que realmente determinam o caminho.

Para resolver isso, a equipe desenvolveu uma nova abordagem chamada FishBack. Em vez de adivinhar a direção correta, eles calcularam a verdadeira forma da paisagem pela qual o modelo está navegando. Eles descobriram que as regras que governam como uma pequena mudança no meio da rede afeta a saída final são determinadas por uma propriedade matemática específica chamada métrica de informação de Fisher. Essa métrica atua como um mapa topográfico, mostrando exatamente quão "íngreme" ou "plana" é a superfície em cada direção. Ao projetar esse mapa de volta da camada de saída final do modelo para as camadas intermediárias onde ocorre o direcionamento, os pesquisadores puderam ver a geometria real do problema. Eles então usaram esse mapa para encontrar o melhor caminho único para mover o estado do modelo. Esse caminho não é uma linha reta; é uma rota curva que alcança a mudança desejada de comportamento enquanto consome a menor quantidade de "energia" e perturba o conhecimento original do modelo o mínimo possível.

Os pesquisadores testaram este método em três modelos de linguagem diferentes de vários tamanhos, variando de um modelo menor com 768 dimensões internas até modelos massivos com mais de quatro mil dimensões. Eles focaram em três tarefas específicas: mudar um verbo para sua forma de terceira pessoa do singular, transformá-lo em uma forma progressiva ou alterá-lo para o tempo passado. Em todos os casos, eles compararam seu novo método geomético contra as técnicas padrão de espaço plano. Os resultados foram impressionantes. No modelo menor, o novo método reduziu os efeitos colaterais indesejados — o que os pesquisadores chamam de distorção fora do alvo (off-target distortion) — em um fator de até seis vezes e meia em comparação com os melhores métodos existentes. Nos modelos maiores e mais complexos, a melhoria foi ainda mais consistente, reduzindo as mudanças indesejadas por um fator de quase quatro vezes nas camadas iniciais e médias da rede.

Crucialmente, o estudo também mostrou que os métodos antigos não eram apenas ligeiramente menos eficientes; eles eram fundamentalmente falhos em sua abordagem. Quando os pesquisadores substituíram o complexo mapa geométrico por uma simples suposição de espaço plano em seu próprio sistema, o desempenho caiu significativamente, provando que a curvatura do espaço era a chave para o sucesso. O novo método funciona calculando uma direção precisa e ótima para cada situação específica, em vez de usar um único vetor fixo para todas as entradas. Isso permite que o modelo se adapte à forma única de seu estado interno naquele exato momento. Os pesquisadores também desenvolveram uma maneira de computar essa direção complexa sem a necessidade de construir todo o mapa explicitamente, o que seria lento demais para os modelos mais grandes. Em vez disso, eles usaram uma aproximação inteligente que captura a forma essencial da paisagem com apenas algumas centenas de cálculos, tornando a técnica prática para uso no mundo real.

As descobertas sugerem que a instabilidade que assola os atuais métodos de direcionamento de ativação não é um erro nos próprios modelos, mas uma consequência de usar a geometria errada para navegá-los. Ao reconhecer que o mundo interno de um modelo de linguagem é curvo e que o custo do movimento varia drasticamente dependendo da direção, o método FishBack fornece uma maneira estável e eficiente de guiar esses sistemas. Os pesquisadores demonstraram que essa correção geométrica é mais valiosa nas camadas iniciais e médias da rede, onde a paisagem é mais irregular. À medida que os dados se movem em direção à saída final, a paisagem se achata, e a vantagem do método complexo diminui, o que se alinha perfeitamente com a teoria. Este trabalho oferece um caminho claro para tornar os modelos de linguagem mais confiáveis e controláveis, transformando um processo frágil de tentativa e erro em uma ferramenta precisa e matematicamente fundamentada.

Resumo Técnico: FishBack – Geometria de Fisher de Pullback para Direcionamento de Ativação Ótimo em Transformers

1. Declaração do Problema

O direcionamento de ativação (activation steering) emergiu como um método leve para modificar o comportamento de Grandes Modelos de Linguagem (LLMs) sem atualizações de parâmetros. Ao deslocar estados ocultos ao longo de direções lineares específicas durante a inferência, pesquisadores podem amplificar ou suprimir conceitos (ex: veracidade, sentimento, recusa). No entanto, os métodos existentes (como CAA, ActAdd e ITI) exibem uma fragilidade significativa: são instáveis entre camadas, exigem um ajuste estreito de coeficientes e frequentemente distorcem comportamentos não relacionados ao conceito alvo.

Os autores atribuem essas falhas a uma premissa fundamental, muitas vezes não declarada, compartilhada pelos métodos atuais: que o espaço de ativação intermediária é Euclidiano. Esses métodos aplicam atualizações da forma $h \leftarrow h + \alpha v$ , tratando o espaço como plano, onde um passo custa o mesmo em qualquer direção. O artigo argumenta que essa premissa é falha. Embora a camada softmax final seja conhecida por possuir uma geometria não-Euclidiana (a métrica de Fisher–Rao), a geometria que governa as intervenções em camadas intermediárias — onde o direcionamento é realmente aplicado — permaneceu inexplorada. Consequentemente, os métodos atuais direcionam ao longo de "linhas retas" que são subótimas e custosas em termos de distorção fora do alvo (off-target distortion).

2. Metodologia: O Framework FishBack

O artigo propõe o FishBack, um framework que deriva a geometria correta para o direcionamento de camada intermediária diretamente da computação do modelo, em vez de ajustá-la a dados.

2.1 A Métrica de Fisher de Pullback

A percepção central é que o custo de uma intervenção não é seu comprimento Euclidiano, mas o quanto ela desloca a distribuição de predição do modelo.

Métrica de Saída: Na camada final, a mudança na predição é governada pela métrica de informação de Fisher $H$ do head de softmax.
Pullback: Para determinar o custo de uma perturbação $\delta h$ em uma camada intermediária $\ell$ , os autores realizam o pullback desta métrica através do Jacobiano $J$ do modelo (a derivada do mapeamento da camada $\ell$ para a saída).
A Métrica: A métrica resultante na camada $\ell$ é $G = J^\top H J$ . Esta matriz $G$ é a métrica de Fisher de pullback. Ela é simétrica definida positiva e corresponde à matriz de Gauss–Newton generalizada da log-verossimilhança negativa do modelo em relação à ativação $h$ .

2.2 Direção de Direcionamento Ótima

Usando $G$ , o problema de encontrar uma direção de direcionamento torna-se um problema de otimização restrita: induzir uma mudança de conceito alvo enquanto se minimiza o movimento do restante da distribuição (distorção fora do alvo).

Covetor de Conceito: A direção do conceito é representada como um covetor $q = J^\top \beta_W$ , onde $\beta_W$ é a sonda (probe) para o conceito alvo.
Solução de Forma Fechada: O deslocamento ótimo $\delta h^\star$ que alcança uma mudança de conceito $\rho$ com o mínimo de distorção fora do alvo (medida pela divergência KL) é dado por:
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
onde $G^\dagger$ é a pseudoinversa de Moore–Penrose.
Otimalidade Não-Alvo: Sob uma condição de separabilidade (onde os fatores de conceito e conteúdo da distribuição são independentes), minimizar a divergência KL total é equivalente a minimizar a divergência KL fora do alvo. Assim, esta direção é ótima para preservar comportamentos não relacionados.

2.3 Escalabilidade para Modelos de 8B

Formar explicitamente $G$ (tamanho $d \times d$ ) é computacionalmente inviável para modelos grandes (ex: Llama-3-8B, Qwen3-8B com $d=4096$ ). Os autores desenvolvem uma aproximação livre de matrizes (matrix-free approximation):

Avaliação de Ação: A ação de $G$ sobre um vetor é computada via produtos Jacobiano-vetor de diferença finita e passagens de backward, evitando a formação explícita da matriz.
Espectro de Baixo Rank: O espectro de $G$ é altamente concentrado. Uma decomposição aleatória (rank 50) é usada para encontrar o subespaço de baixa dimensão onde a inversa é computada.
Jacobiano Congelado: Para economizar computação, o Jacobiano é computado uma única vez no ponto inicial e mantido fixo através dos passos de direcionamento, atualizando apenas a informação de Fisher e o covetor.

3. Principais Contribuições

Identificação da Geometria Correta: O artigo estabelece que a métrica que governa o direcionamento de camada intermediária é a informação de Fisher de pullback ( $G = J^\top H J$ ), derivada em forma fechada a partir do modelo. Isso contrasta com a métrica plana (Euclidiana) assumida pelos métodos aditivos.
Direção Ótima de Forma Fechada: Os autores derivam uma expressão de forma fechada para a direção de direcionamento que minimiza a divergência KL fora do alvo para uma determinada mudança de conceito. Esta direção rotaciona o covetor de conceito bruto em direção às direções "baratas" da geometria de saída.
Aproximação Escalável: Um algoritmo livre de matrizes é desenvolvido para recuperar a direção ótima para modelos de escala 8B em poucas centenas de passagens parciais de forward por caso, tornando o método prático para LLMs modernos.
Validação Empírica: O framework é avaliado em três conceitos de morfologia verbal (terceira pessoa do singular, progressivo, passado) através de GPT-2 Small, Llama-3-8B e Qwen3-8B.

4. Resultados Experimentais

A avaliação utiliza um protocolo contrafactual onde os métodos são comparados em mudança de conceito correspondente (garantindo igual efeito no alvo) para medir a distorção fora do alvo (divergência KL em tokens não relacionados ao conceito).

GPT-2 Small: O FishBack reduz a divergência KL fora do alvo por fatores medianos de 1.4x a 6.5x em comparação com as bases individuais (CAA, ActAdd, ITI, ReFT, RepSurgery). Contra o oráculo "Melhor-por-caso" (que seleciona a base com a menor divergência fora do alvo para cada caso específico), o FishBack ainda alcança uma divergência fora do alvo menor com uma razão mediana de 1.25 (favorecendo o FishBack), e uma taxa de vitória de 64%, embora a margem seja menor do que contra bases fixas.
Modelos 8B (Llama-3-8B, Qwen3-8B): Em camadas iniciais e médias, o FishBack reduz a divergência KL fora do alvo por fatores medianos de 1.8x a 3.6x contra as bases.
Ablação Geométrica: Substituir a métrica de pullback $G$ pela matriz identidade (ablação Euclidiana) mantendo o restante do pipeline idêntico resulta em significativamente maior distorção fora do alvo (razões de 1.3x a 2.45x), confirmando que o ganho é atribuível à própria correção geométrica.
Dependência de Camada: A vantagem geométrica é mais pronunciada em camadas iniciais e médias, onde a métrica é fortemente anisotrópica (números de condição $\sim 10^7$ ). Em camadas mais profundas, a geometria torna-se plana e a vantagem diminui, alinhando-se com as previsões teóricas.

5. Significância e Alegações

O artigo afirma que a instabilidade e a distorção fora do alvo dos métodos atuais de direcionamento de ativação decorrem de ignorar a geometria não-Euclidiana intrínseca do espaço de representação do modelo. Ao modelar explicitamente esta geometria via métrica de Fisher de pullback, o FishBack fornece uma direção teoricamente fundamentada e ótima para intervenção.

Rigor Teórico: O método não depende do ajuste de variedades (manifolds) a dados, mas deriva a métrica diretamente do Jacobiano do modelo e do head de softmax, garantindo uma direção ótima sob a aproximação de segunda ordem.
Impacto Prático: O framework demonstra que a correção geométrica mantém sua vantagem mesmo em modelos maiores e mais complexos (8B parâmetros), melhorando significativamente a fidelidade da modificação de comportamento.
Limitações: Os autores observam que a vantagem do método é contingente à anisotropia da métrica de pullback. Em camadas muito profundas, onde a geometria se torna quase Euclidiana (plana), o benefício da correção diminui, consistindo com os limites teóricos derivados no artigo.

Em resumo, o FishBack reformula o direcionamento de ativação como um problema de navegar em uma variedade curva definida pela própria geometria de informação do modelo, ofereção uma solução robusta para a fragilidade dos vetores de direcionamento lineares.