🤖 AI

A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting

Este artigo apresenta um resultado negativo demonstrando que, apesar de alcançar um alto alinhamento representacional entre os modelos Pythia, injetar diretamente ativações ocultas traduzidas durante a inferência falha em melhorar o desempenho de raciocínio de múltiplos saltos e, frequentemente, o degrada, indicando que o alinhamento offline é insuficiente para uma comunicação causal útil.

Autores originais: Peiyan Zhang

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peiyan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Tentar o "Plug and Play" de Cérebros

Imagine que você tem dois computadores diferentes.

Computador A é um modelo menor e mais antigo (Pythia-160M).
Computador B é um modelo maior e mais novo (Pythia-410M).

Ambos os computadores estão tentando resolver um quebra-cabeça difícil (uma questão de raciocínio de múltiplos passos/multi-hop). Normalmente, se o Computador A resolve parte do quebra-cabeça, ele tem que escrever seus pensamentos em inglês comum para que o Computador B possa lê-los e terminar o trabalho. Isso é como um humano passando um bilhete para um amigo.

O Experimento: Os pesquisadores perguntaram: "Podemos pular a parte da escrita?". Em vez de escrever um bilhete, podemos pegar os sinais elétricos brutos (os pensamentos ocultos) do Computador A, traduzi-los para uma linguagem que o Computador B entenda e conectá-los diretamente ao cérebro do Computador B enquanto ele está pensando?

Eles esperavam que isso fosse como um "link neural direto", permitindo que o Computador B entendesse instantaneamente o raciocínio do Computador A sem o processo lento de ler texto.

A Configuração: Um Tradutor Perfeito

Os pesquisadores construíram um "tradutor" especial (uma camada linear) para converter os sinais do Computador A nos sinais do Computador B.

A Boa Notícia: O tradutor funcionou incrivelmente bem no papel. Quando compararam os sinais traduzidos com o que o Computador B geralmente pensa, eles coincidiam quase perfeitamente (cerca de 97% de similaridade). Era como ter um dicionário que traduz palavras de uma língua para outra com precisão quase perfeita.
A Expectativa: Eles pensaram: "Se a tradução é tão boa, o Computador B deve ser capaz de usar esses sinais para resolver o quebra-cabeça melhor do que se apenas lesse um bilhete".

O Resultado: O "Plug-and-Play" Falhou

Quando eles realmente conectaram esses sinais traduzidos ao cérebro do Computador B enquanto ele trabalhava, não ajudou em nada. Na verdade, piorou as coisas.

Aqui está o que aconteceu de três maneiras diferentes:

O "Sussurro" (Injeção Aditiva): Eles tentaram adicionar gentilmente os sinais traduzidos aos pensamentos do Computador B, como se estivessem sussurrando uma dica.
- Resultado: Foi como sussurrar em um furacão. A dica estava lá, mas não mudou o resultado. O Computador B teve o mesmo desempenho de quando não recebeu ajuda nenhuma.
A "Troca de Cérebro" (Injeção de Substituição): Eles tentaram substituir inteiramente os próprios pensamentos do Computador B pelos sinais traduzidos do Computador A.
- Resultado: Isso foi desastroso. O Computador B quebrou completamente e deu respostas erradas. Foi como tentar rodar um videogame moderno em um console dos anos 80 trocando as placas de circuito; as peças não se encaixavam na lógica interna do sistema.
O "Ajuste de Volume" (Correção de Escala): Eles notaram que os sinais traduzidos eram muito mais "fracos" (números menores) do que os sinais naturais do Computador B. Eles tentaram aumentar o volume (reescalonamento) para igualar.
- Resultado: Mesmo com o volume aumentado, ainda falhou. O problema não era apenas o volume; o conteúdo do sinal ainda estava errado para a fiação cerebral específica do Computador B.

A Lição Central: "Parecer Semelhante" não é "Trabalhar Junto"

A principal conclusão do artigo é uma distinção entre alinhamento e usabilidade.

Alinhamento (O Dicionário): Você pode ter um dicionário perfeito que traduz palavras da Língua A para a Língua B. As palavras coincidem perfeitamente na página.
Usabilidade (A Conversa): Só porque as palavras coincidem, não significa que a conversa fará sentido.

Neste experimento, o "dicionário" (a camada de tradução) era excelente. Os sinais pareciam quase idênticos ao que o Computador B esperava. No entanto, quando o Computador B tentou usar esses sinais para realmente pensar e resolver o problema, eles foram inúteis.

A Metáfora:
Imagine que o Computador A é um chef que faz uma sopa deliciosa.

Relé de Texto: O chef escreve a receita, e o Computador B a lê e cozinha a sopa.
Transferência de Ativação: O chef tenta entregar ao Computador B uma colherada da sopa real, esperando que o Computador B possa prová-la e instantaneamente saber como cozinhar o restante.

Os pesquisadores descobriram que, mesmo que a colherada de sopa seja quimicamente idêntica ao que o Computador B costuma provar, o Computador B não consegue usar essa colherada para cozinhar o resto da refeição. A "colherada" (o sinal) não se encaixa no "processo de cozimento" (o raciocínio interno do computador) de uma forma que ajude.

Resumo

Funcionou? Não.
A tradução parecia boa? Sim, os sinais coincidiram muito bem no papel.
Ajudou o computador a pensar? Não.
Por quê? Só porque dois cérebros de computador têm "linguagens" (representações) semelhantes, não significa que um possa simplesmente conectar seus pensamentos no outro e esperar que funcione. O computador receptor precisa ser treinado para usar esses sinais específicos, não apenas para reconhecê-los.

O artigo é um "resultado negativo", o que significa que ele nos diz o que não funciona: você não pode simplesmente pegar os pensamentos ocultos de um modelo treinado, traduzi-los e injetá-los em outro modelo para aumentar seu desempenho. A conexão exige mais do que uma boa tradução; exige que o modelo receptor esteja pronto para usar esse input específico.

Resumo Técnico: Um Resultado Negativo sobre a Transferência de Ativação entre Modelos em um Cenário Multi-Hop com Pythia

Declaração do Problema
Pesquisas recentes demonstraram que modelos de linguagem podem transmitir traços comportamentais (ex: preferências ou desalinhamento) para outros modelos através de sinais ocultos incorporados em dados de treinamento gerados, um processo conhecido como "aprendizado subliminar". No entanto, essa transferência é mediada por dados, ocorre durante o treinamento via ajuste fino (fine-tuning) e depende de o receptor se adaptar à distribuição do emissor. Este artigo investiga um canal mais estrito e direto: a transferência de ativação em tempo de inferência. A questão central é se um modelo emissor pode comunicar estados de raciocínio intermediários úteis, ao nível de instância, para um modelo receptor através da tradução e injeção direta de ativações ocultas, contornando totalmente o gargalo da linguagem natural. O estudo pergunta especificamente se uma única instância de estado de raciocínio pode ser transferida sem qualquer adaptação ou ajuste fino do receptor.

Metodologia
O experimento utiliza um cenário controlado envolvendo dois modelos da família Pythia: um emissor (Pythia-160M) e um receptor (Pythia-410M). Ambos compartilham a arquitetura GPT-NeoX e o tokenizador, mas diferem em dimensões ocultas.

Tarefa: Raciocínio multi-hop, onde os modelos devem responder a perguntas baseadas em um contexto fornecido. O conjunto de avaliação consiste em 396 amostras.
Mecanismo de Tradução: Uma camada de tradução linear é treinada offline para mapear estados ocultos da dimensão de 160M do emissor para a dimensão de 410M do receptor. O objetivo de treinamento minimiza o erro L2 contra as ativações normalizadas do receptor.
Protocolo de Injeção:
- Emissor: Processa o prompt da tarefa e os estados ocultos são extraídos da camada 8.
- Receptor: Processa o mesmo prompt. Na camada 16, os estados ocultos nativos do receptor são:
  - Substituídos: Substituídos inteiramente pelas ativações traduzidas do emissor.
  - Injetados Aditivamente: Um pequeno vetor traduzido é adicionado ao estado nativo.
  - Corrigidos por Escala: Vetores traduzidos são redimensionados para corresponder à norma L2 nativa do receptor antes da injeção.
- Baselines: Inclui um baseline de "Sem Injeção" e um baseline de "Relé de Linguagem Natural" (onde o emissor gera texto, que o receptor lê).
Controles: O estudo emprega controles rigorosos, incluindo "auto-injeção B-para-B" (injetando estados do próprio receptor para verificar o mecanismo de hook) e "aleatório de mesma norma" (injetando vetores aleatórios de magnitude correta) e "tradução embaralhada" (injetando estados traduzidos de amostras incorretas) para isolar modos de falha.

Principais Resultados
O artigo relata um resultado negativo delimitado: embora a camada de tradução alcance um alto alinhamento offline, as ativações transferidas falham em melhorar o desempenho downstream.

Alinhamento Offline vs. Usabilidade Causal: A camada de tradução linear aprendeu com sucesso um mapeamento forte, alcançando uma similaridade de cosseno normalizada de ~0,97 e um $R^2$ normalizado de ~0,88 entre as sementes. Apesar desse alto alinhamento representacional, a injeção desses estados não gera nenhuma melhoria sobre o baseline de "Sem Injeção".
Métricas de Desempenho:
- Injeção Aditiva: Mostra uma contenção média de fronteira de palavra de 0,0926, estatisticamente indistinguível do baseline de sem injeção (0,0884) com intervalos de confiança cruzando o zero.
- Injeção de Substituição: Consistentemente destrutiva. Substituir o estado do receptor pelos estados traduzidos reduz o desempenho para quase zero (0,0025).
- Correção de Escala: Redimensionar os vetores traduzidos para corresponder à norma L2 do receptor (que era aproximadamente duas ordens de magnitude maior que os vetores traduzidos sem correção) não resgata o desempenho. A substituição corrigida pela escala permanece significativamente abaixo do baseline (0,0076 vs. 0,0884).
Análise de Falha: A cadeia de ablação revela dois fatores de falha:
1. Desajuste de Norma L2: Os vetores não corrigidos são muito pequenos (norma ~0,85 vs. ~68,70), causando interferência destrutiva.
2. Erro Residual de Direção/Distribuição: Mesmo após corrigir a norma, o desempenho permanece muito abaixo do baseline. Isso indica que a direção ou a distribuição do estado traduzido é fundamentalmente incompatível com a computação causal do receptor, mesmo que o espaço vetorial esteja estatisticamente alinhado.
Validações de Controle:
- Auto-injeção B-para-B: Corresponde exatamente ao baseline de sem injeção, confirmando que o hook de injeção em si não degrada o desempenho.
- Controles Embaralhados: Injetar estados traduzidos de amostras erradas é tão destrutivo quanto a substituição direta, provando que o sinal é específico para a identidade da amostra, não uma propriedade vetorial genérica.

Principais Contribuições

Separação de Alinhamento e Usabilidade: A principal contribuição é a demonstração empírica de que o alinhamento representacional offline (alta similaridade de cosseno/ $R^2$ ) não é suficiente para a usabilidade causal no lado do receptor. Um vetor pode estar perfeitamente alinhado em um espaço normalizado e, ainda assim, ser inutilizável como um substituto para a trajetória do estado interno do receptor.
Quantificação de Modos de Falha: O estudo decompõe a falha em um desajuste de magnitude (norma L2) e um erro residual de direção/distribuição, identificando este último como o fator dominante que impede a transferência bem-sucedida.
Definição de Escopo: O artigo esclarece que, embora o "aprendizado subliminar" (transferência mediada por dados, em tempo de treinamento) funcione, a injeção de ativação linear em tempo de inferência não estende automaticamente essa capacidade, particularmente quando o receptor não é adaptado à distribuição do emissor.

Significância e Alegações
O artigo conclui que, para a comunicação de ativação modelo-para-modelo ter sucesso, o objetivo de design deve mudar. É insuficiente otimizar apenas para o ajuste representacional emissor-para-receptor (alinhamento offline). Trabalhos futuros devem provavelmente otimizar para o uso causal no lado do receptor, possivelmente exigindo objetivos de treinamento que considerem como o receptor realmente utiliza o estado injetado.

Os autores declaram explicitamente que este é um resultado negativo delimitado, limitado a uma família de modelos, uma tarefa e um mecanismo de tradução linear. Não é uma afirmação de impossibilidade geral sobre todas as formas de direcionamento de ativação (activation steering) ou costura de modelos (model stitching). No entanto, impõe um padrão mais rigoroso ao campo: para que a transferência oculta seja útil, o receptor deve ser capaz de integrar causalmente o estado inserido como parte de sua própria computação, uma condição não atendida pelo simples mapeamento linear offline neste cenário.