💻 computer science

Testing History Dependence Between In-Context and In-Weights Learning

Este estudo demonstra que, embora a ordem do treinamento (aproximar-se de uma mistura equilibrada a partir de diferentes direções) crie uma diferença transitória e mensurável na força dos mecanismos de aprendizado em contexto versus em pesos, isso não resulta em histerese persistente ou em organizações de circuitos causais fundamentalmente diferentes em pequenos transformers.

Autores originais: Zuo Yuchen

Publicado 2026-08-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zuo Yuchen

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a contar piadas. Você pode ensiná-lo de duas maneiras. Primeiro, você pode mostrar a ele alguns exemplos logo antes de ele falar, como uma folha de consulta sobre a mesa. O robô lê a folha de consulta e descobre o desfecho da piada com base no que ele vê agora mesmo. Isso é chamado de Aprendizado em Contexto (In-Context Learning). É como se o robô estivesse raciocinando rápido. Segundo, você pode praticar com o robô por horas até que ele memorize as piadas tão bem que não precise mais da folha de consulta. As piadas agora estão gravadas em seu cérebro. Isso é Aprendizado nos Pesos (In-Weights Learning).

Por muito tempo, os cientistas se perguntaram: se você der ao robô exatamente a mesma mistura de folhas de consulta e prática, ele sempre resolverá o problema da exata mesma maneira? Ou importa como ele chegou lá? Ele começou memorizando e depois aprendeu a ler a folha de consulta? Ou começou com a leitura da folha de consulta e depois memorizou as piadas? Essa questão é sobre dependência de histórico. No mundo da física, isso é semelhante à histerese — como um ímã que lembra para qual lado foi puxado, mesmo depois de você parar de puxar. Se o cérebro de um robô tem histerese, seu estado atual não depende apenas do que ele está vendo agora; é também sobre o caminho que ele percorreu para chegar ali. Isso importa porque, se os modelos de IA forem como isso, talvez não possamos prever seu comportamento apenas olhando para seus dados atuais; precisaríamos saber todo o seu histórico de treinamento.

Este artigo pega um robô pequeno e controlado (um modelo de IA minúsculo) e o submete a um teste específico para ver se ele possui esse tipo de "memória do caminho". Os pesquisadores criaram um jogo onde o robô tem que adivinhar um código secreto. Às vezes, o código depende de uma pista dada na frase atual (a folha de consulta) e, às vezes, depende de uma regra que o robô aprendeu há muito tempo (a memória gravada). Eles treinaram duas cópias idênticas do robô para alcançar exatamente o mesmo ponto no jogo, mas as levaram por rotas diferentes. Uma cópia começou focando nas regras gravadas e mudou lentamente para as folhas de consulta. A outra começou com as folhas de consulta e mudou lentamente para as regras gravadas.

Os pesquisadores descobriram que, quando ambos os robôs chegaram exatamente ao mesmo ponto, eles não agiram exatamente da mesma forma. Aquele que veio do lado das "regras gravadas" era ligeiramente mais propenso a usar a folha de consulta do que aquele que veio do lado da "folha de consulta". Era como se o robô que começou com as regras ainda estivesse um pouco "preso" naquela mentalidade, mesmo estando agora olhando para as mesmas pistas que o outro robô. Essa diferença era real e mensurável: a lacuna no comportamento deles era de cerca de 0,098 pontos em uma escala específica, e isso aconteceu em todos os cinco experimentos de treinamento diferentes.

No entanto, essa memória do caminho foi muito passageira. Os pesquisadores mantiveram os robôs treinando naquele mesmo ponto por mais um tempo. Após apenas 25 passos extras, a diferença começou a inverter e depois desapareceu. No momento em que completaram 100 passos, os dois robôs estavam agindo de forma quase idêntica. O "fantasma" do caminho que percorreram havia sumido.

Para entender por que isso aconteceu, os cientistas olharam dentro do cérebro do robô. Eles descobriram que ambos os robôs estavam usando exatamente as mesmas partes internas para resolver o problema. Eles não mudaram para um "circuito" diferente ou uma nova forma de pensar. Em vez disso, o robô que veio do lado das "regras gravadas" apenas aumentou ligeiramente o volume da parte de seu cérebro que lê a folha de consulta. Foi um aumento de volume temporário, não uma mudança permanente na fiação.

Assim, o artigo sugere que, embora os modelos de IA possam lembrar brevemente de como chegaram a um determinado ponto, isso não é um loop de "histerese" permanente onde ficam presos em estados diferentes para sempre. É mais como um atraso momentâneo, um excesso rápido que se estabiliza conforme o modelo continua aprendendo. O estudo mostra que, para entender verdadeiramente o comportamento de uma IA, você deve olhar para seu histórico imediato, mas não precisa se preocupar que ela ficará presa em um estado estranho para sempre apenas devido à forma como foi treinada. O modelo eventualmente alcança o nível e esquece o caminho, focando apenas no destino.

Resumo Técnico: Testando a Dependência de Histórico entre Aprendizado In-Context e In-Weights

Enunciado do Problema

O aprendizado in-context (ICL) e o aprendizado in-weights (IWL) permitem que transformers resolvam tarefas de predição usando associações baseadas em prompts ou associações parametrizadas estáveis. Embora trabalhos anteriores tenham estabelecido que o ICL pode emergir e, subsequentemente, declinar em favor do IWL durante o treinamento, permanece incerto se a distribuição de dados atual determina unicamente o mecanismo do modelo. Especificamente, não se sabe se o estado de um modelo em uma mistura fixa de ICL e IWL é único, ou se o modelo retém uma "memória" da trajetória de treinamento (dependência de histórico) que influencia seu comportamento e a organização de seus circuitos causais. Este estudo investiga se um modelo que chega a uma mistura idêntica de ICL/IWL a partir de direções opostas (cronogramas de aumento vs. diminuição da mistura) exibe comportamentos ou sensibilidades causais diferentes, um fenômeno análogo à histerese em sistemas dinâmicos.

Metodologia

O autor projetou um estudo causal controlado e contrabalanceado usando um pequeno transformer decoder-only (2 camadas, 4 cabeças, 72k parâmetros) em uma tarefa de recuperação associativa ambígua.

Design da Tarefa: A tarefa envolve prever um valor para uma chave de consulta (query key). Existem duas regras concorrentes: uma regra contextual (baseada nos pares chave-valor do prompt atual) e uma regra fixa (uma permutação global aprendida nos pesos). Um parâmetro de mistura $p_{ICL}$ controla a probabilidade de o alvo de treinamento seguir a regra contextual. Crucialmente, a distribuição de entrada permanece fixa enquanto $p_{ICL}$ varia, garantindo que as mudanças no comportamento sejam impulsionadas pela distribuição do alvo, não pelas estatísticas de entrada.
Cronogramas de Treinamento Contrabalanceados:
- Um modelo "âncora" é treinado até a convergência em uma mistura alvo $p_0$ .
- O modelo e o estado do otimizador são clonados.
- Duas ramificações percorrem cronogramas de mistura triangulares com contagens de atualizações idênticas, multiconjuntos de exemplos de treinamento idênticos e exposição cumulativa idêntica, mas em ordens opostas:
  - De Baixo: $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (aproximando-se do alvo pelo lado que favorece o IWL).
  - De Cima: $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (aproximando-se do alvo pelo lado que favorece o ICL).
- Este design isola o efeito da ordem e da direção de aproximação final, enquanto iguala a idade do treinamento, o estado do otimizador e a exposição aos dados.
Métricas de Avaliação:
- Comportamental: A margem de logit entre as respostas contextual e fixa em tentativas de conflito.
- Intervenções Causais:
  - Patching de Ativação: Substituição de estados internos entre execuções limpas e corrompidas para rastrear o fluxo de informação.
  - Substituição de Média (Mean Replacement): Substituição das saídas das cabeças de atenção pelas suas médias específicas de cada checkpoint para medir a contribuição da informação específica do exemplo.
- Controle de Relaxação: Avaliação dos modelos após 0, 25 e 100 atualizações adicionais na mistura alvo fixa para distinguir o atraso (lag) transiente de uma histerese persistente.

Principais Contribuições

Design de Cronograma Contrabalanceado: Uma configuração experimental inovadora que compara direções de chegada opostas em uma mistura, contagem de atualizações, idade do otimizador e exposição de componentes idênticas.
Tarefa Comportamentalmente Identificável: Uma tarefa onde as respostas contextual e baseada em pesos conflitam diretamente, permitindo que a preferência de estratégia seja medida como uma margem de logit contínua, em vez de acurácia agregada.
Testes Comportamentais e Causais Pareados: Integração de patching de fluxo residual e substituições de média de cabeça/MLP através de sementes de treinamento independentes para localizar a fonte da dependência de histórico.
Controle de Relaxação: Um protocolo para separar efeitos de histórico persistentes de modelos que estão apenas lentos para acompanhar uma mudança na mistura de dados.

Resultados

Dependência de Histórico Imediata: Na mistura equilibrada ( $p_0 = 0.5$ ), os modelos que chegaram de baixo (lado que favorece o IWL) mostraram uma margem de logit contextual menos fixa significativamente maior ( $+0.0976$ ) em comparação com aqueles que chegaram de cima. Essa diferença foi consistente em todas as cinco sementes independentes (todas positivas), resultando no menor valor de $p$ de sinal de dois lados exato atingível de 0.0625. O autor descreve este sinal e intervalo comuns em vez de fazer uma afirmação de significância binária.
Natureza Transitória: A lacuna comportamental inverteu-se ligeiramente após 25 atualizações comuns e desapareceu (próximo de zero) após 100 atualizações. Isso indica que o efeito é um excesso (overshoot) transitório, e não um ramo estável ou histerese quase-estática.
Mecanismo Causal:
- A substituição de todas as saídas de cabeças de atenção de posição de consulta pelas médias específicas do checkpoint atenuou 86,8% da lacuna comportamental imediata.
- Apesar da diferença comportamental, a identidade da cabeça de atenção dominante e a topologia das rotas de patching de ativação foram quase idênticas (correlações > 0.999) entre os dois históricos.
- Os resultados sugerem que a ordem de treinamento modula o ganho de uma rota contextual compartilhada, em vez de selecionar um circuito alternativo distinto.

Significância e Alegações

O artigo conclui que, embora pequenos transformers exibam dependência de caminho de taxa finita em uma mistura de ICL/IWL correspondente, eles não exibem histerese quase-estática.

Alegação Modesta sobre Histerese: O autor afirma explicitamente que o efeito observado é uma "memória transitória da ordem de treinamento" que relaxa rapidamente. Eles argumentam que efeitos de ordem de currículo não devem ser automaticamente rotulados como histerese sem demonstrar um gap de ramo persistente sob varreduras lentas.
Interpretabilidade do Desenvolvimento: O estudo destaca que um snapshot de um modelo (parâmetros e mistura de dados atual) pode não prever unicamente sua computação imediata; modelos muito próximos podem reter informações de curto prazo sobre seu histórico de treinamento.
Identidade de Circuito vs. Engajamento: Um achado fundamental é a distinção entre a topologia do circuito e a força de engajamento do circuito. O mesmo circuito causal (a rota contextual via cabeças de atenção específicas) foi usado em ambos os históricos, mas seu engajamento foi modulado pela trajetória de treinamento.
Rigor Metodológico: O artigo enfatiza que, sem medir a relaxação (a fase de "manutenção"), diferenças transitórias poderiam ser interpretadas erroneamente como ramos de circuitos persistentes. O design de loop correspondente fornece um método compacto para controlar a idade e a exposição enquanto testa a dependência de histórico.

O autor observa limitações quanto à validade externa (modelos sintéticos pequenos) e à incapacidade de separar totalmente a memória do estado do otimizador da memória dos parâmetros, alertando contra a generalização desses achados para modelos de linguagem de fronteira sem testes adicionais através de taxas, otimizadores e tarefas naturalistas.