🧬 biology

Features have life history. And we should care

Este artigo revela que os modelos de linguagem possuem uma "estrutura de suporte" persistente de aproximadamente 50 características esparsas que se montam rapidamente dentro dos primeiros 1% do treinamento, servindo como uma fundação estrutural que dita a estrutura representacional subsequente e o desenvolvimento do modelo.

Autores originais: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine treinar um modelo de linguagem grande (como os que escrevem ensaios ou conversam com você) como construir uma cidade massiva e movimentada do zero. Geralmente, quando olhamos para a cidade pronta, vemos um mapa estável de ruas e edifícios. Assumimos que tudo cresceu junto, ao mesmo ritmo.

Mas este artigo argumenta que a cidade tem uma história de vida oculta. Algumas partes da cidade foram construídas na primeira hora e nunca mudaram; tornaram-se a fundação inabalável. Outras partes chegaram depois, foram construídas sobre essa fundação e são muito mais frágeis.

Aqui está a história dessa fundação, contada através das descobertas do artigo:

1. O "Andaime Portador": O Esqueleto da Cidade

Os pesquisadores descobriram que, dentro desses modelos de IA, há um pequeno grupo de cerca de 50 "recursos" especiais (pense neles como as principais linhas de utilidade da cidade: água, eletricidade, internet).

Eles aparecem cedo: Esses 50 recursos surgem quase imediatamente, dentro dos primeiros 1% do tempo de treinamento.
Eles permanecem: Diferentemente de outros recursos que aparecem e desaparecem como equipes de construção temporárias, esses 50 sobrevivem até o fim.
Eles sustentam tudo: Os autores chamam esse grupo de "Andaime Portador". É o esqueleto do modelo. Se você remover esses 50 recursos específicos, o desempenho do modelo cai muito mais do que se você remover quaisquer outros 50 recursos aleatórios.

2. O Projeto de Construção em Duas Fases

O artigo sugere que o processo de treinamento ocorre em duas fases distintas, como um projeto de construção com um cronograma rigoroso:

Fase 1: A "Seleção" (Os Primeiros 1%)
Imagine um canteiro de obras caótico onde milhares de trabalhadores tentam construir paredes. Nos primeiros minutos, os "bons" trabalhadores (o futuro Andaime) são identificados. São aqueles que chegam cedo, trabalham nas tarefas mais importantes e não são demitidos. Quando os primeiros 1% do trabalho são concluídos, o esqueleto já está definido. O modelo essencialmente "decidiu" quais 50 recursos serão os líderes.
Fase 2: A "Calibração" (Os 99% Restantes)
Para o restante do treinamento, o modelo não está construindo novos esqueletos. Em vez disso, está apenas ajustando a pintura e a fiação ao redor desse esqueleto fixo. Está polindo a geometria e fazendo os líderes existentes funcionarem melhor, mas não está mudando quem são os líderes.

3. O Efeito "Bola de Cristal"

Uma das descobertas mais surpreendentes é que você pode prever quem serão os líderes antes mesmo do modelo ser bom em seu trabalho.

Os pesquisadores observaram o modelo no início (Passo 1k). Neste ponto, o modelo é terrível em prever texto.
No entanto, eles puderam observar quais recursos estavam disparando (ativando) de forma mais ampla e consistente.
Usando apenas esses dados iniciais, eles construíram uma "bola de cristal" (um preditor simples) que conseguiu identificar corretamente 80% dos futuros líderes antes que o modelo aprendesse algo útil.
A Lição: A "função" do modelo (o que ele faz) é decidida primeiro. Sua "direção" (como se conecta à resposta final) é apenas polida depois.

4. A Árvore Genealógica dos Recursos

O Andaime não fica apenas parado; ele age como um pai para o restante do modelo.

À medida que o treinamento continua, novos recursos nascem.
O artigo descobriu que cerca de 64% de todos os recursos no modelo final são "descendentes" desses 50 líderes originais. Eles estão organizados em uma hierarquia, como uma árvore genealógica, onde os líderes iniciais são os avós, e os recursos mais novos e específicos são os filhos e netos.
Os 50 recursos originais são as "raízes" que mantêm toda a estrutura unida.

5. Por Que Isso Importa (A Parte "Por Que Devemos Nos Importar?")

Os autores dizem que devemos nos importar porque nossa maneira atual de estudar IA é como tirar uma foto da cidade pronta e tentar descobrir como ela foi construída.

O Problema: Se você olhar apenas para o modelo final, não consegue distinguir entre um recurso que foi líder desde o primeiro dia e um recurso que chegou tarde. Eles parecem iguais na foto.
A Solução: Ao rastrear a "história de vida" (quem nasceu quando e quem sobreviveu), podemos ver a estrutura real de suporte.
A Surpresa: Os recursos que carregam o maior peso (o Andaime) são frequentemente aqueles que parecem "infraestrutura" técnica e chata (como lidar com códigos de byte ou formatos de arquivo), em vez dos recursos "inteligentes" que esperamos (como entender emoções ou gramática). Os recursos "inteligentes" são, na verdade, apenas as decorações construídas sobre essa fundação chata e inabalável.

Analogia de Resumo

Pense em treinar uma IA como fazer crescer um carvalho gigante.

O Andaime: A raiz pivotante profunda e o tronco principal. Estes são estabelecidos nos primeiros dias da vida da muda. São difíceis de mudar e sustentam o peso de toda a árvore.
O Resto da Árvore: Os galhos, folhas e raminhos. Estes crescem depois, ramificando-se do tronco principal. São numerosos e específicos, mas dependem inteiramente do tronco para suporte.
A Perspectiva do Artigo: Se você quer entender a árvore, não olhe apenas para as folhas (a foto final). Você precisa olhar para as raízes (a história de vida). As raízes foram escolhidas muito cedo, e o resto da árvore apenas cresceu ao redor delas.

Em resumo: O "cérebro" da IA não é construído uniformemente. Ele escolhe suas partes mais importantes nos primeiros minutos de treinamento e passa os próximos 99% do tempo apenas aprendendo a usá-las melhor.

Resumo Técnico: História de Vida das Features e o Andamento de Suporte no Treinamento de Modelos de Linguagem

Declaração do Problema
A interpretabilidade mecânica atual depende largamente de "instantâneos" estáticos de modelos treinados, tratando as features como entidades fixas na convergência. Essa abordagem obscurece os processos dinâmicos de emergência, persistência e morte das features que ocorrem durante o treinamento. O artigo postula que as features possuem uma "história de vida" — rastreando sua identidade de disparo (a que respondem) e a direção do decodificador (como influenciam as previsões) ao longo do tempo —, o que é crítico para entender a estrutura interna do modelo. Especificamente, os autores investigam se um subconjunto persistente de features forma uma espinha dorsal estrutural que organiza o espaço representacional do modelo, e se essa estrutura é determinada no início do treinamento ou evolui uniformemente ao longo de todo o processo.

Metodologia
O estudo emprega Autoencoders Esparsos (SAEs) para decompor as ativações do fluxo residual em features interpretáveis em duas escalas de modelos Pythia (160M e 410M parâmetros). A metodologia envolve:

Rastreamento Longitudinal: SAEs são treinados em sete checkpoints (passos 0, 1k, 10k, 40k, 80k, 120k, 143k) através de quatro camadas de fluxo residual por escala.
Correspondência de Features: Features entre checkpoints são correspondidas usando atribuição húngara baseada na correlação do perfil de ativação ( $r \ge 0.5$ ). Isso permite a construção de "linhagens" rastreando nascimento, morte e estabilidade.
Métricas de História de Vida: Os autores definem "portadores persistentes" como features cujas linhagens permanecem estáveis em pelo menos 4 dos 6 snapshots pós-inicialização.
Análise Estrutural: Um Grafo Acíclico Direcionado (DAG) intercamadas é construído usando o Índice de Contenção (CI), que mede a fração de tokens onde uma feature em uma camada inferior dispara como um subconjunto de uma feature em uma camada superior.
Medição de Carga: Em vez de ablação por feature, os autores utilizam ablação conjunta intercamadas, zerando simultaneamente populações de features através de todas as camadas instrumentadas para medir o aumento agregado na entropia cruzada ( $\Delta CE$ ).
Modelagem Preditiva: Um modelo de regressão logística treinado em propriedades do espaço de disparo do passo 1k é usado para prever quais features se tornarão portadores persistentes até o passo 143k.

Principais Contribuições

História de Vida da Feature como Unidade de Análise: O artigo operacionaliza o rastreamento de features através dos checkpoints de treinamento, distinguindo entre features que são amplamente ativas devido ao ruído e aquelas que são amplamente ativas devido a papéis estáveis e portadores de carga.
Identificação do Andamento de Suporte: Os autores identificam uma pequena população de ~50 features esparsas (51 no Pythia-160M, 49 no Pythia-410M) que formam um "andamento de suporte". Essas features emergem cedo, persistem durante todo o treinamento e organizam a maior parte da estrutura representacional do modelo.
Quatro Propriedades do Andamento:
- Montagem Precoce: O andamento monta-se rapidamente nos primeiros 1% do treinamento (Fase I). As taxas de nascimento de features colapsam ~40x nesta fase, e o andamento está em grande parte fixado antes que o modelo possa prever competentemente.
- Natureza Portadora de Carga: A ablação conjunta de portadores persistentes incorre em custos de entropia cruzada significativamente maiores (~0,90 nats para 160M) em comparação com raízes ou folhas não persistentes correspondidas em número. Essa lacuna de carga é invisível aos métodos padrão de ablação de feature única por disparo.
- Função Antecede Direção: A identidade dos futuros portadores é previsível a partir de padrões de disparo no passo 1k (AUC 0,80–0,83) antes que as direções do decodificador se estabilizem. Isso sugere que a seleção determina a membresia do andamento cedo, enquanto a descida do gradiente calibra posteriormente a geometria ao redor desse substrato fixo.
- Semeadura do Desenvolvimento: Na convergência, o andamento recruta 64% (160M) e 53% (410M) de todas as features ativas em uma estrutura hierárquica definida pela contenção de conjuntos de tokens.

Resultados

Dinâmicas de Treinamento: O treinamento não é uniforme. A Fase I (passos 0–1k) caracteriza-se por alta turbulência e rápida rotatividade de features. Até o passo 1k, 73% dos portadores eventuais no modelo 160M já estão presentes.
Vantagem de Sobrevivência: Features com alta entropia de disparo no passo 1k têm uma vantagem massiva de sobrevivência (43% de sobrevivência até o passo 143k) em comparação com features de baixa entropia (0,6%).
Assimetria de Ablação: A capacidade de carga do andamento é detectável apenas via intervenção conjunta intercamadas. A ablação de feature única não mostra diferença significativa na importância entre os níveis raiz, médio e folha, mascarando o papel real do andamento.
Conteúdo Semântico: O andamento inclui tanto features semanticamente interpretáveis (marcadores discursivos, terminações morfológicas) quanto features de "infraestrutura de limite de byte" (caracteres de substituição Unicode, extensões de arquivo). Surpreendentemente, as features de infraestrutura carregam a maior parte da carga de ablação, enquanto as features semanticamente legíveis carregam carga próxima de zero em isolamento, embora ambas façam parte da hierarquia do andamento.
Previsibilidade: Um preditor treinado exclusivamente em propriedades de disparo do passo 1k (entropia, CI, força de ativação) identifica com sucesso futuros portadores com alto enriquecimento (9,3x sobre a taxa base), confirmando que o andamento é determinado por propriedades funcionais iniciais e não por calibração geométrica tardia.

Significado e Alegações
O artigo argumenta que entender a história de vida das features é essencial para interpretabilidade, depuração e segurança. A alegação principal é que a estrutura representacional do modelo não é formada uniformemente, mas estabelecida através de um processo de duas fases:

Seleção (Fase I): Os primeiros 1% do treinamento atuam como um seletor, determinando quais features sobrevivem para formar o andamento portador de carga.
Calibração (Fase II/III): Os 99% restantes do treinamento calibram as direções do decodificador e a geometria ao redor desse substrato pré-existente.

Os autores alegam que métodos de interpretabilidade que começam apenas na convergência podem estar analisando o produto desse processo em vez de suas causas. Ao identificar o andamento cedo, torna-se possível:

Triar populações de features antes que o modelo esteja totalmente treinado.
Distinguir entre elementos estruturais portadores de carga e features transitórias ou não portadoras de carga.
Fornecer um substrato mensurável para teorias sobre períodos críticos de aprendizado e a hipótese do bilhete de loteria.

O artigo conclui que o andamento é em grande parte fixado pela seleção nos primeiros 1% do treinamento, e o treinamento subsequente refina principalmente a geometria ao redor dessa fundação estabelecida. Isso desafia a visão de que a estrutura do modelo emerge gradual e uniformemente, sugerindo, em vez disso, que o "esqueleto" do modelo é determinado quase imediatamente.