Resumo Técnico: O Ajuste de Instrução Modifica Como o Estado Upstream Condiciona a Leitura Tardia

Declaração do Problema

Pesquisas recentes em interpretabilidade mecanicista localizaram comportamentos pós-treinamento (por exemplo, recusa, persona, seguimento de instruções) em direções, características e camadas específicas, frequentemente nas etapas do meio ao final da pilha do transformador. No entanto, permanece uma lacuna crítica na compreensão da cooperação entre a computação anterior e a pilha tardia. Especificamente, não está claro se as diferenças pós-treinamento surgem principalmente de mudanças nas próprias características tardias ou de mudanças nos estados residuais anteriores que ativam essas características. A questão central é: O ajuste de instrução apenas modifica a camada de leitura tardia, ou altera fundamentalmente o estado upstream necessário para tornar essas características tardias eficazes?

Metodologia: Cross-Patching de Primeira Divergência

Para abordar isso, os autores introduzem o cross-patching de primeira divergência, um diagnóstico que decompõe o efeito do ajuste de instrução (IT) em componentes dependentes de upstream e diretos da pilha tardia.

1. Local da Intervenção

Para um determinado prompt, o método identifica a primeira posição de token gerado onde um modelo base pré-treinado (PT) e sua contraparte ajustada por instrução (IT) discordam sobre o próximo token de top-1. Sejam esses tokens $t_{PT}$ e $t_{IT}$.

2. O Fatorial de Quatro Células

Neste ponto de divergência, os autores constroem quatro passagens forward híbridas, emparelhando o estado residual upstream ($U$) de um modelo com a pilha tardia ($L$) do outro. A pilha tardia é definida como os ~40% finais de camadas (começando aproximadamente em 60% de profundidade).
As quatro configurações são:

1. $Y(U_{PT}, L_{PT})$: Upstream base + Pilha tardia base (Controle)
2. $Y(U_{PT}, L_{IT})$: Upstream base + Pilha tardia IT
3. $Y(U_{IT}, L_{PT})$: Upstream IT + Pilha tardia base
4. $Y(U_{IT}, L_{IT})$: Upstream IT + Pilha tardia IT (Controle)

A pontuação $Y$ é definida como a margem de logit: $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. Decomposição

A métrica central é o efeito de interação, calculado como:
$$\text{Interação} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
Isso mede o quanto mais a pilha tardia IT ajuda quando lê seu próprio estado upstream (IT) em comparação com o estado upstream base (PT).

• Efeito Direto da Pilha Tardia: A contribuição da pilha tardia IT quando emparelhada com upstream PT ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• Efeito Dependente de Upstream: O ganho adicional quando a pilha tardia IT lê o estado upstream IT.

4. Validação e Controles

O estudo emprega controles rigorosos para garantir que os estados híbridos não sejam artefatos:

• Integridade do Estado Híbrido: A interpolação entre estados PT e IT é suave; permutações aleatórias com sinal não conseguem reproduzir o efeito.
• Viés de Seleção: Discordâncias locais aleatórias (não na primeira divergência) mostram uma interação reduzida, mas de mesmo sinal, enquanto a pontuação pré-divergência é próxima de zero, confirmando que a primeira divergência concentra o efeito.
• Histórico Nativo: O efeito persiste ao usar históricos de geração nativos IT ou PT em vez de um prefixo compartilhado.

Resultados Principais

1. Acoplamento Upstream-Tardio

Em cinco famílias de modelos densos (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B), os resultados mostram um forte acoplamento upstream-tardio:

• Efeito Direto: A pilha tardia IT adiciona +0,76 logits em direção ao token IT quando emparelhada com o estado upstream PT.
• Efeito Dependente de Upstream: A pilha tardia IT adiciona +2,44 logits quando emparelhada com o estado upstream IT.
• Interação: O termo de interação é +1,68 logits, positivo em todas as cinco famílias.
• Interpretação: A pilha tardia tem um efeito direto real, mas a maior parte da mudança comportamental observada no checkpoint IT só se manifesta quando a pilha tardia lê seu próprio estado upstream pós-treinamento.

2. Separação de Receitas de Treinamento

O diagnóstico distingue entre diferentes receitas de pós-treinamento:

• Descendentes de Seguimento de Instrução: Mostram forte dependência de upstream (grande interação). Seus efeitos tardios requerem seu próprio estado upstream específico.
• OpenMath2 (Domínio Matemático): Apesar de compartilhar a base Llama 3.1, o efeito tardio do domínio matemático do OpenMath2 é amplamente portátil. Ele mostra um grande efeito mesmo ao ler o estado upstream base (interação $\approx -0,15$).
• Pré-treinamento de Continuação Controlada (CPT): Adaptadores de CPT de código e biomédicos que melhoram com sucesso o NLL de domínio não reproduzem o padrão de interação de prompt de instrução no suporte principal (interações próximas de zero). Isso sugere que a dependência de upstream é específica ao alinhamento de seguimento de instrução, não à adaptação de domínio genérica.

3. Evidência Mecanicista

• Características Esparsas da Última Camada: Crosscoders nas camadas finais MLP identificam características esparsas que mediam parcialmente a interação. A ablação das 200 características causais superiores reduz a interação em 26–48% em famílias com filtro de qualidade.
• Impulso Upstream: Patching da computação upstream IT no híbrido fraco resgata +1,71 logits, com uma parte mediada por essas características da última camada. Isso apoia um mecanismo de "transferência" onde o estado anterior impulsiona a ativação de características da última camada.
• Estado Estruturado: Projeções PCA das mudanças de estado na fronteira descendente menos base fecham uma parte significativa da margem faltante, indicando que o estado upstream faltante tem uma forma estruturada e de baixo rank.

4. Consequências Downstream

• Pontuação de Token Forçado: Forçar o token divergente preferido pelo IT melhora o sucesso de resposta exata apenas no sufixo em prompts de raciocínio de conteúdo em +0,157.
• Continuação Confinada: A interação persiste em horizontes curtos (até $N=8$ tokens), com caudas nativas coerentes carregando mais interação do que caudas embaralhadas.

Significado e Alegações

O artigo afirma fornecer uma decomposição local e causal de como o ajuste de instrução altera o comportamento do modelo, indo além da simples localização de características para entender sua ativação condicional.

1. Refutação de Pilhas Tardias Autocontidas: Os resultados desfavorecem a visão de que as camadas tardias são autocontidas. Um grande efeito tardio medido em um checkpoint IT não implica que a computação é independente; frequentemente depende do estado upstream específico gerado pela receita de treinamento IT.
2. Mecanismos Específicos de Receita: A assinatura de "dependência de upstream" é uma propriedade específica do alinhamento de seguimento de instrução, distinguindo-o de ajuste fino específico de domínio (como OpenMath2) ou pré-treinamento de continuação genérico.
3. Diagnóstico Operacional: Os autores propõem que qualquer estudo que localize diferenças em camadas tardias deve testar se esses efeitos sobrevivem sob o estado upstream do outro checkpoint. Se o efeito desaparecer ou diminuir significativamente, a pilha tardia não é autocontida.
4. Limitações de Escopo: Os autores afirmam explicitamente que estes são testes locais de leitura de próximo token na primeira divergência. Eles não afirmam estimar o comportamento médio de implantação ou fornecer uma reconstrução completa do circuito de seguimento de instrução. As descobertas são delimitadas a famílias de transformadores densos e suportes de prompt específicos.

Em resumo, o artigo argumenta que o ajuste de instrução remodela a cooperação entre a computação upstream e a leitura tardia, onde a capacidade da pilha tardia de produzir saídas de seguimento de instrução é fortemente condicionada aos estados residuais específicos produzidos pelas camadas anteriores do modelo ajustado.