Resumo Técnico: A Lacuna de Convergência em Modelos de Linguagem Ajustados a Instruções

1. Declaração do Problema

Os diagnósticos atuais de comparação de modelos frequentemente reduzem as comparações entre checkpoints pré-treinados (PT) e ajustados a instruções (IT) a pontuações de saída final (por exemplo, precisão ou perplexidade). Essa abordagem obscurece quando um modelo se compromete com uma previsão durante a passagem direta. O artigo postula que os checkpoints ajustados a instruções lançados não terminam apenas em distribuições diferentes; eles seguem trajetórias de estabilização distintas, potencialmente fixando suas previsões finais do próximo token mais tarde na pilha da rede do que suas contrapartes pré-treinadas. O problema central é a falta de um diagnóstico que meça o timing da estabilização da previsão, em vez de apenas o resultado final.

2. Metodologia

2.1 A Métrica da Lacuna de Convergência

Os autores introduzem a lacuna de convergência, um diagnóstico por camada definido como a divergência de Kullback-Leibler (KL) entre a distribuição do próximo token decodificada na camada $l$ ($p_l$) e a própria distribuição final do próximo token do modelo ($p_L$):
$$\text{Lacuna de Convergência}_l = \text{KL}(p_l || p_L)$$
Essa métrica quantifica o quão distante uma camada específica está da previsão final do modelo. Uma lacuna maior nas camadas tardias indica que o modelo ainda está mudando significativamente de ideia à medida que atravessa a pilha.

2.2 Configuração Experimental

• Modelos: Seis pares de checkpoints PT/IT foram analisados: Gemma 3 4B, Llama 3.1 8B, Qwen 3 4B, Mistral 7B, OLMo 2 7B e DeepSeek-V2-Lite.
• Históricos: Todas as comparações utilizaram históricos de tokens correspondentes. Curvas de descoberta agregaram leituras de camadas por token em centenas de milhares de etapas de token.
• Controles:
  • Correspondência de Ponto Final: Os passos de tokens PT e IT foram correspondidos com base na confiança final, entropia e margens top-1/top-2 para garantir que a lacuna não seja um artefato de confiança de ponto final diferente.
  • Verificações Livres de Ponto Final: Comparações de distribuições de saída nativas da mesma camada sob históricos forçados pelo professor idênticos, evitando referência ao ponto final final inteiramente.
  • Reprodução de Histórico Fixo: Modelos de chat nativos foram reproduzidos através de modelos brutos e ajustados para controlar efeitos de serialização induzidos por modelos.

2.3 Intervenções (Enxertos/Trocas de MLP com Prefixo Correspondente)

Para identificar o locus arquitetônico desse fenômeno, os autores realizaram intervenções causais simétricas:

• Enxertos: Substituição de janelas específicas de MLP (Iniciais, Intermediárias, Tardias) em um host PT por pesos IT correspondentes.
• Trocas: Substituição de janelas específicas de MLP em um host IT por pesos PT correspondentes.
• Janelas: Definidas como aproximadamente 40% da profundidade do modelo, centradas nas regiões inicial, intermediária e tardia (por exemplo, para Llama 3.1 8B, tardio são as camadas 19–31).
• Controles Aleatórios: Perturbações de projeção residual aleatória correspondentes foram aplicadas às camadas tardias para testar se qualquer grande perturbação, em vez da atualização IT específica, causava o efeito.

3. Resultados Principais

3.1 Modelos Ajustados a Instruções Estabilizam Mais Tarde

Em todas as seis famílias de modelos, os checkpoints ajustados a instruções exibem uma lacuna de convergência tardia maior. As curvas IT permanecem mais altas (mais distantes da distribuição final) mais profundamente na pilha em comparação com os modelos PT.

• Correspondência de Ponto Final: A lacuna persiste mesmo ao controlar confiança e entropia de ponto final (Bruto: +0,425 nats; Ajustado: +0,762 nats).
• Livre de Ponto Final: O movimento adjacente entre camadas (divergência JS) e as taxas futuras de inversão top-1 são maiores em modelos IT, confirmando que eles mudam suas previsões mais tarde na passagem direta.
• Efeitos de Modelo: Embora a reprodução bruta/sem modelo atenue a assinatura, o efeito permanece positivo e significativo sob reprodução de histórico fixo de modelos de chat nativos.

3.2 MLPs Tardios são o Ponto de Alavancagem Primário

Experimentos de intervenção identificaram janelas de MLP tardias como a alavanca bidirecional mais forte sobre o atraso de estabilização:

• Host PT + Enxerto IT Tardio: Aumenta a lacuna KL tardia em +0,34 nats (vs. -0,03 para inicial, -0,05 para intermediário).
• Host IT + Troca PT Tardia: Reduz o atraso IT em -0,51 nats (vs. -0,10 para inicial, -0,23 para intermediário).
• Controles Aleatórios: Perturbações tardias aleatórias correspondidas falharam em reproduzir o efeito (+0,003 nats vs. +0,327 nats para enxertos verdadeiros), descartando explicações baseadas simplesmente em magnitude.

3.3 Estudo de Caso Comportamental (Gemma)

Um estudo de caso pré-selecionado sobre Gemma 3 4B testou o impacto a jusante da troca PT tardia:

• Preferência: Julgamento cego em pares preferiu o IT nativo sobre a troca PT tardia em 94,7% dos prompts de registro de assistente.
• Pontuações: A pontuação de registro de assistente caiu de 4,733 (nativo) para 3,929 (troca tardia), enquanto trocas iniciais tiveram impacto negligenciável.
• Robustez: Verificações programáticas (MMLU, raciocínio) não mostraram um colapso total, sugerindo que o efeito é específico para a dinâmica de seguimento de instruções, em vez de uma degradação geral da capacidade.

4. Contribuições e Significado

O artigo faz três contribuições primárias, enquadradas como uma mudança na forma como o pós-treinamento é analisado:

1. Um Alvo de Dinâmica de Previsão: A lacuna de convergência fornece um objeto mensurável para "quando um modelo se estabiliza", indo além de comparações de ponto final estáticas para analisar a rota até a previsão.
2. Controles Rigorosos: Ao empregar leituras correspondidas de ponto final e verificações de mesma história livres de ponto final, o artigo demonstra que a estabilização atrasada é uma assinatura robusta do ajuste a instruções, não um artefato de níveis de confiança ou formatação de modelos.
3. Localização Causal: Intervenções com prefixo correspondente isolam janelas de MLP tardias como a maior alavanca bidirecional testada sobre a estabilização atrasada. Isso identifica uma região arquitetônica específica onde as dinâmicas de "seguimento de instruções" são mais maleáveis.

5. Escopo e Limitações (Voz do Autor)

Os autores declaram explicitamente o escopo e as limitações de suas alegações:

• Não é um Mecanismo Completo: O artigo não afirma explicar o mecanismo completo do seguimento de instruções ou fornecer uma direção de direção universal.
• Não é um Preditor de Benchmark: O estudo de caso Gemma é uma "ponte voltada para o comportamento" para a família mais clara, não uma alegação de que a lacuna de convergência prevê desempenho de benchmark em todas as tarefas ou famílias.
• Sem Recursos Nomeados: O trabalho identifica uma assinatura robusta por camada e a alavanca de MLP mais forte, mas não reconstrói o circuito completo ou identifica recursos esparsos nomeados (por exemplo, via SAEs ou crosscoders).
• Dependência de Modelo: O efeito é modulado por modelos de chat; o artigo trata a solicitação sem modelo como uma serialização fora da distribuição que atenua, mas não apaga, a assinatura.
• Caveat MoE: DeepSeek-V2-Lite foi incluído nas curvas de descoberta, mas excluído das médias causais porque o roteamento MoE complica a interpretação de trocas de janelas de MLP densas.

Conclusão: O artigo conclui que checkpoints ajustados a instruções lançados tendem a se estabilizar mais tarde na passagem direta, e o cálculo de MLP tardio é a alavanca bidirecional mais forte testada sobre esse atraso sob históricos correspondidos. Isso reestrutura o pós-treinamento como uma mudança na rota até uma previsão, não apenas no ponto final.