Resumo Técnico: Colapso de Representação no Pós-Treinamento Sequencial de Grandes Modelos de Linguagem

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) contemporâneos raramente são adaptados através de uma única passagem de ajuste de instrução. Em vez disso, eles passam por cadeias sequenciais de estágios de pós-treinamento, incluindo ajuste de instrução amplo, otimização de preferência, alinhamento de segurança, especialização de domínio (matemática/código) e ajuste de cadeia de pensamento longa (CoT). Embora as práticas atuais de avaliação foquem em resultados comportamentais (ex: pontuações em benchmarks, taxas de recusa), este artigo argumenta que tal visão é incompleta.

O problema central investigado é o colapso de representação: a hipótese de que o pós-treinamento sequencial comprime gradualmente o espaço de características interno do modelo em variedades de baixo posto (low-rank), anisotrópicas e homogêneas. Os autores postulam que, embora estágios individuais possam melhorar o desempenho em tarefas específicas, a concentração excessiva de representações pode degradar a "plasticidade" do modelo, tornando a adaptação futura a novos domínios difícil. Este colapso é caracterizado por:

• Perda de posto efetivo na covariância dos estados ocultos.
• Alinhamento de amostras com algumas direções dominantes (anisotropia).
• Redução da separabilidade entre domínios e tipos de tokens.
• Logits excessivamente confiantes e redução da calibração.
• Reuso dos mesmos subespaços de baixo posto para atualizações de adaptadores (ex: LoRA) em diferentes estágios.

O artigo enquadra isso não como uma perda total de capacidade, mas como um "modo de falha silencioso", onde um modelo se torna melhor em sua tarefa alvo mais recente, mas menos capaz de aprender tarefas subsequentes devido ao estreitamento geométrico.

2. Metodologia

Configuração Experimental

O estudo emprega um benchmark de pós-treinamento sequencial controlado usando modelos de pesos abertos de pequeno e médio porte (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B e uma verificação de escala de 7B). Os experimentos utilizam LoRA (rank 16, alpha 32) como o principal mecanismo de adaptação, com ajuste fino total (full fine-tuning) nos modelos de 1B para verificar se os efeitos não são artefatos da própria adaptação de baixo posto.

O pipeline de treinamento envolve sequências distintas de estágios, tais como:

• Cadeia de Especialização: SFT Geral $\to$ SFT de Matemática $\to$ SFT de Código $\to$ SFT de Segurança/Recusa.
• Raciocínio e Preferência: SFT Geral $\to$ SFT de Long-CoT $\to$ Otimização de Preferência estilo DPO.
• Segurança Primeiro: SFT de Segurança/Recusa $\to$ SFT Geral $\to$ Especialização de Domínio.

Suíte de Medição

Um corpus de sondagem fixo ($X_{probe}$) de 12.000 textos de prompt-resposta (equilibrados entre domínios) é aplicado a cada checkpoint para garantir que as mudanças geométricas não sejam confundidas por mudanças nas distribuições de avaliação. O artigo define uma suíte de medição abrangente cobrindo:

1. Métricas Espectrais:
   • Posto Efetivo & Razão de Participação: Mede quão concentrada é a covariância do estado oculto.
   • Variância Top-k: Visualiza a concentração em dimensões dominantes.
2. Métricas Geométricas:
   • Anisotropia: Similaridade de cosseno média (centrada e não centrada).
   • Desvio CKA: Alinhamento de Núcleo Centrado (Centered Kernel Alignment) comparando o checkpoint com o modelo base e estágios anteriores.
   • Separabilidade de Domínio: Pontuações de Silhouette e razões de covariância para separação de domínios.
3. Dinâmica de Tokens:
   • Análise de posto e diversidade através de spans específicos: prompts, respostas iniciais, respostas tardias, spans de CoT e spans de recusa.
4. Métricas Funcionais:
   • Espaço de Logits: Entropia, tamanho de suporte do vocabulário, margens dos dois principais valores (top-two margins) e Erro de Calibração Esperado (ECE).
5. Métricas de Atualização:
   • Sobreposição de LoRA: Sobreposição de ângulo principal entre as bases de vetores singulares das atualizações de LoRA em diferentes estágios.

Estratégia de Avaliação

A avaliação é baseada em trajetória, em vez de apenas no ponto final. Após cada estágio, o modelo é avaliado em:

• Desempenho Alvo: Ganho imediato no domínio treinado.
• Retenção/OOD: Desempenho em tarefas mantidas (held-out) e dados fora da distribuição (out-of-distribution).
• Aprendizado Futuro: Um teste crítico onde cada checkpoint passa por uma adaptação de orçamento fixo a um novo domínio de tarefa não visto. A eficiência de amostragem e a pontuação final dessa adaptação futura servem como o proxy para a plasticidade.

3. Resultados Principais

Descobertas Empíricas

1. Pós-Treinamento Sequencial é uma Trajetória: O colapso não é uniforme; ele se concentra em camadas específicas (frequentemente blocos transformadores intermediários e tardios) e varia por estágio. Por exemplo, o ajuste de matemática reduz o posto em bandas específicas, enquanto o ajuste de segurança concentra as representações de respostas tardias.
2. Assinaturas de Colapso Dependentes do Objetivo:
   • Ajuste de Segurança/Recusa: Produz direções de templates de resposta fortes e logits mais nítidos.
   • Ajuste de Long-CoT: Cria uma direção de formato de raciocínio que afeta os tokens gerados tardiamente.
   • Otimização de Preferência (DPO): Amplifica a anisotropia ao aumentar as margens de preferência relativas.
   • Matemática/Código: Mais sutis; eles especializam certas camadas enquanto preservam a separabilidade de domínio em outros locais.
3. O Colapso Prediz a Plasticidade Futura: Existe uma correlação negativa direta entre a saúde da representação (posto efetivo, anisotropia) e o desempenho do aprendizado futuro. À medida que o posto efetivo diminui e a anisotropia aumenta durante a sequência, a eficiência de amostragem e a pontuação final da adaptação a uma nova tarefa degradam, mesmo que o desempenho da tarefa alvo imediata melhore.
4. Dependência de Caminho: A ordem dos estágios importa. Por exemplo, o ajuste de segurança seguido de instrução geral produz métricas de colapso diferentes do que instrução geral seguida de segurança.

Estratégias de Mitigação

O artigo testa intervenções leves para preservar a aprendibilidade futura sem sacrificar os ganhos da tarefa alvo:

• Repetição de Domínio Misto (Mixed-Domain Replay): Misturar uma pequena fração (5–20%) de dados de domínio geral em estágios especializados.
• Atualização de Características (Feature Refresh): Inserir curtos estágios de instrução geral após estágios de alto colapso.
• Regularização de Diversidade de Representação: Penalizar o alinhamento de nível de lote da característica ($L_{cos}$).
• Descorrelação de Atualização de LoRA: Penalizar a sobreposição entre as bases de atualização de LoRA atuais e anteriores ($L_{decorr}$).

Os resultados indicam que esses métodos podem melhorar a fronteira de Pareto, permitindo uma melhor adaptação futura enquanto mantêm o desempenho alvo, embora não eliminem o colapso inteiramente.

4. Contribuições

O artigo apresenta três contribuições principais:

1. Um Protocolo de Medição por Camada: Uma suíte de diagnósticos (espectrais, geométricos, de nível de token, funcionais e de espaço de atualização) especificamente projetada para detectar o colapso de representação no pós-treinamento sequencial.
2. Um Benchmark Sequencial Controlado: Uma matriz experimental padronizada cobrindo instrução geral, matemática, código, segurança, CoT e dados de preferência com orçamentos de tokens correspondentes e um corpus de sondagem fixo.
3. Validação Preditiva: Evidência de que as métricas de colapso (medidas antes da adaptação futura) predizem a dificuldade de aprender novas tarefas, e que intervenções que preservam a diversidade podem mitigar essa perda de plasticidade.

5. Significância e Alegações

O artigo afirma que o colapso de representação não é meramente uma curiosidade geométrica, mas um diagnóstico prático para a aprendibilidade futura. Os autores argumentam que o foco atual em benchmarks comportamentais ignora um modo de falha crítico: um modelo pode se tornar comportamentalmente competente em uma tarefa específica enquanto se torna geometricamente frágil para adaptações futuras.

A significância reside em redefinir o alinhamento e a especialização como problemas de aprendizado contínuo. A suíte de medição proposta permite que os praticantes distingam entre especialização benéfica e estreitamento frágil. O artigo conclui que, embora o pós-treinamento não deva maximizar a diversidade a todo custo (pois alguma especialização é necessária), preservar graus de liberdade representacionais suficientes é essencial para manter a capacidade do modelo de se adaptar a requisitos futuros e imprevistos.

Limitações observadas pelos autores:

• Experimentos são conduzidos em modelos de 1B–7B; o comportamento em escala de fronteira pode diferir.
• DPO é usado como um proxy para RLHF/RLAIF de produção.
• As medições são sensíveis às escolhas do corpus de sondagem e aos spans de tokens, embora o estudo controle isso via múltiplos tipos de sondagem.
• Alegações causais são apoiadas por evidência de intervenção (mitigações) em vez de pura derivação teórica.