Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

Resumo Técnico: Conflito Geométrico: Explicando e Controlando o Esquecimento no Pós-Treinamento Contínuo de LLMs

Declaração do Problema
O pós-treinamento contínuo visa estender Modelos de Linguagem de Grande Escala (LLMs) com novos conhecimentos, habilidades e comportamentos por meio de uma sequência de atualizações. No entanto, esse processo enfrenta o desafio do esquecimento catastrófico, onde aprender uma nova tarefa compromete capacidades adquiridas anteriormente. Estratégias existentes de mitigação — como ajuste fino sequencial, métodos baseados em replay, regularização e fusão de modelos — frequentemente carecem de critérios principiais para determinar quando uma nova atualização de parâmetros deve ser integrada. Especificamente, permanece incerto quando atualizações sequenciais permitem transferência de capacidades versus quando causam interferência. Os métodos atuais frequentemente dependem de métricas grosseiras, como magnitude da atualização ou compatibilidade isolada par a par, que falham em explicar ou controlar totalmente o esquecimento em cenários heterogêneos e sequenciais.

Metodologia: Geometria de Tarefa e GCWM
Os autores propõem um framework baseado em geometria de tarefa para analisar e controlar o pós-treinamento contínuo.

1. Representação da Geometria de Tarefa: Em vez de visualizar atualizações apenas por sua norma, o método representa cada tarefa por sua matriz de atualização de parâmetros $\Delta_t$. Para cada camada, a "geometria de tarefa" é definida como a matriz de covariância $C_t = \Delta_t^\top \Delta_t$, que captura as direções dominantes e a estrutura espectral da atualização.
2. Conflito Geométrico: O artigo introduz o conflito geométrico como uma distância Bures–Wasserstein normalizada entre as geometrias de covariância de tarefas. Crucialmente, os autores definem uma variante relativa ao estado, medindo a discrepância entre a geometria de uma tarefa entrante e a geometria do estado do modelo em evolução (que já incorpora atualizações anteriores).
3. Insight Chave: Através de análise empírica em modelos Qwen3 (0.6B–14B), os autores descobrem que o esquecimento é melhor explicado como uma falha de integração de atualização relativa ao estado. O esquecimento ocorre quando a geometria de covariância induzida por uma nova tarefa não se alinha com a geometria do estado atual do modelo. A transferência ocorre quando a nova atualização permanece compatível com esse estado. Esse sinal relativo ao estado supera normas brutas de atualização, razões de alinhamento de subespaço (SAR) e conflitos de gradiente par a par na previsão da perda de retenção.
4. Fusão Wasserstein com Conflito Geométrico (GCWM): Motivados por essas descobertas, os autores propõem o GCWM, um método de integração de atualizações sem dados.
   • Construção de Métrica Compartilhada: O GCWM constrói uma métrica Wasserstein compartilhada para o conjunto atual de tarefas ativas usando baricentros Gaussianos de Wasserstein.
   • Correção Controlada por Conflito: Calcula uma pontuação de conflito geométrico por camada. Essa pontuação atua como um portão para um ramo de correção consciente da geometria. Se o conflito for alto (indicando incompatibilidade), o método restringe a integração da atualização consciente da geometria; se o conflito for baixo, permite uma integração mais forte.
   • Atualização Incremental: O método aplica apenas a mudança incremental relativa ao estado fundido anterior, garantindo que o modelo evolua com base em mudanças recém-induzidas e controladas por compatibilidade.
   • Suporte Teórico: Os autores fornecem limites teóricos mostrando que a perda adicional incorrida pelo GCWM em relação a uma fusão simples é controlada pelo conflito geométrico e pelo deslocamento da fusão com portão.

Contribuições Principais

1. Framework Analítico: O artigo desenvolve uma análise de geometria de tarefa mostrando que o esquecimento é um fenômeno relativo ao estado, melhor explicado pelo desalinhamento das geometrias de covariância induzidas por tarefas com o estado do modelo em evolução do que por magnitude de atualização ou compatibilidade isolada par a par.
2. Novo Sinal: Introduz o conflito geométrico (uma distância Bures–Wasserstein sobre geometrias de covariância induzidas por tarefas) como tanto um sinal explicativo para o esquecimento quanto um sinal prático de controle para integração de atualizações.
3. Algoritmo: Propõe o GCWM, um método sem dados que constrói uma métrica Wasserstein compartilhada e utiliza o conflito geométrico para portar correções conscientes da geometria por camada.
4. Validação Empírica: O método é validado em modelos Qwen3 (0.6B a 14B) em cenários contínuos por domínio (14 subdomínios do MMLU-Pro) e contínuos por capacidade (matemática e código).

Resultados

• Desempenho: O GCWM supera consistentemente as linhas de base sem dados (incluindo Localize-and-Stitch, AIMMerging e OPCM) sem usar dados de replay.
  • Em cenários contínuos por domínio, o GCWM alcança o melhor desempenho geral não-MLT (Aprendizado Multi-Tarefa) em todas as escalas, melhorando sobre a melhor linha de base sem dados em até +1,61 pontos no Qwen3-1.7B.
  • Em cenários contínuos por capacidade, o GCWM lidera as linhas de base sem dados em média nos modelos 1.7B e 14B, mostrando ganhos significativos em retenção e desempenho final em benchmarks como GSM8K, HumanEval e MMLU-Pro.
• Ablação: Remover o portão de conflito ou substituir o baricentro de Wasserstein por uma métrica de média simples degrada o desempenho, confirmando a necessidade tanto da métrica compartilhada quanto do mecanismo de portão controlado por conflito.
• Escalabilidade: O método permanece eficaz em todas as escalas de modelo, com o sinal de geometria relativa ao estado tornando-se um preditor mais forte de esquecimento à medida que o tamanho do modelo aumenta (por exemplo, a correlação com a perda de retenção atinge -0,86 para o Qwen3-14B).

Significado e Alegações
O artigo alega que o conflito geométrico desempenha um duplo papel:

1. Explicativo: Fornece uma explicação mecanicista para o esquecimento catastrófico, identificando-o como uma falha de integração de atualização relativa ao estado e não como simples deriva de parâmetros.
2. Controle: Atua como um sinal prático e sem dados para controlar quão fortemente atualizações sequenciais são integradas.

Os autores posicionam o GCWM como um método que torna a adaptação contínua de LLMs mais prática ao reduzir a dependência de dados de replay. Eles enfatizam que, embora o método melhore a retenção e o desempenho, ele opera no espaço de atualização de parâmetros e não fornece inerentemente garantias de segurança; portanto, deve ser combinado com verificações de segurança padrão. O trabalho sugere que entender a estrutura espectral e geométrica das atualizações é crítico para gerenciar o trade-off entre aprender novas capacidades e reter as antigas em modelos de linguagem de grande escala.