Resumo Técnico: Mistura Guiada por Curvatura para Adaptação de MLLM

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) possuem um conhecimento amplo e de propósito geral adquirido através de pré-treinamento em escala web. No entanto, adaptar esses modelos a tarefas especializadas de jusante via ajuste fino (fine-tuning) frequentemente resulta em esquecimento catastrófico, onde o modelo perde suas capacidades gerais fundamentais em favor de novas habilidades específicas da tarefa. Soluções existentes, como a fusão heurística de modelos (ex: Spider) ou o ajuste fino eficiente de parâmetros, muitas vezes falham em equilibrar efetivamente a adaptação à tarefa com a retenção de conhecimento. Muitas dependem de funções de pontuação construídas à mão sem uma base teórica sólida ou otimizam apenas para o desempenho da tarefa de jusante, negligenciando a preservação do conhecimento pré-treinado.

Metodologia

Os autores propõem a Mistura Guiada por Curvatura (CGM), um framework teoricamente fundamentado que funde modelos pré-treinados ($w_{pt}$) e ajustados ($w_{ft}$) ao analisar a geometria de seus respectivos landscapes de perda.

1. Aproximação do Landscape de Perda

O método modela a geometria local das funções de perda para ambas as tarefas de pré-treinamento ($\ell_{pt}$) e ajuste fino ($\ell_{ft}$) usando uma expansão de Taylor de segunda ordem em torno de seus pesos ótimos.

• Premissas: Os gradientes nos ótimos convergidos são zero ($\nabla \ell = 0$), e a solução fundida reside dentro da região conjunta de baixa perda, permitindo que termos de ordem superior sejam negligenciados.
• Aproximação: A perda é aproximada como uma função quadrática envolvendo a matriz Hessiana ($H$), que captura a curvatura local. Para garantir a tratabilidade computacional, o método utiliza as entradas diagonais das matrizes Hessianas ($h_{pt}$ e $h_{ft}$), reduzindo a complexidade de $O(d^2)$ para $O(d)$.

2. CGM: Mistura Suave (Solução de Forma Fechada)

O framework formula um objetivo de otimização conjunta para minimizar a soma ponderada das perdas para ambas as tarefas. Ao parametrizar os pesos fundidos como uma interpolação linear ($w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$), os autores derivam uma razão de mistura ótima de forma fechada ($\lambda_i^*$) para cada parâmetro:

$$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$$

Onde:

• $h_{pt,i}$ e $h_{ft,i}$ são as entradas diagonais da Hessiana (curvaturas) para as tarefas de pré-treinamento e ajuste fino, respectivamente.
• $\alpha$ é um hiperparâmetro que equilibra os dois objetivos.
• Interpretação: Parâmetros com alta curvatura de pré-treinamento (landscape de perda agudo para tarefas gerais) são mantidos mais próximos dos valores pré-treinados, enquanto aqueles com alta curvatura de ajuste fino são mantidos mais próximos dos valores ajustados. Esta "mistura suave" é uma atualização densa que combina todos os parâmetros.

3. CGM†: Mistura Dura (Seleção Esparsa)

Reconhecendo que atualizações densas podem ser disruptivas, os autores introduzem o CGM†, uma variante de "mistura dura" que reformula o problema como uma tarefa de seleção esparsa de parâmetros.

• Mecanismo: Em vez de fundir pesos, o método toma uma decisão binária para cada parâmetro: ou mantém o peso ajustado ($w_{ft}$) ou reverte ao peso pré-treinado ($w_{pt}$).
• Pontuação: Uma pontuação consciente da curvatura $c_i$ é derivada para classificar os parâmetros:
  $$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$$
  onde $\Delta_i = w_{pt,i} - w_{ft,i}$.
• Seleção: O método reverte o top $K\%$ dos parâmetros com as menores pontuações $c_i$ (indicando que são críticos para o conhecimento geral, mas menos críticos para a nova tarefa) de volta aos seus valores pré-treinados. Isso impõe uma restrição $L_0$ implícita, garantindo uma modificação mínima e direcionada.

Principais Contribuições

1. Framework Teoricamente Fundamentado: O artigo introduz o CGM, que deriva uma regra de mistura ótima diretamente de um objetivo de otimização conjunta usando informações de landscape de perda de segunda ordem, indo além da pontuação heurística.
2. Mistura Dura Esparsa (CGM†): Uma variante robusta que trata a fusão como um problema de seleção esparsa, utilizando uma nova pontuação consciente da curvatura para identificar e reverter apenas os parâmetros mais críticos para a retenção do conhecimento geral.
3. Validação Empírica: Experimentos extensos no LLaVA-1.5-7B e Qwen-2.5VL-3B através de múltiplas tarefas de jusante (OKVQA, Flickr30k, LaTeX-OCR) demonstram que o CGM e o CGM† superam consistentemente os baselines existentes (Tailor, DARE, Grafting, Wanda) no equilíbrio entre adaptação à tarefa e retenção de conhecimento geral.

Resultados Experimentais

• Métricas de Desempenho: Os autores avaliam usando Hscore (média harmônica do desempenho da tarefa alvo e da média pré-treinada) e Avg (média aritmética).
• Principais Descobertas:
  • No LLaVA-1.5 ajustado para OKVQA, o CGM† alcançou o maior Hscore (62.8) e manteve um Pre-Avg alto (65.7), superando significativamente o Modelo Ajustado (Hscore 53.9) e outros baselines de fusão.
  • No Qwen-2.5VL, os métodos propostos alcançaram consistentemente trade-offs superiores, muitas vezes recuperando o desempenho próximo ao original pré-treinado em benchmarks gerais enquanto mantêm fortes pontuações específicas da tarefa.
  • Estudos de Ablação: Remover tanto a curvatura de ajuste fino quanto a de pré-treinamento da função de pontuação levou a resultados subótimos (overfitting ou esquecimento excessivo), confirmando a necessidade da formulação conjunta de curvatura.
  • Sensibilidade de Hiperparâmetros: A razão de esparsidade $K$ mostrou-se robusta; mesmo com apenas 10% dos parâmetros revertidos, o conhecimento geral foi amplamente preservado. O coeficiente de equilíbrio $\alpha$ influenciou principalmente o desempenho da tarefa alvo, com o equilíbrio ótimo encontrado em valores pequenos ($\approx 0.1$).
  • Estrutura de Seleção: A análise visual das máscaras de seleção revelou que o CGM† seleciona grupos de parâmetros coerentes e estruturados (bandas verticais em camadas de atenção), enquanto os baselines como Magnitude e Tailor produzem ruído difuso e não estruturado.

Significância e Alegações

O artigo afirma que a Mistura Guiada por Curvatura fornece uma solução fundamentada para o esquecimento catastrófico em MLLMs ao alavancar a geometria dos landscapes de perda. Ao derivar analiticamente as razões de mistura baseadas em curvaturas relativas, o método evita as armadilhas de abordagens heurísticas. Os autores afirmam que seu trabalho estabelece um novo estado da arte em fusão de modelos, demonstrando que informações de segunda ordem podem ser efetivamente utilizadas para criar modelos que são altamente especializados para novas tarefas e robustos em sua inteligência geral fundamental. O trabalho sugere que a "mistura suave" derivada da otimização conjunta e a "mistura dura" de seleção esparsa são estratégias complementares para uma adaptação eficaz de MLLM.