DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

1. Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) avançaram significativamente em percepção e alinhamento, mas consistentemente ficam atrás dos Modelos de Linguagem Grandes (LLMs) apenas de texto em capacidades de raciocínio (por exemplo, raciocínio matemático e lógico).

• Gargalos Atuais: Superar essa lacuna geralmente requer:
  1. Ajuste Fino Supervisionado (SFT) Multimodal em Grande Escala: Coletar dados de Cadeia de Pensamento (CoT) de alta qualidade para imagens é caro e trabalhoso.
  2. Aprendizado por Reforço (RL): Adiciona sobrecarga computacional e instabilidade no treinamento.
• A Limitação da Fusão de Modelos: Uma alternativa promissora é a fusão de modelos no espaço de parâmetros (interpolando pesos entre um especialista em raciocínio apenas de texto e um MLLM). No entanto, os autores demonstram que a fusão ingênua é frágil. Frequentemente falha em transferir o raciocínio efetivamente e pode degradar severamente a percepção e o alinhamento multimodais, particularmente quando os modelos subjacentes (por exemplo, série Qwen) possuem distribuições de parâmetros divergentes.

2. Metodologia: DRIFT

Os autores propõem o DRIFT (Injeção Direcional de Raciocínio para Ajuste Fino), um método leve baseado em gradiente que transfere conhecimento de raciocínio sem desestabilizar o modelo.

Conceito Central

Em vez de interpolar pesos diretamente no espaço de parâmetros, o DRIFT opera no espaço de gradientes. Ele trata a diferença entre um especialista em raciocínio apenas de texto e um modelo multimodal como uma "direção de raciocínio" (priori) e utiliza isso para enviesar a trajetória de otimização durante o SFT padrão.

Etapas Principais

1. Pré-cálculo da Priori de Raciocínio ($\Delta$):

   • Calcule a diferença de parâmetros entre um modelo de raciocínio apenas de texto ($\phi_{reason}$) e o modelo multimodal alvo ($\phi_{VL}$):
     $$\Delta = \phi_{reason} - \phi_{VL}$$
   • Essa diferença é restrita a módulos relevantes para raciocínio (projeções MLP, projeções de atenção e camadas de normalização).
   • $\Delta$ é calculado uma vez e armazenado na CPU.

2. Injeção de Gradiente durante o SFT:

   • Durante o ajuste fino supervisionado do MLLM em uma pequena quantidade de dados multimodais, o gradiente padrão ($g$) é modificado.
   • O gradiente guiado ($\tilde{g}$) é calculado como:
     $$\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$$
   • Estratégias de Escalonamento: O artigo explora três variantes:
     • Absoluto: Adiciona $\Delta$ diretamente.
     • Norma-Gradiente: Alinha a direção de atualização com $\Delta$ enquanto preserva a magnitude de $g$.
     • Norma-Gradiente com $\alpha$ Adaptativo: Ajusta dinamicamente a força de injeção com base na similaridade de cosseno entre o gradiente atual e a priori ($\Delta$).

3. Eficiência:

   • O DRIFT não introduz parâmetros treináveis adicionais.
   • Modifica apenas a passagem de retropropagação (cálculo de gradiente), deixando a passagem de frente inalterada.
   • Requer apenas um pequeno conjunto de dados curado (4 mil exemplos) em comparação com os conjuntos de dados massivos necessários para SFT padrão ou RL.

3. Contribuições Principais

1. Análise Empírica da Fusão: Os autores mostram rigorosamente que a fusão no espaço de parâmetros não é uma "refeição grátis". É altamente sensível a famílias de modelos; enquanto funciona para algumas (por exemplo, LLaMA/Mistral), frequentemente degrada o desempenho em outras (por exemplo, Qwen) devido ao desalinhamento de parâmetros.
2. Framework DRIFT: Introdução de um método novo e leve que injeta prioridades de raciocínio via orientação de gradiente em vez de interpolação de pesos, preservando o alinhamento multimodal enquanto aprimora o raciocínio.
3. Eficiência e Desempenho: Demonstrou que o DRIFT alcança capacidades de raciocínio comparáveis a métodos intensivos em treinamento (SFT + RL), mas com ordens de magnitude menos dados e tempo de computação (aproximadamente 2 horas vs. >1 dia).

4. Resultados Experimentais

O método foi avaliado em benchmarks incluindo MathVista, MathVision, MathVerse, WeMath e LogicVista.

• vs. Fusão de Parâmetros: O DRIFT supera consistentemente a fusão ingênua e técnicas avançadas de fusão (Task Arithmetic, TIES, DARE). Enquanto a fusão frequentemente reduzia pontuações (por exemplo, -2,1 no MathVista para Qwen2.5-VL), o DRIFT as melhorou (+2,0).
• vs. SFT Padrão: O DRIFT supera o SFT padrão treinado no mesmo pequeno conjunto de dados, provando que a priori de raciocínio fornece sinais complementares valiosos.
• vs. Métodos Intensivos em Treinamento: O DRIFT iguala ou supera métodos pesados como R1-OneVision e X-Reasoner (que exigem dias de treinamento e conjuntos massivos de CoT), completando em ~2 horas com apenas 4 mil exemplos de alta qualidade.
• Generalização:
  • Percepção: Diferente do SFT padrão, que às vezes degradava a percepção geral (por exemplo, no RealWorldQA), o DRIFT preservou ou melhorou ligeiramente as capacidades de percepção multimodal.
  • Robustez: O DRIFT mostrou maior robustez a dados ruidosos em comparação ao SFT padrão.
  • Generalidade: O método funcionou em diferentes combinações de backbone/especialista (por exemplo, LLaVA + DART, Qwen + DeepSeek-R1).

5. Significado

• Democratização do Raciocínio: O DRIFT reduz a barreira de entrada para criar MLLMs capazes de raciocínio. Elimina a necessidade de coleta cara de dados CoT multimodais em grande escala e treinamento de RL de vários dias.
• Estabilidade: Resolve os problemas de instabilidade associados à fusão ingênua de modelos, oferecendo uma maneira robusta de combinar a "visão" dos MLLMs com o "raciocínio" de especialistas apenas de texto.
• Praticidade: O método integra-se perfeitamente a pipelines de SFT existentes (por exemplo, via LLaMA-Factory) com sobrecarga negligenciável, tornando-o altamente escalável tanto para pesquisa quanto para implantação industrial.

Em conclusão, o DRIFT demonstra que prioris no espaço de gradientes são um mecanismo superior para transferir capacidades de raciocínio em comparação com a fusão no espaço de parâmetros, oferecendo um caminho altamente eficiente, estável e eficaz para fechar a lacuna de raciocínio em modelos multimodais.