ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

1. Declaração do Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) enfrentam gargalos computacionais significativos durante o treinamento, impulsionados principalmente pela complexidade quadrática do mecanismo de autoatenção em relação ao comprimento da sequência de entrada. Esse problema é exacerbado em tarefas de vídeo, onde os quadros são tokenizados em sequências extremamente longas.

• Limitações dos Métodos Existentes: As estratégias atuais de eficiência (poda de tokens, mesclagem, compressão) visam majoritariamente a inferência usando tokens estáticos ou pré-classificados. Elas falham em se adaptar dinamicamente durante a fase de treinamento.
• Ineficiência no Treinamento: No treinamento padrão, o modelo processa cada token em cada passagem forward e backward, independentemente de o token ser redundante ou facilmente previsível apenas a partir do texto. Isso desperdiça recursos computacionais substanciais e limita a capacidade de escalar para contextos mais longos e conjuntos de dados maiores.
• A Lacuna: Há uma falta de métodos principiais e adaptativos para estimar a importância do token durante o treinamento que capturem dependências cruzadas entre modalidades sem depender de heurísticas (como descarte aleatório) ou introduzir mudanças arquitetônicas.

2. Metodologia: REGATE

Os autores propõem o REGATE (Elisão Adaptativa de Tokens Guiada por Referência), um framework projetado para acelerar o treinamento de MLLMs selecionando dinamicamente tokens informativos enquanto ignora os redundantes.

Arquitetura Central: Framework Professor-Aluno

• Modelo Aluno: O MLLM sendo treinado (ex: VideoChat2, VideoLLaMA2, InternVL3.5).
• Modelo Professor: Uma versão congelada e apenas de texto da espinha dorsal LLM do aluno. É criada removendo o codificador visual e o projetor do modelo aluno.
• Mecanismo: O professor atua como um especialista de referência para estimar o quanto um token específico depende do contexto visual.

Mecanismo de Pontuação de Tokens

O REGATE calcula uma pontuação de dificuldade unificada ($d_{b,i}$) para cada token com base em dois sinais complementares:

1. Perda de Referência ($\ell^{ref}_{b,i}$): O modelo professor tenta prever o token usando apenas o contexto textual (com tokens visuais substituídos por espaços reservados).
   • Baixa Perda: O token é previsível apenas a partir do texto (redundante).
   • Alta Perda: O token requer fundamentação visual (crítico).
2. Dificuldade Histórica do Aluno ($m_{s,i}$): Uma Média Móvel Exponencial (EMA) da perda de entropia cruzada do aluno para aquela posição de token ao longo do tempo. Isso rastreia tokens que o aluno consistentemente tem dificuldade em aprender.

A pontuação combinada é formulada como:
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
Onde $\lambda$ equilibra o sinal de referência estático e o sinal de aprendizado dinâmico do aluno.

Gating Dinâmico de Tokens e Esparsidade

• Geração de Máscara: Para cada lote, uma máscara binária é gerada selecionando os top $k$ tokens com as maiores pontuações combinadas de dificuldade.
• Preservação de Tokens Visuais: Tokens visuais especiais (ex: <image>, <video>) são sempre retidos para preservar a estrutura multimodal, independentemente de sua pontuação de dificuldade.
• Cronograma de Duplo Ciclo: Para garantir estabilidade, o REGATE emprega um cronograma determinístico:
  • Fase de Aquecimento: Todos os tokens são processados nos primeiros $F$ passos de cada ciclo.
  • Fase Esparsa: Apenas uma proporção fixa ($p_{sparse}$) de tokens é processada nos passos restantes.
• Implementação do Decodificador Esparsos: O decodificador transformer é modificado para realizar operações de autoatenção e Rede Feed-Forward (FFN) apenas em tokens ativos (retidos). Tokens inativos contornam o cálculo, mas mantêm conexões residuais para preservar a continuidade do fluxo de gradiente. Isso é implementado eficientemente usando máscaras de Flash Attention.

3. Principais Contribuições

1. Poda Adaptativa de Treinamento: Introdução do primeiro método de poda adaptativa de tokens especificamente para treinamento de MLLM que identifica dinamicamente tokens visualmente essenciais sem adicionar parâmetros treináveis.
2. Agnóstico ao Modelo e Livre de Arquitetura: O REGATE integra-se perfeitamente a MLLMs existentes (incluindo aqueles usando LoRA ou ajuste fino completo) sem modificar a arquitetura do modelo ou exigir componentes aprendíveis adicionais.
3. Guia de Sinal Duplo: Um mecanismo de pontuação inovador que combina uma perda de referência cruzada entre modalidades estática (de um professor apenas de texto) com o histórico de aprendizado dinâmico do aluno, isolando efetivamente tokens que são tanto visualmente críticos quanto desafiadores de aprender.

4. Resultados Experimentais

Os autores avaliaram o REGATE em três MLLMs representativos: VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) e InternVL3.5 (Qwen3-14B) em 5 benchmarks de imagem e 8 de vídeo.

Ganhos de Eficiência

• Redução de Tokens: O REGATE alcança a precisão máxima usando apenas 38% dos tokens em média comparado ao treinamento padrão.
• Velocidade de Treinamento: Alcança a precisão máxima da linha de base 2x mais rápido no benchmark MVBench.
• Economia de Recursos:
  • VideoLLaMA2: Redução do tempo de treinamento de 129,6 para 64,0 horas de GPU (com poda agressiva) mantendo a precisão.
  • InternVL3.5: Redução do uso de tokens em 41,4% e do tempo de treinamento em ~40%, superando a precisão da linha de base.
  • Memória: Redução do uso médio de memória por GPU em 7–8 GB (aprox. 10–11%) em todos os modelos.

Precisão de Desempenho

• Superando Linhas de Base: Com treinamento estendido, os modelos REGATE consistentemente superaram as linhas de base padrão em múltiplos benchmarks.
  • Exemplo: O VideoLLaMA2-REGATE melhorou a precisão do ScienceQA em 19,1% e do MME em 33,1 pontos enquanto usava 41% menos tokens.
  • Exemplo: O InternVL3.5-REGATE alcançou maior precisão nos benchmarks Video-MME e MLVU com significativamente menos tokens.
• Generalização: O método provou ser eficaz em diferentes espinhas dorsais (Mistral, Qwen) e estratégias de treinamento (Ajuste Fino Completo, LoRA).

5. Significado e Conclusão

O REGATE aborda um gargalo crítico na escalabilidade dos MLLMs: o custo computacional do treinamento em sequências multimodais longas.

• Mudança de Paradigma: Move a eficiência de tokens de uma preocupação apenas de inferência para uma otimização no tempo de treinamento, provando que os modelos podem aprender melhor (maior precisão) e mais rápido focando o cálculo nos pontos de dados mais informativos.
• Praticidade: Ao não exigir mudanças arquitetônicas nem parâmetros treináveis extras, o REGATE oferece uma solução plug-and-play para pesquisadores e praticantes treinarem modelos maiores em hardware limitado.
• Trabalho Futuro: Os autores sugerem que direções futuras incluem agendamento de esparsidade adaptativa baseado na complexidade da tarefa e a exploração de modelos professores mais fortes para tarefas de raciocínio mais complexas.

Em resumo, o REGATE demonstra que menos é mais no treinamento de MLLMs: ao ignorar inteligentemente tokens redundantes, os modelos convergem mais rápido, consomem menos memória e, em última análise, alcançam uma compreensão multimodal superior.