Resumo Técnico: Melhoria da Eficiência de Treinamento de MLLM via Esparsidade Consciente de Etapa

Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) demonstraram capacidades significativas, mas sofrem com processos de treinamento ineficientes. Essa ineficiência decorre de duas fontes primárias de redundância:

1. Redundância de Dados: Entradas multimodais introduzem centenas de tokens visuais por amostra, muitos dos quais contribuem marginalmente para as previsões finais.
2. Redundância de Parâmetros: Arquiteturas profundas de transformadores contêm dezenas de camadas, mas nem todas as camadas são igualmente críticas durante todo o processo de treinamento.

Métodos de eficiência existentes geralmente abordam esses problemas independentemente (por exemplo, compressão de tokens ou pulo de camadas) e tratam a redundância como uma propriedade estática. No entanto, o artigo argumenta que os padrões de redundância são dependentes da etapa. Durante o alinhamento de modalidades, o modelo de linguagem (LLM) é frequentemente congelado, e o gargalo é o processamento de massivas sequências de tokens visuais. Por outro lado, durante o ajuste de instruções, os parâmetros do LLM são atualizados ativamente, e o gargalo se desloca para a sobrecarga computacional das camadas profundas do transformador. Tratar a redundância como estática leva a compensações subótimas entre eficiência e desempenho.

Metodologia: Esquema de Treinamento Esparsos (STS)

Os autores propõem o Esquema de Treinamento Esparsos (STS), um framework unificado que adapta estratégias de esparsidade aos gargalos computacionais específicos de diferentes etapas de treinamento. O STS consiste em dois componentes complementares:

1. Compressor de Tokens Visuais (VTC) – Etapa I: Alinhamento de Modalidades

Aplicado durante a etapa de alinhamento de modalidades, onde o LLM é congelado e apenas o projetor é atualizado.

• Função: Reduz o comprimento dos tokens visuais ($T_v$) antes de entrarem no LLM para aliviar a redundância de dados.
• Mecanismo: Uma função seletora $C$ mapeia $T_v \in \mathbb{R}^{b \times n \times d}$ para uma sequência comprimida $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$).
• Estratégias de Seleção:
  • Amostragem Uniforme: Seleção com passo fixo para preservar estruturas semânticas globais.
  • Amostragem Aleatória: Introduz estocasticidade para melhorar a robustez.
  • Guiada por Instrução: Utiliza similaridade de cosseno entre tokens visuais e de texto para descartar informações visuais irrelevantes.
• Implementação: O artigo adota Amostragem Uniforme como estratégia padrão, constatando que oferece o desempenho mais equilibrado entre tarefas em comparação com a instabilidade da amostragem aleatória ou o viés da seleção guiada por instrução.

2. Pulo Dinâmico de Camadas (LDS) – Etapa II: Ajuste de Instruções

Aplicado durante o ajuste de instruções, onde os parâmetros do LLM são atualizados.

• Função: Pula dinamicamente camadas decodificadoras desnecessárias para reduzir atualizações de parâmetros e sobrecarga computacional.
• Mecanismo: Para a camada $l$ no passo de treinamento $e$, o estado oculto é atualizado como $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$, onde $z_l$ é uma variável Bernoulli controlada por uma probabilidade de pulo $p_l(e)$.
• Formulação de Probabilidade: A probabilidade de pulo combina dois fatores:
  • Decaimento Baseado em Passo: Baseado na tendência de convergência "do grosseiro ao fino". No início do treinamento, os gradientes são grosseiros, permitindo taxas de pulo mais altas. A probabilidade decai quadraticamente à medida que o treinamento avança: $\alpha (\frac{E-e}{E})^2$.
  • Ajuste Baseado em Profundidade: Reconhecendo que camadas rasas extraem características mais efetivamente do que camadas profundas, a probabilidade é ajustada pela profundidade da camada $l$: $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• Configuração Padrão: Os autores constatam que $\alpha=0.5$ e $\epsilon=0.5$ fornecem o melhor equilíbrio entre eficiência e desempenho da tarefa.

Contribuições Principais

1. Análise de Redundância Dependente de Etapa: O trabalho revela que a redundância no treinamento de MLLM não é estática; a redundância de dados domina o alinhamento de modalidades, enquanto a redundância de parâmetros domina o ajuste de instruções.
2. Framework Unificado (STS): Propõe um framework de treinamento esparsos consciente de etapa que modela explicitamente padrões de redundância em evolução, aplicando esparsidade em nível de token durante o alinhamento e esparsidade em nível de camada durante o ajuste.
3. Validação Empírica: Demonstra, por meio de experimentos extensivos, que o STS reduz significativamente os custos computacionais enquanto mantém alta precisão em diversas arquiteturas de MLLM.

Resultados Experimentais

Os autores avaliaram o STS em cinco MLLMs (LLaVA, Mipha, Phi-2, variantes MoE-LLaVA) em benchmarks incluindo GQA, VQAv2, SQA, POPE e MME.

• Eficiência: O STS alcançou uma redução média de mais de 15% em FLOPs. Especificamente, a razão de FLOPs teóricos em relação à linha de base foi reduzida para aproximadamente 82,2%.
• Desempenho: O método manteve 96,9% a 99,7% da precisão da linha de base em média.
  • Métricas de robustez (POPE) e avaliações abrangentes (MME) mostraram degradação mínima.
  • Tarefas orientadas à percepção (GQA, VQAv2) mostraram quedas ligeiramente mais perceptíveis (cerca de 2–3 pontos), embora em alguns casos (por exemplo, SQA no LLaVA), o STS tenha superado a linha de base, sugerindo potenciais efeitos de regularização implícita.
• Estudos de Ablação:
  • VTC: A amostragem uniforme provou ser mais robusta do que a amostragem aleatória ou guiada por instrução.
  • LDS: Valores extremos para hiperparâmetros $\alpha$ (taxa de pulo) e $\epsilon$ (variância de profundidade) enviesaram o modelo para capacidades específicas. A configuração equilibrada ($\alpha=0.5, \epsilon=0.5$) produziu a melhor compensação.
  • Framework Conjunto: O uso de VTC e LDS juntos forneceu uma compensação superior entre eficiência e desempenho em comparação ao uso de qualquer componente isoladamente.

Significado e Alegações

O artigo alega que o STS oferece uma solução prática e escalável para otimização eficiente de MLLM. Ao deslocar o foco da redução de redundância estática para uma abordagem consciente de etapa, o framework aborda os gargalos específicos de diferentes fases de treinamento sem exigir mudanças arquiteturais complexas. Os autores enfatizam que o STS é amplamente aplicável a diversas arquiteturas de MLLM e alcança treinamento mais rápido com perda mínima de desempenho, tornando-o uma estratégia viável para reduzir as barreiras computacionais no treinamento de modelos multimodais em grande escala.