Resumo Técnico: Sobre os Limites da Redução de Tokens para o Treinamento Eficiente de Modelos de Visão-Linguagem Unificados

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs) unificados integram a compreensão visual e a geração visual dentro de um único backbone autorregressivo, oferecendo escalabilidade significativa e potencial entre tarefas. No entanto, seu treinamento conjunto é computacionalmente proibitivo (por exemplo, o VILA-U requer cerca de 20 mil horas de GPU A100). Embora pesquisas anteriores tenham tido sucesso na redução da computação em tempo de inferência para VLMs focados apenas em compreensão via poda de tokens ou mascaramento de atenção, essas estratégias não se traduzem diretamente para a eficiência em tempo de treinamento. Além disso, as técnicas de aceleração existentes para compreensão visual não consideram os requisitos estruturais distintos da geração visual, nem abordam as complexidades de unificar objetivos discriminativos e generativos. Este artigo investiga a viabilidade e os limites da aceleração baseada na redução de tokens para o treinamento de VLMs unificados.

2. Metodologia e Análise

2.1. Análise de Redundância

Os autores realizam uma análise sistemática da alocação de atenção por camada em VLMs unificados pré-treinados (especificamente o VILA-U). Eles medem a distribuição da massa de atenção através de segmentos de tokens (sistema, imagem, instrução, saída) para identificar padrões de redundância específicos de cada tarefa.

Descoberta Principal: Assimetria Fundamental
A análise revela uma assimetria crítica na utilização de tokens:

• Compreensão Visual: Exibe uma redundância visual substancial nas camadas tardias. A atenção aos tokens de imagem é forte nas camadas iniciais (para fundamentação/grounding), mas cai drasticamente nas camadas médias e tardias, onde a atenção passa a ser dominada por tokens textuais.
• Geração Visual: Mantém uma dependência persistente dos tokens de imagem através de todas as profundidades. Os tokens de imagem (tanto de entrada quanto gerados autorregressivamente) recebem atenção consistente, com a alocação frequentemente aumentando em camadas mais profundas para garantir a consistência da previsão de tokens.

2.2. Aceleradores Específicos de Tarefa

Guiados pela assimetria, os autores projetam estratégias de aceleração separadas para tarefas isoladas:

• Para Compreensão Visual (HiMix):

  • Mecanismo: Remove os tokens de imagem das projeções de query (consulta), mantendo-os nas projeções de key (chave) e value (valor).
  • Efeito: Elimina a atenção quadrática imagem-para-imagem ($O(M^2)$) enquanto preserva as interações texto-imagem.
  • Resultado: Alcança uma redução de 76% nos FLOPs (0,24× em relação à linha de base) com apenas uma degradação moderada no desempenho em benchmarks de compreensão (ex: GQA, POPE).

• Para Geração Visual (HMGen):

  • Mecanismo: Introduz uma mistura hierárquica de camadas. Em camadas designadas como "rasas" (meio da rede), a atenção aos tokens de imagem e as atualizações de feed-forward são ignoradas; os estados ocultos da imagem são encaminhados diretamente. Em camadas "completas", parâmetros de projeção separados são usados para tokens de imagem e texto para estabilizar o treinamento.
  • Restrição: Os tokens de imagem devem permanecer no fluxo de query para manter a cadeia de dependência autorregressiva necessária para a inferência.
  • Resultado: Reduz os FLOPs (para 0,75×–0,85×) enquanto, surpreendentemente, melhora a qualidade generativa (escores MJHQ-30K) em comparação com a linha de base, atribuído ao desacoplamento das projeções específicas de imagem.

3. Resultados Principais: Os Limites da Eficiência Unificada

A principal contribuição do artigo reside na avaliação desses aceleradores de tarefas específicas sob o treinamento unificado (otimização conjunta de compreensão e geração).

3.1. Fenômeno de Perda de Sinergia

Quando o HiMix e o HMGen são combinados para o treinamento unificado, ocorre uma perda de sinergia consistente:

• Colapso de Desempenho: A aplicação conjunta da redução de tokens específica de tarefa leva a uma severa degradação de desempenho em ambas as tarefas. Por exemplo, os escores de GQA caem de 56,00 (linha de base unificada) para 33,00, e os escores MJHQ-30K pioram.
• Transferência Negativa: O modelo unificado com aceleradores apresenta um desempenho inferior às linhas de base de tarefa única em algumas métricas, indicando que os ganhos mútuos de desempenho tipicamente observados na otimização conjunta são eliminados.

3.2. Vetores Estruturais

Os autores atribuem essa falha a:

1. Caminhos de Parâmetros Divergentes: A redução de tokens específica de tarefa força o modelo a utilizar conjuntos diferentes de parâmetros relacionados à imagem para cada objetivo, interrompendo o espaço latente compartilhado.
2. Dinâmicas de Otimização Incompatíveis: Os gradientes para compreensão e geração são computados sob operadores de mascaramento incompatíveis, fragmentando o processo de otimização.

3.3. Tentativas de Mitigação

Os autores testaram uma "Estratégia de Projeção de Imagem Separada", desacoplando os parâmetros de projeção relacionados à imagem ($W^Q_v, W^K_v, W^V_v$) para as duas tarefas enquanto compartilham o backbone. Isso restaurou parcialmente o desempenho (ex: GQA melhorou de 33,00 para 47,05), mas ainda falhou em atingir o desempenho da linha de base unificada sem aceleração, confirmando que a redução agressiva de tokens interrompe fundamentalmente a sinergia entre tarefas.

4. Contribuições e Significância

O artigo apresenta as seguintes contribuições:

1. Análise de Redundância Unificada: Caracteriza padrões de atenção distintos em VLMs unificados, identificando que a compreensão visual possui redundância em camadas tardias, enquanto a geração visual possui dependência constante em profundidade.
2. Aceleradores Específicos de Tarefa: Demonstra que a redução de tokens pode gerar ganhos significativos de eficiência para tarefas isoladas (HiMix para compreensão, HMGen para geração).
3. Descoberta da Perda de Sinergia: Revela que estratégias de otimização específicas de tarefa falham quando aplicadas em configurações unificadas. O artigo argumenta que a redução forçada de tokens interrompe as melhorias mútuas dos objetivos discriminativos e generativos.
4. Lições para Aceleração Unificada: As descobertas sugerem que a modelagem unificada eficiente não pode depender simplesmente da agregação de estratégias de poda ótimas para cada tarefa. Em vez disso, a aceleração eficaz deve preservar as estruturas compartilhadas entre tarefas e considerar cuidadosamente seu impacto nas dinâmicas de aprendagem entre tarefas.

Conclusão:
O artigo conclui que, embora a redução de tokens seja eficaz para VLMs de tarefa única, ela enfrenta limites fundamentais no treinamento unificado. A "perda de sinergia" observada indica que os caminhos computacionais que permitem o alinhamento de representação entre tarefas são frágeis. Pesquisas futuras em modelagem unificada eficiente devem priorizar a preservação dessas estruturas compartilhadas, em vez de maximizar a eficiência específica de cada tarefa isoladamente.