🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Este artigo propõe o DualSpeed, um framework de treinamento rápido-lento que combina a poda de tokens visuais para eficiência com um modo auxiliar de sequência completa e autodestilação para resolver desajustes entre treinamento e inferência, acelerando assim o treinamento de MLLMs em até 4,0 $\times$ sem comprometer o desempenho.

Autores originais: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Publicado 2026-02-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente (um Modelo de Linguagem Grande Multimodal) a entender o mundo mostrando a ele milhares de imagens.

O Problema: O Gargalo de "Informação Demais"
Atualmente, esses modelos são como alunos que ficam sobrecarregados. Quando você mostra uma imagem, o computador a decompõe em centenas ou até milhares de pequenos pedaços chamados "tokens visuais". É como se você entregasse ao aluno um livro de 1.000 páginas para cada única imagem, mesmo que a maioria das páginas seja apenas espaço em branco ou padrões repetitivos.

Tentar ler todas essas páginas leva uma eternidade. Isso torna o treinamento desses modelos incrivelmente lento, caro e faminto por energia.

A Ideia Antiga: O Erro do "Recortar e Colar"
Os pesquisadores perceberam que muitas dessas páginas são inúteis. Eles tentaram uma técnica chamada Poda de Tokens Visuais (Visual Token Pruning), que é como usar um marca-texto para riscar as páginas chatas e redundantes antes de mostrar o livro ao aluno. Isso funciona muito bem para testar o aluno mais tarde (inferência), tornando-os mais rápidos.

Mas quando tentaram usar esse método durante o treinamento, o tiro saiu pela culatra. Isso criou um "descompasso".

A Analogia: Imagine que você treinou o aluno apenas com um resumo de 10 páginas de um livro. Então, no exame final, você entrega a ele o livro completo de 1.000 páginas. O aluno entraria em pânico e falharia porque nunca aprendeu a lidar com a versão completa. Ele se acostumou demais com a versão curta.

A Solução: DualSpeed (O Acampamento de Treinamento "Rápido-Lento")
Os autores deste artigo, Dingkun Zhang e sua equipe, criaram um novo framework de treinamento chamado DualSpeed. Pense nisso como um acampamento de treinamento de duas vias que alterna de volta e para frente aleatoriamente para resolver o problema do descompasso.

A Via Rápida (A Prática Veloz):
- A maior parte do tempo (cerca de 90% das sessões), o modelo treina no "Modo Rápido".
- Aqui, eles usam a técnica de "poda" para cortar os tokens visuais inúteis. O modelo aprende rapidamente com os resumos curtos e eficientes.
- Para ajudar o modelo a lembrar qual versão ele está olhando, eles adicionam uma pequena "etiqueta de nome" invisível (chamada de Isolador de Modo) no início do resumo curto. Isso diz ao modelo: "Ei, esta é a versão condensada; foque nos detalhes principais".
A Via Lenta (A Revisão do Livro Completo):
- Ocasionalmente (cerca de 10% do tempo), o modelo muda para o "Modo Lento".
- Aqui, eles mostram ao modelo a imagem completa, não podada (todas as 1.000 páginas).
- Para garantir que o modelo não fique preguiçoso durante essas sessões raras, eles usam um truque chamado Autodestilação (Self-Distillation). O "Modo Rápido" (que já aprendeu muito) atua como um professor, sussurrando as respostas para o aluno do "Modo Lento". Isso garante que o aluno aprenda a versão completa de forma eficaz, embora a veja com menos frequência.

O Resultado: O Melhor dos Dois Mundos
Ao misturar esses dois modos, o modelo obtém a velocidade da Via Rápida, mas mantém a capacidade de lidar com o mundo completo e complexo da Via Lenta.

Velocidade: Eles treinaram modelos de 2,1 a 4,0 vezes mais rápido do que antes.
Desempenho: Apesar da velocidade, os modelos não ficaram mais burros. Eles mantiveram mais de 99% de seu desempenho original.
Flexibilidade: O modelo final é inteligente o suficiente para lidar tanto com os resumos curtos (se você quiser velocidade depois) quanto com as imagens completas (se você quiser o máximo de precisão).

Em Resumo
O artigo afirma que, ao usar um sistema de alternância "Rápido-Lento", eles podem ensinar esses enormes modelos de IA muito mais rápido sem fazê-los esquecer como ler os livros completos. Eles descobriram que cerca de 90% dos tokens visuais são realmente redundantes durante o treinamento e que, ao cortá-los de forma inteligente (enquanto ocasionalmente praticam com a versão completa), podem economizar uma quantidade enorme de tempo e dinheiro sem perder a inteligência.

Resumo Técnico: DualSpeed para Treinamento Eficiente de MLLM

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) enfrentam um gargalo crítico na eficiência de treinamento devido aos seus tamanhos massivos de modelo e ao volume colossal de tokens visuais gerados a partir de entradas de alta resolução. Embora os métodos de treinamento eficiente existentes foquem na redução de parâmetros do modelo ou de parâmetros treináveis, eles frequentemente negligenciam o potencial de reduzir o número de tokens de treinamento.

A Poda de Tokens Visuais (VTP - Visual Token Pruning) provou ser eficaz para melhorar a eficiência da inferência ao descartar tokens visuais redundantes (ex: fundo ou texturas repetitivas). No entanto, aplicar diretamente a VTP durante a fase de treinamento introduz um severo descompasso entre treinamento e inferência (training-inference mismatch). Modelos treinados em sequências podadas lutam para performar de forma eficaz ao realizar a inferência em sequências visuais completas e não podadas. Esse hiato surge de discrepâncias na extensão da sequência, densidade de informação e estrutura espacial entre as distribuições de dados de treinamento e de inferência. Consequentemente, simplesmente podar tokens durante o treinamento leva a uma degradação significativa de desempenho nos cenários padrão de inferência.

2. Metodologia: DualSpeed

Para abordar o descompasso entre treinamento e inferência enquanto aproveita a eficiência da VTP, os autores propõem o DualSpeed, um framework de treinamento rápido-lento (fast-slow) para MLLM. O framework opera alternando aleatoriamente entre dois modos distintos durante o processo de treinamento:

A. Modo Rápido (Modo de Eficiência Primária)

Objetivo: Maximizar a velocidade de treinamento reduzindo os tokens visuais.
Mecanismo: Este modo incorpora métodos de VTP existentes como plugins para podar a sequência de tokens visuais.
Isolador de Modo (Mode Isolator): Para garantir que o modelo possa distinguir entre entradas podadas e completas, um Isolador de Modo aprendível (um prompt suave de comprimento $l$ ) é concatenado como um prefixo à sequência visual podada. Isso instrui explicitamente o LLM a ativar um padrão de percepção específico adequado para entradas esparsas. Ao processar sequências completas, este isolador é desativado.
Objetivo de Treinamento: Entropia Cruzada (Cross-Entropy) padrão na sequência podada (com o isolador).

B. Modo Lento (Modo de Consistência Auxiliar)

Objetivo: Manter a consistência entre treinamento e inferência ao aprender com sequências visuais completas.
Mecanismo: O modelo é treinado em sequências visuais completas e não podadas.
Autodestilação: Como o modo lento é ativado com menos frequência (controlado pela probabilidade $r$ ), seu aprendizado é impulsionado via autodestilação. O Modo Rápido, suficientemente treinado, atua como um "professor", e o Modo Lento atua como um "aluno". Eles compartilham os mesmos parâmetros de modelo, mas diferem nas sequências de entrada. O aluno minimiza a divergência de Kullback–Leibler (KL) entre seus logits de saída e os logits do professor (computados na sequência podada).
Objetivo de Treinamento: Uma combinação da perda de Entropia Cruzada na sequência completa e da perda de destilação.

C. Estratégia Geral de Treinamento

O framework alterna entre os modos por lote (batch) com base em uma probabilidade $r$ . Durante as fases em que o backbone do LLM está congelado (ex: pré-treinamento), apenas o Modo Rápido é ativado para aumentar ainda mais a eficiência. Durante a inferência, o modelo opera exclusivamente em sequências visuais completas e não podadas sem o Isolador de Modo, garantindo um desempenho sem compromissos.

3. Principais Contribuições

Identificação de um Desafio Chave: O artigo identifica e analisa o descompasso entre treinamento e inferência como uma barreira primária para a aplicação de Poda de Tokens Visuais durante o treinamento de MLLMs.
Framework DualSpeed: A proposta de um framework de treinamento rápido-lento colaborativo que integra plugins de VTP enquanto preserva a consistência através de um Isolador de Modo e autodestilação.
Validação Empírica: Demonstração de que o framework alcança uma aceleração de treinamento significativa (até 4.0×) mantendo quase 99% do desempenho da linha de base (baseline) em diferentes arquiteturas de MLLM e resoluções.

4. Resultados Experimentais

Os autores avaliaram o DualSpeed no LLaVA-1.5 e LLaVA-NeXT utilizando 9 benchmarks representativos de compreensão visual (ex: VQAv2, GQA, MME, MMBench).

Aceleração de Treinamento:
- LLaVA-1.5: Alcançou uma aceleração de treinamento geral de 2.1× (com um aumento de 5.8× na fase de pré-treinamento).
- LLaVA-NeXT: Alcançou uma aceleração de treinamento geral de 4.0× (com um aumento de 5.3× no pré-treinamento), atribuído à maior proporção de tokens visuais em modelos de alta resolução.
Retenção de Desempenho:
- O DualSpeed reteve 99,61% do desempenho da linha de base no LLaVA-1.5 e 99,04% no LLaVA-NeXT.
- Em contraste, uma aplicação ingênua de poda (NaivePrune) resultou em apenas ~95,89% de retenção de desempenho, destacando a severidade do hiato entre treinamento e inferência.
Fechamento do Gap: O framework conseguiu fechar um gap de desempenho de aproximadamente 3,72% em comparação com os métodos de poda ingênua, aproximando o desempenho do modelo ao nível do treinamento completo.
Análise de Redundância: Experimentos indicaram que até 90% dos tokens visuais podem ser podados durante o treinamento sem perda significativa de desempenho, desde que o framework DualSpeed seja utilizado.

5. Significância e Alegações

O artigo afirma que o DualSpeed oferece um novo caminho para escalar o treinamento de MLLM ao abordar o gargalo computacional dos tokens visuais sem sacrificar a capacidade do modelo. Ao desacoplar os ganhos de eficiência da poda dos requisitos de consistência da inferência, o framework permite:

Eficiência de Recursos: Redução drástica no tempo de treinamento e nos custos computacionais.
Escalabilidade: A capacidade de treinar modelos de alta resolução (como o LLaVA-NeXT) de forma mais viável.
Robustez: Os modelos resultantes são naturalmente compatíveis tanto com a inferência normal (sequências completas) quanto com a inferência de poda (sequências podadas), pois o processo de treinamento considera explicitamente ambas as distribuições de dados.

Os autores enfatizam que sua abordagem não requer mudanças arquiteturais nos próprios métodos de VTP, permito que as técnicas de poda existentes sejam integradas perfeitamente como plugins no pipeline de treinamento.