💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

O SepPrune é um framework livre de treinamento e plug-and-play que reduz eficientemente os custos computacionais em modelos de linguagem de grande escala multimodais ao usar tokens separadores de modalidade como consultas unificadas para podar 80,2% dos tokens de visão, mantendo 96,3% da precisão original.

Autores originais: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a ver e falar ao mesmo tempo. Este é o mundo dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs), as estrelas da IA que podem olhar para a foto de um pôr do sol e escrever um poema sobre ele, ou analisar um gráfico complexo e responder perguntas sobre ele. Para fazer isso, o robô não apenas "olha" para a imagem; ele a decompõe em milhares de minúsculas peças de quebra-cabeça digitais chamadas "tokens de visão". Pense nesses tokens como pixels individuais, mas muito mais inteligentes — eles carregam todos os detalhes da imagem.

No entanto, há um problema. Quando você alimenta o robô com uma foto de alta definição ou um vídeo longo, ele gera tantos desses tokens que o robô fica sobrecarregado. É como tentar ler uma biblioteca de livros de uma só vez; o processo torna-se lento, caro e ineficiente. Cientistas têm tentado corrigir isso tentando descobrir quais peças do quebra-cabeça são realmente importantes e quais são apenas excesso de informação. Alguns métodos tentam adivinhar a importância observando como o robô presta atenção às palavras, enquanto outros tentam encontrar peças duplicadas. Mas essas abordagens frequentemente ficam presas em sua própria complexidade, tornando o robô ainda mais lento enquanto tentam acelerá-lo. A grande questão permanece: como cortamos o excesso sem perder a imagem?

Apresentamos o SepPrune, um novo método que atua como um editor astuto para esses modelos de IA. Os pesquisadores por trás deste trabalho notaram algo fascinante enquanto observavam como esses modelos pensam. Eles descobriram que, nos estágios iniciais do processamento, o modelo presta uma enorme atenção a tokens "separadores" especiais — pequenos marcadores que ficam entre os dados da imagem e os dados do texto, atuando como uma ponte entre esses dois mundos. Acontece que esses separadores são a chave para entender a imagem.

Em vez de tentar calcular a importância de cada único token de visão comparando-os entre si (o que é lento e confuso), o SepPrune usa o token separador como uma consulta mestre. Imagine o separador como um guia turístico parado na entrada de um museu. Em vez de perguntar a cada pintura, "Você é importante?", o guia olha para toda a sala e aponta: "Você, você e você são as obras-primas; o resto pode esperar". Ao usar o separador para pontuar rapidamente os tokens de visão, o SepPrune pode identificar instantaneamente as peças mais informativas da imagem e descartar o restante.

Os resultados são impressionantes. Quando testado em modelos poderosos como o Qwen2.5-VL-7B, o SepPrune conseguiu descartar mais de 80% dos tokens de visão, mantendo ainda 96,3% da precisão original do modelo. Mesmo quando a poda foi levada ao extremo de uma redução de 90,2%, o modelo reteve 87,2% de seu desempenho. Este é um salto significativo em comparação com outros métodos, que frequentemente lutam para manter uma precisão tão alta ao realizar cortes tão profundos. Além disso, como este método não exige cálculos complexos entre cada token, ele é muito mais rápido e funciona perfeitamente com tecnologias de aceleração existentes.

Os pesquisadores também provaram que suas escolhas específicas importam. Eles mostraram que usar o token separador como o "guia" funciona melhor do que usar outras partes do texto, e que ignorar a "posição" dos tokens (onde eles se situam na imagem) durante o processo de seleção evita que o modelo mantenha acidentalmente apenas a metade inferior de uma imagem. Em suma, o SepPrune sugere que, ao ouvir a ponte entre a imagem e o texto, podemos tornar esses visionários de IA mais rápidos e eficientes sem cegá-los para os detalhes que realmente importam.

Resumo Técnico: SepPrune

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) recentes, como o Qwen2.5-VL e o InternVL3, utilizam estruturas de codificador de visão "any-res" que geram um número massivo de tokens de visão, particularmente ao processar entradas de alta resolução (ex: vídeos 4K/8K ou imagens de alta megapixel). Este volume de tokens excede significativamente o das entradas de texto, criando uma sobrecarga computacional e latência de inferência substanciais. Embora os métodos existentes de poda de tokens de visão visem mitigar isso, eles sofrem de limitações críticas:

Métodos baseados em atenção frequentemente dependem de escores de atenção cross-modal que interrompem o fluxo computacional, impedindo o uso de operadores de hardware eficientes como o FlashAttention, ou dependem de tokens arquiteturais específicos (ex: [CLS]) ausentes em backbones de visão modernos.
Métodos baseados em diversidade tipicamente incorrem em complexidade de tempo quadrática ( $O(N^2)$ ) para calcular matrizes de similaridade inter-token, o que paradoxalmente aumenta a latência e anula os ganhos de eficiência da poda.

Metodologia: SepPrune

Os autores propõem o SepPrune, um framework de poda de tokens de visão plug-and-play, livre de treinamento, que aproveita o papel intrínseco dos tokens separadores de modalidade. O método opera antes do backbone do LLM, garantindo compatibilidade com técnicas de aceleração como o FlashAttention.

Insights Principais

Através de uma análise das distribuições de atenção em modelos como o Qwen2.5-VL-7B, os autores observaram que:

Picos de Separador: Em camadas rasas, os escores de atenção de tokens de visão e texto atingem o pico nos tokens separadores de modalidade (tokens especiais que separam as modalidades visual e textual), em vez de em conteúdos visuais semanticamente ricos.
Função de Ponte: Estudos de ablação revelaram que a remoção dos tokens separadores causa uma degradação de desempenho significativamente maior do que a remoção de um número equivalente de tokens de visão ou texto, sugerindo que os separadores atuam como pontes cross-modais críticas para o alinhamento em estágio inicial.

Fluxo de Trabalho Algorítmico

O SepPrune utiliza o token separador como uma query unificada para avaliar tokens de visão sem alterar a arquitetura do LLM:

Query Unificada: O token separador localizado após a sequência de visão ( $S_{right}$ ) é usado como o vetor de Query ( $Q_{sep}$ ). Este token é escolhido porque, sob máscaras de atenção causal, é o único token capaz de atender ao conjunto completo de tokens de visão ( $K_{visual}$ ).
Eliminação de Viés: Para garantir que os tokens sejam classificados puramente por importância semântica em vez de localização espacial, o método omite explicitamente os Embeddings de Posição Rotativos (RoPE) durante a fase de pontuação. Isso evita que o modelo retenha preferencialmente tokens de regiões específicas da imagem (ex: a parte inferior) devido ao viés posicional.
Pontuação e Poda: Os escores de atenção são computados usando a fórmula:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Isso reduz a complexidade de $O(N^2)$ para $O(N)$ . Os top- $k$ tokens de visão mais informativos são retidos com base nesses escores, enquanto o restante é podado.
Reuso de Projeção: O método reutiliza os parâmetros de projeção integrados ( $q\_proj$ , $k\_proj$ ) da primeira camada do LLM, não exigendo parâmetros treináveis adicionais.

Principais Contribuições

Descoberta de Mecanismo: O artigo é o primeiro a revelar e validar o papel dos separadores de modalidade como pontes cross-modais em MLLMs, demonstrando sua importância crítica na fusão visão-linguagem em estágio inicial.
Nova Estratégia de Poda: Introdução do SepPrune, um método leve, livre de treinamento e plug-and-play que utiliza tokens separadores para avaliação global de tokens de visão.
Eficiência e Compatibilidade: O método alcança complexidade de tempo linear ( $O(N)$ ) e é totalmente compatível com frameworks de aceleração de inferência existentes (ex: FlashAttention) e gerenciamento de KV-cache, ao contrário de abordagens de atenção anteriores.

Resultados Experimentais

Os autores avaliaram o SepPrune no Qwen2.5-VL-7B e no InternVL3-8B através de 12 benchmarks cobrindo VQA geral, detecção de alucinação e VQA orientado a texto.

Retenção de Desempenho: No Qwen2.5-VL-7B, o SepPrune reteve 96,3% da precisão original enquanto podava 80,2% dos tokens de visão. Isso superou os baselines de estado da arte (FastV, DivPrune, CDPruner) por uma margem significativa (ex: superando o CDPruner em ~3 pontos percentuais com 80,2% de poda).
Compressão Extrema: Mesmo com uma razão de poda de 90,1%, o SepPr em manteve 87,2% do desempenho original, demonstrando robustez superior em tarefas densas de informação como TextVQA e ChartQA.
Generalização: Ganhos de desempenho semelhantes foram observados no InternVL3-8B, onde o SepPrune alcançou uma pontuação relativa de 93,1% com 80% de poda.
Eficiência: Testes empíricos em uma GPU NVIDIA H20 mostraram que o SepPrune alcançou a menor latência end-to-end (591,4s) comparado ao baseline não podado (760,4s) e outros métodos de poda, validando sua escalabilidade linear.

Significância e Alegações

O artigo afirma que o SepPrune aborda o gargalo de eficiência na inferência de MLLMs de alta resolução ao repensar o mecanismo de poda através da lente da interação de modalidades. Ao identificar o token separador como uma "query global" natural, o método evita o overhead computacional de cálculos de matriz de diversidade e as restrições arquiteturais de métodos baseados em atenção. Os autores asseguram que esta abordagem permite uma redução substancial do custo de inferência enquanto preserva um forte desempenho do modelo em diversas tarefas, oferecendo uma solução prática para implantar MLLMs em ambientes com recursos limitados.