💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune es un marco de trabajo libre de entrenamiento y plug-and-play que reduce eficientemente los costos computacionales en modelos de lenguaje grandes multimodales mediante el uso de tokens separadores de modalidad como consultas unificadas para podar el 80.2% de los tokens de visión mientras retiene el 96.3% de la precisión original.

Autores originales: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a ver y hablar al mismo tiempo. Este es el mundo de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM), las estrellas de la IA que pueden mirar la foto de un atardecer y escribir un poema sobre él, o analizar un gráfico complejo y responder preguntas al respecto. Para hacer esto, el robot no solo "mira" la imagen; la descompone en miles de diminutas piezas de rompecabezas digitales llamadas "tokens de visión". Piensa en estos tokens como píxeles individuales, pero mucho más inteligentes: portan todos los detalles de la imagen.

Sin embargo, hay un inconveniente. Cuando le proporcionas al robot una foto de alta definición o un video largo, este genera tantos de estos tokens que el robot se siente abrumado. Es como intentar leer una biblioteca de libros toda a la vez; el proceso se vuelve lento, costoso e ineficiente. Los científicos han estado tratando de solucionar esto intentando averiguar qué piezas del rompecabezas son realmente importantes y cuáles son solo estorbo. Algunos métodos intentan adivinar la importancia observando cómo el robot presta atención a las palabras, mientras que otros intentan encontrar piezas duplicadas. Pero estos enfoques a menudo se quedan estancados en su propia complejidad, ralentizando al robot incluso más mientras intentan acelerarlo. La gran pregunta sigue siendo: ¿cómo eliminamos el estorbo sin perder la imagen?

Presentamos SepPrune, un nuevo método que actúa como un editor ingenioso para estos modelos de IA. Los investigadores detrás de este trabajo notaron algo fascinante mientras observaban cómo estos modelos piensan. Descubrieron que, en las etapas iniciales del procesamiento, el modelo presta una enorme cantidad de atención a unos tokens "separadores" especiales: pequeños marcadores que se sitúan entre los datos de la imagen y los datos del texto, actuando como un puente entre estos dos mundos. Resulta que estos separadores son la clave para comprender la imagen.

En lugar de intentar calcular la importancia de cada uno de los tokens de visión comparándolos entre sí (lo cual es lento y desordenado), SepPrune utiliza el token separador como una consulta maestra. Imagina al separador como un guía turístico parado en la entrada de un museo. En lugar de preguntarle a cada pintura: "¿Eres importante?", el guía mira toda la sala y señala: "Tú, tú y tú son las obras maestras; el resto puede esperar". Al utilizar el separador para calificar rápidamente los tokens de visión, SepPrune puede identificar instantáneamente las piezas más informativas de la imagen y descartar el resto.

Los resultados son impresionantes. Al ser probado en modelos potentes como Qwen2.5-VL-7B, SepPrune logró desechar más del 80% de los tokens de visión manteniendo un 96.3% de la precisión original del modelo. Incluso cuando la poda se llevó al extremo de una reducción del 90.2%, el modelo retuvo el 87.2% de su rendimiento. Este es un salto significativo en comparación con otros métodos, que a menudo luchan por mantener una precisión tan alta cuando realizan recortes tan profundos. Además, debido a que este método no requiere cálculos complejos entre cada token, es mucho más rápido y funciona a la perfección con las tecnologías de aceleración existentes.

Los investigadores también demostraron que sus elecciones específicas importan. Mostraron que usar el token separador como el "guía" funciona mejor que usar otras partes del texto, y que ignorar la "posición" de los tokens (dónde se encuentran en la imagen) durante el proceso de selección evita que el modelo mantenga accidentalmente solo la mitad inferior de una imagen. En resumen, SepPrune sugiere que, al escuchar el puente entre la imagen y el texto, podemos hacer que estos visionarios de la IA sean más rápidos y eficientes sin cegarlos ante los detalles que realmente importan.

Resumen Técnico: SepPrune

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño multimodales (MLLM) recientes, como Qwen2.5-VL e InternVL3, utilizan estructuras de codificador de visión "any-res" que generan una cantidad masiva de tokens de visión, particularmente al procesar entradas de alta resolución (por ejemplo, videos 4K/8K o imágenes de muchos megapíxeles). Este volumen de tokens supera significamente al de las entradas de texto, creando una sobrecarga computacional sustancial y latencia de inferencia. Aunque los métodos existentes de poda de tokens de visión buscan mitigar esto, sufren de limitaciones críticas:

Los métodos basados en la atención a menudo dependen de puntuaciones de atención transmodal que interrumpen el flujo computacional, impidiendo el uso de operadores de hardware eficientes como FlashAttention, o dependen de tokens arquitectónicos específicos (por ejemplo, [CLS]) ausentes en los backbones de visión modernos.
Los métodos basados en la diversidad suelen incurrir en una complejidad temporal cuadrática ( $O(N^2)$ ) para calcular matrices de similitud entre tokens, lo que paradójicamente aumenta la latencia y anula las ganancias de eficiencia de la poda.

Metodología: SepPrune

Los autores proponen SepPrune, un marco de poda de tokens de visión plug-and-play y libre de entrenamiento que aprovecha el rol intrínseco de los tokens separadores de modalidad. El método opera antes del backbone del LLM, asegurando la compatibilidad con técnicas de aceleración como FlashAttention.

Percepciones Principales (Core Insights)

A través de un análisis de las distribuciones de atención en modelos como Qwen2.5-VL-7B, los autores observaron que:

Picos del Separador: En las capas superficiales, las puntuaciones de atención de los tokens de visión y de texto alcanzan su punto máximo en los tokens separadores de modalidad (tokens especiales que separan las modalidades visual y textual), en lugar de en contenido visual semánticamente rico.
Función de Puente: Los estudios de ablación revelaron que eliminar los tokens separadores causa una degradación del rendimiento significativamente mayor que eliminar un número equivalente de tokens de visión o de texto, lo que sugiere que los separadores actúan como puentes transmodales críticos para la alineación en etapas tempranas.

Flujo de Trabajo Algorítmico

SepPrune utiliza el token separador como una consulta (query) unificada para evaluar los tokens de visión sin alterar la arquitectura del LLM:

Consulta Unificada: El token separador ubicado después de la secuencia de visión ( $S_{right}$ ) se utiliza como el vector de Consulta ( $Q_{sep}$ ). Este token es elegido porque, bajo máscaras de atención causal, es el único token capaz de atender al conjunto completo de tokens de visión ( $K_{visual}$ ).
Eliminación de Sesgo: Para asegurar que los tokens se clasifiquen únicamente por importancia semántica y no por su ubicación espacial, el método omite explícitamente los Embeddings de Posición Rotatorios (RoPE) durante la fase de puntuación. Esto evita que el modelo retenga preferentemente tokens de regiones de la imagen específicas (por ejemplo, la parte inferior) debido al sesgo posicional.
Puntuación y Poda: Las puntuaciones de atención se calculan utilizando la fórmula:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Esto reduce la complejidad de $O(N^2)$ a $O(N)$ . Se retienen los top- $k$ tokens de visión más informativos basados en estas puntuaciones, mientras que el resto es podado.
Reutilización de Proyección: El método reutiliza los parámetros de proyección integrados ( $q\_proj$ , $k\_proj$ ) de la primera capa del LLM, lo que no requiere parámetros aprendibles adicionales.

Contribuciones Clave

Descubrimiento de Mecanismo: El artículo es el primero en revelar y validar el papel de los separadores de modalidad como puentes transmodales en los MLLM, demostrando su importancia crítica en la fusión visión-lenguaje de etapa temprana.
Estrategia de Poda Novedosa: Introducción de SepPrune, un método ligero, libre de entrenamiento y plug-and-play que utiliza tokens separadores para la evaluación global de tokens de visión.
Eficiencia y Compatibilidad: El método logra una complejidad temporal lineal ( $O(N)$ ) y es totalmente compatible con los marcos de aceleración de inferencia existentes (por ejemplo, FlashAttention) y la gestión de KV-cache, a diferencia de otros enfoques basados en la atención.

Resultados Experimentales

Los autores evaluaron SepPrune en Qwen2.5-VL-7B e InternVL3-8B a través de 12 benchmarks que cubren VQA general, detección de alucinaciones y VQA orientado a texto.

Retención de Rendimiento: En Qwen2.5-VL-7B, SepPrune retuvo el 96.3% de la precisión original mientras podaba el 80.2% de los tokens de visión. Esto superó a los baselines de vanguardia (FastV, DivPrune, CDPruner) por un margen significativo (por ejemplo, superando a CDPruner por ~3 puntos porcentuales con un 80.2% de poda).
Compresión Extrema: Incluso con una tasa de poda del 90.1%, SepPrune mantuvo el 87.2% del rendimiento original, demostrando una robustez superior en tareas con alta densidad de información como TextVQA y ChartQA.
Generalizabilidad: Se observaron ganancias de rendimiento similares en InternVL3-8B, donde SepPrune alcanzó un puntaje relativo de 93.1% con un 80% de poda.
Eficiencia: Pruebas empíricas en una GPU NVIDIA H20 mostraron que SepPrune logró la latencia de extremo a extremo más baja (591.4s) en comparación con el baseline sin podar (760.4s) y otros métodos de poda, validando su escalabilidad lineal.

Significado y Reivindicaciones

El artículo afirma que SepPrune aborda el cuello de botella de la eficiencia en la inferencia de MLLM de alta resolución mediante el replanteamiento del mecanismo de poda a través de la lente de la interacción de modalidades. Al identificar el token separador como una "consulta global" natural, el método evita la sobrecarga computacional de los cálculos de matrices basados en la diversidad y las restricciones arquitectónicas de los métodos basados en la atención. Los autores sostienen que este enfoque permite una reducción sustancial del costo de inferencia preservando un fuerte rendimiento del modelo en diversas tareas, ofreciendo una solución práctica para el despliegue de MLLM en entornos con recursos limitados.