CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

Resumen Técnico: CLIP Engaña: Poda de Tokens sin Entrenamiento para la Anclaje de Píxeles Eficiente en Modelos Grandes de Visión y Lenguaje

Enunciado del Problema
Los Modelos Grandes de Visión y Lenguaje (LVLM) enfrentan una sobrecarga computacional significativa debido al enorme volumen de tokens visuales que procesan, los cuales a menudo superan en gran medida a los tokens de texto (por ejemplo, 576 tokens visuales frente a <100 tokens de texto en LLaVA). Aunque los métodos recientes de poda de tokens han reducido con éxito esta carga para tareas generales de comprensión de imágenes, tienen dificultades con las tareas de anclaje de píxeles, como la segmentación de expresiones de referencia. Los enfoques existentes suelen depender de la importancia visual agnóstica al texto (por ejemplo, similitud con un token global [CLS]) o asumen que una alta similitud visual-textual indica relevancia. Sin embargo, los autores observan que estos métodos no logran preservar los tokens dentro de las regiones de referencia específicas definidas por el texto de entrada, lo que conduce a un rendimiento degradado en la segmentación.

Metodología: LiteLVLM
El artículo introduce LiteLVLM, una estrategia de poda de tokens guiada por texto y sin entrenamiento, diseñada específicamente para un anclaje de píxeles eficiente. El método se basa en un análisis profundo del modelo CLIP, revelando dos fenómenos críticos:

1. Inversión de la Similitud Visual-Textual: Contrario a la intuición, los tokens visuales ubicados dentro de las regiones de referencia (los objetos descritos por el texto) exhiben una baja similitud con la representación del texto (específicamente el token [EOS]) en CLIP. Por el contrario, los tokens con alta similitud a menudo corresponden al fondo o al contexto global. Esto se atribuye al preentrenamiento contrastivo de CLIP, que alinea los incrustaciones globales pero deja los detalles locales de los objetos menos alineados con el vector de texto global.
2. Sumidero de Atención del Texto: El análisis revela que el token [EOS] en CLIP exhibe un fuerte sesgo de "sumidero de atención", dirigiendo la mayor parte de su atención hacia el token [SOS] (inicio de oración) en lugar del contenido semántico de la expresión de referencia. Esta falta de un enfoque semántico rico en el token [EOS] exacerba la inversión de similitud.

Basándose en estas ideas, LiteLVLM emplea un proceso de selección de dos etapas:

• Selección Consciente de la Similitud: En lugar de retener tokens de alta similitud, LiteLVLM selecciona tokens visuales con la menor similitud al token [EOS]. Se ha encontrado empíricamente que estos tokens están alineados espacialmente con las regiones de referencia, preservando pistas locales cruciales para el anclaje.
• Recuperación Consciente del Contexto: Para evitar la pérdida del contexto global y la información de fondo necesaria para una separación clara entre primer plano y fondo, el método recupera tokens adicionales basándose en su contribución al token [CLS] (medida mediante vectores de valor ponderados por atención).
• Selección Adaptativa: Una estrategia adaptativa equilibra dinámicamente el presupuesto entre tokens conscientes de la similitud (baja similitud) y tokens conscientes del contexto según el texto de entrada, asegurando un rendimiento óptimo en diversas expresiones de referencia.

Contribuciones Clave

1. Identificación de un Defecto Crítico: Los autores demuestran que los métodos de poda agnósticos al texto existentes y aquellos que dependen de una alta similitud visual-textual tienen un rendimiento deficiente en el anclaje de píxeles porque descartan los propios tokens necesarios para identificar la referencia.
2. Análisis de CLIP: El artículo proporciona un análisis novedoso de CLIP, descubriendo la inversión de la similitud visual-textual y el sesgo de sumidero de atención del token [EOS], explicando por qué las heurísticas de poda estándar fallan en tareas de anclaje.
3. LiteLVLM: La propuesta del primer método de poda de tokens sin entrenamiento específicamente adaptado para el anclaje de píxeles. Aprovecha las clasificaciones de similitud invertidas para retener tokens específicos de la referencia mientras recupera el contexto, sin requerir ajuste fino.

Resultados Experimentales
Se realizaron experimentos extensos en conjuntos de datos de imágenes y videos, incluyendo RefCOCO, RefCOCO+, RefCOCOg, Ref-DAVIS-17 y Refer-YouTube-VOS.

• Retención del Rendimiento: LiteLVLM supera significativamente a los métodos más avanzados (por ejemplo, TRIM, LLaVA-PruMerge, VisPruner). En el conjunto de pruebas RefCOCO+, retiene el 90.3% del rendimiento original mientras poda el 66.7% de los tokens visuales (reduciendo de 576 a 192 tokens). Incluso con una reducción del 88.9% (64 tokens), mantiene una puntuación de rendimiento relativo del 79.2%, superando a los competidores en más del 10%.
• Anclaje en Video: En la segmentación de objetos en video, LiteLVLM preserva el 99.5% del rendimiento original con una reducción de tokens del 65.9%, demostrando robustez ante la redundancia temporal.
• Eficiencia: El método logra una aceleración de la inferencia del 22% y una reducción de 2.3× en la sobrecarga de memoria (almacenamiento de activaciones) en comparación con el modelo vanilla. También reduce los FLOPs en más de 2×.
• Generalización: El enfoque se generaliza efectivamente a diferentes arquitecturas de LVLM (por ejemplo, Qwen2.5-VL) y codificadores de visión (por ejemplo, SigLIP-2), confirmando que no está estrechamente acoplado a la implementación específica de CLIP utilizada en el análisis inicial.

Significado y Afirmaciones
El artículo afirma que LiteLVLM ofrece una solución práctica y rentable para desplegar LVLM en dispositivos con recursos limitados (dispositivos de borde, servidores limitados) sin comprometer la precisión del anclaje a nivel de píxel. Al invertir la intuición estándar sobre la importancia de los tokens en CLIP, el método permite una inferencia eficiente mientras mantiene una alta fidelidad en las tareas de segmentación. Los autores enfatizan que este es el primer trabajo que extiende la poda de tokens al anclaje de píxeles en ambas modalidades de imagen y video, logrando resultados de vanguardia sin ningún entrenamiento o ajuste fino.