🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

El artículo presenta ClustRS, un algoritmo libre de entrenamiento que combina la agrupación ponderada por atención y la reducción de ruido por contracción de residuos, el cual reduce significativamente los tokens visuales hasta en un 97% al tiempo que mejora la robustez ante el ruido de imagen y mantiene o mejora el rendimiento en evaluaciones de VLM como ScienceQA-IMG y MM-VET.

Autores originales: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Publicado 2026-08-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una computadora que puede ver una fotografía y luego responder preguntas sobre ella, describir una escena o resolver un acertijo basado en lo que ve. Esta es la promesa de los modelos visuales-lingüísticos modernos, un tipo de inteligencia artificial que combina la capacidad de comprender imágenes con la capacidad de generar texto similar al humano. Para que estos sistemas funcionen, primero deben traducir una imagen en una larga lista de bloques de construcción digitales, llamados tokens, que el cerebro de la computadora luego procesa para formar una respuesta. Cuanto más detallada es la imagen, más larga se vuelve esta lista. Si bien esto permite una gran precisión, crea un cuello de botella masivo: procesar cientos de estos tokens requiere una potencia de cómputo enorme, lo que dificulta la ejecución de estos sistemas inteligentes en dispositivos más pequeños como teléfonos inteligentes o drones. Los investigadores han buscado durante mucho tiempo formas de reducir esta lista, eliminando las partes innecesarias mientras mantienen las importantes, pero los métodos existentes suelen tener dificultades cuando las imágenes son imperfectas o ruidosas, que es como lucen la mayoría de las fotos del mundo real.

Un equipo de investigadores ha desarrollado un nuevo método ligero para resolver este problema sin necesidad de reentrenar los complejos modelos de IA desde cero. Su enfoque, al cual llaman ClustRS, actúa como un editor altamente eficiente para la lista de tokens de imagen. En lugar de simplemente elegir las partes más obvias de una imagen o intentar mantener una gran variedad de partes, su sistema primero agrupa piezas de información similares. Luego selecciona solo un representante de cada grupo, asegurando que la lista final cubra las diferentes ideas de la imagen sin repetirse. Crucialmente, este proceso de agrupación está diseñado para ignorar la "estática" visual o el ruido que a menudo plaga las fotos del mundo real, como el grano o el desenfoque, evitando que el sistema sea engañado por datos corruptos.

Después de seleccionar a los mejores representantes, el método aplica un segundo paso de refinamiento. Toma los tokens elegidos y suaviza suavemente el ruido dentro de ellos, utilizando las características promedio de su grupo para corregir cualquier error. Este proceso es completamente automático y no requiere entrenamiento adicional, lo que significa que puede aplicarse inmediatamente a los modelos existentes. Los investigadores probaron esta técnica en pruebas estándar que miden qué tan bien estos modelos pueden razonar sobre imágenes, incluyendo tareas que requieren describir escenas complejas o responder preguntas científicas. Encontraron que su método superó significativamente a las técnicas anteriores, especialmente cuando las imágenes estaban fuertemente distorsionadas por el ruido o cuando el número de tokens permitidos se reducía drásticamente. En las pruebas más extremas, donde el sistema fue forzado a trabajar con solo dieciséis tokens en lugar de los cientos habituales, su método mantuvo una alta precisión mientras otros fallaban, demostando que una forma más inteligente de seleccionar y limpiar la información es más valiosa que simplemente tener más datos.

El éxito de este enfoque resalta un cambio en cómo podríamos construir inteligencia artificial eficiente. En lugar de intentar hacer los modelos más grandes o complejos para manejar condiciones difíciles, los investigadores demostraron que un proceso simple de dos pasos de agrupación y limpieza puede hacer que los sistemas existentes sean mucho más robustos. Sus hallazgos sugieren que, para que estos modelos sean verdaderamente útiles en el mundo real, donde las imágenes rara vez son perfectas y la potencia de cómputo es a menudo limitada, el enfoque debe estar en la calidad y la resiliencia de la información que se procesa, no solo en la cantidad. Al demostrar que estas mejoras pueden lograrse sin el alto costo del reentrenamiento, este trabajo abre la puerta para desplegar inteligencia visual poderosa en una gama mucho más amplia de dispositivos cotidianos.

Resumen Técnico: Agrupamiento y Eliminación de Ruido de Tokens para VLMs más Rápidos y Robustos

Planteamiento del Problema

Los modelos de lenguaje-visión (VLMs) recientes, como LLaVA, han logrado resultados impresionantes integrando codificadores de visión preentrenados con Modelos de Lenguaje de Gran Escala (LLMs). Sin embargo, existe un cuello de botella significativo: los codificadores de visión suelen generar una gran cantidad de tokens visuales (por ejemplo, 576 o 729), lo que impone una carga computacional cuadrática sobre los mecanismos de autoatención del LLM. Esto dificulta su despliegue eficiente en dispositivos de borde (edge devices).

Aunque existen técnicas de poda de tokens para mitigar esto, enfrentan dos limitaciones principales:

Métodos basados en entrenamiento: Requieren un reentrenamiento costoso y cambios arquitectónicos especializados.
Métodos libres de entrenamiento: Aunque son ligeros, su rendimiento bajo ruido de imagen real (por ejemplo, ruido gaussiano, ruido de sal y pimienta) está poco explorado. Los selectores existentes libres de entrenamiento suelen depender únicamente de las puntuaciones de atención (lo que conduce a la redundancia y fragilidad ante el ruido) o únicamente de la diversidad (ignorando la saliencia de los tokens).

Los autores plantean dos preguntas críticas: ¿Qué tan severamente degrada el ruido al actual proceso de poda libre de entrenamiento, y se puede diseñar un selector ligero y resiliente al ruido sin necesidad de reentrenamiento?

Metodología: ClustRS

El artículo presenta ClustRS, un algoritmo de dos partes, libre de entrenamiento, diseñado para una poda de tokens robusta. Consiste en Agrupamiento + distancia de Huber (C + H) para la selección y Contracción de Residuos Robusta (RRS) para la eliminación de ruido.

1. Agrupamiento + Distancia de Huber (C + H)

Este componente aborda el equilibrio entre la saliencia y la diversidad de los tokens, garantizando al mismo tiempo la robustez ante valores atípicos causados por el ruido.

Agrupamiento Post-Proyección: A diferencia de los métodos que agrupan características CLIP puras, ClustRS agrupa los tokens después de la capa de proyección visión-lenguaje. Esto asegura que el agrupamiento ocurra en el espacio de incrustación semántica del LLM, reflejando su propia comprensión de las relaciones conceptuales.
Objetivo Ponderado por Atención: El objetivo de agrupamiento minimiza una distorsión dentro del grupo ponderada por la atención. Los tokens con puntuaciones de atención más altas ejercen una atracción más fuerte sobre los centroides de sus grupos, asegurando que las regiones salientes sean priorizadas.
Inicialización K-means++: El algoritmo utiliza una estrategia K-means++ consciente de la atención para sembrar los centroides, distribuyéndolos a través del espacio de características basándose tanto en la distancia como en las puntuaciones de atención.
Distancia de Huber: Para contrarrestar la sensibilidad de las distancias de error cuadrático estándar ante los valores atípicos inducidos por el ruido, la distancia euclídea se reemplaza con la distancia de Huber. Esta función de pérdida se comporta de forma cuadrática para residuos pequeños (preservando la formación de grupos compactos) pero de forma lineal para residuos grandes (evitando que los valores atípicos sesguen los centroides).

2. Contracción de Residuos Robusta (RRS)

La selección por sí sola no puede eliminar el ruido de los tokens restantes. RRS actúa como un paso de eliminación de ruido de una sola pasada sobre los tokens seleccionados.

Análisis de Residuos: Para cada token seleccionado $v_i$ en un grupo con centroide $c_j$ , el token se ve como la suma del centroide y un residuo ( $r_i = v_i - c_j$ ). Se asume que el residuo contiene la mayor parte de la varianza del ruido.
Contracción Adaptativa: Inspirado en el estimador de James-Stein, RRS contrae el vector del token hacia el centroide del grupo. El factor de contracción $\alpha_i$ es adaptativo, determinado por la relación entre la escala robusta del grupo (mediana de la norma del residuo) y la norma del residuo específico del token.
Preservación de la Semántica: La regla de actualización $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ es una combinación convexa que reduce la varianza sin renormalizar el vector, preservando así las estadísticas direccionales esperadas por el LLM.
Adaptación para SigLIP: Para los modelos basados en SigLIP (como LLaVA-OneVision), los autores introducen un término de saliencia consciente de la norma. Dado que los mapas de atención de SigLIP son más planos que los de CLIP, aumentan la puntuación de atención con la magnitud del vector de características (que codifica la saliencia en SigLIP) para restaurar una señal de clasificación dinámica.

Contribuciones Clave

Nuevo Agrupamiento Robusto (C + H): Un procedimiento de agrupamiento ponderado por la atención y libre de entrenamiento que utiliza la distancia de Huber para seleccionar representantes de tokens diversos pero salientes que son resilientes a los valores atípicos inducidos por el ruido.
Contracción de Residuos Robusta (RRS): Una mejora ligera de una sola pasada que atenúa selectivamente el componente de ruido de los tokens seleccionados en el espacio de características, preservando las direcciones semánticas y evitando cambios en la distribución.
Evaluación Exhaustiva: Demostración de que ClustRS logra ganancias consistentes en los benchmarks MM-VET y ScienceQA-IMG bajo una amplia gama de corrupciones gaussianas y de sal y pimienta, superando a los métodos libres de entrenamiento de vanguardia (FasterVLM, DivPrune, VisionZip), particularmente bajo compresión extrema ( $k=16$ tokens) y alto ruido.
Preparación para el Despliegue: Todo el flujo de trabajo es libre de entrenamiento y es compatible con las optimizaciones de inferencia existentes (por ejemplo, KV-cache, flash-attention), lo que lo hace inmediatamente desplegable. También se adapta a los nuevos backbones basados en SigLIP con modificaciones mínimas.

Resultados Experimentales

Los experimentos se realizaron en LLaVA-1.5-7B (basado en CLIP) y LLaVA-OneVision (basado en SigLIP) utilizando los benchmarks MM-VET (razonamiento de respuesta abierta) y ScienceQA-IMG (opción múltiple).

Compresión Extrema ( $k=16$ ): ClustRS superó a los baselines hasta en un 20% bajo condiciones de ruido extremo. En imágenes limpias de MM-VET, obtuvo una puntuación de 0.271, superando a FasterVLM (0.211) y DivPrune (0.232). Bajo ruido gaussiano severo ( $\sigma=3.0$ ), mantuvo una puntuación de 0.140, superando a todos los baselines.
Resiliencia al Ruido: ClustRS alcanzó consistentemente las puntuaciones más altas a través de diversas densidades de ruido para ruidos tanto gaussianos como de sal y pimienta, particularmente en regímenes de pocos tokens donde la redundancia es mínima.
Adaptación de SigLIP: En LLaVA-OneVision, la adaptación consciente de la norma permitió que ClustRS lograra una precisión limpia de 0.272 con solo 16 tokens, superando drásticamente a FasterVLM (0.138) y DivPrune (0.164).
Sobrecarga Computacional: El método añade un costo computacional insignificante (aproximadamente 1 ms de sobrecarga en una GPU A100 para $k=16$ ), lo que representa menos del 1.6% del tiempo de generación total de una respuesta típica.

Significado y Reivindicaciones

El artículo afirma que ClustRS ofrece una alternativa simple pero poderosa a las reglas de poda existentes que dependen únicamente de puntuaciones o diversidad. Al combinar el agrupamiento robusto con la contracción de residuos, el método aborda la brecha crítica entre la eficiencia computacional y la resiliencia al ruido.

Los autores enfatizan que su enfoque:

No requiere reentrenamiento, lo que lo hace adaptable a cambios de arquitectura.
Mejora la robustez ante diversas corrupciones (ruido aditivo e impulsivo) sin sacrificar el rendimiento en datos limpios.
Permite el despliegue en el borde mediante la reducción drástica de la cantidad de tokens (hasta un 97% de reducción) manteniendo o incluso mejorando la precisión.

El estudio concluye que, si bien los métodos de selección de tokens como C+H proporcionan representaciones robustas, existe potencial para trabajos futuros en el refinamiento de las estrategias de eliminación de ruido, particularmente para manejar tokens espacialmente distintos pero semánticamente similares que podrían ser descartados por el agrupamiento de características.