💻 computer science

ClustViT: Clustering-based Token Merging for Semantic Segmentation

ClustViT aborda la complejidad cuadrática de los Transformadores de Visión en la segmentación semántica mediante la introducción de un módulo de Agrupamiento entrenable que fusiona tokens similares guiados por pseudo-agrupamientos y un módulo Regenerador que restaura los detalles finos, logrando una eficiencia computacional significativa y una inferencia más rápida sin comprometer la precisión.

Autores originales: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Publicado 2026-05-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando describir un cuadro complejo a un amigo por teléfono. El cuadro tiene un cielo azul enorme y aburrido, unos pocos árboles distintos y un pájaro diminuto y detallado.

Un "Vision Transformer" estándar (el modelo de IA que este artículo mejora) intenta describir cada pulgada cuadrada de ese cuadro con el mismo nivel de detalle. Dedica tanto tiempo y capacidad cerebral a describir el cielo azul vacío como al pájaro diminuto. Esto es increíblemente preciso, pero también es lento y consume mucha energía; es como intentar llevar una mochila pesada llena de piedras solo para caminar hasta el buzón.

Los autores de este artículo, ClustViT, se preguntaron: "¿Por qué describir cada píxel si ya sabemos qué partes son iguales?".

Así es como funciona su solución, desglosada en pasos sencillos:

1. El Problema: Demasiado Ruido

Los modelos de IA actuales para la "segmentación semántica" (que es simplemente una forma elegante de decir "etiquetar cada píxel en una imagen") son excelentes reconociendo cosas. Pero son lentos porque tratan cada parte de la imagen como igualmente importante. Si eres un robot intentando conducir por un campo, no necesitas analizar cada hoja de hierba individualmente; solo necesitas saber "esto es hierba".

2. La Solución: La Estrategia de "Agrupación"

Los autores crearon un nuevo sistema llamado ClustViT. Piensa en ello como un editor inteligente que mira la imagen y dice: "Vale, estos 100 píxeles son simplemente 'cielo', así que agrupémoslos y tratémoslos como una sola pieza de información".

Lo hacen utilizando dos herramientas especiales dentro del cerebro de la IA:

El Módulo de Agrupación (La Herramienta de Agrupación):
Imagina que tienes una pila de ladrillos de Lego mezclados. En lugar de mirar cada ladrillo individualmente, los ordenas rápidamente en cubos: "Rojos", "Azules" y "Piezas Especiales".
En la IA, este módulo mira la imagen y utiliza una "chuleta" (aprendida de las etiquetas de verdad fundamental) para encontrar píxeles que pertenecen a la misma categoría semántica (como "agua" o "hierba"). Fusiona todos esos píxeles similares en un único token representativo.
- El Resultado: La IA ahora tiene que procesar 100 píxeles como si fueran solo 1. Esto hace que las matemáticas sean mucho más rápidas.
El Módulo Regenerador (El Restaurador de Detalles):
Aquí está la parte complicada: Si solo fusionas los píxeles, pierdes los detalles finos necesarios para dibujar la imagen final perfectamente.
Así que, después de que la IA realiza su procesamiento rápido y agrupado, el Regenerador interviene. Toma esa única pieza de información "agrupada" y dice: "Vale, sé que esto representa el cielo, así que lo expandiré de nuevo para llenar el espacio original".
- El Resultado: La IA obtiene la velocidad del grupo, pero la salida final sigue pareciendo que tiene todos los detalles finos originales.

3. La "Chuleta" (Pseudo-Agrupaciones)

¿Cómo sabe la IA qué píxeles agrupar? Utiliza un truco de entrenamiento ingenioso. Durante el entrenamiento, se muestra a la IA la "respuesta correcta" (el mapa perfecto de la imagen). Utiliza este mapa para crear una guía de "pseudo-agrupación". Aprende: "Oh, veo que todos estos píxeles están etiquetados como 'agua', así que debería fusionarlos". Aprende a agrupar cosas basándose en el significado, no solo en la similitud aleatoria.

4. Los Resultados: Más Rápido, Más Ligero, Aún Inteligente

Los autores probaron esto en tres tipos diferentes de imágenes:

ADE20K: Una mezcla de escenas interiores y exteriores (muy complejas).
SUIM: Escenas submarinas (mayoritariamente agua, algunos objetos).
RumexWeeds: Campos agrícolas (mayoritariamente hierba/malezas).

¿Qué pasó?

Velocidad: El nuevo modelo fue hasta 1.64 veces más rápido que el modelo estándar.
Eficiencia: Utilizó hasta 2.18 veces menos potencia de cálculo (energía).
Precisión: Se mantuvo casi tan preciso como el modelo lento y pesado.

El Punto Dulce:
El artículo señala que esto funciona mejor en escenarios "robóticos" donde hay mucho fondo (como un robot mirando un campo o bajo el agua). En estos casos, la IA puede fusionar grandes trozos de "fondo" en tokens únicos, ahorrando cantidades masivas de energía. En imágenes muy caóticas y complejas, los ahorros son menores, pero el modelo sigue funcionando bien.

Resumen

ClustViT es como un asistente inteligente que se da cuenta de que, al describir una habitación, no necesitas listar cada grano de polvo en el suelo. Puedes decir "el suelo" (agrupando el polvo) y luego hacer zoom solo en los muebles importantes. Esto hace que la descripción sea mucho más rápida de generar, pero el oyente aún obtiene una imagen clara de la habitación.

Esto permite a los robots "ver" y entender su mundo mucho más rápido y con menos energía de la batería, sin perder la capacidad de detectar detalles importantes.

1. Enunciado del Problema

Los Transformadores de Visión (ViT) han logrado un rendimiento de vanguardia en visión por computadora, pero sufren de complejidad computacional cuadrática en relación con el tamaño de la entrada. Si bien las técnicas de poda y fusión de tokens (recolección de tokens) han reducido con éxito los costos para la clasificación de imágenes, tienen dificultades en la segmentación semántica (una tarea de predicción densa).

El Conflicto: La clasificación puede descartar tokens "irrelevantes", pero la segmentación requiere preservar los detalles espaciales de cada píxel para garantizar la compatibilidad con las cabezas decodificadoras estándar.
La Brecha: Los métodos existentes a menudo dependen de la similitud de bajo nivel de los tokens o de una compresión estructurada de tamaño fijo (por ejemplo, fusionar solo parches de $2\times2$ ), lo que falla al adaptarse al contenido semántico de la imagen o generaliza mal a tareas de predicción densa.

2. Metodología: ClustViT

Los autores proponen ClustViT, una arquitectura que integra un módulo de Agrupamiento entrenable y un módulo Regenerador en una columna vertebral (backbone) ViT estándar. La innovación central es utilizar información semántica derivada de máscaras de segmentación de verdad fundamental para guiar la fusión de tokens, en lugar de la simple proximidad de píxeles.

A. Descripción General de la Arquitectura

Columna Vertebral ViT Estándar: El proceso comienza como un ViT estándar, dividiendo la imagen en parches y proyectándolos en tokens.
Módulo de Agrupamiento (Punto de Inyección): En una capa predefinida ($ip$) dentro del codificador, una red neuronal multicapa (MLP) ligera predice asignaciones de agrupamiento para cada token.
- Pseudo-Agrupamientos: Durante el entrenamiento, el modelo utiliza máscaras de verdad fundamental para generar "pseudo-agrupamientos". Si todos los píxeles de un parche pertenecen a la misma clase semántica, el parche se asigna a ese ID de clase; de lo contrario, se marca como mixto (0).
- Fusión: Los tokens asignados al mismo agrupamiento se agregan en un único token representativo (mediante pooling de medias). Los tokens en regiones complejas o mixtas permanecen sin agrupar para preservar el detalle.
- Resultado: La longitud de la secuencia se reduce, disminuyendo el costo computacional de las capas subsiguientes del Transformador.
Módulo Regenerador: Después de la capa final del codificador, la secuencia comprimida debe restaurarse a la resolución original para el decodificador.
- El módulo utiliza las asignaciones de agrupamiento almacenadas para expandir los tokens representativos de vuelta a sus posiciones originales.
- Una MLP de refinamiento reconstruye las características de grano fino, asegurando que la secuencia de salida coincida con la longitud de entrada y sea compatible con cabezas de segmentación estándar (por ejemplo, Segmenter, UPerNet).

B. Estrategia de Entrenamiento

Pérdida de Doble Tarea: El modelo se entrena de extremo a extremo con una función de pérdida combinada:
$L = L_{segm} + \lambda L_{clust}$
- $L_{segm}$ : Pérdida estándar de entropía cruzada para segmentación semántica.
- $L_{clust}$ : Pérdida de entropía cruzada que fuerza al módulo de agrupamiento a predecir los pseudo-agrupamientos derivados de la máscara de verdad fundamental.
- $\lambda$ : Un hiperparámetro de equilibrio (establecido en 0.1 en los experimentos).

3. Contribuciones Clave

Fusión de Tokens Guiada por Semántica: A diferencia de los métodos anteriores que fusionan basándose en similitud visual o cuadrículas fijas, ClustViT fusiona tokens basándose en el contenido semántico (derivado de máscaras de segmentación), permitiendo una compresión no estructurada y adaptable al contenido.
Columna Vertebral Entrenable de Extremo a Extremo: El componente de agrupamiento se integra directamente en la columna vertebral ViT y se entrena conjuntamente con la tarea de segmentación, eliminando la necesidad de redes de políticas separadas o pasos de preentrenamiento.
Regenerador para Predicción Densa: La introducción de un módulo Regenerador resuelve el problema de compatibilidad, permitiendo que las representaciones de tokens comprimidas se restauren completamente para cabezas de predicción densa sin perder resolución espacial.
Compensación Eficiencia-Precisión: El método reduce significativamente el costo computacional (GFLOPs) y el tiempo de inferencia mientras mantiene una precisión competitiva, particularmente en escenarios con grandes áreas de fondo comunes en robótica.

4. Resultados Experimentales

Los autores evaluaron ClustViT en tres conjuntos de datos: ADE20K (escenas generales), SUIM (robótica submarina) y RumexWeeds (robótica agrícola). Compararon contra un ViT estándar y el método de vanguardia de Compartición de Tokens Consciente del Contenido (CTS).

Métricas de Rendimiento:
- Eficiencia Computacional: Logró hasta 2.18× menos GFLOPs y una inferencia 1.64× más rápida (imágenes por segundo) en comparación con el ViT base.
- Precisión: Mantuvo una precisión de segmentación comparable (mIoU). En ADE20K, la mejor configuración (ClustViT-bk3,ip3) logró una aceleración de 1.47× con una caída de solo ~1.66 puntos de mIoU.
- Escenarios de Robótica: El método destacó en conjuntos de datos con grandes áreas de fondo (SUIM y RumexWeeds). Por ejemplo, en RumexWeeds, logró ganancias de 1.54× FPS y 2.12× GFLOP mientras mejoraba ligeramente el mIoU sobre la línea base.
Estudios de Ablación:
- Número de Agrupamientos ( $k$ ): Aumentar $k$ (más agrupamientos) mejora la velocidad pero reduce la precisión a medida que se fusionan más detalles. $k=3$ ofreció el mejor equilibrio.
- Punto de Inyección ($ip$): Comprimir más temprano en la red ($ip=2$) maximizó la velocidad pero perjudicó la precisión. Un punto de inyección intermedio ($ip=3 $o$ 4$) proporcionó la compensación óptima.
- Escala del Modelo: Las ganancias de eficiencia fueron más pronunciadas en modelos más grandes (Base/Large), donde la sobrecarga del MLP de agrupamiento fue insignificante en comparación con los ahorros en el cálculo de atención.

5. Significado e Impacto

Aplicabilidad en Robótica: El artículo aborda un cuello de botella crítico para el despliegue de ViT en sistemas robóticos del mundo real (por ejemplo, agricultura autónoma, exploración submarina) donde los recursos computacionales son limitados y las escenas a menudo contienen grandes fondos uniformes.
Cambio de Paradigma: Demuestra que la compresión de tokens en predicción densa no requiere sacrificar la fidelidad espacial si la fusión está guiada por la comprensión semántica en lugar de solo la similitud visual.
Generalizabilidad: Al soportar cabezas decodificadoras estándar (Segmenter y UPerNet), ClustViT ofrece un reemplazo directo para columnas vertebrales ViT existentes, haciéndolo altamente práctico para la comunidad más amplia de visión por computadora.

En conclusión, ClustViT cierra con éxito la brecha entre la alta precisión de los Transformadores de Visión y los requisitos de eficiencia de la percepción robótica en tiempo real mediante la introducción de un mecanismo de fusión de tokens entrenable y consciente de la semántica.