💻 computer science

What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

El Transformador Qué-Dónde (WWT) introduce una arquitectura novedosa de Transformador de Visión basada en ranuras que desacopla explícitamente la apariencia del objeto y la ubicación espacial en flujos concurrentes de tokens y mapas de atención, permitiendo un descubrimiento de objetos zero-shot superior y una segmentación débilmente supervisada mediante capacidades de localización emergentes sin requerir procesamiento posterior adicional.

Autores originales: Ryota Yoshihashi, Masahiro Kada, Satoshi Ikehata, Rei Kawakami, Ikuro Sato

Publicado 2026-05-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ryota Yoshihashi, Masahiro Kada, Satoshi Ikehata, Rei Kawakami, Ikuro Sato

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando una escena de una calle concurrida. Tu cerebro hace dos cosas instantáneamente: identifica qué son las cosas (un autobús rojo, un perro, una persona) y dónde se encuentran ubicadas en la imagen.

Durante mucho tiempo, los modelos de visión por computadora (como el famoso "Vision Transformer" o ViT) fueron excelentes respondiendo "¿Qué es esto?", pero tuvieron dificultades con "¿Dónde está exactamente?". Tendían a mezclar estos dos conceptos, lo que hacía difícil localizar objetos específicos sin pasos adicionales y complicados.

Este artículo introduce un nuevo modelo llamado Transformador Qué-Dónde (WWT). Piensa en ello como una forma más inteligente para que una computadora observe una imagen, diseñada desde cero para mantener separados pero cooperando el "qué" y el "dónde".

Así es como funciona, usando analogías simples:

1. La Vieja Forma: El Token "Navaja Suiza"

En los modelos tradicionales (como ViT), la imagen se corta en pequeños cuadrados llamados "parches". Cada parche se convierte en un "token" (una nota digital). Estos tokens se comunican entre sí para entender la imagen completa.

El Problema: Es como darle a cada persona en una habitación llena un solo papel que contiene tanto su nombre como su ubicación. Cuando intentan compartir información, el nombre y la ubicación se mezclan. Si luego quieres encontrar solo la parte de la "ubicación", es un desorden y requiere mucho trabajo adicional para desenredarlo.

2. La Nueva Forma: El Equipo "Qué-Dónde"

El modelo WWT cambia el juego dividiendo al equipo en dos grupos especializados que trabajan lado a lado:

El Equipo "Qué" (Espacios): Son como detectives. Llevan la identidad de los objetos (por ejemplo, "Esto es un perro"). No les importan las coordenadas exactas; solo quieren saber qué están mirando.
El Equipo "Dónde" (Máscaras): Son como operadores de focos. Llevan la información de ubicación (por ejemplo, "El perro está en la esquina superior izquierda"). No les importa el nombre; solo quieren saber dónde dirigir la luz.

3. Cómo Hablan: El Baile de la "Atención Mutua"

En los modelos antiguos, las notas hablaban con todas las demás notas. En el WWT, los Detectives y los Operadores de Focos se comunican entre sí en un baile específico:

Los Detectives le preguntan a los Focos: "Oye, ¿a dónde estás mirando? Te diré qué veo allí".
Los Focos le preguntan a los Detectives: "Oye, ¿qué estás viendo? Te diré dónde apuntar mi luz".
Lo hacen una y otra vez a medida que se procesa la imagen. Esto asegura que el "Qué" permanezca limpio y el "Dónde" permanezca preciso.

4. El Resultado Mágico: Descubrimiento "Emergente"

La parte más emocionante de este artículo es lo que sucede cuando entrenan al modelo solo para identificar objetos (como decir "Esto es un perro") sin enseñarle a dibujar cajas alrededor de ellos.

La Sorpresa: Aunque solo le pidieron al modelo que dijera "Perro", los "Operadores de Focos" (las máscaras) aprendieron naturalmente a dibujar un contorno perfecto alrededor del perro.
La Analogía: Es como contratar a un chef para hacer un pastel. Solo le dices la receta (el "qué"), pero debido a cómo está configurada su cocina, también aprende accidentalmente exactamente cómo cortar el pastel perfectamente (el "dónde") sin que nunca se le haya dicho que lo haga.
Por qué importa: Por lo general, para encontrar objetos, necesitas una segunda máquina compleja (un decodificador) para interpretar los resultados. El WWT hace esto automáticamente. Puedes mirar el mapa de "focos" y literalmente te muestra dónde están los objetos.

5. Lo Que Probaron

Los investigadores probaron esto en un conjunto masivo de imágenes (ImageNet) y encontraron:

Precisión: Es tan bueno identificando objetos como los mejores modelos existentes.
Localización: Es mucho mejor mostrando dónde están los objetos, incluso sin entrenamiento adicional.
Versatilidad: Debido a que la información del "dónde" está integrada, pudieron usar fácilmente este modelo para tareas como dibujar cajas alrededor de automóviles o recortar personas de fondos, simplemente añadiendo una pequeña "cabeza" (un pequeño añadido) al modelo.

Resumen

El Transformador Qué-Dónde es un nuevo tipo de sistema de visión por IA que deja de mezclar "qué es algo" con "dónde está". Al tratar estos como dos equipos separados pero cooperativos, el modelo aprende naturalmente a señalar objetos en una imagen simplemente aprendiendo a nombrarlos. Es una forma más simple y eficiente de enseñar a las computadoras a ver el mundo, facilitando su uso en tareas como encontrar objetos perdidos, conducir automóviles o analizar imágenes médicas (aunque el artículo se centra en el descubrimiento general de objetos, no en aplicaciones médicas específicas).

Resumen Técnico: Transformer Qué-Dónde (WWT)

Enunciado del Problema
Las tareas actuales de comprensión de imágenes requieren identificar "qué" está presente (clasificación) y "dónde" aparece (localización). Si bien los Transformadores de Visión (ViT) sobresalen en clasificación, sus capacidades de localización suelen ser limitadas. En los ViT estándar, los mapas de atención están implícitamente entrelazados con las representaciones de los tokens; sirven únicamente para actualizar los tokens dentro de un bloque y son inmediatamente absorbidos, careciendo de una estructura espacial persistente. En consecuencia, los mapas de atención del codificador a menudo sufren de activaciones ruidosas, límites vagos y una interpretación semántica limitada, lo que dificulta su transferencia a tareas de localización posteriores como el descubrimiento de objetos o la segmentación sin un post-procesamiento complejo o decodificadores específicos de la tarea. Los autores postulan que el diseño centrado en tokens de los ViT suprime la separación explícita entre el contenido semántico y la ubicación espacial.

Metodología
Los autores proponen el Transformer Qué-Dónde (WWT), una columna vertebral visual estilo ViT que impone explícitamente un sesgo inductivo de separación "qué-dónde" a lo largo de toda la red.

Arquitectura de Doble Flujo: A diferencia de los ViT estándar que procesan un único flujo de tokens, el WWT mantiene dos flujos concurrentes:
1. Flujo Qué: Una secuencia de vectores de características (ranuras) que representan la semántica de los objetos.
2. Flujo Dónde: Una secuencia de mapas de atención (máscaras) que representan las ubicaciones espaciales.
Atención Mutua (µAttn): El bloque fundamental es una novedosa capa de atención mutua donde los tokens y las ranuras interactúan mediante un mecanismo de producto punto. Esta capa facilita la comunicación bidireccional: los tokens actualizan las ranuras basándose en la relevancia espacial, y las ranuras actualizan los tokens basándose en el contexto semántico. Crucialmente, los mapas de atención ( $A$ ) no se descartan, sino que se propagan y refinan a través de las capas.
Representación Ranura-Máscara: Cada entidad visual se representa como un par de un vector de características (ranura) y una máscara suave. La red consta de bloques WWT apilados donde las Redes Neuronales de Capas Densas (MLP) procesan tokens, ranuras y máscaras. Se introduce un diseño específico de "MLP-sobre-atención" ( $MLP_A$ ) para refinar los mapas de atención utilizando sesgos condicionados por la entrada, lo que ayuda a eliminar activaciones de fondo espurias.
Conectividad: El WWT reemplaza la auto-atención global de token a token del ViT con una comunicación bipartita mediada por ranuras. Los tokens se comunican únicamente a través de las ranuras, obligando a la red a vincular parches locales con ranuras informativas. Esto reduce la complejidad computacional para entradas de alta resolución y propaga explícitamente los estados de localización.
Entrenamiento y Cabezas: El modelo se preentrena en ImageNet-1k utilizando una cabeza de clasificación y una cabeza auxiliar de autoencriptación (para fomentar que las máscaras agrupen regiones reconstruibles). Para tareas posteriores, los pares ranura-máscara sirven como la representación de la imagen:
- Clasificación: Las ranuras se clasifican y se promedian las predicciones globales de clase.
- Segmentación: Las máscaras se aumentan de tamaño y se combinan con las clasificaciones de las ranuras para generar mapas de etiquetas.
- Descubrimiento/Detección de Objetos: Las máscaras se binarizan o se utilizan para agregar coordenadas para la regresión de cajas, a menudo requiriendo poco o ningún entrenamiento adicional.

Contribuciones Clave

Principio de Diseño: El artículo enmarca la "separación qué-dónde" como un sesgo inductivo crítico, estableciendo un diseño donde los tokens representan la semántica ("qué") y los mapas de atención representan la localización ("dónde").
Arquitectura: Los autores desarrollan el WWT, una columna vertebral que reemplaza la auto-atención densa de token a token con una atención mutua mediada por ranuras, propagando explícitamente los estados de localización a través de las capas sin un decodificador separado.
Descubrimiento Emergente de Múltiples Objetos: Bajo supervisión de clasificación de etiqueta única, el WWT exhibe un comportamiento emergente donde los mapas de atención se descomponen naturalmente en múltiples regiones de objetos. Esto permite el descubrimiento de objetos en cero disparos directamente desde los mapas de atención crudos, evitando la necesidad de post-procesamiento de agrupamiento de tokens.
Versatilidad Posterior: Debido al mecanismo de localización incrustado, el WWT puede adaptarse a diversas tareas (segmentación, detección, descubrimiento) con modificaciones arquitectónicas mínimas, sirviendo como base para modelos generalistas compactos.

Resultados

Clasificación y Explicabilidad: En ImageNet-1k, el WWT logra una precisión Top-1 comparable a DeiT (por ejemplo, 71.3% vs 72.2% para modelos Tiny). Sin embargo, supera significativamente a DeiT en métricas de explicabilidad (Drop y Increase), lo que indica que sus mapas de atención son más válidos para la atribución de clasificación.
Segmentación Débilmente Supervisada: En ImageNet-S 50, el WWT logra una Intersección sobre Unión media (mIoU) del 49.1% utilizando salidas de máscaras crudas, superando a DeiT con Rollout (35.9%) y a métodos basados en ResNet (45.2%).
Descubrimiento de Objetos en Cero Disparos: En el descubrimiento de un solo objeto (VOC12), el WWT alcanza un CorLoc del 41.4%, superando a las variantes de DeiT y acercándose a métodos auto-supervisados fuertes como DINOv2. En el descubrimiento de múltiples objetos, el WWT demuestra una mayor recuperación y la capacidad de detectar múltiples objetos sin sobre-segmentación, un modo de fallo común en enfoques basados en agrupamiento.
Descubrimiento No Supervisado: En un entorno de destilación estilo DINOSAUR, el WWT logra resultados competitivos (mBOi del 37.5% en VOC12) sin requerir un módulo de Atención de Ranuras separado, lo que sugiere que la propia columna vertebral internaliza el enlace de objetos.
Ajuste Fino Supervisado: Con cabezas de tarea mínimas, el WWT logra un 63.1% de mAP en la detección de VOC07 y un 61.3% de mIoU en la segmentación de VOC12, superando a las líneas base basadas en tokens y acercándose al rendimiento de DETR.

Significado y Afirmaciones
El artículo afirma que el WWT revive con éxito el concepto clásico de separación "qué-dónde" dentro de las arquitecturas Transformer modernas. Al tratar los mapas de atención como ciudadanos de primera clase (representando "dónde") en lugar de estados intermedios transitorios, el modelo aprende representaciones posicionales explícitas incluso cuando se preentrena únicamente en tareas de clasificación. Los autores argumentan que este enfoque simplifica la necesidad de decodificadores específicos de la tarea y mejora la transferibilidad de las columnas vertebrales visuales. Sitúan al WWT como un paso hacia columnas vertebrales visuales centradas en objetos que pueden apoyar el razonamiento espacial y la anclaje de objetos con una dependencia reducida de anotaciones, lo cual es crucial para los futuros Modelos Visión-Lenguaje (VLM) y sistemas Visión-Lenguaje-Acción (VLA). El trabajo se mantiene modesto en cuanto a entornos auto-supervisados, señalando que la propiedad emergente de descomposición de objetos se demostró principalmente bajo preentrenamiento supervisado.