Simple Self Organizing Map with Vision Transformers

Este estudio presenta un enfoque novedoso que combina Vision Transformers (ViTs) con Mapas Autoorganizados (SOMs) para superar las limitaciones de los ViTs en conjuntos de datos pequeños, logrando un rendimiento significativamente mejorado en tareas supervisadas y no supervisadas gracias a la preservación de la topología espacial inherente a los SOMs.

Lo esencial

¡Hola! Imagina que estás intentando enseñar a dos tipos muy diferentes de estudiantes a reconocer objetos en un mundo nuevo. Este artículo de investigación cuenta la historia de cómo unimos a estos dos estudiantes para que se ayuden mutuamente y se conviertan en un equipo imparable.

Aquí tienes la explicación sencilla, con analogías de la vida real:

1. Los Dos Protagonistas

Imagina que tienes dos estudiantes con personalidades opuestas:

• El Estudiante "ViT" (Vision Transformer): Es un genio que ha leído millones de libros. Cuando ve una imagen, la descompone en miles de piezas pequeñas (como rompecabezas) y las analiza una por una. Es increíblemente inteligente si tiene mucha información (datos grandes), pero tiene un problema: no tiene "sentido común". Si le das solo unas pocas fotos para aprender, se confunde porque no sabe cómo las cosas suelen relacionarse en el mundo real (por ejemplo, que una rueda suele estar debajo de un coche). Le falta una "brújula" interna.
• El Estudiante "SOM" (Mapa Auto-Organizado): Este estudiante es como un organizador de biblioteca nato. No necesita leer millones de libros; su superpoder es que sabe que las cosas similares deben estar juntas. Si tienes libros de cocina, los pone en una estantería; si tienes de historia, en otra. Tiene una "brújula" natural (llamada sesgo inductivo) que le ayuda a entender la estructura del mundo incluso con pocos datos. Pero tiene una debilidad: no es muy bueno entendiendo detalles complejos. Si le das una foto muy complicada, no sabe qué partes son importantes.

2. El Problema: ¿Qué pasa cuando están solos?

• Si el ViT intenta aprender con pocos datos (como un niño pequeño con pocas fotos), se pierde porque no tiene esa brújula interna.
• Si el SOM intenta aprender con imágenes complejas, se queda atascado porque no sabe extraer los detalles finos de la imagen.

Antes de este estudio, los científicos intentaban arreglar al ViT dándole "tareas de relleno" o enseñándole a imitar a otros modelos, pero era como ponerle parches en lugar de darle una solución real.

3. La Solución: ¡El Equipo ViT-SOM!

Los autores de este paper (Alan Luo y Kaiwen Yuan) tuvieron una idea brillante: ¿Por qué no juntarlos en el mismo equipo?

Imagina que el ViT es el ojo experto que ve todos los detalles de una foto, y el SOM es el arquitecto que decide cómo organizar esos detalles en un mapa lógico.

• Cómo funciona:
  1. El ViT mira la imagen y crea una "huella digital" (una representación matemática) de lo que ve.
  2. En lugar de dejar esa huella suelta, se la pasa al SOM.
  3. El SOM actúa como un mapa de calor o un tablero de ajedrez. Le dice al ViT: "Oye, esta imagen se parece a esa otra, así que deben sentarse en casillas vecinas en el tablero".
  4. Esto obliga al ViT a aprender no solo qué ve, sino dónde encaja en la estructura del mundo.

Es como si le dieras al genio (ViT) un mapa del tesoro (SOM) para que no se pierda, y al mismo tiempo, le das al organizador (SOM) unas gafas de alta tecnología (ViT) para que vea los detalles que antes le escapaban.

4. Los Resultados: ¡Ganan todos!

El equipo probó esta combinación en dos escenarios:

• Sin supervisión (Aprendizaje solo): Les dieron fotos sin etiquetas y les pidieron que las agruparan. El equipo ViT-SOM fue mucho mejor que los modelos anteriores, logrando agrupar cosas similares (como dígitos o ropa) de forma más limpia y precisa, usando incluso menos "cerebro" (menos memoria de computadora).
• Con supervisión (Clasificación): Les dieron fotos con nombres y les pidieron que aprendieran rápido. En conjuntos de datos pequeños (donde el ViT solía fallar), el equipo ViT-SOM superó a gigantes conocidos como ResNet y Swin Transformer, siendo más rápido y preciso.

5. La Analogía Final

Piensa en aprender a reconocer frutas:

• El ViT solo es como alguien que ha visto millones de fotos de frutas en internet, pero si le das una foto borrosa de una manzana en una mesa pequeña, no sabe si es una manzana o una naranja porque le falta contexto.
• El SOM solo es como alguien que sabe que "las frutas rojas suelen estar juntas en el frutero", pero si le das una foto de una fruta rara, no sabe qué es.
• ViT-SOM es como tener a la persona que ve la foto con lupa, y al mismo tiempo, alguien que le dice: "Mira, esa fruta roja está junto a otras rojas, así que seguro es una manzana".

En resumen

Este estudio demuestra que no siempre necesitamos modelos más grandes y complejos. A veces, la magia está en combinar lo mejor de dos mundos: la capacidad de ver detalles de los Transformadores y la capacidad de organizar el mundo de los Mapas Auto-Organizados. Han creado un sistema que aprende mejor, más rápido y con menos datos, simplemente ayudándose entre sí.

¡Y lo mejor es que el código está disponible para que cualquiera pueda probarlo!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Simple Self-Organizing Map with Vision Transformers" (ViT-SOM), presentado en español:

1. Planteamiento del Problema

El artículo aborda dos limitaciones críticas en el aprendizaje profundo moderno:

• Falta de sesgos inductivos en los Vision Transformers (ViT): Aunque los ViT han demostrado un rendimiento excepcional en tareas de visión por computadora, carecen de los sesgos inductivos inherentes a las Redes Neuronales Convolucionales (CNN). Esto provoca que su rendimiento decaiga significativamente cuando se entrenan con conjuntos de datos pequeños o limitados, ya que requieren grandes volúmenes de datos para aprender patrones espaciales efectivos.
• Capacidad de abstracción de características en los Mapas Auto-Organizados (SOM): Los SOM son un marco de aprendizaje no supervisado robusto que preserva intrínsecamente la topología y la organización espacial (un sesgo inductivo valioso). Sin embargo, los SOM clásicos sufren de una pobre capacidad de abstracción de características, lo que limita su eficacia en tareas complejas de visión.

Las soluciones actuales intentan mitigar la debilidad de los ViT mediante tareas pretext o destilación de conocimiento de CNNs, pero no abordan directamente la integración de sesgos topológicos en la arquitectura del transformador.

2. Metodología Propuesta: ViT-SOM

Los autores proponen ViT-SOM, un marco novedoso que integra sinérgicamente Vision Transformers y Mapas Auto-Organizados para potenciar las fortalezas de ambos.

• Arquitectura:

  • Se utiliza una versión "tiny" (pequeña) de un ViT como extractor de características.
  • En lugar de pasar el vector de incrustación (embedding) directamente a un decodificador o clasificador, se introduce una capa de SOM intermedia.
  • Esta capa de SOM actúa como un mecanismo de auto-supervisión que fuerza a los vectores de incrustación a proyectarse espacialmente sobre una cuadrícula topológica, preservando la estructura subyacente de los datos.

• Mecanismos Clave:

  • Entrenamiento por Lotes (Batch-compatible): Para superar la ineficiencia computacional de la actualización secuencial de los SOM clásicos, el método calcula las Unidades de Mejor Coincidencia (BMU) para todas las muestras en paralelo, permitiendo la optimización mediante retropropagación.
  • Similitud Coseno: Se reemplaza la distancia euclidiana o Manhattan (comunes en SOM) por la similitud del coseno para calcular la distancia entre la muestra y los prototipos. Esto mitiga la "maldición de la dimensionalidad" en los espacios latentes de alta dimensión de los ViT, proporcionando señales más estables.
  • Función de Pérdida: El objetivo total ($L_{total}$) combina la pérdida de la red neuronal profunda ($L_{nn}$, ya sea reconstrucción o clasificación) con la pérdida del SOM ($L_{som}$), ponderada por un hiperparámetro $\gamma$:
    $$L_{total} = L_{nn} + \gamma \cdot L_{som}$$
    Se utiliza un warmup lineal en $\lambda$ para priorizar el aprendizaje de características en las etapas iniciales antes de enfocarse en la organización topológica.

3. Contribuciones Clave

1. Integración Sinérgica: Es el primer trabajo que explora sistemáticamente la interacción mutuamente beneficiosa entre ViTs y SOMs para visión por computadora, cerrando la brecha de investigación existente.
2. Sesgo Inductivo Directo: Logra inyectar sesgos inductivos topológicos directamente en la arquitectura del ViT sin necesidad de tareas pretext complejas ni distilación de CNNs.
3. Eficiencia y Rendimiento: Demuestra que es posible lograr un rendimiento superior con una arquitectura más ligera y menos parámetros entrenables en comparación con modelos basados en CNN y otros ViT.
4. Validación Dual: El marco se valida tanto en escenarios no supervisados (clustering) como supervisados (clasificación) en múltiples conjuntos de datos.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos pequeños y medianos (MNIST, Fashion-MNIST, USPS, CIFAR-10/100, Flowers17, SVHN, Tiny ImageNet, MedMNIST).

• Clustering No Supervisado:

  • ViT-SOM superó significativamente a modelos basados en SOM-VAE y DESOM (basado en CNN) en términos de puntuación de pureza (Purity Score).
  • En MNIST, ViT-SOM (24x24) logró un 93.6% de pureza frente al 93.4% de DESOM, utilizando un 24% menos de parámetros.
  • La visualización UMAP mostró que el modelo organiza semánticamente el espacio latente, agrupando dígitos similares (ej. 0 y 6) como vecinos topológicos.

• Clasificación Supervisada:

  • ViT-SOM-cls logró el estado del arte (SOTA) en todos los conjuntos de datos probados, entrenando desde cero (sin pesos preentrenados).
  • Eficiencia: Superó a modelos más grandes como ResNet34 y Swin Transformer. Por ejemplo, en CIFAR-100, superó a Swin-T en más de un 14% y a ResNet34 en un 17% en precisión, con hasta un 79% menos de parámetros entrenables.
  • En Flowers17, logró un 91.7% de precisión frente al 78.3% de ResNet34.

5. Significado e Impacto

El trabajo de ViT-SOM es significativo porque demuestra que la combinación de arquitecturas modernas (Transformers) con principios clásicos de aprendizaje no supervisado (SOM) puede resolver problemas fundamentales de generalización en datos limitados.

• Simplicidad: No requiere modificaciones arquitectónicas complejas, destacando la compatibilidad inherente entre ambos marcos.
• Escalabilidad: Ofrece una ruta viable para aplicar ViTs en dominios donde los datos son escasos (como imágenes médicas o industriales), superando la necesidad de grandes conjuntos de datos de preentrenamiento.
• Dirección Futura: Abre una nueva línea de investigación para explorar cómo los sesgos topológicos pueden mejorar no solo a los ViT, sino a otras arquitecturas de transformadores en tareas de visión.

En resumen, ViT-SOM presenta una solución elegante y eficiente que utiliza la organización topológica de los SOM para compensar la falta de sesgos inductivos de los ViT, logrando un rendimiento superior con una menor carga computacional.