Resumen Técnico: Caracterización de Representaciones Universales de Objetos en Modelos de Visión

Declaración del Problema

Se ha observado que las redes neuronales profundas (DNN) entrenadas con arquitecturas, funciones objetivo y conjuntos de datos diversos convergen en representaciones visuales similares, un fenómeno al que a veces se denomina "Hipótesis de la Representación Plátonica". Sin embargo, las propiedades visuales específicas que capturan estas representaciones compartidas y los factores que impulsan esta convergencia siguen siendo poco comprendidos. Las preguntas clave abiertas incluyen:

1. ¿Reflejan las representaciones universales propiedades conceptuales de alto nivel (por ejemplo, categorías de objetos) o propiedades perceptuales de bajo nivel (por ejemplo, bordes, colores)?
2. ¿Qué sesgos inductivos (arquitectura, objetivo, datos de entrenamiento, tamaño del modelo o rendimiento) impulsan la emergencia de estas dimensiones universales?
3. ¿Cómo se relacionan estas dimensiones compartidas con la visión biológica (actividad neuronal y comportamiento humano)?

Trabajos anteriores han establecido que los modelos se superponen en su estructura representacional, pero no han descompuesto sistemáticamente estas estructuras en dimensiones interpretables y no negativas para distinguir entre componentes universales y específicos del modelo en un conjunto grande y diverso de modelos.

Metodología

Los autores analizaron 162 modelos de visión diversos (que abarcan CNN, Transformers, MLP-Mixers e Híbridos) entrenados en diversos conjuntos de datos (ImageNet, LAION, Taskonomy, etc.) y objetivos (supervisado, auto-supervisado, visión-idioma). La tubería de análisis involucró los siguientes pasos:

1. Extracción de Datos y Representaciones:

   • Estímulos: 22,248 imágenes de objetos de la base de datos THINGS, que cubren 1,854 categorías básicas de objetos.
   • Características: Se extrajeron representaciones de la penúltima capa de todos los 162 modelos. Se eligió la penúltima capa ya que integra información conceptual de alto nivel y perceptual fina más cercana a la salida conductual.

2. Factorización de Matriz No Negativa Simétrica (Symmetric NMF):

   • Para hacer comparables las representaciones entre modelos con diferentes espacios de características, los autores primero calcularon matrices de similitud de objetos por pares ($S_m$) para cada modelo utilizando un kernel de Función de Base Radial (RBF).
   • Cada matriz de similitud se descompuso en un pequeño conjunto de dimensiones no negativas ($r=50$) mediante Symmetric NMF: $S_m \approx W_m W_m^\top$.
   • Esto produjo una incrustación no negativa $W_m$ para cada modelo, donde cada columna representa una dimensión definida por cargas sobre el mismo conjunto de imágenes. Este enfoque asegura que las dimensiones sean interpretables como características "basadas en partes".

3. Cuantificación de la Universalidad:

   • Se calculó una puntuación de universalidad para cada dimensión en cada modelo. Esto implicó encontrar una correspondencia uno a uno (mediante el algoritmo húngaro) entre las dimensiones de un modelo objetivo y todas las demás modelos basándose en la similitud del coseno al cuadrado.
   • La puntuación para una dimensión $k$ en el modelo $m$ es la similitud promedio con sus dimensiones de mejor coincidencia en todos los otros $M-1$ modelos.
   • Las puntuaciones se calibraron contra una distribución nula de permutación para corregir la alineación aleatoria y la similitud de línea base debida a la no negatividad.

4. Caracterización y Validación:

   • Interpretabilidad: 1,059 dimensiones representativas fueron etiquetadas por participantes reclutados mediante crowdsourcing como semánticas, visuales, ambas o ninguna.
   • Análisis Estructural: Se calculó la consistencia de categoría ($\eta^2$) para determinar si las dimensiones agrupaban imágenes por categoría de objeto (varianza entre categorías) o por características visuales dentro de las categorías (varianza dentro de la categoría).
   • Alineación Biológica: Se probó el poder predictivo de las dimensiones universales frente a las específicas del modelo contra:
     • Actividad de múltiples unidades en el córtex temporal inferior (IT) de macacos.
     • Juicios de similitud conductual humana (tareas de tripletes de "el que no pertenece al grupo").
   • Comparaciones Controladas: Los autores aislaron los efectos de la arquitectura, la función objetivo, los datos de entrenamiento, el tamaño del modelo y el rendimiento para determinar su influencia en la universalidad.

Resultados Clave

1. Existencia de Dimensiones Universales

El estudio identificó un conjunto de dimensiones universales interpretables que se repiten consistentemente en los 162 modelos diversos. Las puntuaciones de universalidad oscilaron desde cerca del azar (0.0003) hasta 0.54, con las dimensiones más universales alcanzando el 64% del techo de estabilidad dentro del modelo. Estas dimensiones universales no son artefactos de familias de modelos o conjuntos de imágenes específicos, ya que los rankings permanecieron estables bajo remuestreo por bootstrap y cambios en el conjunto de imágenes (THINGS vs. ObjectNet).

2. Naturaleza de las Dimensiones Universales frente a las Específicas del Modelo

• Dimensiones Universales: Estas son significativamente más interpretables para los humanos. En niveles altos de universalidad, el 80% de las dimensiones fueron etiquetadas como semánticas o semántico-visuales mixtas, y mostraron una fuerte consistencia de categoría (agrupando imágenes por categoría de objeto).
• Dimensiones Específicas del Modelo: Estas son en gran medida ininterpretables (78% etiquetadas como "ninguna" en baja universalidad) y están impulsadas por propiedades perceptuales de la imagen (textura, color, punto de vista) en lugar de la estructura conceptual. Exhiben una alta varianza dentro de la categoría.
• Importancia de la Reconstrucción: Crucialmente, la universalidad no se correlaciona con la contribución de una dimensión a la estructura de similitud general del modelo (importancia de la reconstrucción). Tanto las dimensiones universales como las específicas del modelo contribuyen por igual a la geometría representacional del modelo.

3. Impulsores de la Universalidad

Los autores encontraron que ningún sesgo inductivo único explica la emergencia de dimensiones universales:

• Arquitectura: No hubo diferencia significativa en la universalidad entre CNN, Transformers, MLP-Mixers o Híbridos.
• Función Objetivo: Si bien las tareas semánticas produjeron más dimensiones universales que las tareas geométricas dentro de la familia Taskonomy, ningún objetivo único (por ejemplo, contrastivo vs. no contrastivo, visión-idioma vs. solo visual) impulsó consistentemente la universalidad en el zoológico de modelos más amplio.
• Datos de Entrenamiento: Ni la escala del conjunto de datos (ImageNet-1K vs. 21K) ni los conjuntos de datos específicos a escala web (LAION, DFN, MetaCLIP) alteraron significativamente las puntuaciones de universalidad.
• Tamaño/Rendimiento del Modelo: La universalidad no mostró correlación con la cantidad de parámetros ni con la precisión top-1 de ImageNet.

4. Alineación con la Visión Biológica

Los modelos con una mayor proporción de dimensiones universales predicen mejor:

• Actividad Neuronal: Actividad de múltiples unidades en el córtex IT de macacos ($r = 0.74$).
• Comportamiento Humano: Juicios de similitud humana en tareas de tripletes de "el que no pertenece al grupo" ($r = 0.76$).
  Además, la "mitad universal" de las dimensiones de un modelo (las 25 superiores por puntuación) supera significativamente a la "mitad específica del modelo" en la predicción de datos neuronales y conductuales.

Significado y Afirmaciones

El artículo afirma que la universalidad es una propiedad emergente del aprendizaje exitoso de representaciones visuales en lugar de una consecuencia de elecciones arquitectónicas o de entrenamiento específicas. Los hallazgos sugieren que:

• Modelos diversos convergen en un conjunto compartido de representaciones de objetos conceptuales e interpretables que se alinean con la visión biológica.
• La convergencia está impulsada por las restricciones del mundo visual en sí mismo, en lugar de sesgos inductivos específicos del modelo.
• La interpretabilidad, el contenido conceptual y la alineación biológica coexisten en la estructura en la que convergen los modelos.

Los autores posicionan su trabajo como un paso hacia la comprensión del "por qué" del aprendizaje de representaciones visuales, demostrando que, a pesar de la naturaleza "fracturada" de las características específicas del modelo, existe un núcleo robusto y universal que refleja la organización del sistema visual biológico. Afirman explícitamente que esta convergencia no es completa (las dimensiones universales no tienen puntuaciones perfectas y las dimensiones específicas del modelo siguen siendo significativas), pero la estructura compartida es suficiente para explicar la alineación con cerebros y comportamiento.

El artículo concluye que este marco ofrece un enfoque generalizable para comprender las representaciones compartidas frente a las específicas en cualquier conjunto de modelos que procesen entradas comunes, yendo más allá de las métricas simples de alineación representacional para caracterizar el contenido de la convergencia.