Revealing the core dimensions underlying representations in brains, behavior and AI

Resumen Técnico: Revelando las Dimensiones Subyacentes que Sostienen las Representaciones en Cerebros, Comportamiento e IA

Declaración del Problema
El estudio de las representaciones en neurociencia, psicología e inteligencia artificial depende en gran medida de caracterizar cómo se organizan los estímulos entre sí, típicamente mediante matrices de similitud. Si bien métodos como el Análisis de Similitud Representacional (RSA) permiten comparar estas matrices entre sistemas, no recuperan las dimensiones subyacentes que generan las similitudes observadas. Por el contrario, técnicas de reducción de dimensionalidad como el Escalamiento Multidimensional (MDS), el Análisis de Componentes Principales (PCA) y t-SNE pueden resumir datos, pero a menudo producen ejes difíciles de interpretar como propiedades representacionales significativas. Además, los métodos existentes luchan contra dos restricciones prácticas críticas: (1) la dimensionalidad del espacio representacional suele ser desconocida, y (2) los datos empíricos de similitud a menudo son escasos o incompletos (por ejemplo, juicios conductuales donde no se comparan todos los pares de estímulos). Los enfoques actuales no logran resolver conjuntamente los problemas de recuperar dimensiones interpretables, determinar el número necesario de dimensiones y aprender de datos incompletos sin distorsionar la estructura de similitud mediante imputación.

Metodología: Factorización de Representación Basada en Similitud (SRF)
Los autores introducen la Factorización de Representación Basada en Similitud (SRF), un marco computacional general diseñado para recuperar incrustaciones de baja dimensionalidad, no negativas e interpretables directamente a partir de matrices de similitud.

• Formulación Central: SRF se basa en la Factorización de Matriz No Negativa Simétrica (SNMF). Modela una matriz de similitud simétrica y no negativa $S \in \mathbb{R}^{n \times n}_{\ge 0}$ como el producto de una matriz de incrustación de bajo rango $W$ y su transpuesta: $S \approx WW^\top$, donde $W \in \mathbb{R}^{n \times r}_{\ge 0}$ y $r \ll n$. La restricción de no negatividad fomenta factores aditivos basados en partes, que a menudo son más interpretables que los componentes sustractivos del PCA.
• Manejo de Datos Incompletos: A diferencia de la factorización de matrices estándar, SRF opera directamente sobre las entradas observadas sin imputar valores faltantes. Define una máscara binaria $M$ donde $M_{ij}=1$ si la similitud $S_{ij}$ está observada. La función objetivo minimiza la norma de Frobenius del error de reconstrucción solo sobre las entradas observadas: $\min_{W \ge 0} \frac{1}{2} \| M \odot (S - WW^\top) \|_F^2$. Esto permite que el modelo aprenda de grafos dispersos (por ejemplo, asociaciones de palabras) y prediga similitudes no observadas.
• Optimización: Los autores emplean el Método de Direcciones Alternadas de Multiplicadores (ADMM) para resolver el problema de optimización. Proporcionan pruebas teóricas sobre la convergencia del algoritmo y la estabilidad de la solución bajo una especificación incorrecta del rango.
• Selección de Dimensionalidad: Para abordar la dimensionalidad desconocida $r$, SRF utiliza un protocolo de validación cruzada especializado. Dado que las entradas en una matriz de similitud son estadísticamente dependientes (acopladas por la estructura de bajo rango), la validación cruzada estándar entrada por entrada puede provocar fugas de información y estimaciones de rango infladas. SRF utiliza un esquema de "retención restringida" que asegura que el conjunto de entrenamiento permanezca por debajo del umbral de completado de matriz, evitando que el conjunto de validación sea determinado implícitamente por el conjunto de entrenamiento. El rango óptimo se selecciona en el mínimo de la curva de error de validación.

Resultados Clave
El artículo valida SRF mediante simulaciones y aplicaciones en diversos conjuntos de datos empíricos:

1. Rendimiento en Simulación:

   • Precisión de Recuperación: SRF recupera con precisión las dimensiones latentes de verdad fundamental a partir de matrices de similitud sintéticas, incluso cuando las dimensiones son difusas o se superponen.
   • Robustez ante el Ruido: El método mantiene una alta precisión de recuperación bajo niveles moderados de ruido de medición.
   • Datos Faltantes: SRF supera significativamente a las líneas base de imputación estándar (vecino más cercano y mediana) en la predicción de similitudes retenidas y en la recuperación de dimensiones subyacentes, particularmente en regímenes subdeterminados donde las observaciones son menores que los parámetros.
   • Detección de Rango: El enfoque de validación cruzada para la selección de rango supera a métodos tradicionales como la prueba Scree y el Análisis Paralelo de Horn en la identificación de la dimensionalidad real.

2. Potencia Estadística:

   • En pruebas de hipótesis, SRF demuestra una mayor potencia estadística que el RSA. Al descomponer la matriz de similitud en dimensiones distintas, SRF permite a los investigadores probar hipótesis específicas contra la dimensión que mejor se ajusta a ellas, en lugar de contra la matriz de similitud completa y ruidosa. Esta ventaja es más pronunciada para las dimensiones que contribuyen con baja varianza a la estructura general, las cuales a menudo quedan oscurecidas en el RSA.

3. Aplicaciones Empíricas:

   • Conjuntos de Datos: SRF se aplicó a juicios conductuales (conjuntos de datos THINGS, Peterson, Mur-92), grabaciones neuronales (corteza IT de macaco, fMRI humana de NSD), activaciones de redes neuronales profundas (CLIP) y asociaciones semánticas (Pequeño Mundo de Palabras, SWOW).
   • Interpretabilidad: El método recuperó dimensiones estables e interpretables en todos los dominios. Los ejemplos incluyen distinciones de animacidad/inanimacidad en el reconocimiento de objetos, agrupaciones taxonómicas en animales, características perceptuales (color) y características semánticas (animacidad) en CLIP, y temas abstractos (por ejemplo, fuerza física, afecto) en asociaciones de palabras.
   • Generalización: Las dimensiones derivadas del grafo disperso de asociación de palabras SWOW predijeron con éxito puntuaciones conductuales independientes (por ejemplo, valencia, activación, concreción) de las Normas de Glasgow, demostrando que las dimensiones recuperadas capturan información semántica generalizable.
   • Eficiencia: En la tarea de "el que no encaja" de THINGS, SRF logró una precisión de predicción conductual comparable al modelo de red neuronal SPoSE de última generación, pero con aproximadamente la mitad de dimensiones (35 frente a 66).

Significado y Afirmaciones
El artículo posiciona a SRF como un método de propósito general que cierra la brecha entre el análisis descriptivo de similitud y la comprensión mecanicista. Su significado principal radica en su capacidad para ir más allá de las comparaciones escalares de matrices de similitud e identificar los factores específicos que organizan las representaciones.

• Marco Unificado: SRF unifica las fortalezas del análisis basado en similitud (comparar sistemas mediante un formato común) con la capacidad de inferir las dimensiones latentes que generan dicha estructura.
• Manejo de la Dispersión: Al aprender directamente de datos incompletos sin imputación, SRF permite el análisis de conjuntos de datos que anteriormente eran difíciles de procesar, como redes de asociación de palabras a gran escala o juicios conductuales dispersos.
• Inferencia Mejorada: El método ofrece una herramienta más sensible para la prueba de hipótesis confirmatoria en comparación con el RSA, particularmente para detectar dimensiones de baja varianza.
• Interpretabilidad: La naturaleza no negativa y basada en partes de las incrustaciones recuperadas facilita la interpretación directa, apoyando teorías sobre mecanismos cerebrales, propiedades de estímulos y fallos de modelos.

Los autores concluyen que SRF proporciona un enfoque principiado y general para descubrir, comprender y aprovechar las dimensiones subyacentes a las representaciones en cerebros, comportamiento e IA, aplicable siempre que las relaciones pares sean escasas o parcialmente observadas.