Quantifying task-relevant representational similarity using decision variable correlation

Resumen Técnico: Similitud Representacional Relevante para la Tarea mediante Correlación de Variables de Decisión (DVC)

1. El Problema

La neurociencia computacional ha intentado durante años utilizar redes neuronales profundas (DNN) entrenadas en clasificación de imágenes como modelos del sistema visual primate (específicamente la vía ventral: áreas V4 e IT). Sin embargo, existe una contradicción fundamental en la literatura sobre qué tan bien se alinean estos modelos con el cerebro:

• Algunos estudios sugieren que las representaciones de las DNN son altamente similares a las del cerebro, especialmente a medida que aumenta la precisión del modelo.
• Otros argumentan lo contrario, señalando que la similitud se estanca o incluso disminuye.
• Limitación de los métodos actuales: Las métricas existentes presentan dos problemas principales:
  1. Métricas de representación (ej. RSA, CCA): Miden la similitud geométrica general de las representaciones, pero son ciegas a las características específicas relevantes para la tarea. Pueden detectar similitudes en dimensiones irrelevantes para la decisión.
  2. Métricas de comportamiento (ej. Coherencia de errores, Kappa de Cohen): Se centran en la consistencia de las decisiones, pero a menudo confunden la precisión del modelo, los sesgos de decisión y la consistencia real. Por ejemplo, el Kappa de Cohen puede verse artificialmente inflado por sesgos compartidos o penalizado injustamente por diferencias en la precisión, sin reflejar la verdadera alineación de las estrategias de decisión subyacentes.

El objetivo de este trabajo es proponer una métrica que cuantifique específicamente la similitud en las estrategias de decisión relevantes para la tarea, ignorando el ruido y las dimensiones irrelevantes.

2. Metodología: Correlación de Variables de Decisión (DVC)

Los autores proponen una nueva métrica llamada Decision Variable Correlation (DVC), basada en una generalización de la Teoría de la Detección de Señales (SDT).

• Concepto Central: En lugar de comparar las salidas finales (etiquetas) o las representaciones brutas, el método infiere la Variable de Decisión (DV) continua que un observador (cerebro o modelo) utiliza internamente para resolver una tarea de clasificación binaria.
• Procedimiento:
  1. Decodificación de DV: Para cada par de categorías de imágenes, se utiliza un clasificador lineal óptimo (Análisis Discriminante Lineal - LDA) para encontrar el eje de decisión que maximiza la separación de clases en el espacio de representaciones neuronales (o de la red).
  2. Proyección: Se proyectan las representaciones de alta dimensión de cada imagen sobre este eje para obtener un valor de DV (una puntuación continua que indica la tendencia hacia una clase u otra).
  3. Correlación: Se calcula la correlación de Pearson entre las DVs de dos observadores (ej. Monstruo A vs. Modelo B) imagen por imagen.
• Corrección de Ruido (Split-Half Normalization): Dado que las mediciones neuronales y las activaciones de modelos tienen ruido, el DVC crudo puede subestimar la similitud real. Los autores implementan un procedimiento de "mitad dividida" (split-half) para estimar y corregir la atenuación causada por el ruido independiente, obteniendo una estimación no sesgada de la correlación subyacente.
• Ventaja Clave: El DVC es invariante a los sesgos de decisión (criterios) y a la precisión global, enfocándose puramente en la consistencia trial-a-trial de la estrategia de codificación/decodificación para la tarea específica.

3. Contribuciones Clave

1. Nuevo Marco de Medición: Desarrollo del DVC como una métrica principial para evaluar la similitud representacional relevante para la tarea, superando las limitaciones de RSA y las métricas de comportamiento tradicionales.
2. Descubrimiento de la Divergencia: Demostración empírica de que, contrariamente a la hipótesis de "convergencia", los modelos de Deep Learning más precisos en ImageNet-1k son menos similares a las representaciones del cerebro primate en términos de estrategias de decisión.
3. Análisis de Robustez y Datos: Evaluación sistemática de si técnicas avanzadas (entrenamiento adversarial, conjuntos de datos masivos) cierran la brecha entre modelos y cerebro.
4. Desenmascaramiento de Métricas Previas: Análisis detallado que explica por qué estudios anteriores (usando Kappa de Cohen) llegaron a conclusiones opuestas, demostrando que sus resultados estaban contaminados por sesgos de decodificación y diferencias de precisión.

4. Resultados Principales

Los autores evaluaron el DVC utilizando grabaciones de macacos (áreas V4 e IT) y 43+ modelos de redes neuronales (incluyendo ResNet, ViT, EfficientNet, etc.).

• Consistencia Interna:

  • Monstruo vs. Monstruo: La similitud DVC entre dos cerebros de macacos es alta (~0.57), lo que indica que las estrategias de decisión son consistentes entre individuos biológicos.
  • Modelo vs. Modelo: Los modelos de la misma familia arquitectónica muestran alta similitud entre sí, pero la similitud general entre modelos diferentes es comparable a la de los monos, no superior.

• La Paradoja del Rendimiento (Hallazgo Sorprendente):

  • Existe una correlación negativa fuerte ($\rho = -0.70$) entre la precisión Top-1 en ImageNet-1k y la similitud DVC con el cerebro.
  • Conclusión: A medida que los modelos se vuelven más precisos en la tarea de clasificación estándar, sus estrategias de decisión se vuelven menos similares a las de los primates.

• Efecto de Técnicas Avanzadas:

  • Entrenamiento Adversarial: Aunque mejora la robustez y la similitud entre modelos adversarios, no mejora (e incluso disminuye ligeramente) la similitud DVC con el cerebro.
  • Datos Masivos (ImageNet-21k, JFT-300M): Los modelos pre-entrenados en conjuntos de datos más grandes y diversos también muestran una menor similitud DVC con el cerebro en comparación con los modelos entrenados solo en ImageNet-1k.

• Comparación con Kappa de Cohen:

  • Al reanalizar datos de estudios previos, se demostró que el alto Kappa de Cohen entre modelos se debía a sesgos de decodificación (agregación de probabilidades) y no a una verdadera consistencia de estrategia.
  • El DVC es robusto a estos sesgos, revelando que la consistencia real entre modelos y cerebro es modesta y no mejora con la escala.

5. Significado e Implicaciones

• Revisión de la Hipótesis de Convergencia: Los resultados desafían la noción de que simplemente escalar modelos (más datos, más parámetros, entrenamiento adversarial) los hará más "biológicos". Sugiere una divergencia fundamental en cómo los modelos optimizados para ImageNet resuelven problemas visuales en comparación con el cerebro evolucionado.
• Importancia de la Tarea: La similitud depende críticamente de qué dimensiones de la representación son relevantes para la tarea. Las DNN pueden aprender características altamente predictivas para la clasificación (pero irrelevantes para la biología) que dominan sus representaciones.
• Futuro de la Neurociencia Computacional:
  • Se necesita cambiar el enfoque de la optimización bruta de la precisión hacia el diseño de tareas y datos que reflejen mejor las estadísticas del estímulo natural y la evolución del sistema visual primate.
  • El DVC ofrece una herramienta rigurosa para evaluar si los futuros modelos están aprendiendo representaciones verdaderamente similares a las biológicas, más allá de la simple precisión de clasificación.

En resumen, el paper argumenta que la alta precisión en tareas de clasificación estándar no es un proxy válido para la similitud biológica, y que las métricas tradicionales a menudo ocultan esta divergencia. El DVC proporciona una lente más clara para entender que, hasta la fecha, los modelos de IA y los cerebros primates han desarrollado estrategias de decisión fundamentalmente diferentes para resolver problemas visuales similares.