Interpreting V1 Population Activity via Image-Neural Latent Representation Alignment

Resumen Técnico: Alineación Imagen–Neural de Doble Torre (DINA)

Enunciado del Problema
Comprender los mecanismos neuronales subyacentes al procesamiento visual en la corteza visual primaria (V1) sigue siendo un desafío central. Aunque los enfoques recientes basados en alineación han mejorado la precisión de la decodificación de estímulos visuales a partir de la actividad cerebral, a menudo tratan el proceso de alineación como una "caja negra" optimizada únicamente para el rendimiento predictivo. En consecuencia, estos métodos ofrecen una comprensión limitada de las computaciones neuronales específicas y las representaciones de características intermedias que dan lugar a una decodificación exitosa. Los modelos de codificación y decodificación existentes operan típicamente a nivel de imágenes crudas, fallando en modelar explícitamente los mapas de características intermedias que las poblaciones neuronales codifican realmente. Existe la necesidad de un marco que no solo decodifique estímulos con precisión, sino que también proporcione acceso interpretable a los mapas de características latentes para sondear principios computacionales a nivel de población.

Metodología: Alineación Imagen–Neural de Doble Torre (DINA)
Para abordar esto, los autores proponen DINA, un marco contrastivo interpretable que alinea estímulos visuales y respuestas poblacionales correspondientes de V1 en un espacio latente compartido a nivel de mapas de características intermedios. La arquitectura consta de dos torres motivadas biológicamente entrenadas conjuntamente:

1. Torre de Imagen: Diseñada para reflejar el procesamiento visual cortical, esta torre emplea una arquitectura de doble flujo inspirada en el procesamiento paralelo de información local y global.

   • Flujo Local: Procesa entradas de alta resolución utilizando convoluciones profundas para extraer patrones espacialmente localizados.
   • Flujo Global: Procesa entradas de baja resolución utilizando mecanismos de autoatención para capturar dependencias contextuales de largo alcance.
   • Co-atención: Un mecanismo de co-atención inter-escala permite el intercambio bidireccional de información entre los flujos local y global, integrando la estructura de alta resolución con el contexto global.
   • Salida: La torre produce un mapa de características compacto de un solo canal (1×16×64) que preserva la estructura espacial.

2. Torre Neural: Esta torre reconstruye una representación latente a partir de respuestas neuronales a nivel de población (por ejemplo, datos de imagen de calcio de dos fotones) que coincide con la dimensionalidad de la salida de la torre de imagen.

   • Incrustación: Las neuronas individuales se mapean a vectores de incrustación aprendibles para capturar propiedades de respuesta específicas de cada neurona.
   • Autoatención: Un módulo de autoatención modela las interacciones dentro de la población neuronal, permitiendo que las respuestas informativas se integren y amplifiquen.
   • Agregación: Capas de agregación específicas de neurona proyectan las representaciones conscientes de las interacciones en valores escalares, los cuales luego se pasan a través de un Perceptrón Multicapa (MLP) para generar el mapa de características latente final (16×64).

3. Objetivo de Entrenamiento: Las dos torres se entrenan utilizando un objetivo contrastivo (pérdida InfoNCE) sobre lotes de pares imagen–neurona. Esto fomenta la alineación de ensayos imagen–neurona coincidentes en el espacio latente compartido, al tiempo que separa los pares no coincidentes.

Resultados Clave
Evaluado con datos de imagen de calcio de dos fotones a gran escala de V1 de ratón (involucrando ~10,000 neuronas y 2,800 estímulos), DINA demuestra lo siguiente:

• Rendimiento de Decodificación: DINA logra una decodificación basada en neuronas confiable, con una precisión de recuperación top-1 media del 36.8% y una precisión top-5 del 60.5% en cuatro ratones. Supera a los modelos de referencia que utilizan codificadores visuales estándar (VGG-16 y ViT) acoplados a lecturas MLP.
• Naturaleza de las Representaciones Alineadas: El análisis de los mapas de características alineados revela que la decodificación exitosa se apoya principalmente en estructura visual gruesa y de bajo nivel en lugar de información de categoría semántica o detalles de alta resolución. Esto se evidencia por:
  • Alta similitud estructural (SSIM) y baja distancia perceptual (LPIPS) entre los mapas de características de imagen y neural.
  • Espectros de varianza que muestran una rápida decadencia en componentes de orden superior, similares a las imágenes naturales pero dominados por estructura de baja frecuencia.
  • Manipulaciones controladas de estímulos: La precisión de recuperación cae drásticamente cuando se elimina la estructura de baja dimensión (imágenes blanqueadas), pero se mantiene alta para imágenes de baja dimensión (8D) que retienen la estructura gruesa.
• Contribuciones Espaciales: Los análisis de interpretabilidad de la torre de imagen muestran que los mapas de características alineados surgen de múltiples regiones distribuidas espacialmente ("manchas") en lugar de una integración uniforme. Estas regiones capturan tanto pistas de forma como de textura, siendo las representaciones mixtas las más comunes.
• Mecanismos de Lectura Neural: Los estudios de ablación en la torre neural revelan que los mapas de características alineados son predominantemente reconstruidos por subconjuntos dispersos de neuronas altamente responsivas (aproximadamente el 12% de la población es suficiente para recuperar una alta similitud). Además, las interacciones funcionales (modeladas mediante puntuaciones de atención) están altamente sesgadas, con una pequeña fracción de conexiones que llevan pesos desproporcionadamente grandes, consistente con una codificación cortical dispersa y eficiente.

Contribuciones Clave

1. Marco Analítico: Los autores formulan la alineación contrastiva imagen–neurona no meramente como una herramienta de decodificación, sino como un marco analítico general para sondear la computación neural a nivel de población.
2. Arquitectura Fundada Biológicamente: Proponen un modelo de doble torre inspirado en el procesamiento visual cortical (vías locales/globales paralelas e interacciones poblacionales) que produce mapas de características alineados en V1 mientras logra una decodificación confiable.
3. Insights Mecanísticos: Los análisis de interpretabilidad multinivel revelan que la codificación poblacional en V1 está impulsada por estructura visual de bajo nivel, contribuciones de estímulos distribuidos espacialmente y mecanismos de lectura neural dispersos que involucran neuronas altamente responsivas e interacciones funcionales no uniformes.

Significado y Afirmaciones
El artículo afirma que DINA proporciona un marco principiado para sondear los mecanismos computacionales subyacentes al procesamiento visual en V1. Al alinear representaciones a nivel de mapas de características intermedios, el marco va más allá de la simple precisión de decodificación para revelar cómo se representa la información visual. Los resultados confirman que la actividad poblacional en V1 codifica estructuras gruesas de baja dimensión y que esta codificación depende de mecanismos neuronales dispersos y distribuidos. Los autores posicionan este trabajo como una herramienta para la investigación mecanística en neurociencia, ofreciendo una vía para extender tales marcos de alineación a otras regiones cerebrales para sondear la organización jerárquica, en lugar de como una herramienta directa para la toma de decisiones en el mundo real o interfaces cerebro-computadora.