Resumen Técnico: NEvo: Síntesis de Video Evolutiva Guiada por la Neurona para la Selectividad Visual Dinámica

Planteamiento del Problema

La visión humana es fundamentalmente dinámica, apoyándose en regiones organizadas jerárquicamente para procesar entradas que cambian continuamente para tareas como la evitación de obstáculos, el seguimiento de objetos y la inferencia social. Si bien los modelos recientes de codificación cerebral in silico han sintetizado con éxito estímulos estáticos óptimos para sondear la selectividad en regiones cerebrales específicas, el trabajo previo se ha limitado en gran medida al dominio de la imagen estática. En consecuencia, la representación de la estructura temporal en la corteza visual, particularmente en regiones dependientes del movimiento, la interacción o la dinámica de eventos, permanece subexplorada. Existe una necesidad crítica de métodos capaces de generar y evaluar sistemáticamente estímulos dinámicos a través de un amplio espacio de configuración espaciotemporal conjunto para comprender cómo el cerebro procesa la entrada dinámica naturalista.

Metodología: Marco de Trabajo NEvo

Los autores presentan NEvo, un marco de síntesis de video evolutiva guiada por la neurona diseñado para generar estímulos que activen al máximo las regiones de interés (ROI) en la corteza visual humana. El marco opera acoplando un modelo de codificación cerebral dinámica con un procedimiento de búsqueda evolutiva sobre un espacio de prompts estructurado.

1. Búsqueda Evolutiva Guiada por la Neurona

NEvo trata la síntesis de video como un problema de optimización de caja negra sobre descriptores interpretables a nivel semántico, de movimiento y de evento.

• Espacio de Prompts: El espacio de búsqueda se estructura como un producto cartesiano de categorías de atributos visuales ($P = A_1 \times \dots \times A_M$), que cubre la apariencia (sujeto, estado de ánimo, iluminación), el movimiento (estructura del evento, movimiento de cámara) y la dinámica temporal. Los prompts se representan como secuencias de genes.
• Algoritmo Evolutivo: El método emplea un algoritmo genético para optimizar el objetivo de síntesis.
  • Inicialización: Se genera una población de prompts candidatos.
  • Evaluación: Los prompts se renderizan en videos mediante un generador ($G$) y se califican mediante un modelo de codificación dinámica ($S_v$) basado en la activación promedio predicha de los vóxeles en la ROI objetivo ($r$).
  • Selección y Variación: Se seleccionan los candidatos de la fracción superior (élites) como padres. La descendencia se genera mediante cruce (intercambio de prefijos de secuencias de genes) y mutación (remuestreo de atributos).
  • Iteración: Este proceso itera sobre generaciones para refinar la población hacia prompts que produzcan una mayor activación predicha de la ROI.

2. Síntesis de Video en Dos Etapas

Para mejorar la eficiencia de la búsqueda en el espacio espaciotemporal de alta dimensión, NEvo descompone la optimización en dos etapas:

• Etapa 1 (Contenido Estático): Un generador de imágenes rápido busca en el subespacio estático ($P_{img}$) para identificar un "ancla visual" óptima (sujeto, escena, textura, iluminación).
• Etapa 2 (Atributos Dinámicos): La mejor imagen obtenida se fija como entrada de condicionamiento para un generador de imagen a video. La búsqueda entonces optimiza el subespacio dinámico ($P_{vid}$), cubriendo perfiles de movimiento, ritmo temporal y tipos de interacción. Esta separación evita evaluaciones de video costosas para configuraciones de contenido deficientes.

3. Modelo de Codificación Cerebral Dinámica

El marco utiliza V-JEPA 2 como columna vertebral de características, elegido por su alineación con las respuestas cerebrales en evaluaciones previas a gran escala.

• Arquitectura: A diferencia de los modelos que dependen únicamente de embeddings finales (ej. CLIP), NEvo extrae características de múltiples bloques de V-JEPA 2, promediándolas en el espacio y el tiempo.
• Mapeo: Se ajustan regresiones de Ridge vóxel por vóxel a las respuestas de fMRI. A cada vóxel se le asigna la capa del modelo con el mejor rendimiento de validación, permitiendo que las ubicaciones corticales se alineen con diferentes profundidades del modelo.
• Datos de Entrenamiento: El modelo se entrena con el conjunto de datos BOLDMoments y un conjunto de datos de interacción social, proyectados sobre la superficie cortical fsaverage5.

Principales Contribuciones

1. Marco Novedoso: Introducción de NEvo, el primer marco basado en modelos para estudiar la selectividad visual bajo estimulación dinámica naturalista mediante la búsqueda de prompts evolutivos.
2. Estímulos de Alta Activación: Síntesis de videos que superan los niveles de activación de tanto los localizadores funcionales hechos a mano como los videos de alto rendimiento de conjuntos de datos a gran escala (ej. Moments in Time) a través de las corrientes visuales ventral, dorsal y lateral.
3. Caracterización de la Selectividad Dinámica: Demostración de que la estructura temporal moldea ampliamente la selectividad visual, con videos optimizados superando a los controles estáticos incluso en regiones tradicionalmente selectivas de lo estático como el Área de la Cara Fusiforme (FFA).
4. Descubrimiento de Gradientes Funcionales: Aplicación de NEvo a lo largo de una trayectoria de búsqueda de linterna (searchlight) en la vía visual lateral revela una progresión sistemática desde la estructura espacial de bajo nivel hacia el movimiento corporal y, finalmente, hacia características sociales-dinámicas complejas (acción conjunta, comunicación).
5. Síntesis Controlada: Validación de la capacidad del marco para disociar la selectividad dinámica específica de la región de los anclajes estáticos mediante la generación de estímulos con objetos abstractos y no naturalistas que aún elicitan respuestas dinámicas específicas de la región (ej. interacciones similares a rostros para el pSTS u oscilación de movimiento para el MT).

Resultados

• Rendimiento: Los estímulos generados por NEvo alcanzaron activaciones predichas en el 99.8% superior del conjunto de datos Moments in Time y en el 95.8% de las respuestas de los localizadores hechos a mano en promedio.
• Ventaja Dinámica: Los videos optimizados superaron consistentemente a sus controles estáticos del primer fotograma, con las mayores ganancias en regiones sensibles al movimiento (ej. MT) y ganancias medibles en regiones ventrales (ej. FFA).
• Estudios de Ablación:
  • La estrategia de búsqueda de dos etapas superó a las líneas base de una sola etapa.
  • El modelo de codificación de múltiples capas de V-JEPA 2 superó significativamente a las líneas base basadas en CLIP, resaltando la necesidad de representaciones ancladas temporalmente.
  • La promoción evolutiva resultó más robusta que la síntesis basada en gradientes (BrainDiVE), la cual falló en generar estímulos dinámicos significativos en este entorno.
  • La búsqueda genética superó significativamente a las líneas base de búsqueda aleatoria y de ascenso de colina (hill-climbing).
• Análisis de la Vía Lateral: La síntesis de linterna reveló un gradiente a lo largo de la vía lateral: las regiones tempranas preferían texturas de alto contraste; las regiones de nivel medio (MT, EBA) favorecían el movimiento corporal; el STS posterior (pSTS) favorecía las interacciones físicas sincronizadas; y el STS anterior (aSTS) se desplazaba hacia contenido comunicativo cara a cara.

Significado y Reivindicaciones

El artículo afirma que NEvo permite la exploración in silico de la selectividad visual dinámica, yendo más allá de las limitaciones de la síntesis de imágenes estáticas. Al recuperar selectividades conocidas y revelar diferencias sistemáticas en la sensibilidad a la dinámica temporal, el marco proporciona nuevas predicciones para experimentos in vivo. Los autores postulan que NEvo ofrece un enfoque escalable y controlado para diseñar estímulos dinámicos, lo que potencialmente ayuda en el descubrimiento de gradientes funcionales en regiones cerebrales menos caracterizadas.

Los autores reconocen las limitaciones, señalando que los estímulos sintetizados reflejan tanto la selectividad neural como los posibles sesgos en los modelos de codificación y generación subyacentes. Enfatizan que la validación futura con neuroimagen humana es necesaria y que su actual modelo de visión únicamente limita la caracterización de regiones como el aSTS donde la comunicación depende de claves audiovisuales. El trabajo se presenta como un paso hacia la neuroimagen de bucle cerrado y el diseño de estímulos impulsado por hipótesis.