A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

Resumen Técnico: Señales de Impulso de fMRI Predicho Global y Mapas de Calor de Repetición de YouTube

Planteamiento del Problema
Los modelos de codificación cerebral multimodal profundos, como TRIBE (el ganador del desafío Algonauts 2025), han logrado una alta precisión en la predicción de las respuestas de fMRI a estímulos de video naturalistas. Una pregunta crítica sin respuesta es si estas señales neurales predichas, que son computacionalmente económicas y no requieren un escáner, heredan las capacidades de "neuroprospección" de las señales neurales medidas. La literatura previa sugiere que la actividad neural medida puede predecir el compromiso conductual agregado (por ejemplo, popularidad cultural, éxito en el crowdfunding) más allá de los autoinformes. Se desconoce si las señales predichas de los codificadores entrenados en grupo preservan la variabilidad individual específica y la dinámica de las regiones de recompensa necesarias para dicha predicción conductual, o si regresan hacia la media del grupo, descartando la estructura misma necesaria para pronosticar el comportamiento de volver a ver un contenido.

Metodología
El estudio evalúa si la respuesta cortical predicha por TRIBE puede pronosticar los mapas de calor de "más reproducido" de YouTube, un proxy pasivo del compromiso del espectador y del comportamiento de volver a ver un video.

• Modelo y Entrada: Los autores utilizaron el modelo TRIBE sin modificar (un codificador trimodal de 1 billón de parámetros que fusiona características de Llama-3.2, V-JEPA2 y Wav2Vec-BERT) para generar respuestas corticales predichas por TR (1 segundo) en la superficie fsaverage5 para 48 videos de YouTube en 11 categorías.
• Lectura de Compromiso: La respuesta predicha de alta dimensión ($P \in \mathbb{R}^{T \times V}$) se redujo a una curva de compromiso escalar por segundo mediante el Poder de Campo Global (GFP, por sus siglas en inglés), definido como la raíz cuadrada de la media de los cuadrados sobre todos los vértices corticales.
• Objetivo Conductual: La variable objetivo fue el mapa de calor de "más reproducido" proporcionado por YouTube, que representa la intensidad de la repetición normalizada. Este se interpoló linealmente para coincidir con la rejilla temporal del modelo.
• Controles Estadísticos: Para aislar la predicción específica del contenido de los factores de confusión temporales (por ejemplo, la tendencia a volver a ver las introducciones o el decaimiento general del compromiso a lo largo del tiempo), la métrica principal fue una correlación parcial controlada por posición. Tanto la curva de compromiso predicha como el mapa de calor de repetición se regresaron contra una base de tiempo cuadrática ($[1, t, t^2]$), y la correlación se calculó sobre los residuales.
• Líneas Base: El rendimiento del modelo se comparó con líneas base de características de bajo nivel: la sonoridad del audio (energía RMS) y el movimiento visual (diferencia absoluta media entre fotogramas).
• Adquisición de Datos: Debido a que el streaming de YouTube mediante SABR (bitrate adaptativo en el lado del servidor) bloquea las herramientas de descarga estándar, los autores desarrollaron una canalización de adquisición personalizada utilizando el cliente de Android NewPipe dirigido por ADB para recuperar el contenido del video, mientras obtenían los mapas de calor de repetición como metadatos.
• Pruebas de Robustez: El análisis incluyó lecturas específicas de regiones (restringidas a cinco redes funcionales: visual, auditiva, de saliencia, frontal y parietal) y una prueba de permutación de desplazamiento circular no paramétrica para dar cuenta de la autocorrelación temporal.

Resultos Clave
El estudio no encontró evidencia de que la señal de impulso de fMRI predicho global prediga el comportamiento de volver a ver un video:

• Correlación Primaria: La correlación parcial combinada controlada por posición entre el compromiso predicho por TRIBE y el mapa de calor de repetición fue de +0.058 (IC del 95% [−0.04, 0.15]). Esto es estadísticamente indistinguible de cero ($t(47) = 1.21, p = 0.23$).
• Comparación con Línea Base: El poder predictivo de TRIBE no superó significativamente las líneas base simples de bajo nivel. La diferencia entre TRIBE y la línea base de sonoridad fue insignificante ($p$ pareada = 0.74).
• Correlación Bruta: La correlación bruta (no controlada) también fue cercana a cero (+0.036). Las correlaciones brutas moderadas observadas en videos musicales se identificaron como un artefacto específico del género relacionado con la repetición de la introducción/inicio, en lugar de una verdadera predicción de contenido, ya que desaparecieron en otros géneros (charla, tecnología, comedia, etc.).
• Análisis por Región: Restringir la lectura a redes corticales específicas (incluyendo regiones de saliencia/recompensa) no recuperó una señal significativa. Todas las correlaciones parciales de las redes se mantuvieron cerca de cero e inconsistentes.
• Clasificación por Video: Los resúmenes de TRIBE (promedio/pico de compromiso) no mostraron capacidad para clasificar los videos por popularidad general (vistas/likes), con correlaciones cercanas a cero o ligeramente negativas.

Contribuciones y Significado
El artículo realiza tres contribuciones principales:

1. Resultado Nulo Empírico: Establece que, para este objetivo específico (mapas de calor de repetición de YouTube) y la lectura de poder de campo global (GFP), las señales neurales predichas de vanguardia no pronostican el compromiso conductual. Esto desafía la suposición de que los codificadores de fMRI precisos heredan automáticamente las capacidades de neuroprospección.
2. Rigor Metodológico: El estudio separa rigurosamente los resultados nulos genuinos de los factores de confusión mediante la implementación de controles de posición, la comparación con líneas base de bajo nivel y el uso de pruebas de permutación que preservan la autocorrelación temporal.
3. Infraestructura Abierta: Los autores liberan el código, el manifiesto de IDs de video y una novedosa canalización de adquisición capaz de eludir las restricciones de streaming SABR de YouTube, permitiendo la reproducibilidad y futuras pruebas con diferentes modelos o objetivos conductuales.

Afirmaciones y Limitaciones
Los autores enmarcan sus afirmaciones de manera modesta. Afirman que para este objetivo específico (mapas de calor de repetición), esta lectura específica (GFP global) y este modelo específico (TRIBE optimizado para la precisión de la reconstrucción de fMRI), la señal predicha falla en pronosticar el comportamiento de volver a ver más allá de la posición temporal y las características de bajo nivel.

El artículo señala explícitamente que el resultado nulo puede estar limitado por:

• El ruido y el sesgo inherentes a los "mapas de calor de más reproducido" (por ejemplo, efectos de introducción/inicio).
• La ventana de análisis limitada (60 segundos).
• El hecho de que TRIBE fue optimizado para la precisión de la reconstrucción de fMRI en lugar de puntos finales conductuales.

Los autores concluyen que, si bien una lectura más rica o una señal conductual más limpia podrían alterar el resultado, la evidencia actual sugiere que los modelos de codificación cerebral predeterminados aún no sirven como predictores confiables de compromiso para el contenido de video naturalista.