A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

Resumo Técnico: Sinais de Drive de fMRI Preditivo Global e Mapas de Calor de Replay do YouTube

Definição do Problema
Modelos de codificação cerebral multimodal profundos, como o TRIBE (o vencedor do desafio Algonauts de 2025), alcançaram alta precisão na predição de respostas de fMRI a estímulos de vídeo naturalísticos. Uma questão crucial ainda não respondida é se esses sinais neurais preditos, que são computacionalmente econômicos e não requerem scanner, herdam as capacidades de "neuroprognóstico" (neuroforecasting) de sinais neurais medidos. A literatura anterior sugere que a atividade neural medida pode prever o engajamento comportamental agregado (ex: popularidade cultural, sucesso em financiamento coletivo) além dos autorrelatos. No entanto, não se sabe se os sinais preditos de codificadores treinados em grupo preservam a variabilidade individual específica e a dinâmica das regiões de recompensa necessárias para tal predição comportamental, ou se eles regridem para a média do grupo, descartando a própria estrutura necessária para prever o comportamento de reassistir (re-watching).

Metodologia
O estudo avalia se a resposta cortical predita pelo TRIBE pode prever os mapas de calor de "mais reproduzidos" (most replayed) do YouTube, um proxy passivo para o engajamento do espectador e o comportamento de reassistir.

• Modelo e Entrada: Os autores utilizaram o modelo TRIBE não modificado (um codificador trimodal de 1 bilhão de parâmetros fundindo recursos de Llama-3.2, V-JEPA2 e Wav2Vec-BERT) para gerar respostas corticais preditas por TR (1 segundo) na superfície fsaverage5 para 48 vídeos do YouTube em 11 categorias.
• Leitura de Engajamento: A resposta predita de alta dimensão ($P \in \mathbb{R}^{T \times V}$) foi reduzida a uma curva de engajamento escalar por segundo usando o Potencial de Campo Global (GFP), definido como a raiz quadrada da média do quadrado (RMS) sobre todos os vértices corticais.
• Alvo Comportamental: A variável alvo foi o mapa de calor de "mais reproduzidos" fornecido pelo YouTube, representando a intensidade de reassistência normalizada. Isso foi interpolado linearmente para corresponder à grade temporal do modelo.
• Controles Estatísticos: Para isolar a predição específica do conteúdo de confundimentos temporais (ex: a tendência de reassistir introduções ou o declínio geral do engajamento ao longo do tempo), a métrica primária foi uma correlação parcial controlada pela posição. Tanto a curva de engajamento predita quanto o mapa de calor de reprodução foram regredidos contra uma base temporal quadrática ($[1, t, t^2]$), e a correlação foi computada nos resíduos.
• Linhas de Base (Baselines): O desempenho do modelo foi comparado contra linhas de base de características de baixo nível: volume de áudio (energia RMS) e movimento visual (diferença absoluta média de quadros).
• Aquisição de Dados: Devido ao streaming SABR (taxa de bits adaptativa do lado do servidor) do YouTube, que bloqueia ferramentas de download padrão, os autores desenvolveram um pipeline de aquisição customizado usando o cliente Android NewPipe controlado via ADB para recuperar o conteúdo do vídeo, enquanto buscavam os mapas de calor de reprodução como metadados.
• Verificações de Robustez: A análise incluiu leituras específicas de região (restritas a cinco redes funcionais: visual, auditiva, saliência, frontal, parietal) e um teste de permutação de deslocamento circular não paramétrico para considerar a autocorrelação temporal.

Resultos Principais
O estudo não encontrou evidências de que o sinal de drive de fMRI global predito prevê o comportamento de reassistir:

• Correlação Primária: A correlação parcial combinada controlada pela posição entre o engajamento predito pelo TRIBE e o mapa de calor de reprodução foi de +0,058 (95% CI [−0,04, 0,15]). Isso é estatisticamente indistinguível de zero ($t(47) = 1,21, p = 0,23$).
• Comparação com Linhas de Base: O poder preditivo do TRIBE não excedeu significativamente as simples linhas de base de baixo nível. A diferença entre o TRIBE e a linha de base de volume foi negligível (pareado $p = 0,74$).
• Correlação Bruta: A correlação bruta (não controlada) também foi próxima de zero (+0,036). Correlações brutas moderadas observadas em videoclipes foram identificadas como um artefato específico do gênero relacionado à reprodução de introdução/início, pois desapareceram em outros gêneros (conversa, tecnologia, comédia, etc.).
• Análise Específica de Região: Restringir a leitura a redes corticais específicas (incluindo regiões de saliência/recompensa) não recuperou um sinal significativo. Todas as correlações parciais específicas de rede permaneceram próximas de zero e inconsistentes.
• Ranking por Vídeo: Os resumos do TRIBE (média/pico de engajamento) não mostraram capacidade de classificar vídeos por popularidade geral (visualizações/curtidas), com correlações próximas de zero ou ligeiramente negativas.

Contribuições e Significância
O artigo apresenta três contribuições principais:

1. Resultado Nulo Empírico: Estabelece que, para este alvo específico (mapas de calor de reprodução do YouTube), esta leitura específica (GFP global) e este modelo específico (TRIBE otimizado para precisão de fMRI), o sinal predito não prevê o comportamento de reassistir além da posição temporal e de características de baixo nível. Isso desafia a suposição de que codificadores de fMRI precisos herdam automaticamente capacidades de neuroprognóstico.
2. Rigor Metodológico: O estudo separa rigorosamente resultados nulos de confundimentos ao implementar controles de posição, comparar contra linhas de base de baixo nível e utilizar testes de permutação que preservam a autocorrelação temporal.
3. Infraestrutura Aberta: Os autores liberam o código, o manifesto de IDs de vídeo e um novo pipeline de aquisição capaz de contornar as restrições de streaming SABR do YouTube, permitindo a reprodutibilidade e testes futuros com diferentes modelos ou alvos comportamentais.

Alegações e Limitações
Os autores formulam suas alegações de forma modesta. Eles afirmam que, para este alvo específico (mapas de calor de reprodução), esta leitura específica (GFP global) e este modelo específico (TRIBE otimizado para precisão de fMRI), o sinal predito falha em prever o comportamento de reassistir além da posição temporal e de características de baixo nível.

O artigo nota explicitamente que o resultado nulo pode ser limitado por:

• O ruído e o viés inerentes aos mapas de calor de "mais reproduzidos" (ex: efeitos de introdução/início).
• A janela de análise limitada (60 segundos).
• O fato de o TRIBE ter sido otimizado para a precisão da reconstrução de fMRI, em vez de desfechos comportamentais.

Os autores concluem que, embora uma leitura mais rica ou um sinal comportamental mais limpo possa alterar o resultado, a evidência atual sugere que modelos de codificação cerebral prontos para uso (off-the-shelf) ainda não servem como preditores confiáveis de engajamento para conteúdo de vídeo naturalístico.