Resumo Técnico: EmoMind – Decodificação de Legendas Afetivas a partir de fMRI Cerebral Humano

Declaração do Problema

Os sistemas atuais de decodificação cérebro-texto avançaram significativamente na recuperação de conteúdo semântico a partir de sinais fMRI, como a reconstrução de cenas visuais ou fala. No entanto, esses sistemas descartam em grande parte a dimensão afetiva da percepção. As abordagens existentes ou geram descrições neutras desprovidas de emoção ou condicionam Modelos de Linguagem de Grande Escala (LLMs) a rótulos emocionais grosseiros e categóricos (por exemplo, "feliz", "triste"). Esses rótulos categóricos falham em capturar a natureza rica, contínua e altamente variável das experiências emocionais individuais, colapsando a variabilidade inter-sujeito em bins discretos. Além disso, embora os LLMs possam gerar texto emocional quando solicitados com rótulos, eles não conseguem ler diretamente de uma atividade neural o estado afetivo contínuo e específico de um determinado sujeito.

Metodologia: O Pipeline EmoMind

O EmoMind é o primeiro pipeline de ponta a ponta projetado para decodificar legendas afetivas diretamente de sinais fMRI, utilizando um vetor de emoção contínuo e de alta dimensão como sinal de controle. A arquitetura opera em duas etapas principais:

1. Decodificação Cerebral de Duplo Fluxo (Etapa 1)

Dado um vetor de resposta de voxel fMRI $v$ de um sujeito visualizando um clipe de vídeo, o sistema decodifica duas representações complementares usando modelos lineares específicos por sujeito:

• Recuperação Semântica ($x$): Uma descrição neutra da cena é recuperada de um corpus de treinamento pré-indexado. Isso é alcançado mapeando sinais fMRI para uma pilha de características de múltiplas camadas de um modelo DeBERTa-large pré-treinado (24 camadas) e realizando uma busca de cosseno de vizinho mais próximo. Isso substitui a geração iterativa token a token por uma recuperação de passagem única, reduzindo significativamente os custos de inferência.
• Decodificação de Emoção Contínua ($e$): Um modelo de regressão ridge específico do sujeito mapeia os voxels fMRI para um vetor de emoção de 34 dimensões de Cowen & Keltner (C&K). Diferentemente de rótulos categóricos, este vetor representa estados emocionais de alta granularidade (por exemplo, Alegria, Medo, Admiração, Nostalgia) como probabilidades contínuas derivadas de classificações humanas dos estímulos.

2. Reescritor de Tokens de Eixo (Etapa 2)

Um modelo de linguagem treinado codificador-decodificador (BART-base) atua como um reescritor que transforma a legenda neutra $x$ em uma legenda com estilo emocional $\hat{y}$, condicionada ao vetor de emoção decodificado $e$.

• Arquitetura: O modelo incorpora 34 "tokens de eixo" aprendidos (um para cada categoria de emoção C&K). O vetor de emoção decodificado do cérebro $e$ escala esses tokens de eixo elemento a elemento, que são então concatenados ao estado oculto do codificador. Isso permite que o decodificador interprete os eixos emocionais como tokens de contexto virtuais adicionais, sem perturbar a representação semântica pré-treinada da legenda de entrada.
• Objetivo de Treinamento: O modelo é treinado com um objetivo comutado por Bernoulli. Com probabilidade $\rho$, ele realiza uma tarefa de reconstrução (entrada $x$ com um vetor de emoção zerado) e, com probabilidade $1-\rho$, realiza uma tarefa de alvo emocional (entrada $x$ com vetor de emoção $e$ visando uma legenda emocional específica). Este ramo nulo explícito que preserva a identidade ensina ao modelo quando preservar o conteúdo semântico e quando permitir o controle afetivo.
• Inferência (Guia Livre de Classificador): Para controlar o compromisso entre fidelidade semântica e expressão afetiva, o sistema aplica o guia livre de classificador (CFG). A saída final do codificador é uma extrapolação linear: $H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$, onde $w$ é o peso de orientação. Valores mais altos de $w$ amplificam a expressão afetiva à custa de alguma fidelidade de conteúdo.

Contribuições Principais

1. Primeiro Pipeline Condicionado ao Cérebro Contínuo: O EmoMind introduz o primeiro sistema que condiciona a geração de texto a um vetor de emoção decodificado contínuo derivado diretamente de fMRI, em vez de depender de rótulos categóricos discretos.
2. Framework de Validação de Três Eixos: Os autores propõem um framework de avaliação rigoroso abrangendo:
   • Especificidade do Sujeito: Medir se diferentes sujeitos visualizando a mesma cena produzem legendas distintas proporcionais às suas diferenças neurais.
   • Geometria Estrutural (RSA): Avaliar se a estrutura relacional entre clipes no espaço de emoção decodificado do cérebro é preservada nas legendas geradas.
   • Controle Causal (SWAP): Testar se o reescritor segue um alvo emocional deslocado (de um clipe diferente) em vez de reverter para o afeto inerente da cena de entrada.
3. Teste de Robustez Cérebro-Sintético: O framework inclui um teste de "substituição TRIBE v2", substituindo o fMRI medido por atividade sintética prevista a partir de características de vídeo para diagnosticar lacunas representacionais nos atuais codificadores vídeo-cérebro.

Resultados Experimentais

O sistema foi avaliado em dois conjuntos de dados fMRI independentes (MindCaptioning e Horikawa 2020) contra uma forte linha de base: GPT-4 solicitado com os rótulos emocionais categóricos top-5 verdadeiros.

• Especificidade do Sujeito: O EmoMind superou significativamente a linha de base GPT-4. A diversidade de legendas entre sujeitos foi 3,4× maior na similaridade de vetores de emoção (CK34 cosseno) e 11,6× maior na diversidade lexical. Crucialmente, essa diversidade foi organizada pela similaridade neural; sujeitos com respostas cerebrais semelhantes produziram legendas mais semelhantes, uma estrutura ausente na linha de base solicitada por rótulos.
• Geometria Estrutural: A correlação de Spearman entre a Matriz de Dissimilaridade Representacional (RDM) decodificada do cérebro e a RDM da legenda foi +0,635 para o EmoMind, comparado a +0,435 para o GPT-4. Isso indica que a decodificação cerebral contínua preserva a geometria relacional das experiências emocionais melhor do que os rótulos categóricos.
• Controle Causal: No teste SWAP, o EmoMind alcançou uma taxa de "vazamento próprio" de 2,8% (estatisticamente indistinguível do acaso), significando que seguiu com sucesso o alvo deslocado sem reverter para o afeto do clipe original. O GPT-4 vazou o afeto do clipe original em 8,3%, demonstrando que sinais cerebrais contínuos fornecem um sinal de controle mais limpo do que rótulos categóricos.
• Análise Cérebro-Sintético: Quando o fMRI foi substituído por atividade sintética (TRIBE v2), o controle causal permaneceu robusto (vazamento 5,2%), mas a geometria estrutural colapsou (RSA caiu de +0,635 para +0,166). Isso sugere que, embora os atuais codificadores vídeo-fMRI possam capturar o afeto específico do clipe, eles falham em preservar a estrutura relacional entre clipes.

Significado e Alegações

O artigo afirma que o afeto decodificado cerebral contínuo é um sinal de controle viável para a geração de legendas afetivas individualizadas, oferecendo capacidades que rótulos categóricos não podem alcançar.

• Variabilidade Individual: Os resultados estabelecem que as diferenças individuais na experiência emocional são codificadas em padrões neurais distribuídos e de alta dimensão que são perdidos quando agregados em rótulos de nível populacional. O EmoMind captura com sucesso essa "variabilidade inter-sujeito", que é crítica para aplicações translacionais em saúde mental, onde médias populacionais frequentemente perdem sinais clinicamente significativos.
• Além das Métricas de Superfície: Embora o GPT-4 supere o EmoMind em métricas padrão de sobreposição de superfície (BLEU, ROUGE) porque tem acesso ao texto e rótulos verdadeiros, o EmoMind domina em métricas que exigem estrutura afetiva específica da pessoa.
• Insight Neurocientífico: A dissociação entre usabilidade causal (preservada em cérebros sintéticos) e usabilidade estrutural (perdida em cérebros sintéticos) sugere que os atuais codificadores vídeo-fMRI carecem de sinais interoceptivos ou específicos do sujeito necessários para reconstruir completamente a geometria relacional do afeto.

Os autores concluem que o EmoMind abre novas direções para estudar a organização cerebral afetiva individual e fornece um substrato para gerar texto que reflete não apenas o que uma pessoa viu, mas como ela se sentiu sobre isso, de uma maneira específica à sua assinatura neural única.