R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity

Resumo Técnico: R&B - Rhythm and Brain: Decodificação Cross-subject de Música a partir da Atividade Cerebral Humana

Declaração do Problema
Este estudo aborda o desafio de decodificar estímulos auditivos complexos — especificamente música — a partir da atividade cerebral humana medida via Ressonância Magnética Funcional (fMRI). As principais dificuldades neste domínio incluem a baixa resolução temporal e a baixa relação sinal-ruído (SNR) inerentes à fMRI, o atraso da função de resposta hemodinâmica (HRF) e a significativa variabilidade anatômica e funcional entre diferentes sujeitos. Embora avanços recentes em grandes conjuntos de dados e modelos computacionais pré-treinados tenham facilitado a decodificação neural de imagens, vídeos e linguagem, aplicar essas técnicas para a recuperação de música através de múltiplos sujeitos continua sendo um obstáculo significativo. O objetivo é determinar se os sinais neurais podem ser mapeados de forma confiável para representações latentes de estímulos musicais para recuperar a música original ou seu gênero sem depender de modelos específicos de cada sujeito.

Metodologia
Os autores utilizaram o conjunto de dados GTZan fMRI, composto por dados de cinco participantes ouvindo 540 estímulos musicais em 10 gêneros. O design experimental incluiu 12 corridas de treinamento e 6 corridas de teste por sujeito, com estímulos calculados pela média para aumentar o SNR. O pipeline proposto consiste em três estágios principais:

1. Extração de Características: O estudo utiliza o modelo CLAP (Contrastive Language-Audio Pretraining), um modelo de base multimodal, para extrair representações de vetores latentes (embeddings de 512 dimensões) dos estímulos musicais. Esses embeddings servem como o espaço alvo para a decodificação.

2. Codificação e Identificação de ROI: Para identificar regiões cerebrais responsivas à música, modelos de codificação voxel-wise foram construídos. Esses modelos mapeiam as características de áudio do CLAP para a atividade cerebral fMRI. Um limiar de correlação (definido empiricamente em 0,1) foi aplicado à atividade cerebral prevista vs. real para gerar uma máscara de Regiões de Interesse (ROIs) "responsivas à música". Essas ROIs foram encontradas co-localizadas em regiões cerebrais laterais e temporais, incluindo o giro temporal superior e o córtex auditivo primário.

3. Decodificação Cross-Subject: Para superar a variabilidade inter-sujeito, os autores implementaram três estratégias de alinhamento:

   • Alinhamento Anatômico: Mapeamento dos dados para um espaço MNI padrão.
   • Alinhamento Funcional (Hyperalignment): Uso de análise de Procrustes para alinhar padrões de dados funcionais entre sujeitos.
   • Alinhamento Linear: Uso de regressão ridge para agregar dados cross-subject em um espaço unificado.

   Um modelo de regressão Ridge foi então treinado na atividade cerebral alinhada dentro das ROIs identificadas para prever as características latentes do CLAP. O processo de decodificação é baseado em recuperação (retrieval): para uma dada entrada de atividade cerebral, o modelo prevê as características do CLAP, e o sistema recupera os top-k (k=5) estímulos musicais mais próximos no espaço latente com base na distância Euclidiana (L2).

Principais Contribuições

• Pipeline de Decodificação Cross-Subject: O artigo introduz um pipeline simplificado e de código aberto que decodifica com sucesso música de dados de fMRI através de múltiplos sujeitos sem exigir modelos generativos específicos de sujeito ou arquiteturas proprietárias.
• Integração de Modelos de Base: Demonstra a eficácia do uso de modelos multimodais pré-treinados e de código aberto (CLAP) para fazer a ponte entre dados neurais e estímulos auditivos complexos.
• Técnicas de Alinhamento: O estudo avalia e compara sistematicamente os métodos de alinhamento anatômico, hyperalignment e alinhamento linear, demonstrando que o alinhamento funcional supera significativamente o alinhamento anatômico padrão para a decodificação cross-subject.
• Identificação de Correlatos Neurais: A fase de codificação delineou com sucesso regiões cerebrais específicas (STG, planum temporale, lobo parietal inferior) que são mais responsivas a estímulos musicais, fornecendo um mapa espacial para pesquisas futuras de decodificação de música.

Resultos

• Precisão de Identificação: O método proposto alcançou precisão de estado da arte. A abordagem de alinhamento linear yielded a maior performance com uma precisão de 0,9012 ± 0,01573, seguida pelo hyperalignment com 0,8805 ± 0,0231. Ambos superaram significativamente o alinhamento anatômico (0,7746) e os métodos de embedding de linha de base (ex: SoundStream, MuLan).
• Classificação de Gênero: O modelo demonstrou alta precisão ao distinguir gêneros complexos como clássico e jazz, que mostraram representações neurais distintas. No entanto, observou-se confusão entre gêneros com características acústicas sobrepostas, como disco e metal, ou rock e metal.
• Dinâmica Temporal: A análise da precisão de decodificação ao longo do tempo (pulando o atraso inicial de 4,5s da HRF) revelou que a precisão de identificação aumenta conforme a duração da exposição ao estímulo se prolonga, atingindo o pico próximo ao final da janela de 15 segundos.
• Recuperação Qualitativa: Visualizações de decomposições tempo-frequência confirmaram que os estímulos recuperados frequentemente correspondiam ao gênero original e às características acústicas, embora tenham ocorrido classificações incorretas ocasionais dentro de clusters de gêneros semanticamente similares.

Significância e Alegações
Os autores afirmam que seus achados demonstram a viabilidade de uma decodificação de música cross-subject de alta precisão a partir de dados de fMRI usando uma abordagem baseada em recuperação. O estudo sugere que sistemas de recuperação de música baseados em neurais poderiam servir como base para:

• Recomendações Personalizadas: Sistemas que sugerem música baseada no estado neural em tempo real ou preferências de um indivíduo.
• Aplicações Terapêuticas: Personalização de intervenções de musicoterapia ao decodificar como gêneros específicos afetam a atividade cerebral, potencialmente auxiliando no tratamento de distúrbios neurológicos como Alzheimer, AVC e depressão.
• Compreensão Neural: Fornecer insights sobre os fundamentos neurais da percepção musical e as redes cerebrais específicas envolvidas no processamento de conteúdo auditivo e emocional.

O artigo mantém uma postura modesta quanto às capacidades generativas, observando que a resolução temporal atual da fMRI limita a capacidade de gerar música online. Em vez disso, posiciona a recuperação como o estado da arte atual, identificando aplicações generativas (ex: criar música a partir de atividade cerebral ou imagens) como uma direção futura dependente de neuroimagem de maior resolução temporal (como iEEG ou MEG) e modelos generativos avançados.