TRI-DEP: A Trimodal Comparative Study for Depression Detection Using Speech, Text, and EEG

1. Problema e Contexto

A depressão é uma condição de saúde mental prevalente, mas sua detecção automática enfrenta desafios significativos. Embora abordagens multimodais (que combinam sinais como fala, texto e atividade neural) mostrem promessa, a literatura atual apresenta lacunas críticas:

• Limitação de Escopo: A maioria dos estudos utiliza apenas duas modalidades (ex: EEG + fala), ignorando o potencial da integração trimodal (EEG + fala + texto).
• Inconsistência Metodológica: Falta de protocolos de avaliação padronizados, uso de divisões de dados que permitem "vazamento de informação" (data leakage) entre treinamento e teste (ex: dividir por segmentos em vez de por sujeito), e comparações desiguais entre características manuais (handcrafted) e embeddings pré-treinados.
• Ausência de Transcrições: Muitos conjuntos de dados clínicos não possuem transcrições de texto, dificultando a análise linguística.

O objetivo do TRI-DEP é preencher essas lacunas através de um estudo comparativo sistemático e rigoroso, utilizando o conjunto de dados MODMA.

2. Metodologia

2.1. Dados e Pré-processamento

• Dataset: Utilizou-se o MODMA (Multi-modal Open Dataset for Mental-disorder Analysis), contendo 38 sujeitos (24 com Transtorno Depressivo Maior - MDD e 14 Controles Saudáveis - HC).
• Modalidades:
  • EEG: Gravações de estado de repouso (128 canais). O estudo testou duas configurações de pré-processamento: uma padrão (29 canais, 10s) e uma replicando o modelo CBraMod (19 canais, 5s).
  • Fala: Entrevistas clínicas estruturadas (29 gravações por sujeito). O áudio foi limpo, normalizado e segmentado em janelas de 5s com 50% de sobreposição.
  • Texto: Como o dataset original não possui transcrições, o estudo gerou automaticamente transcrições em chinês utilizando o modelo WhisperX.
• Divisão de Dados: Para evitar vazamento de dados, foi utilizada uma validação cruzada estratificada de 5 dobras a nível de sujeito (subject-level), garantindo que dados do mesmo indivíduo não aparecessem simultaneamente nos conjuntos de treino e teste.

2.2. Extração de Recursos (Features)

O estudo comparou duas abordagens principais:

1. Recursos Manuais (Handcrafted):
   • EEG: Estatísticas, potência espectral e entropia.
   • Fala: MFCCs (40 coeficientes) e recursos de prosódia (energia, F0, taxa de fala, etc.).
2. Embeddings Pré-treinados:
   • EEG: LaBraM (Large Brain Model) e CBraMod (fine-tuned no dataset MUMTAZ).
   • Fala: XLSR-53 e Chinese HuBERT Large.
   • Texto: BERT, MacBERT, XLNet e MPNet Multilingual (todos em chinês).

2.3. Arquiteturas e Fusão

• Arquiteturas Unimodais: Foram testados diversos encoders (CNN, LSTM, GRU, Attention) para cada modalidade.
• Fusão Multimodal: Adotou-se uma estratégia de fusão de decisão (late fusion). As melhores combinações de recurso-modelo para cada modalidade foram treinadas independentemente e suas previsões foram combinadas usando três estratégias:
  1. Média Ponderada (Weighted Averaging).
  2. Fusão Bayesiana.
  3. Votação Majoritária (Majority Voting).

3. Resultados Principais

Os resultados são reportados como Macro-F1 (média ± desvio padrão sobre 5 dobras):

• Desempenho Unimodal:

  • Fala: Foi a modalidade mais informativa isoladamente. O modelo Chinese HuBERT com encoder BiGRU+Attn e classificador CNN+MaxPool alcançou F1 = 0,809. Recursos manuais (MFCC) tiveram desempenho inferior.
  • Texto: O MacBERT com LSTM alcançou F1 = 0,784.
  • EEG: Teve o desempenho mais baixo isoladamente. A melhor configuração (CBraMod + CNN) atingiu apenas F1 = 0,446, ficando abaixo de 0,50.
  • Conclusão: Embeddings pré-treinados superaram consistentemente os recursos manuais em todas as modalidades.

• Desempenho Multimodal:

  • A combinação trimodal (EEG + Fala + Texto) alcançou o melhor desempenho global, com F1 = 0,864 (tanto na Média Ponderada quanto na Fusão Bayesiana).
  • A configuração bimodal Fala + Texto também foi muito robusta (F1 = 0,839) com baixa variância (std = 0,059), indicando alta estabilidade.
  • O EEG, apesar de fraco isoladamente, forneceu informações complementares que melhoraram o desempenho trimodal.

• Significância Estatística:

  • Devido ao tamanho amostral limitado (N=38), nenhuma comparação atingiu significância estatística estrita (p < 0,05) nos testes de McNemar e Wilcoxon. No entanto, a direção consistente da melhoria em todas as configurações multimodais fornece evidências convergentes da eficácia da integração.

4. Contribuições Chave

1. Estudo Trimodal Abrangente: Primeiro trabalho a realizar uma comparação sistemática e justa entre EEG, fala e texto para detecção de depressão, superando a limitação de estudos anteriores focados apenas em pares de modalidades.
2. Benchmark Reprodutível: Estabelecimento de um protocolo rigoroso com divisões de dados a nível de sujeito e liberação de checkpoints e código, permitindo comparações justas futuras.
3. Análise de Recursos: Demonstração clara de que embeddings pré-treinados (especialmente modelos de linguagem e de cérebro) superam recursos manuais tradicionais.
4. Framework Experimental: Proposição de um framework modular onde cada modalidade é otimizada independentemente antes da fusão, facilitando a adaptação a cenários clínicos onde nem todas as modalidades estão disponíveis.

5. Significância e Conclusão

O trabalho TRI-DEP estabelece um novo estado da arte (SOTA) para detecção de depressão multimodal, alcançando 86,4% de Macro-F1.

• Papel Assimétrico do EEG: Um achado crucial é que, embora o EEG tenha baixo poder preditivo isolado, ele atua como um sinal complementar valioso quando combinado com fala e texto, melhorando a robustez do sistema trimodal.
• Viabilidade Clínica: A alta estabilidade da fusão bimodal (Fala + Texto) sugere que sistemas baseados apenas nesses dois modais (mais fáceis de coletar em telemedicina) já oferecem desempenho excelente e robusto.
• Limitações e Futuro: A dependência de transcrições automáticas (WhisperX) é uma limitação reconhecida; trabalhos futuros devem focar em ASR treinado especificamente para fala clínica.

Em suma, o TRI-DEP fornece as bases para o desenvolvimento de sistemas de diagnóstico mais precisos e reprodutíveis, guiando a pesquisa futura para além da simples fusão de dados, rumo a estratégias de integração inteligentes e adaptáveis.