Unifying Acoustic Features and Text with Multimodal LLMs for Neurodegenerative Screening

Resumo Técnico: NeurMLLM para Triagem de Neurodegeneração

Definição do Problema
As doenças neurodegenerativas, especificamente a doença de Alzheimer (DA) e a doença de Parkinson (DP), representam um ônus significativo para os sistemas de saúde globais, permanecendo frequentemente subdiagnosticadas até que ocorram danos irreversíveis. Embora o neuroimagem e os testes clínicos sejam definitivos, seu alto custo, invasividade e acessibilidade limitada dificultam a triagem em larga escala. A triagem baseada na voz oferece uma alternativa escalável e não invasiva, uma vez que a neurodegeneração interrompe o controle motor da fala e o planejamento linguístico cognitivo, manifestando-se em mudanças acústicas e linguísticas mensuráveis (ex: articulação lenta, redução da variação de tom).

No entanto, as abordagens atuais enfrentam dois desafios primários:

1. Integração de Dados: Muitos estudos de Grandes Modelos de Linguagem (LLMs) existentes são centrados em transcrições, falhando em integrar representações acústicas heterogêneas (espectrogramas, MFCCs) com contextos linguísticos e demográficos dentro de um único modelo unificado.
2. Rigidez de Decisão: Muitos sistemas baseados em LLM dependem de uma cabeça de classificação que mapeia representações agrupadas para um espaço de rótulos fixo. Esta camada de decisão rígida é difícil de generalizar entre tarefas e é menos alinhada com as interações multimodais ao nível de token, particularmente em ambientes com recursos limitados e coortes pequenas.

Metodologia: NeurMLLM
Os autores propõem o NeurMLLM, um framework generativo multimodal eficiente projetado para o estadiamento neurodegenerativo de granularidade fina. A arquitetura opera da seguinte forma:

• Modalidades de Entrada: O modelo processa três entradas distintas:
  • Características Acústicas: Espectrogramas e coeficientes cepstrais de frequência Mel (MFCCs) derivados dos dados de voz do paciente.
  • Contexto Linguístico: Transcrições de fala alinhadas.
  • Contexto Demográfico: Atributos como idade e gênero.
• Arquitetura:
  • Codificação Acústica: Dois Transformers de Visão (ViT) específicos por modalidade codificam os mapas de espectrogramas e MFCCs.
  • Projeção: Camadas lineares leves projetam esses embeddings acústicos para o espaço de embedding de um LLM de base (backbone).
  • Sequência Unificada: Os embeddings acústicos projetados são concatenados com os embeddings de texto (derivados de transcrições e instruções demográficas) e tags de modalidade especiais (ex: [SPEC], [MFCC], [TEXT]) para formar uma única sequência de tokens.
  • Fusão: O LLM de base utiliza mecanismos de autoatenção para permitir a interação cross-modal entre todos os tokens dentro da sequência unificada.
• Estratégia de Treinamento:
  • Ajuste Fino (Fine-tuning): O modelo é ajustado usando Adaptação de Baixo Posto (LoRA) nas matrizes de projeção de consulta (query) e valor (value) dos blocos de transformer, mantendo a maioria dos pesos do backbone congelados para garantir a eficiência de parâmetros.
  • Objetivo Generativo: Em vez de usar uma cabeça de classificação, a tarefa de estadiamento é formulada como geração de token de rótulo restrita. O modelo é ajustado por instrução para prever de forma autorregressiva um token de rótulo específico (ex: "MCI", "AD", "CN") a partir de um conjunto predefinido, guiado por prompts específicos da tarefa.

Principais Contribuições

1. Arquitetura Multimodal: Introdução de um framework que modela conjuntamente fatores paralinguísticos (acústicos), linguísticos (transcrição) e populacionais (demográficos) dentro de uma única arquitetura, abordando a lacuna nos estudos de LLM centrados em transcrição.
2. Paradigma de Estadiamento Generativo: Demonstração de que LLMs ajustados por instrução que realizam a geração de token de rótulo restrita superam tanto métodos clássicos de aprendizado de máquina quanto abordagens baseadas em LLM que utilizam cabeças de classificação.
3. Validação Abrangente: Avaliação extensiva no dataset Bridge2AI-Voice (v3.0.0) para estadiamento multiclasse de DA e DP, mostrando superioridade consistente sobre os baselines.

Resultos Experimentais
O framework foi avaliado no dataset Bridge2AI-Voice, envolvendo 156 participantes para DA (estratificados em CN, MCI, AD) e 167 para DP (estratificados em Controle Saudável, Estágio Inicial, Estágio Avançado).

• Desempenho: O NeurMLLM alcançou os melhores resultados em ambas as doenças. Para o estadiamento de DA, melhorou o macro-AUROC de 0,852 (baseline ClsHead) para 0,917 e a Acurácia de 0,740 para 0,823. Para o estadiamento de DP, alcançou um macro-AUROC de 0,872 e Acurácia de 0,735.
• Análise de Modalidade: Embora as entradas apenas acústicas tenham performado fortemente, a fusão multimodal de dados acústicos, textuais e demográficos produziu os melhores resultados, indicando que a informação linguística fornece um contexto complementar que melhora o recall, particularmente em casos limítrofes.
• Sensibilidade do Backbone: Experimentos com diferentes backbones de LLM (Llama-3.2-3B, Qwen2.5-3B) indicaram que modelos ajustados por instrução (ex: Llama-3.2-3B-Instruct) geralmente se alinham melhor com o objetivo de estadiamento do que os modelos base, particularmente para DA.

Significância e Alegações
O artigo afirma que reformular o estadiamento neurodegenerativo como uma tarefa de geração de token de rótulo restrita, combinada com o ajuste fino de parâmetros eficientes, oferece uma alternativa simples e eficaz às cabeças de classificação tradicionais. Os autores argumentam que a decodificação generativa reutiliza as projeções de saída pré-treinadas, preservando a consistência com o objetivo de pré-treinamento do LLM e evitando os desafios de aprender uma nova cabeça de classificação do zero em coortes pequenas.

Os resultados sugerem que os LLMs multimodais têm alto potencial para triagem neurodegenerativa acessível e escalável. Ao integrar dados acústicos, linguísticos e demográficos, o NeurMLLM suporta o estadiamento de granularidade fina com melhor precisão e sensibilidade para classes minoritárias. Os autores observam que, embora o tamanho pequeno da coorte introduza variância, os achados servem como sinais encorajadores para a viabilidade desta abordagem, com trabalhos futuros potencialmente estendendo-se a modalidades adicionais (ex: neuroimagem) e saídas generativas mais complexas (ex: resumos clínicos).