Unifying Acoustic Features and Text with Multimodal LLMs for Neurodegenerative Screening

Resumen Técnico: NeurMLLM para el Cribado de Enfermedades Neurodegenerativas

Planteamiento del Problema
Las enfermedades neurodegenerativas, específicamente la enfermedad de Alzheimer (AD) y la enfermedad de Parkinson (PD), representan una carga significativa para los sistemas de salud globales, permaneciendo a menudo sin diagnosticar hasta que ocurre un daño irreversible. Aunque la neuroimagen y las pruebas clínicas son definitivas, su alto costo, carácter invasivo y accesibilidad limitada dificultan el cribado a gran escala. El cribado basado en la voz ofrece una alternativa escalable y no invasiva, ya que la neurodegeneración altera el control motor del habla y la planificación lingüística cognitiva, manifestándose en cambios acústicos y lingüísticos mensurables (por ejemplo, articulación ralentizada, reducción de la variación del tono).

Sin embargo, los enfoques actuales enfrentan dos desafíos principales:

1. Integración de Datos: Muchos estudios actuales de Modelos de Lenguaje de Gran Escala (LLM) se centran en las transcripciones, fallando al integrar representaciones acústicas heterogéneas (espectrogramas, MFCCs) con contextos lingüísticos y demográficos dentro de un único modelo unificado.
2. Rigidez en la Decisión: Muchos sistemas basados en LLM dependen de un cabezal de clasificación que mapea las representaciones agrupadas hacia un espacio de etiquetas fijo. Esta capa de decisión rígida es difícil de generalizar entre tareas y está menos alineada con las interacciones multimodales a nivel de token, particularmente en entornos con recursos limitados y cohortes pequeñas.

Metodología: NeurMLLM
Los autores proponen NeurMLLM, un marco generativo multimodal eficiente diseñado para el estadiaje neurodegenerativo de grano fino. La arquitectura opera de la siguiente manera:

• Modalidades de Entrada: El modelo procesa tres entradas distintas:
  • Características Acústicas: Espectrogramas y coeficientes cepstrales en las frecuencias de Mel (MFCCs) derivados de los datos de voz del paciente.
  • Contexto Lingüístico: Transcripciones de voz alineadas.
  • Contexto Demográfico: Atributos como edad y género.
• Arquitectura:
  • Codificación Acústica: Dos Transformers de Visión (ViT) específicos por modalidad codifican los mapas de espectrogramas y MFCCs.
  • Proyección: Capas lineales ligeras proyectan estas incrustaciones (embeddings) acústicas en el espacio de incrustación de un LLM de base (backbone).
  • Secuencia Unificada: Las incrustaciones acústicas proyectadas se concatenan con las incrustaciones de texto (derivadas de transcripciones e instrucciones demográficas) y etiquetas de modalidad especiales (p. ej., [SPEC], [MFCC], [TEXT]) para formar una única secuencia de tokens.
  • Fusión: El LLM de base utiliza mecanismos de autoatención para permitir la interacción cross-modal entre todos los tokens dentro de la secuencia unificada.
• Estrategia de Entrenamiento:
  • Ajuste Fino (Fine-tuning): El modelo se ajusta mediante Adaptación de Bajo Rango (LoRA) en las matrices de proyección de consulta (query) y valor (value) de los bloques del transformer, manteniendo congelada la mayoría de los pesos del backbone para asegurar la eficiencia de parámetros.
  • Objetivo Generativo: En lugar de utilizar un cabezal de clasificación, la tarea de estadiaje se formula como una generación de tokens de etiqueta restringida. El modelo es ajustado mediante instrucciones para predecir de forma autorregresiva un token de etiqueta específico (p. ej., "MCI", "AD", "CN") a partir de un conjunto predefinido, guiado por prompts específicos de la tarea.

Contribuciones Clave

1. Arquitectura Multimodal: Introducción de un marco que modela conjuntamente factores paralingüísticos (acústicos), lingüísticos (transcripción) y poblacionales (demográficos) dentro de una única arquitectura, abordando la brecha en los estudios de LLM centrados en transcripciones.
2. Paradigma de Estadiaje Generativo: Demostración de que los LLM ajustados por instrucciones que realizan la generación de tokens de etiqueta restringida superan tanto a los métodos clásicos de aprendizaje automático como a los enfoques de LLM que utilizan cabezales de clasificación.
3. Validación Exhaustiva: Evaluación integral en el conjunto de datos Bridge2AI-Voice (v3.0.0) para el estadiaje multiclasificación de AD y PD, mostrando una superioridad consistente sobre las líneas de base.

Resultados Experimentales
El marco fue evaluado en el conjunto de datos Bridge2AI-Voice, que involucra a 156 participantes para AD (estratificados en CN, MCI, AD) y 167 para PD (estratificados en Control Saludable, Etapa Temprana, Etapa Avanzada).

• Desempeño: NeurMLLM logró los resultados más sólidos en ambas enfermedades. Para el estadiaje de AD, mejoró el macro-AUROC de 0.852 (línea de base de ClsHead) a 0.917 y la Exactitud de 0.740 a 0.823. Para el estadiaje de PD, alcanzó un macro-AUROC de 0.872 y una Exactitud de 0.735.
• Análisis de Modalidad: Aunque las entradas de solo acústica funcionaron fuertemente, la fusión multimodal de datos acústicos, textuales y demográficos produjo los mejores resultados, indicando que la información lingüística proporciona un contexto complementario que mejora la recuperación (recall), particularmente en casos limítrofes.
• Sensibilidad del Backbone: Los experimentos con diferentes backbones de LLM (Llama-3.2-3B, Qwen2.5-3B) indicaron que los modelos ajustados por instrucciones (p. ej., Llama-3.2-3B-Instruct) generalmente se alinean mejor con el objetivo de estadiaje que los modelos base, particularmente para AD.

Significancia y Reivindicaciones
El artículo sostiene que reformular el estadiaje neurodegenerativo como una tarea de generación de tokens de etiqueta restringida, combinada con el ajuste fino de parámetros eficientes, ofrece una alternativa simple y efectiva a los cabezales de clasificación tradicionales. Los autores argumentan que la decodificación generativa reutiliza las proyecciones de salida preentrenadas, preservando la consistencia con el objetivo de preentrenamiento del LLM y evitando los desafíos de aprender un nuevo cabezal de clasificación desde cero en cohortes pequeñas.

Los resultados sugieren que los LLM multimodales tienen un alto potencial para el cribado neurodegenerativo accesible y escalable. Al integrar datos acústicos, lingüísticos y demográficos, NeurMLLM soporta un estadiaje de grano fino con una precisión y sensibilidad mejoradas para las clases minoritarias. Los autores señalan que, si bien el tamaño pequeño de la cohorte introduce varianza, los hallazgos sirven como señales alentadoras de la viabilidad de este enfoque, con trabajos futuros que podrían extenderse a otras modalidades (p. ej., neuroimagen) y salidas generativas más complejas (p. ej., resúmenes clínicos).