MultiSense-Pneumo: A Multimodal Learning Framework for Pneumonia Screening in Resource-Constrained Settings

Resumen Técnico: MultiSense-Pneumo

Enunciado del Problema
La neumonía sigue siendo una de las principales causas de morbilidad y mortalidad a nivel mundial, afectando de manera desproporcionada a niños menores de cinco años, personas mayores y poblaciones vulnerables en entornos con recursos limitados. La evaluación clínica de la neumonía es inherentemente multimodal, dependiendo de una síntesis de historial de síntomas, patrones respiratorios, observaciones verbales y evidencia radiográfica. Sin embargo, los enfoques computacionales existentes son predominantemente unimodales, centrándose casi exclusivamente en radiografías de tórax. Esta limitación es crítica en entornos con recursos restringidos donde la imagenología puede estar indisponible, retrasada o ser difícil de interpretar, y donde los trabajadores de primera línea a menudo carecen de formación especializada. Además, las decisiones de cribado en el mundo real ocurren frecuentemente bajo información parcial, lo que hace necesaria la implementación de sistemas que puedan agregar evidencia heterogénea (síntomas, audio, habla e imágenes) manteniéndose interpretables y desplegable en hardware modesto.

Metodología
Los autores proponen MultiSense-Pneumo, un marco de aprendizaje modular y multimodal diseñado para el cribado de neumonía y el apoyo a la triaje. El sistema integra cuatro vías de evidencia distintas, cada una transformando la entrada cruda en una señal de riesgo escalar normalizada ($\in [0, 1]$), las cuales se agregan posteriormente mediante un operador de fusión interpretable.

1. Triaje de Síntomas Estructurados: Un submódulo determinista mapea las respuestas del cuestionario (por ejemplo, tos, fiebre, dificultad para respirar, hundimiento torácico) a una puntuación de riesgo basada en lógica inspirada en directrices. Reglas específicas "rígidas" (por ejemplo, dificultad respiratoria grave o hundimiento torácico en niños) activan una clasificación inmediata de "URGENTE", eludiendo la puntuación aditiva para garantizar la seguridad.
2. Clasificación Acústica de la Tos: Las grabaciones de tos (obtenidas del conjunto de datos Coswara) se preprocesan en ondas monofónicas y se segmentan. Las características incluyen coeficientes cepstrales de frecuencia mel (MFCC) resumidos por estadísticas temporales, junto con descriptores de bajo nivel (energía RMS, tasa de cruce por cero, centroide espectral, etc.). Un clasificador LightGBM con gradiente impulsado estima la probabilidad de patrones respiratorios anormales.
3. Transcripción del Habla: La entrada hablada se transcribe utilizando un modelo de reconocimiento automático del habla (ASR) preentrenado (OpenAI Whisper Small). El texto resultante se analiza mediante un vocabulario fijo de palabras clave clínicamente relevantes para derivar una señal semántica secundaria, que sirve como entrada auxiliar.
4. Clasificación de Radiografías de Tórax: Las radiografías de tórax se procesan utilizando una base ResNet-18 aumentada con entrenamiento de Redes Neuronales Adversarias de Dominio (DANN). Este enfoque emplea una capa de reversión de gradiente para aprender representaciones de características que son discriminatorias para la neumonía pero invariantes a desplazamientos de dominio sintéticos (desenfoque gaussiano, ruido, escalado de contraste), mejorando así la robustez ante la variabilidad en la adquisición.
5. Fusión Multimodal: El sistema emplea una estrategia de fusión tardía, combinando las cuatro señales específicas de modalidad ($\hat{s}_{img}, \hat{s}_{sym}, \hat{s}_{cgh}, \hat{s}_{sp}$) mediante una suma lineal ponderada. La imagenología se asigna el peso más alto ($w_{img}=0.40$), mientras que los síntomas, la tos y el habla comparten el resto ($0.20$ cada uno). Este diseño acomoda modalidades faltantes y evita la necesidad de conjuntos de datos multimodales completamente emparejados.
6. Generación de Informes: Un modelo de lenguaje médico local y cuantizado (MedGemma) sintetiza las señales agregadas y las salidas intermedias en un informe clínico estructurado y legible para humanos, el cual puede traducirse a múltiples idiomas utilizando modelos OPUS-MT.

Contribuciones Clave

• Integración Multimodal: El marco cierra la brecha entre los modelos de imagenología unimodales y la realidad multimodal del razonamiento clínico de primera línea al integrar síntomas estructurados, audio de tos, habla y radiografías.
• Interpretabilidad y Modularidad: A diferencia de los modelos de caja negra de extremo a extremo, MultiSense-Pneumo expone señales de riesgo intermedias para cada modalidad, permitiendo estudios de ablación e inspección transparente de cómo la evidencia contribuye a la decisión final.
• Robustez ante Desplazamiento de Dominio: La vía de radiografía utiliza entrenamiento adversario de dominio para mitigar la sensibilidad a artefactos de adquisición de imágenes y variaciones de escáner.
• Despliegue con Recursos Limitados: El sistema está diseñado para funcionar completamente sin conexión en hardware estándar de clase portátil, haciéndolo adecuado para trabajadores de salud comunitaria y clínicas rurales sin conectividad a internet.

Resultados Cuantitativos

• Vía de Radiografía: El clasificador ResNet-18 con adversario de dominio demostró un rendimiento sólido, logrando una precisión de 0.9733 y un AUROC de 0.9919 en el conjunto de validación. El rendimiento se mantuvo robusto frente a perturbaciones de dominio sintéticas (desenfoque, ruido, contraste), con una degradación moderada únicamente en el conjunto de prueba (Precisión: 0.9255, AUROC: 0.9752), lo que indica un aprendizaje efectivo de características relevantes para la patología invariantes a artefactos de bajo nivel.
• Vía Acústica de la Tos: El clasificador LightGBM mostró limitaciones significativas, logrando una puntuación F1 promediada macro de 0.64. Crucialmente, la recuperación para la clase positiva de neumonía fue baja (0.39), lo que indica una alta tasa de casos no detectados. Los autores atribuyen esto al pequeño tamaño y al desequilibrio de clases del conjunto de datos público Coswara, así como a la debilidad inherente de la acústica de la tos como señal diagnóstica independiente en comparación con la imagenología.
• Implicaciones de la Fusión: La disparidad entre la vía de imagenología de alto rendimiento y la vía acústica débil subraya la necesidad del enfoque multimodal. El marco aprovecha la evidencia estructural de alta confianza de la imagenología para compensar las limitaciones de otras modalidades, mientras utiliza los síntomas y el habla para proporcionar indicadores contextuales cuando la imagenología no está disponible.

Significado y Afirmaciones
Los autores posicionan MultiSense-Pneumo estrictamente como un prototipo de investigación para el apoyo al cribado y la triaje, indicando explícitamente que no es un sistema de diagnóstico validado clínicamente. Su importancia radica en proporcionar una descripción técnicamente fundamentada de una arquitectura multimodal que aborda las restricciones prácticas de los entornos con recursos limitados. El trabajo demuestra que un marco modular e interpretable puede agregar efectivamente evidencia heterogénea para apoyar la evaluación temprana y la priorización de recursos. El artículo destaca que, si bien las modalidades individuales (como el audio de la tos) pueden sufrir por escasez de datos y debilidad de la señal, un enfoque de fusión estructurado puede mitigar estos modos de fallo. El sistema tiene la intención de asistir a los trabajadores de salud comunitaria en la identificación de individuos que requieren una evaluación adicional, en lugar de reemplazar el juicio médico profesional.