Resumen Técnico: Más allá de la clasificación: un benchmark de regresión de tos para modelos fundacionales acústicos respiratorios

Planteamiento del problema

Los modelos fundacionales (FM) acústicos respiratorios han demostrado competencia en la clasificación categórica de la tos. Sin embargo, su capacidad para predecir cantidades de salud continuas —como la edad, el Índice de Masa Corporal (IMC) y la probabilidad de enfermedad— a partir del audio de la tos permanece en gran medida inexplorada. Esta brecha es crítica para los países de ingresos bajos y medios (LMIC) y para entornos donde las mediciones físicas (por ejemplo, registros de nacimiento, básculas) no están disponibles. En estos contextos, la estimación pasiva de los estados fisiológicos a través de la acústica de la tos podría servir como indicadores accionables para el triaje. Aunque la literatura existente ha evaluado los FM en clasificación, sus capacidades de regresión no han sido caracterizadas sistemáticamente a través de múltiples modelos, objetivos y conjuntos de datos.

Metodología

Los autores introducen un benchmark unificado, multimodelo y multiobjetivo de regresión de tos, diseñado para evaluar las capacidades de regresión de cinco modelos fundacionales acústicos respiratorios congelados.

Conjuntos de datos y tareas

El benchmark utiliza tres conjuntos de datos distintos bajo protocolos de sujetos disjuntos:

1. CIDRZ: Tos volitiva grabada con smartphone de una clínica de TB en Zambia ($N=1049$). Los objetivos incluyen edad, IMC, puntuaciones de anomalías en radiografías de tórax y probabilidad de TB.
2. Coswara: Tos superficial recolectada de forma remota en la India durante la pandemia ($N=2560$). Objetivo: Edad autoinformada.
3. CoughVID: Tos volitiva enviada globalmente vía smartphone ($N=6858$). Objetivo: Edad.

Modelos Fundacionales (Codificadores)

Se evalúan cinco codificadores congelados que abarcan tres paradigmas de preentrenamiento:

• Familia OPERA (SSL específico de la respiración):
  • OPERA-CT: Transformador contrastivo (768-d).
  • OPERA-CE: CNN contrastiva (1280-d).
  • OPERA-GT: Autoencoder de máscara generativa (MAE) con una rejilla posicional de 8.18s (384-d).
• HEAR: Un ViT-L MAE preentrenado en 313 millones de clips de audio de salud (512-d), que cubre audio clínico más allá de los sonidos puramente respiratorios.
• M2D+RESP: Combina la predicción de espectrogramas enmascarados en AudioSet con un ajuste fino respiratorio, promediado mediante mean-pooling a un vector de 3480-d.

Cabezales de Regresión y Entrenamiento

El estudio compara tres cabezales de regresión aplicados a los embeddings congelados:

1. Lineal: Probing lineal estándar ($d_{feat} \to 1$).
2. MLP-small: Una arquitectura de cuello de botella ($d_{feat} \to 256 \to 1$) con ReLU y dropout, diseñada para ser agnóstica al tamaño del embedding.
3. Full MLP: Una arquitectura de ancho completo ($d_{feat} \to d_{feat} \to 1$), con alta capacidad esperada (por ejemplo, ~15M de parámetros para M2D+RESP).

Todos los modelos se entrenan utilizando el optimizador Adam, pérdida MSE y parada temprana (early stopping). El rendimiento se mide mediante el Error Absoluto Medio (MAE) en unidades naturales, comparado contra un baseline ingenuo de predictor de la media (Desviación Absoluta Media, MAD).

Regímenes de Evaluación

1. Regresión dentro del conjunto de datos: Evaluación de todos los objetivos en divisiones de prueba excluidas (held-out).
2. Comparación de cabezales: Caracterización de la interacción entre el tamaño del conjunto de datos y la capacidad del cabezal.
3. Transferencia entre conjuntos de datos: Entrenamiento en un conjunto de datos y evaluación en otros (específicamente para la edad, el único objetivo compartido en múltiples conjuntos de datos).
4. Régimen de pocos datos: Análisis del rendimiento en función del tamaño del conjunto de entrenamiento ($N$).

Contribuciones Clave

El artículo proporciona cinco contribuciones principales:

1. Benchmark Exhaustivo: Una evaluación multimodelo y multiobjetivo de cinco FM a través de seis objetivos y tres conjuntos de datos bajo protocolos de sujetos disjuntos.
2. Análisis de Cabezales de Regresión: Identificación de que un cabezal MLP pequeño generalmente supera al probing lineal y evita el sobreajuste asociado con los MLPs completos en pequeños conjuntos de datos clínicos.
3. Ventaja del Preentrenamiento Generativo: Evidencia de que el preentrenamiento generativo (OPERA-GT) supera al preentrenamiento contrastivo (OPERA-CT) en la regresión de la edad en todos los conjuntos de datos, extendiendo hallazgos previos de audio de respiración a la tos.
4. Transferencia Asimétrica: Demostración de que la transferencia entre conjuntos de datos es fuertemente asimétrica; los datos masivos recolectados vía web generalizan a poblaciones clínicas pequeñas, pero lo contrario no es cierto.
5. Eficiencia de Pocos Datos: Análisis que muestra que los modelos con corpora de preentrenamiento diversos (HEAR, M2D+RESP) alcanzan un rendimiento cercano al total con tan solo 50 muestras etiquetadas, mientras que los modelos con corpora más pequeños y específicos del dominio (OPERA) requieren significativamente más datos ($N=400$).

Resultados

Rendimiento dentro del conjunto de datos

• Fuerza de la Señal: La señal más fuerte se observó para la predicción de la edad en el conjunto de datos Coswara (Relación Mejor/MAD = 0.81). La predicción de edad de CoughVID mostró una señal más débil (0.93).
• Puntuaciones Clínicas: Para los objetivos de CIDRZ (IMC, anomalía en radiografía, probabilidad de TB), todos los modelos se desempeñaron cerca del nivel de azar (Mejor/MAD entre 0.92 y 0.99). La mínima dispersión entre modelos sugiere un techo representacional donde los embeddings no capturan señales utilizables a nivel de paciente para estas puntuaciones clínicas específicas bajo el probing lineal.
• Comparación con el Baseline: Todos los modelos superaron nominalmente al predictor de la media, pero los márgenes fueron a menudo marginales.

Comparación de Arquitectura de Cabezales

• Dominio de MLP-small: El cabezal MLP-small ganó en 23 de las 3 combinaciones de modelo $\times$ tarea, superando al probing lineal por hasta 0.38 años (HEAR en Coswara).
• Sobreajuste vs. Recuperación: Los MLPs completos sufrieron sobreajuste en conjuntos de datos pequeños (por ejemplo, M2D+RESP en CIDRZ degradó en +0.53 años respecto a MLP-small) pero se recuperaron en conjuntos de datos más grandes (CoughVID), revelando un compromiso entre tamaño de dataset $\times$ capacidad del cabezal.

Paradigmas de Preentrenamiento

• Generativo vs. Contrastivo: OPERA-GT superó consistentemente a OPERA-CT en la regresión de la edad en los tres conjuntos de datos. Aunque el margen en CIDRZ estuvo dentro de la varianza de la semilla, las brechas en Coswara y CoughVID fueron significativas, sugiriendo que los objetivos generativos capturan más variación fisiológica.
• Transferencia entre Conjuntos de Datos: La transferencia fue exitosa solo cuando se usaron datos masivos recolectados vía web (CoughVID, Coswara) para entrenar modelos para poblaciones clínicas pequeñas (CIDRZ).
  • CoughVID $\to$ CIDRZ: Mejoró el rendimiento en -0.17 años.
  • CIDRZ $\to$ Coswara: El rendimiento se degradó significativamente (+2.43 años, +26.6%).
  • Esta asimetría sugiere que las cohortes clínicas tienen rangos demográficos más estrechos que los corpora globales de crowdsourcing.

Régimen de Pocos Datos

• Eficiencia de Datos: HEAR y M2D+RESP alcanzaron un rendimiento cercano al total con $N=50$ muestras.
• Modelos OPERA: Requirieron $N=400$ muestras para estabilizarse, atribuido a su corpus de preentrenamiento más pequeño y exclusivo de la respiración en comparación con los corpora más diversos de HEAR y M2D+RESP.

Significancia y Reivindicaciones

El artículo afirma que, si bien los FM de la acústica de la tos muestran promesa para la estimación continua de la salud, su utilidad depende altamente de la tarea específica, el conjunto de datos y las elecciones arquitectónicas.

1. Selección Práctica de Cabezales: Para embeddings congelados, un cabezal MLP pequeño es la arquitectura preferida, equilibrando la capacidad no lineal con la robustez contra el sobreajuste en entornos clínicos con escasez de datos.
2. Impacto del Preentrenamiento: Los objetivos de preentrenamiento generativo parecen superiores a los contrastivos para la regresión de la edad, y la diversidad del corpus de preentrenamiento es un determinante más fuerte del rendimiento con pocos datos que la arquitectura del modelo en sí misma.
3. Limitaciones de Transferencia: El benchmark revela una limitación crítica en los modelos actuales: generalizan bien desde datos web masivos y diversos hacia poblaciones clínicas pequeñas, pero fallan al generalizar desde datos clínicos pequeños hacia poblaciones más amplias. Esto resalta la necesidad de un preentrenamiento con datos diversos para permitir un despliegue clínico efectivo.
4. Especificidad de la Tarea: Los resultados indican que, mientras la estimación de la edad muestra una estructura aprendible, predecir puntuaciones clínicas específicas (como la probabilidad de TB o anomalías en radiografías) basándose únicamente en la acústica de la tos sigue siendo un desafío significativo, con los modelos actuales operando cerca de los niveles de azar en estos objetivos específicos.

Los autores señalan explícitamente que estas conclusiones están delimitadas al régimen de embeddings congelados y de sondeo superficial (shallow-probe), y no representan el techo de rendimiento alcanzable mediante un ajuste fino (fine-tuning) completo. Se sugiere como trabajo futuro explorar objetivos adicionales, regímenes de ajuste fino y cabezales de agrupación de atención (attention-pooling).