Sintesi Tecnica: Oltre la Classificazione: Un Benchmark di Regressione della Tosse per Modelli Fondazionali Acustici Respiratori

Definizione del Problema

I modelli fondazionali (FM) acustici respiratori hanno dimostrato competenza nella classificazione categorica della tosse. Tuttavia, la loro capacità di prevedere quantità di salute continue — come età, Indice di Massa Corporea (BMI) e probabilità di malattia — a partire dall'audio della tosse rimane ampiamente inesplorata. Questa lacuna è critica per i paesi a basso e medio reddito (LMIC) e per contesti in cui le misurazioni fisiche (ad esempio, registri di nascita, bilance) non sono disponibili. In questi contesti, la stima passiva degli stati fisiologici tramite l'acustica della tosse potrebbe servire come proxy azionabile per il triage. Mentre la letteratura esistente ha testato i FM sulla classificazione, le loro capacità di regressione non sono state sistematicamente caratterizzate attraverso molteplici modelli, target e dataset.

Metodologia

Gli autori introducono un benchmark unificato, multi-modello e multi-target per la regressione della tosse, progettato per valutare le capacità di regressione di cinque modelli fondazionali acustici respiratori congelati.

Dataset e Task

Il benchmark utilizza tre distinti dataset sotto protocolli subject-disjoint:

1. CIDRZ: Tosse volitiva registrata tramite smartphone da una clinica per la tubercolosi (TB) in Zambia ($N=1049$). I target includono età, BMI, punteggi di anormalità della radiografia del torace e probabilità di TB.
2. Coswara: Tosse superficiale raccolta da remoto in India durante la pandemia ($N=2560$). Target: Età auto-riportata.
3. CoughVID: Tosse volitiva inviata globalmente tramite smartphone ($N=6858$). Target: Età.

Modelli Fondazionali (Encoder)

Vengono valutati cinque encoder congelati che spaziano su tre paradigmi di pre-addestramento:

• Famiglia OPERA (SSL specifico per la respirazione):
  • OPERA-CT: Contrastive Transformer (768-d).
  • OPERA-CE: Contrastive CNN (1280-d).
  • OPERA-GT: Generative Masked Autoencoder (MAE) con una griglia posizionale di 8.18s (384-d).
• HEAR: Un ViT-L MAE pre-addestrato su 313 milioni di clip audio sanitarie (512-d), che copre l'audio clinico oltre i soli suoni respiratori.
• M2D+RESP: Combina la predizione di spettrogrammi mascherati su AudioSet con il fine-tuning respiratorio, mediato in pooling a un vettore di 3-3840-d.

Teste di Regressione e Addestramento

Lo studio confronta tre teste di regressione applicate agli embedding congelati:

1. Linear: Probing lineare standard ($d_{feat} \to 1$).
2. MLP-small: Un'architettura a collo di bottiglia ($d_{feat} \to 256 \to 1$) con ReLU e dropout, progettata per essere agnostica rispetto alla dimensione dell'embedding.
3. Full MLP: Un'architettura a larghezza totale ($d_{feat} \to d_{feat} \to 1$), che si prevede abbia un'alta capacità (ad esempio, circa 15 milioni di parametri per M2D+RESP).

Tutti i modelli sono addestrati utilizzando l'ottimizzatore Adam, la perdita MSE e l'early stopping. Le prestazioni sono misurate tramite l'Errore Assoluto Medio (MAE) in unità naturali, confrontato con un baseline ingenuo di predittore della media (Deviazione Assoluta della Media, MAD).

Regimi di Valutazione

1. Regressione Intra-Dataset: Valutazione di tutti i target sugli split di test tenuti da parte (held-out).
2. Confronto delle Teste: Caratterizzazione dell'interazione tra dimensione del dataset e capacità della testa.
3. Trasferimento Cross-Dataset: Addestramento su un dataset e valutazione su altri (specificamente per l'età, l'unico target condiviso tra più dataset).
4. Regime a Bassa Quantità di Dati: Analisi delle prestazioni in funzione della dimensione del set di addestramento ($N$).

Contributi Chiave

L'articolo fornisce cinque contributi primari:

1. Benchmark Comprensivo: Una valutazione multi-modello e multi-target di cinque FM su sei target e tre dataset sotto protocolli subject-disjoint.
2. Analisi della Testa di Regressione: Identificazione del fatto che una piccola testa MLP generalmente supera il linear probing ed evita l'overfitting associato ai Full MLP su piccoli dataset clinici.
3. Vantaggio del Pre-addestramento Generativo: Evidenza che il pre-addestramento generativo (OPERA-GT) supera quello contrastivo (OPERA-CT) nella regressione dell'età su tutti i dataset, estendendo le precedenti scoperte dai suoni del respiro alla tosse.
4. Asimmetria del Trasferimento: Dimostrazione che il trasferimento cross-dataset è fortemente asimmetrico; i dati raccolti dal web su larga scala generalizzano alle piccole popolazioni cliniche, ma il contrario non è vero.
5. Efficienza nei Bassi Volumi di Dati: Analisi che mostra come i modelli con corpora di pre-addestramento diversificati (HEAR, M2D+RESP) raggiungano prestazioni quasi complete con appena 50 campioni, mentre i modelli con corpora più piccoli e specifici del dominio (OPERA) richiedono significativamente più dati ($N=400$).

Risultati

Prestazioni Intra-Dataset

• Forza del Segnale: Il segnale più forte è stato osservato per la predizione dell'età sul dataset Coswara (Rapporto Best/MAD = 0.81). La predizione dell'età su CoughVID ha mostrato un segnale più debole (0.93).
• Punteggi Clinici: Per i target di CIDRZ (BMI, anormalità raggi X, probabilità di TB), tutti i modelli si sono posizionati vicino al limite inferiore del caso (Best/MAD tra 0.92 e 0.99). La minima dispersione tra i modelli suggerisce un limite rappresentazionale in cui gli embedding non catturano segnali utilizzabili a livello di paziente per questi specifici punteggi clinici sotto linear probing.
• Confronto con il Baseline: Tutti i modelli hanno nominalmente superato il baseline del predittore della media, ma i margini sono stati spesso minimi.

Confronto dell'Architettura della Testa

• Dominanza di MLP-small: La testa MLP-small ha vinto in 23 delle 30 combinazioni modello $\times$ task, superando il linear probing fino a 0.38 anni (HEAR su Coswara).
• Overfitting vs. Recupero: I Full MLP vanno in overfitting su piccoli dataset (ad esempio, M2D+RESP su CIDRZ è degradato di +0.53 anni rispetto a MLP-small) ma recuperano su dataset più grandi (CoughVID), rivelando un trade-off tra dimensione del dataset e capacità della testa.

Paradigmi di Pre-addestramento

• Generativo vs. Contrastivo: OPERA-GT ha costantemente superato OPERA-CT nella regressione dell'età su tutti e tre i dataset. Sebbene il margine su CIDRZ fosse entro la varianza del seed, i gap su Coswara e CoughVID erano significativi, suggerendo che gli obiettivi generativi catturino una maggiore variazione fisiologica.
• Trasferimento Cross-Dataset: Il trasferimento è stato efficace solo quando sono stati utilizzati i grandi dati raccolti dal web (CoughVID, Coswara) per addestrare i modelli per piccole popolazioni cliniche (CIDRZ).
  • CoughVID $\to$ CIDRZ: Ha migliorato le prestazioni di -0.17 anni.
  • CID_RZ $\to$ Coswara: Le prestazioni sono degradate significativamente (+2.43 anni, +26.6%).
  • Questa asimmetria suggerisce che le coorti cliniche abbiano range demografici più stretti rispetto ai corpora globali crowdsourced.

Regime a Bassa Quantità di Dati

• Efficienza dei Dati: HEAR e M2D+RESP hanno raggiunto prestazioni quasi complete a $N=50$ campioni.
• Modelli OPERA: Hanno richiesto $N=400$ campioni per stabilizzarsi, a causa del loro corpus di pre-addestramento più piccolo e limitato alla sola respirazione rispetto ai corpora più diversificati di HEAR e M2D+RESP.

Significato e Rivendicazioni

L'articolo sostiene che, sebbene i FM acustici della tosse mostrino promessa per la stima continua della salute, la loro utilità dipende fortemente dal compito specifico, dal dataset e dalle scelte architettoniche.

1. Selezione Pratica della Testa: Per gli embedding congelati, la testa MLP-small è l'architettura preferita, bilanciando la capacità non lineare con la robustezza contro l'overfitting in contesti clinici con scarsità di dati.
2. Impatto del Pre-addestramento: Gli obiettivi di pre-addestramento generativo appaiono superiori a quelli contrastivi per la regressione dell'età, e la diversità del corpus di pre-addestramento è un determinante più forte delle prestazioni in regimi di bassi volumi di dati rispetto all'architettura del modello stesso.
3. Limitazioni del Trasferimento: Il benchmark rivela un limite critico negli attuali modelli: generalizzano bene dai grandi dati diversificati del web verso piccole popolazioni cliniche, ma falliscono nel generalizzare da piccoli dati clinici verso popolazioni più ampie. Ciò evidenzia la necessità di un pre-addestramento con dati diversificati per consentire un efficace deployment clinico.
4. Specificità del Task: I risultati indicano che, mentre la stima dell'età mostra una struttura apprendibile, la predizione di specifici punteggi clinici (come la probabilità di TB o le anormalità delle radiografie) partendo solo dall'acustica della tose rimane una sfida significativa, con i modelli attuali che operano vicino ai livelli del caso.

Gli autori sottolineano esplicitamente che queste conclusioni sono limitate al regime di embedding congelati e shallow-probe, e non rappresentano il limite massimo di prestazione raggiungibile con un fine-tuning completo. Si suggerisce come lavoro futuro l'esplorazione di target aggiuntivi, regimi di fine-tuning e teste di attenzione-pooling.