Technische Samenvatting: Voorbij Classificatie: Een Benchmark voor Hoestregressie voor Respiratoire Akoestische Foundation Modellen

Probleemstelling

Respiratoire akoestische foundation modellen (FM's) hebben een bewezen bekwaamheid getoond in categorische hoestclassificatie. Hun vermogen om continue gezondheidsparameters — zoals leeftijd, BMI en de waarschijnlijkheid van een ziekte — te voorspellen op basis van hoestgeluid blijft echter grotendeels onverkend. Deze kloof is cruciaal voor lage- en middeninkomenslanden (LMIC's) en omgevingen waar fysieke metingen (bijv. geboorteregisters, weegschalen) niet beschikbaar zijn. In deze contexten zou passieve schatting van fysiologische staten via hoestakoestiek als bruikbare proxy voor triage kunnen dienen. Hoewel de bestaande literatuur FM's heeft gebenchmarkt op classificatie, is hun regressiecapaciteit nog niet systematisch gekarakteriseerd over meerdere modellen, targets en datasets.

Methodologie

De auteurs introduceren een verenigde, multi-model, multi-target hoestregressie-benchmark die is ontworpen om de regressiecapaciteiten van vijf bevroren respiratoire akoestische foundation modellen te evalueren.

Datasets en Taken

De benchmark maakt gebruik van drie verschillende datasets onder subject-disjoint protocollen:

1. CIDRZ: Via smartphone opgenomen vrijwillige hoestgeluiden uit een TB-kliniek in Zambia ($N=1049$). Targets zijn leeftijd, BMI, scores voor thoraxfoto-afwijkingen en TB-waarschijnlijkheid.
2. Coswara: Op afstand verzamelde oppervlakkige hoestgeluiden uit India tijdens de pandemie ($N=2560$). Target: zelfgerapporteerde leeftijd.
3. CoughVID: Wereldwijd ingezonden vrijwillige hoestgeluiden via smartphones ($N=6858$). Target: leeftijd.

Foundation Modellen (Encoders)

Er worden vijf bevroren encoders geëvalueerd die drie pretraining-paradigma's beslaan:

• OPERA-familie (Respiratoire-specifieke SSL):
  • OPERA-CT: Contrastive Transformer (768-d).
  • OPERA-CE: Contrastive CNN (1280-d).
  • OPERA-GT: Generative Masked Autoencoder (MAE) met een 8.18s positioneel grid (384-d).
• HEAR: Een ViT-L MAE die is voorgetraind op 313 miljoen gezondheidsgerelateerde audiofragmenten (512-d), die klinische audio buiten enkel respiratoire geluiden dekt.
• M2D+RESP: Combineert masked spectrogram prediction op AudioSet met respiratoire fine-tuning, gemiddeld gepooled naar een 3480-d vector.

Regressiekoppen en Training

De studie vergelijkt drie regressiekoppen die worden toegepast op de bevroren embeddings:

1. Lineair: Standaard lineaire probing ($d_{feat} \to 1$).
2. MLP-small: Een bottleneck-architectuur ($d_{feat} \to 256 \to 1$) met ReLU en dropout, ontworpen om onafhankelijk te zijn van de embedding-grootte.
3. Full MLP: Een volledige breedte-architectuur ($d_{feat} \to d_{feat} \to 1$), die een hoge capaciteit wordt verwacht te hebben (bijv. ~15 miljoen parameters voor M2D+RESP).

Alle modellen worden getraind met de Adam-optimizer, MSE-loss en early stopping. Prestaties worden gemeten via Mean Absolute Error (MAE) in natuurlijke eenheden, vergeleken met een naïeve gemiddelde-voorspeller baseline (Mean Absolute Deviation, MAD).

Evaluatieregimes

1. Binnen-dataset Regressie: Evaluatie van alle targets op uitgesloten testsplits.
2. Hoofdvergelijking: Karakterisering van de interactie tussen datasetgrootte en kop-capaciteit.
3. Cross-dataset Transfer: Training op één dataset en evaluatie op andere datasets (specifiek voor leeftijd, de enige gedeelde target over meerdere datasets).
4. Low-Data Regime: Analyse van prestaties als functie van de trainingssetgrootte ($N$).

Belangrijkste Bijdragen

Het artikel levert vijf primaire bijdragen:

1. Uitgebreide Benchmark: Een multi-model, multi-target evaluatie van vijf FM's over zes targets en drie datasets onder subject-disjoint protocollen.
2. Analyse van Regressiekoppen: Identificatie dat een kleine MLP-kop over het algemeen beter presteert dan lineaire probing en de overfitting voorkomt die geassocieerd wordt met volledige MLPs op kleine klinische datasets.
3. Voordeel van Generatieve Pretraining: Bewijs dat generatieve pretraining (OPERA-GT) beter presteert dan contrastieve pretraining (OPERA-CT) op leeftijdregressie over alle datasets, wat eerdere bevindingen van ademhalingsaudio naar hoest uitbreidt.
4. Asymmetrische Transfer: Demonstratie dat cross-dataset transfer sterk asymmetrisch is; grote web-verzamelde data generaliseert naar kleine klinische populaties, maar het omgekeerde is niet het geval.
5. Efficiëntie bij Lage Data: Analyse die aantoont dat modellen met diverse pretraining corpora (HEAR, M2D+RESP) bijna de volledige prestaties bereiken met slechts 50 gelabelde samples, terwijl modellen met kleinere, domeinspecifieke corpora (OPERA) aanzienlijk meer data vereisen ($N=400$).

Resultaten

Prestaties binnen de Dataset

• Signaalsterkte: Het sterkste signaal werd waargenomen voor leeftijdsvoorspelling op de Coswara-dataset (Best/MAD ratio = 0.81). De leeftijdsvoorspelling van CoughVID vertoonde een zwakker signaal (0.93).
• Klinische Scores: Voor de CIDRZ-targets (BMI, thoraxfoto-afwijking, TB-waarschijnlijkheid) presteerden alle modellen nabij de kansgrens (Best/MAD tussen 0,92 en 0,99). De minimale spreiding tussen de modellen suggereert een representatieve plafond waarbij de embeddings geen bruikbaar patiëntniveau-signaal vastleggen voor deze specifieke klinische scores onder lineaire probing.
• Baseline Vergelijking: Alle modellen overtroffen nominaal de gemiddelde-voorspeller baseline, maar de marges waren vaak marginaal.

Vergelijking van Kop-architectuur

• Dominantie van MLP-small: De MLP-small kop won in 23 van de 30 model $\times$ taak combinaties, waarbij het lineaire probing overtrof met wel 0,38 jaar (HEAR op Coswara).
• Overfitting vs. Herstel: Volledige MLPs overfitten op kleine datasets (bijv. M2D+RESP op CIDRZ verslechterde met +0,53 jaar vergeleken met MLP-small) maar herstelden op grotere datasets (CoughVID), wat een dataset-grootte $\times$ kop-capaciteit trade-off onthult.

Pretraining-paradigma's

• Generatief vs. Contrastief: OPERA-GT presteerde consistent beter dan OPERA-CT op leeftijdregressie over alle drie de datasets. Hoewel de marge op CIDRZ binnen de seed-variantie viel, waren de gaten op Coswara en CoughVID significant, wat suggereert dat generatieve doelstellingen meer fysiologische variatie vastleggen.
• Cross-Dataset Transfer: Transfer was alleen succesvol wanneer grote web-verzamelde data (CoughVID, Coswara) werd gebruikt om modellen te trainen voor kleine klinische populaties (CIDRZ).
  • CoughVID $\to$ CIDRZ: Verbeterde de prestaties met -0,17 jaar.
  • CIDRZ $\to$ Coswara: De prestaties verslechterden aanzienlijk (+2,43 jaar, +26,6%).
  • Deze asymmetrie suggereert dat klinische cohorten een nauwer demografisch bereik hebben dan wereldwijde crowdsourced corpora.

Low-Data Regime

• Data-efficiëntie: HEAR en M2D+RESP bereikten bijna volledige prestaties bij $N=50$ samples.
• OPERA Modellen: Vereisten $N=400$ samples om te stabiliseren, toegeschreven aan hun kleinere, uitsluitend respiratoire pretraining corpus vergeleken met de diverse corpora van HEAR en M2D+RESP.

Betekenis en Claims

Het artikel claimt dat hoewel hoestakoestische FM's veelbelovend zijn voor continue gezondheidsschatting, hun nut sterk afhangt van de specifieke taak, de dataset en de architecturale keuzes.

1. Praktische Keuze van de Kop: Voor bevroren embeddings is de kleine MLP-kop de geprefereerde architectuur, omdat deze een balans biedt tussen niet-lineaire capaciteit en robuustheid tegen overfitting in data-arme klinische settings.
2. Impact van Pretraining: Generatieve pretraining-doelstellingen lijken superieur aan contrastieve doelstellingen voor leeftijdregressie, en de diversiteit van het pretraining corpus is een sterkere determinant voor prestaties bij lage data dan de modelarchitectuur zelf.
3. Beperkingen van Transfer: De benchmark onthult een cruciale beperking van de huidige modellen: ze generaliseren goed van grote, diverse webdata naar kleine klinische populaties, maar falen in het generaliseren van kleine klinische data naar bredere populaties. Dit benadrukt de noodzaak van diverse pretraining-data om effectieve klinische inzet mogelijk te maken.
4. Taak-specificiteit: De resultaten geven aan dat hoewel de schatting van leeftijd een leerbare structuur vertoont, het voorspellen van specifieke klinische scores (zoals TB-waarschijnlijkheid of thoraxfoto-afwijkingen) vanaf hoestgeluid alleen nog steeds een grote uitdaging blijft, waarbij de huidige modellen nabij het niveau van toeval presteren op deze specifieke targets.

De auteurs merken expliciet op dat deze conclusies betrekking hebben op het regime van de bevroren embeddings en de shallow-probe methode, en niet de prestatieplafonds vertegenwoordigen die bereikt kunnen worden met volledige fine-tuning. Toekomstig werk wordt gesuggereerd om extra targets, fine-tuning regimes en attention-pooling koppen te verkennen.