BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions

Technische Samenvatting van BCoughBench

Probleemstelling
Respiratoire akoestische fundatiemodellen (FM's) worden momenteel uitsluitend beoordeeld op basis van smartphone-opnames (luchtgeleid, AC). De klinische inzet richt zich echter steeds vaker op lichaamgekoppelde (BC) draagbare sensoren (bijv. versnellingsmeters, keelmicrofoons, in-ear apparaten). Deze BC-sensoren fungeren als laagdoorlaatfilters, waarbij hoogfrequente inhoud wordt gedempt door weefsel en bot. Deze spectrale degradatie introduceert een domeinverschuiving die voor bestaande FM's nog niet is gekarakteriseerd. Bijgevolg blijft de betrouwbaarheid van deze modellen onder draagbare omstandigheden onbekend, en is hun prestatievermogen bij klinisch relevante werkpunten (specifiek sensitiviteit bij hoge specificiteit) niet geverifieerd.

Methodologie
De auteurs introduceren BCoughBench, een framework ontworpen om vijf respiratoire FM's te evalueren onder gesimuleerde lichaamgekoppelde omstandigheden.

• Datasets en Taken: De benchmark maakt gebruik van vijf gelabelde hoestdatasets (CoughVID, Coswara, CIDRZ, COPD-CC, CovidUK) die 12 taken dekken: negen classificatietaken (ziektedetectie, demografische inferentie, akoestische kenmerken) en drie leeftijdregressietaken.
• AC-naar-BC Simulatie: In plaats van fysieke draagbare hardware te vereisen voor de initiële evaluatie, gebruiken de auteurs vooraf getrainde EBEN (Extreme Bandwidth Extension Network) reverse modellen. Deze modellen transformeren schone smartphone-audio naar lichaamgekoppelde equivalenten over vijf verschillende sensorplaatsingen:
  1. Voorhoofdversnellingsmeter (≤8 kHz)
  2. Zachte in-ear microfoon (≤6 kHz)
  3. Stijve in-ear microfoon (≤5 kHz)
  4. Tempeltrilling-opname (≤2 kHz)
  5. Keelmicrofoon (≤1.5 kHz)
• Geëvalueerde Modellen: Vijf bevroren respiratoire FM's worden getest zonder enige fine-tuning of adaptatie aan BC-audio:
  • OPERA-CT, OPERA-CE, en OPERA-GT (getraind op 136K respiratoire fragmenten).
  • HeAR (een ViT-L masked autoencoder getraind op 313M gezondheidsaudiofragmenten).
  • M2D+Resp (combinatie van AudioSet masking met respiratoire fine-tuning).
• Evaluatieprotocol: De modellen worden geëvalueerd in een strikt zero-shot regime.
  • Classificatie: Een lineaire probe wordt getraind bovenop de bevroren embeddings. Genoteerde metrieken zijn AUROC, Sensitiviteit bij 95% Specificiteit (Se@Sp95), en Expected Calibration Error (ECE). Een Se@Sp95 < 0.20 wordt gedefinieerd als klinisch onbruikbaar.
  • Regressie: Leeftijdspredictie gebruikt een MLP-small head, geëvalueerd via Mean Absolute Error (MAE) tegenover een mean-predictor baseline (MAD).

Belangrijkste Bijdragen

1. BC Simulatie Pipeline: Een reproduceerbare methode met behulp van EBEN reverse modellen om BC-equivalente audio te genereren van vijf datasets over vijf sensortypes zonder fysieke hardware, waarbij progressieve hoogfrequente attenuatie wordt aangetoond (bijv. het voorhoofd behoudt tot 8 kHz, de keel dempt boven 1.5 kHz).
2. Multi-metriek Evaluatieframework: De benchmark gaat verder dan AUROC door Se@Sp95 en ECE toe te voegen voor classificatie, en MAE versus baseline voor regressie, waardoor fouten worden blootgelegd die AUROC alleen verbergt.
3. Karakterisering van Sensordegradatie: Kwantificering van de prestatiedaling over sensortypes, waarbij vastgesteld wordt dat tempeltrilling de meest ernstige degradatiebron is en de zachte in-ear de minst ernstige.
4. Taakafhankelijke Bevindingen: Systematische analyse die aantoont dat sommige taken (bijv. geslachtclassificatie op CIDRZ) instorten onder BC-omstandigheden, terwijl andere (bijv. leeftijdregressie) robuust blijven of zelfs verbeteren.

Resultaten

• Algemene Prestaties: De gemiddelde AUROC daalt van 0.785 (smartphone baseline) naar 0.689–0.723 over de BC-sensoren. De meest ernstige degradatie vindt plaats bij de tempeltrilling-opname ($\Delta = -0.096$), terwijl de zachte in-ear de minste degradatie vertoont ($\Delta = -0.062$).
• Klinische Bruikbaarheid: Geen enkel FM voldoet aan de klinische sensitiviteitsdrempel (Se@Sp95 $\ge$ 0.20) voor de meeste ziekte-gerelateerde taken (TB, Symptomatisch, COVID) onder welke BC-sensor dan ook. Alleen de COPD- en Symptomatisch (Coswara) taken behouden klinische sensitiviteit.
• Taakspecifieke Variantie:
  • Geslachtclassificatie: De prestaties op de CIDRZ-cohort storten dramatisch in (AUROC daalt van 0.954 naar 0.596–0.628, $\Delta = -0.341$), wat suggereert dat geslacht-onderscheidende kenmerken afhankelijk zijn van hoge frequenties die verloren gaan bij BC-transductie. Daarentegen verbetert de geslachtclassificatie op Coswara licht onder voorhoofdssensoren.
  • COVID-detectie: Uniek robuust, met bijna nul degradatie ($\Delta = -0.004$), hoewel nog steeds klinisch onbruikbaar vanwege lage sensitiviteit.
  • Leeftijdregressie: Blijft robuust over alle sensoren. Op de CoughVID-dataset verbetert de leeftijdregressie zelfs onder de voorhoofdversnellingsmeter (MAE daalt van 9.61 naar 8.97 jaar), wat suggereert dat laagfrequente leeftijdscorrelaties gedeeltelijk worden gemaskeerd door hoogfrequente ruis in open-lucht opnames.
• Modelprestaties: HeAR leidt in demografische en regressietaken, terwijl M2D+Resp leidt in ziekte- en karakteristieke taken. De OPERA-modellen presteren over het algemeen minder goed.

Betekenis
Het artikel betoogt dat AUROC alleen onvoldoende is voor het evalueren van respiratoire FM's bedoeld voor draagbare inzet, omdat het niet in staat is om kritieke fouten te onthullen bij de werkpunten die vereist zijn voor klinische screening (Se@Sp95). De resultaten laten zien dat sensorkeuze even consequent is als modelkeuze; het prestatieverschil tussen de beste en slechtste sensoren (0.034 AUROC) is vergelijkbaar met de verschillen tussen modellen op smartphone-data. BCoughBench biedt een noodzakelijk framework om deze domeinverschuivingen bloot te leggen, waarbij wordt benadrukt dat hoewel laagfrequente fysiologische signalen (zoals leeftijd) BC-transductie overleven, hoogfrequente onderscheidende signalen (zoals bepaalde ziekte- of demografische markers) dat vaak niet doen. De auteurs merken op dat hun gebruik van gesimuleerde data een beperking is, en dat toekomstig werk deze bevindingen op fysieke draagbare hardware moet valideren.