Cough activity detection for automatic tuberculosis screening

Dit artikel presenteert een effectieve aanpak voor automatische tuberculosescreening waarbij een op XLS-R gebaseerd model, dat slechts de eerste drie lagen van het netwerk gebruikt, nauwkeurige hoestsegmenten detecteert en hierdoor de prestaties verbetert ten opzichte van bestaande methoden, wat de haalbaarheid van smartphone-applicaties ondersteunt.

De kern

Hoe een slimme computer hoest opvangt om tuberculose te vinden

Stel je voor dat je in een drukke markt staat. Overal is lawaai: verkopers die roepen, motorfietsen die brommen en mensen die praten. Plotseling hoor je iemand hoesten. Voor een mens is het lastig om precies te zeggen: "Waar begon die hoest en waar eindigde hij?" Is het nu nog hoesten of is het al weer een gesprek?

Voor artsen is dit een groot probleem als ze op zoek zijn naar tuberculose (TB). Ze moeten luisteren naar hoestgeluiden om de ziekte te detecteren, maar ze kunnen niet 24/7 naar duizenden opnames luisteren. Ze hebben een robot nodig die dit voor hen doet.

Deze paper beschrijft hoe onderzoekers een slimme "hoest-detecteur" hebben gebouwd die dit precies kan. Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. Het Grote Dilemma: De Naaimachine

Stel je voor dat je een lange filmrol hebt van een dag in een ziekenhuis. Je wilt alleen de scènes bekijken waarin iemand hoest.

• De oude manier: Een mens moet de hele filmrol bekijken en met een stift de begin- en eindpunten van elke hoest markeren. Dit duurt eeuwen en is duur.
• De nieuwe manier: Je wilt een computer laten doen wat de stift deed. Maar als de computer de verkeerde stukken plakt (bijvoorbeeld een auto die start in plaats van een hoest), dan is de diagnose verkeerd.

De onderzoekers wilden weten: Kan een computer de hoest zo perfect uitknippen dat een andere computer de ziekte TB kan herkennen?

2. De Drie Kampioenen: De Drie Detecteurs

Om dit te testen, lieten ze drie verschillende "computers" (modellen) strijden om de beste hoest-te vinden:

1. De Logistieke Regressie (LR): Dit is als een oude, simpele rekenmachine. Hij kijkt naar simpele regels (bijv. "is het geluid hard?"). Hij is snel, maar niet heel slim.
2. AST (Audio Spectrogram Transformer): Dit is als een geschoolde musicus. Hij heeft veel geluiden gehoord, maar vooral muziek en algemene geluiden. Hij kan goed luisteren, maar is niet gespecialiseerd in menselijke stemmen.
3. XLS-R: Dit is de superheld. Hij is een gigantisch brein dat is getraind op 400.000 uur aan spraak in 128 verschillende talen. Hij heeft de menselijke stem als geen ander begrepen.

3. De Grote Test: De "Sneeuwbal"

De onderzoekers gaven deze drie modellen een taak: "Kijk naar deze opnames uit Zuid-Afrika en Oeganda en knip alle hoestjes eruit."

• Het resultaat: De superheld XLS-R won met overmacht. Hij was veel nauwkeuriger dan de musicus (AST) en de rekenmachine (LR).
• De verrassing: De onderzoekers ontdekten iets heel slims. Ze hoefden de superheld niet helemaal te gebruiken! Ze konden de onderste drie lagen van zijn brein gebruiken (alsof je alleen de basis van een huis gebruikt) en het werk deed het nog steeds perfect. Dit is cruciaal, want een volledige superheld is te zwaar voor een smartphone. Met deze "kleine versie" past het model makkelijk op een telefoon die een verpleegster in een afgelegen dorp kan gebruiken.

4. De Proef op de Som: De Diagnose

Nu hadden ze de hoestjes uitgeknipt. Maar wat als de computer de hoestjes verkeerd had geknipt? Zou de diagnose dan nog wel kloppen?

Ze namen de uitgeknipte hoestjes en gaven ze aan een tweede computer (een diagnose-machine) om te zeggen: "Heeft deze persoon TB of niet?"

• De uitkomst: De diagnose-machine die werkte met de door XLS-R uitgeknipte hoestjes, deed het bijna net zo goed als een machine die werkte met door mensen handmatig geknipte hoestjes.
• De andere modellen (AST en LR) deden het een stuk slechter.

5. Waarom is dit belangrijk?

Stel je voor dat je een net gooit in een rivier om vissen te vangen.

• Als je net gaten heeft (de computer mist hoestjes), vang je geen vissen.
• Als je net te groot is en ook stenen vangt (de computer denkt dat auto's hoesten), krijg je rommel.

Deze paper laat zien dat de XLS-R het perfecte net is. Het vangt bijna alle vissen (hoestjes) en laat bijna geen stenen (lawaai) binnen.

Conclusie in het kort:
Dit onderzoek bewijst dat we grote, slimme AI-modellen (zoals XLS-R) kunnen gebruiken om automatisch hoestgeluiden te vinden in lawaai. Dit maakt het mogelijk om in de toekomst een app op je telefoon te hebben die, zonder menselijke hulp, kan screenen op tuberculose. Het is een stap dichter bij het redden van levens in gebieden waar artsen schaars zijn.

De belangrijkste les: Soms hoef je de hele supercomputer niet te gebruiken; een slimme, lichtere versie werkt net zo goed en past in je broekzak.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Cough Activity Detection for Automatic Tuberculosis Screening" in het Nederlands.

Probleemstelling

De automatische identificatie van hoestsegmenten in audio-opnames is cruciaal voor de schaalbaarheid van screeningsinstrumenten voor longziekten, met name tuberculose (TB). Hoewel er reeds methoden bestaan om hoest te classificeren binnen een opname, ontbreekt het aan onderzoek naar de impact van automatische start- en eindpuntbepaling op downstream ziekteclassificatie.
In klinische settings is handmatige annotatie van hoestgeluiden vaak onhaalbaar vanwege tijdsinvestering, hygiënische bezwaren en de complexiteit van de data. Bestaande methoden voor automatische segmentatie zijn vaak onzeker of presteren niet optimaal in ruisige omgevingen (zoals gezondheidscentra). Het doel van dit onderzoek is om te bepalen of moderne transformer-modellen effectief zijn voor het automatisch isoleren van hoestsegmenten en of deze geautomatiseerde segmenten voldoende kwaliteit hebben om een TB-classificatiemodel te trainen, vergeleken met handmatig geannoteerde data.

Methodologie

1. Dataset

• Bron: Opnames van 1193 patiënten uit Zuid-Afrika en Oeganda, verzameld in gemeenschapszorgcentra.
• Data: 21.808 handmatig geannoteerde hoestsegmenten (totaal 2,52 uur hoestaudio) in een omgeving met veel achtergrondruis (verkeer, generatoren).
• Verdeling:
  • Trainings- en ontwikkelset: Exclusief data uit Oeganda (Luganda/Engels).
  • Testset: Exclusief data uit Zuid-Afrika (Afrikaans/Engels/isiXhosa).
  • Reden: Dit creëert een uitdagende cross-cohort testomgeving met verschillende akoestische omstandigheden en talen.

2. Geëvalueerde Modellen
Drie architecturen werden vergeleken voor de taak van hoestactiviteitsdetectie (frame-voor-frame):

• XLS-R: Een grote pre-getrainde transformer (300 miljoen parameters), getraind op spraak in 128 talen. Het model werkt direct op het golfvormsignaal (CNN-feature extractor) met een framegrootte van 25ms en een stapgrootte van 20ms.
• AST (Audio Spectrogram Transformer): Een pre-getrainde transformer getraind op algemene geluiden (niet alleen spraak). Het werkt op mel-spectrogrammen met een framegrootte van 160ms en een stapgrootte van 100ms.
• Logistic Regression (LR): Een baseline-model dat lijkt op een time-delay neural network, ingevoerd met mel-spectrogram-patches (zelfde als AST).

3. Training en Fine-tuning

• De modellen werden gefine-tuned op de trainingsdata met de AdamW-optimizer.
• Hyperparameter-optimalisatie: Er werd gezocht naar de beste laag in de transformer (voor XLS-R en AST) om features te extraheren.
• Post-processing: De per-frame scores werden omgezet in binaire indicatoren via een drempelwaarde. Er werd ook getest met median filtering om gefragmenteerde hoestsegmenten te verminderen.

4. Downstream TB Classificatie

• De automatisch geïsoleerde hoestsegmenten werden gebruikt om een Bidirectional LSTM te trainen voor TB-classificatie.
• Dit werd vergeleken met een LSTM getraind op handmatig geannoteerde (ground truth) hoestsegmenten.

Belangrijkste Bijdragen

1. Evaluatie van Transformers voor Hoestdetectie: Dit is een van de eerste studies die transformer-modellen toepast op hoestactiviteitsdetectie en de impact daarvan kwantificeert op de uiteindelijke ziekteclassificatie.
2. Optimalisatie van XLS-R: De auteurs ontdekten dat het gebruik van alleen de eerste drie lagen van het XLS-R-netwerk de beste prestaties leverde. Dit reduceert de modelgrootte met een factor 6 en verhoogt de doorvoer, wat essentieel is voor implementatie op smartphones.
3. Cross-Cohort Generalisatie: Het bewijzen dat een model getraind op Oegandese data (met andere talen en omgevingen) effectief werkt op Zuid-Afrikaanse data.
4. Koppeling Detectie en Classificatie: Het tonen aan dat automatische segmentatie geen significante degradatie veroorzaakt in de TB-classificatieprestaties ten opzichte van handmatige annotatie.

Resultaten

Hoestactiviteitsdetectie (Testset):

• XLS-R presteerde het beste met een Average Precision (AP) van 0,96 en een AUC van 0,99.
• Vergelijking:
  • XLS-R presteerde 9% beter (absolute AP) dan AST (0,87).
  • XLS-R presteerde 27% beter (absolute AP) dan de LR-baseline (0,69).
• Laag-selectie: Het gebruik van slechts de eerste 3 lagen van XLS-R bleek optimaal, wat de rekenefficiëntie aanzienlijk verbetert zonder prestatieverlies.
• Post-processing: Median filtering bleek niet consistent voordelig; het verbeterde de prestaties van AST niet en leverde voor XLS-R slechts een marginaal voordeel op (AP 0,9048 vs 0,9035).

Downstream TB Classificatie:

• Een TB-classificatiemodel getraind op door XLS-R geïsoleerde hoestsegmenten (geoptimaliseerd voor dekking/coverage) behaalde een AUC van 0,63 (testset).
• Dit is 4% beter dan het model getraind op AST-geïsoleerde data (0,59).
• Het model presteerde slechts 2% slechter dan het model getraind op handmatig geannoteerde grondwaarheid (AUC 0,65).
• Modellen getraind op LR-data of data geoptimaliseerd voor puurheid (purity) faalden vaak vanwege een onjuiste verdeling van de hoestduur (te veel fragmentatie of te weinig data).

Significantie en Conclusie

De studie concludeert dat het toepassen van grote, pre-getrainde transformer-modellen (specifiek XLS-R) een zeer effectieve aanpak is voor het automatisch identificeren van hoestsegmenten.

• Haalbaarheid: De integratie van zo'n model in een screeningstool is haalbaar, zelfs op mobiele apparaten, dankzij de mogelijkheid om alleen de eerste lagen van het netwerk te gebruiken.
• Klinische Impact: De kleine prestatieverschillen tussen automatisch geïsoleerde en handmatig geannoteerde data (2% AUC verschil) suggereren dat automatische pipelines betrouwbaar kunnen worden ingezet voor TB-screening in laag-resource omgevingen, waar handmatige annotatie niet mogelijk is.
• Robuustheid: Het systeem is robuust genoeg om te generaliseren over verschillende talen en akoestische omgevingen (Zuid-Afrika vs. Oeganda), wat essentieel is voor wereldwijde implementatie.

Kortom, de paper levert een sterke onderbouwing voor het vervangen van handmatige annotatie door geautomatiseerde transformer-gebaseerde detectie in toekomstige mHealth-toepassingen voor tuberculose.