Transformer Architectures for Respiratory Sound Analysis and Multimodal Diagnosis
Dit artikel stelt een multimodale diagnostische framework voor die gebruikmaakt van Audio Spectrogram Transformers en vision-language modellen om ademhalingsgeluiden en patiëntmetadata te analyseren, waarbij een superieure nauwkeurigheid en interpreteerbaarheid wordt aangetoond ten opzichte van traditionele fysieke auscultatie door artsen en eerdere op CNN gebaseerde benaderingen voor asthmadiagnose en monitoring op afstand.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het beluisteren van de ademhaling van een patiënt is een van de oudste instrumenten in de gereedschapskist van een arts. Eeuwenlang hebben artsen hun oren of stethoscopen tegen een borstkas gedrukt om het subtiele gerammel van vocht, het hoog gepitchte gefluit van vernauwde luchtwegen of de soepele stilte van gezonde longen te detecteren. Deze praktijk, bekend als auscultatie, rust volledig op het menselijk oor en de ervaring van de luisteraar. Hoewel onschatbaar, is het ook subjectief; twee artsen kunnen verschillende dingen horen in dezelfde ademhaling, en een diagnose kan sterk afhangen van hoeveel praktijk een arts heeft opgedaan. Terwijl respiratoire ziekten zoals astma miljoenen mensen wereldwijd treffen, heeft de medische gemeenschap lang gezocht naar een manier om dit luisterproces objectiever, consistenter en toegankelijker te maken, vooral voor jonge kinderen of mensen in afgelegen gebieden waar specialisten schaars zijn.
In de afgelopen jaren hebben wetenschappers de computers ingeschakeld om te helpen luisteren. Door het geluid van de ademhaling om te zetten in een visuele kaart die een spectrogram wordt genoemd — waarbij de tijd langs de onderkant loopt en de toonhoogte langs de zijkant — kunnen onderzoekers een ademhaling als een afbeelding behandelen. Dit stelt hen in staat om krachtige computerprogramma's te gebruiken, die oorspronkelijk zijn ontworpen om katten of auto's in foto's te herkennen, om patronen van ziekte te identificeren. Deze vroege pogingen vertrouwden echter vaak op oudere computermodellen die alleen naar het geluid keken en het rest van het verhaal van de patiënt negeerden, zoals hun leeftijd of geslacht. Bovendien was het vergelijken van verschillende computerprogramma's moeilijk omdat ze vaak op verschillende datasets werden getest, waardoor het lastig was om te weten welke echt het beste werkte.
Een team van onderzoekers van Ben-Gurion Universiteit in Israël en Perm State Medical University in Rusland besloot deze problemen op te lossen door de nieuwste generatie computermodellen te testen op een enkele, gedeelde collectie patiëntgegevens. Ze wilden zien of moderne kunstmatige intelligentie niet alleen de ademhalingsgeluiden kon beluisteren, maar ook de context van de patiënt kon begrijpen, waarbij het de manier van een menselijke arts nabootst die wat hij hoort combineert met wat hij weet over de persoon. Hun werk richt zich op het onderscheiden van patiënten met astma van patiënten zonder astma, een taak die cruciaal is voor het beheer van een aandoening die tot 29 procent van de bevolking in diverse landen treft.
De onderzoekers verzamelden een grote set opnames van meer dan 1.300 deelnemers, variërend van zuigelingen tot volwassenen. Deze opnames legden het geluid van rustige ademhaling vast op vier verschillende plekken op het lichaam: de mond, de luchtpijp, de borst en de rug. Elke opname werd vergezeld door gestructureerde informatie over de patiënt, waaronder leeftijd, geslacht en de locatie waar het geluid is opgenomen. Het team voedde deze gegevens aan drie verschillende soorten computermodellen om te zien welk model astma het meest nauwkeurig kon diagnosticeren.
Het eerste model dat zij testten, was een goed gevestigd type computerprogramma dat bekend staat als een convolutioneel neuraal netwerk, specifiek een versie genaamd DenseNet201. Dit model was in hun eerdere werk gebruikt en diende als een betrouwbare baseline. Het keek alleen naar de visuele kaart van het geluid en negeerde de persoonlijke details van de patiënt. Het tweede model was een geavanceerd systeem genaamd de Audio Spectrogram Transformer. Dit model was specifief ontworpen om geluidspatronen te begrijpen en was getraind op enorme bibliotheken van audio voordat het werd aangepast voor deze medische taak. Het derde model was een multimodale visie-taal-system genaamd Moondream2. Dit was de meest ambitieuze poging; het was ontworpen om naar de geluidkaart te kijken terwijl het tegelijkertijd een tekstuele beschrijving van de leeftijd, het geslacht en de opnamelocatie van de patiënt las, in de hoop dat het combineren van deze twee informatiestromen zou leiden tot een betere diagnose.
De resultaten toonden een duidelijke winnaar. Het gespecialiseerde geluidsmodel, de Audio Spectrogram Transformer, presteerde de beste van alle modellen met opmerkelijke precisie. Het behaalde een succespercentage van 98,7% op het gebied van accuratesse, sensitiviteit, specificiteit en F1-score, met een Youden Index van 0,974. Deze prestatie lag aanzienlijk hoger dan die van het oudere DenseNet-model, dat in ongeveer 87 procent van de gevallen correct was. Het multimodale model, Moondream2, presteerde vergelijkbaar met het oudere model en behaalde een accuratesse van ongeveer 86,5 procent. Interessant genoeg ontdekten de onderzoekers dat het multimodale model zwaar leunde op de tekstuele informatie die het kreeg. Wanneer zij de leeftijd en het geslacht van de patiënt uit de input verwijderden, stortte het vermogen van het model om astma te diagnosticeren in, waarbij het fouten maakte bij elke enkele astmacase. Dit suggereerde dat hoewel het model de tekst kon gebruiken om een beslissing te nemen, het moeite had om de geluidspatronen op eigen kracht zo effectief te leren als het model dat specifiek voor audio is gebouwd.
De studie onderzocht ook hoe deze computermodellen hun beslissingen nemen, een cruciale stap voor het winnen van het vertrouwen van artsen. Voor het oudere model konden de onderzoekers een techniek gebruiken die de specifieke delen van de geluidkaart accentueert die de diagnose triggerden, vergelijkbaar met een heatmap die laat zien waar een camera op focust. Voor het nieuwe geluidsmodel analyseerden zij de interne aandachtmechanismen om te zien op welke delen van het geluid de computer zich concentreerde. Zij ontdekten dat beide modellen zich op hetzelfde frequentiebereik concentreerden, ruwweg tussen 800 en 1800 hertz, met name tijdens de derde cyclus van een ademhaling. Deze consistentie suggereert dat de computers niet willekeurig gokken, maar daadwerkelijk dezelfde fysieke akoestische kenmerken detecteren waar artsen naar luisteren.
De onderzoekers concludeerden dat hoewel het combineren van patiëntdetails met geluidsanalyse een logische stap is, de huidige generatie algemene modellen die beide proberen te doen, mogelijk niet zo effectief is als een model dat specifiek voor geluid is ontworpen. Het gespecialiseerde audio-model bewees dat het de nuances van respiratoire ziekten uit het geluid alleen kon leren, waarmee het de prestaties van menselijke auscultatie zoals gerapporteerd in de medische literatuur overtrof. De bevindingen suggereren dat de toekomst van computerondersteunde diagnose kan liggen in het gebruik van zeer gespecialiseerde instrumenten voor specifieke taken, in plaats van te proberen één enkel systeem te bouwen dat alles doet. Deze modellen bieden een veelbelovend pad naar continue, afstandelijke monitoring van patiënten, wat potentieel mogelijk maakt voor een vroegere detectie van astma-aanvallen en een meer consistente zorg voor mensen overal, ongeacht hun toegang tot een specialist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.