Multimodal Deep Learning for Chest X-Ray Abnormality Classification and Interpretability through Demographic Feature Integration
Deze studie stelt een multimodale deep learning-framework voor die borstfoto's integreert met demografische metadata met behulp van een ConvNeXt Large-backbone, waarbij een macro-gemiddelde AUC van 96,88% wordt bereikt op de NIH ChestX-ray14-dataset en een superieure prestatie en interpreteerbaarheid wordt aangetoond vergeleken met bestaande modellen die enkel afbeeldingen gebruiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elke dag lopen miljoenen mensen klinieken en ziekenhuizen binnen voor een eenvoudige borstkasfoto. Deze snelle, goedkope afbeelding is een hoeksteen van de moderne geneeskunde en biedt een inkijkje in de borstkas om pneumonie, vochtophoping of andere verborgen problemen te onthullen. Voor een radioloog is het interpreteren van deze beelden een essentiële vaardigheid, maar het is ook een zware last. Het enorme volume aan scans groeit, en de taak is vaak moeilijk omdat verschillende ziekten op elkaar kunnen lijken, of omdat verschillende aandoeningen samen in één enkel beeld verborgen kunnen liggen. Om deze last te verlichten, hebben wetenschappers zich tot kunstmatige intelligentie gewend, waarbij ze computers leren om patronen in deze afbeeldingen te herkennen. De meeste van deze computerprogramma's zijn echter getraind om alleen naar de afbeelding zelf te kijken, waarbij ze de persoon achter de scan negeren. Ze weten niet of de patiënt een jonge man of een oudere vrouw is, of hoe de afbeelding is genomen. Deze studie stelt een eenvoudige maar krachtige vraag: wat gebeurt er als we de computer leren om zowel naar de afbeelding als naar de basisgegevens van de patiënt te kijken?
Een team van onderzoekers zette zich af om een nieuw soort computersysteem te bouken dat de visuele informatie van een borstkasfoto combineert met eenvoudige demografische feiten over de patiënt, zoals hun leeftijd, geslacht en de hoek waaronder de röntgenfoto is genomen. Ze gebruikten een enorme collectie van meer dan 112.000 borstkasfoto's van de National Institutes of Health, een dataset die afbeeldingen bevat van meer dan 30.000 verschillende mensen. Deze collectie is beroemd in het vakgebied vanwege de omvang, maar het presenteert ook een lastig probleem: sommige ziekten komen duizenden keren voor in de afbeeldingen, terwijl andere extreem zeldzaam zijn. De onderzoekers ontwierpen hun systeem om dit onevenwicht aan te pakken en om te leren van zowel de visuele patronen van de ziekte als de context die door de achtergrond van de patiënt wordt geboden. Ze testten hun aanpak tegenover verschillende andere bekende computermodellen om te zien of het toevoegen van deze extra laag informatie daadwerkelijk een verschil maakte.
De resultaten toonden aan dat het nieuwe systeem aanzienlijk beter was in het identificeren van ziekten dan de oudere modellen die alleen naar afbeeldingen keken. Bij het testen op een deel van de data die het nog nooit eerder had gezien, onderscheidde het nieuwe systeem veertien verschillende soorten thoracale ziekten met een hoog niveau van nauwkeurigheid, waarbij het een score van 96,88 procent behaalde. Ter vergelijking: de beste van de oudere modellen, die alleen vertrouwden op de afbeelding, behaalden scores tussen de 85 en 88 procent. De onderzoekers ontdekten dat de verbetering uit twee hoofdbronnen kwam. Ten eerste was het systeem gebouwd op een moderne architectuur genaamd ConvNeXt, die zeer goed is in het opsporen van details in afbeeldingen. Ten tweede, en misschien nog belangrijker, leerde het systeem de leeftijd, het geslacht en de positie van het röntgenapparaat als aanwijzingen te gebruiken. Zo hielp weten of een patiënt man of vrouw is, of of de afbeelding van voren of van achteren is genomen, de computer om scherpere onderscheiden te maken tussen condities die anders identiek zouden kunnen lijken.
Om er zeker van te zijn dat de computer niet simpelweg gokte, creëerden de onderzoekers ook een manier om te zien waar de machine zich op concentreerde. Ze gebruikten een techniek die de specifieke delen van de röntgenfoto benadelt die tot een diagnose leidden. Wanneer ze naar deze hoogtepunten keken, zagen ze dat de computer aandacht besteedde aan de juiste plekken. Als het systeem een klaplong voorspelde, bevond het benadrukte gebied zich op de rand van de long. Als het een vergroot hart voorspelde, lag de focus op het hart zelf. Dit visuele bewijs suggereert dat het systeem niet alleen statistische trucjes in de data vindt, maar ook daadwerkelijk leert om de fysieke tekenen van ziekte te herkennen op een manier die voor een menselijke arts logisch is. De studie bevestigde ook dat het negeren van de zeldzame ziekten in de trainingsdata het systeem slechter zou hebben gemaakt, dus pasten ze het leerproces aan om extra aandacht te geven aan die minder voorkomende condities.
De onderzoekers erkennen dat hun werk een stap voorwaarts is, maar geen definitieve oplossing. Het systeem werd getraind op een specifieke dataset waarbij de labels voor ziekten werden gegenereerd door computers die medische rapporten lazen, wat betekent dat er fouten in de trainingsdata kunnen zitten. Bovendien is het systeem momenteel behoorlijk groot en vereist het krachtige computers om te draaien, wat een directe installatie in elke kliniek moeilijk kan maken. Het team stelt voor dat toekomstig werk deze aanpak op data van verschillende ziekenhuizen moet testen om te zien of het even goed werkt met verschillende soorten machines en patiëntengroepen. Ze stellen ook voor dat het toevoegen van nog meer informatie, zoals de rookgeschiedenis van een patiënt of medische dossiers uit het verleden, het systeem nog nauwkeuriger zou kunnen maken. Voor nu toont de studie een duidelijke weg vooruit: door computers te leren om zowel het beeld als de persoon te zien, kunnen we hulpmiddelen bouwen die niet alleen nauwkeuriger zijn, maar ook betrouwbaarder voor de artsen die op hen vertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.