Learning Adaptive Gated Fusion of Convolutional and Transformer Features for Generalizable Medical Image Classification

In de wereld van medische diagnostiek zijn computers bijzonder vaardig geworden in het lezen van beelden. Ze kunnen naar een foto van een huidplek kijken of naar een scan van een hersenpartij en patronen herkennen die op ziekte kunnen wijzen. Jarenlang hebben de meest succesvolle computerprogramma's voor deze taak vertrouwd op een specifiek type digitaal brein: een convolutioneel neuraal netwerk. Deze programma's zijn uitstekend in het opmerken van fijne details, zoals de ruwe textuur van een huidlaesie of de minuscule bloedvaten in een oog. Ze werken door kleine, lokale gebieden van een afbeelding te scannen, vergelijkbaar met hoe een persoon een enkele penseelstreek op een schilderij onderzoekt. Echter, deze programma's hebben soms moeite om het grotere plaatje te zien. Ze kunnen missen hoe verre delen van een afbeelding met elkaar samenhangen, zoals de algehele vorm van een tumor of de rangschikking van vaten over een volledig retina-oppervlak.

Om dit op te lossen, hebben onderzoekers zich onlangs gericht op een ander type digitaal brein, bekend als een vision transformer. Deze systemen zijn ontworpen om de gehele afbeelding in één keer te bekijken, waarbij elk deel met elk ander deel wordt verbonden om de globale structuur te begrijpen. Waar het eerste type programma de textuur ziet, ziet het tweede type de vorm. Een lange tijd probeerden wetenschappers deze twee benaderingen te combineren door simpelweg hun outputs aan elkaar te plakken, uitgaande van de veronderstelling dat beide inzichten even belangrijk zijn voor elke individuele patiënt. Maar de medische realiteit is zelden zo uniform. Een huidlaesie kan bijna volledig worden gediagnosticeerd op basis van kleur en textuur, terwijl een hersentumor mogelijk wordt geïdentificeerd door de locatie en grootte. Een rigide systeem dat elke afbeelding op dezelfde manier behandelt, loopt het risico de meest cruciale aanwijzingen voor een specifiek geval te missen.

Een team van onderzoekers van Sharda University in India heeft een nieuwe manier voorgesteld om dit probleem aan te pakken. Ze ontwikkelden een systeem genaamd DACANet, dat fungeert als een dual-path netwerk. In plaats van de computer te dwingen een vaste regel te gebruiken voor het combineren van lokale details en globale vormen, leert dit systeem zelf te beslissen hoeveel gewicht het aan elk gezichtspunt moet geven voor elke afzonderlijke afbeelding die het analyseert. De onderzoekers testten deze aanpak op drie zeer verschillende soorten medische beelden: huidlaesies, hersenscans en retinale foto's. Hun doel was om te zien of een flexibel systeem een rigide systeem kon overtreffen, vooral wanneer het belang van textuur versus vorm per patiënt verandert.

De kern van hun innovatie is een kleine, intelligente poort (gate) die tussen de twee digitale breinen zit. Terwijl het systeem een afbeelding verwerkt, extraheert één tak lokale kenmerken zoals randen en kleuren, terwijl de andere tak de algehele structuur en relaties over het hele beeld vastlegt. Voordat de definitieve diagnose wordt gesteld, bekijkt de poort beide verzamelingen informatie en berekent een specifieke balans. Als de afbeelding een beeld is waarbij lokale textuur het belangrijkst is, leunt de poort zwaar op de eerste tak. Als de globale vorm de doorslaggevende factor is, verschuift de aandacht naar de tweede tak. Deze beslissing wordt individueel voor elke afbeelding genomen, waardoor het systeem in staat is om zijn strategie in realtime aan te passen in plaats van een vooraf ingestelde regel te volgen.

Om te testen of deze flexibiliteit daadwerkelijk helpt, trainden de onderzoekers het systeem op drie publieke datasets zonder speciale aanpassingen voor elk van hen. De eerste dataset bevatte afbeeldingen van gepigmenteerde huidlaesies, een taak waarbij het verschil tussen een onschuldige moedervlek en een gevaarlijk melanoom vaak afhangt van subtiele, fijnmazige details. De tweede dataset bestond uit magnetische resonantiebeelden van hersenen, waarbij de aanwezigheid van een tumor vaak wordt gedefinieerd door de specifieke vorm en locatie. De derde dataset bevatte foto's van het netvlies, gebruikt om de ernst van diabetische retinopathie te graderen, een aandoening waarbij zowel kleine veranderingen in de bloedvaten als bredere patronen van belang zijn.

De resultaten toonden aan dat het flexibele systeem uitzonderlijk goed presteerde in alle drie de domeinen. Op de huidlaesie-afbeeldingen behaalde het een validatienauwkeurigheid van 87,37 procent. Voor de hersentumorscans bereikte het een nauwkeurigheid van 95,25 procent. Op de retinale beelden scoorde het 84,64 procent. Deze cijfers zijn indrukwekkend, maar de werkelijke waarde van de studie kwam naar voren toen de onderzoekers hun flexibele systeem vergeleken met een versie die een vaste, onveranderlijke regel gebruikte om de twee soorten informatie te combineren. Op de huidlaesie- en de retinale datasets presteerde het flexibele systeem duidelijk beter dan het vaste systeem, met een verbetering in nauwkeurigheid van respectievelijk 1,65 en 0,68 procentpunt. Dit suggereert dat voor complexe medische beelden waar de diagnostische aanwijzingen per geval aanzienlijk variëren, het vermogen om aan te passen een echt voordeel is.

Interessant genoeg onthulden de resultaten ook de beperkingen van deze aanpak. Op de hersentumor-dataset presteerde het vaste systeem net zo goed als het flexibele systeem, met een verschil van minder dan een vijfde van een procent. De onderzoekers merkten op dat hersentumorbeelden vaak visueel onderscheidend en gemakkelijker te scheiden zijn, wat betekent dat de taak al dicht bij de maximale prestatie lag voor de gebruikte instrumenten. In dergelijke eenvoudige gevallen bood de extra complexiteit van een adaptieve poort geen echt voordeel. Deze bevinding is cruciaal omdat het suggereert dat de waarde van adaptieve fusie volledig afhangt van de moeilijkheidsgraad en de variëteit van de visuele taak. Het is geen wondermiddel dat elke situatie verbetert, maar een gerichte tool die uitblinkt wanneer de diagnostische aanwijzingen subtiel en variabel zijn.

De studie concludeert dat deze adaptieve methode een praktische en reproduceerbare framework biedt voor medische beeldanalyse. Door de computer te laten beslissen welk type bewijs het belangrijkst is voor elke specifieke patiënt, wordt het systeem betrouwbaarder en beter geschikt voor de diverse realiteit van de medische praktijk. De onderzoekers benadrukken dat hoewel hun systeem goed werkt over verschillende soorten scans zonder dat er voor elk systeem een aangepaste afstemming nodig is, er nog steeds werk te verrichten is. Toekomstige studies zullen nauwer moeten kijken naar hoe het systeem omgaat met zeldzame ziektecategorieën en de prestaties over vele verschillende trainingsruns moeten testen om te garanderen dat de resultaten consistent zijn. Voor nu demonstreert het werk echter dat in de complexe wereld van medische beeldvorming het vermogen om de focus aan te passen een krachtig bezit is.