Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
Hoewel meerdere deep learning-architecturen een vergelijkbaar hoge basisdiscriminatie bereiken voor intraorale ultrasonografie, vertonen zij drastisch verschillende en vaak onbetrouwbare gedragingen onder synthetische occlusie, waarbij EfficientNet-B0 een ernstige prestatiecollaps, overmoed en slechte reproduceerbaarheid vertoont in vergelijking met andere modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Binnenin de menselijke mond kan een gespecialiseerde echografieprobe realtime beelden van zachte weefsels vastleggen zonder gebruik te maken van straling. Deze beelden onthullen lagen spier en huid, wat een venster biedt op de anatomie dat nuttig is voor het plannen van operaties of het beoordelen van de gezondheid van weefsels. Het omzetten van deze plaatjes naar betrouwbare diagnoses vereist echter meer dan alleen een helder beeld; het vereist een computerprogramma, of model, dat correct kan interpreteren wat het ziet. In de afgelopen jaren hebben wetenschappers veel van dergelijke computermodellen getraind om patronen in medische beelden te herkennen. Een gebruikelijke manier om deze modellen te beoordelen is door te kijken hoe vaak ze het juiste antwoord geven op een reeks testbeelden. Maar een hoge score op een standaardtest vertelt niet het hele verhaal. Het onthult niet hoe een model zich gedraagt wanneer het beeld wordt gewijzigd, of het zelfverzekerd blijft wanneer het het fout heeft, of of de redenen die het geeft voor zijn beslissing consistent zijn.
Een team onderzoekers aan de Yonsei Universiteit in Zuid-Korea zette zich scharpe om verder te kijken dan eenvoudige testscores. Ze richtten zich op een specifieke taak: het onderscheiden tussen twee regio's van de binnenkant van de wang, bekend als de buccale mucosa. Eén regio bevindt zich boven de jukbeenspieren, en de andere bevindt zich boven de hoofdspier van de wang. Terwijl een arts precies weet waar de probe is geplaatst, moet een computermodel leren om deze twee gebieden uit elkaar te houden enkel door naar de afbeelding te kijken. De onderzoekers trainden vijf verschillende soorten computermodellen op honderden afbeeldingen genomen van gezonde vrijwilligers. Alle vijf de modellen presteerden zeer goed op de standaardtest en identificeerden de regio's correct in bijna alle gevallen. Deze hoge prestatie suggereerde dat ze allemaal even goede kandidaten waren voor toekomstig medisch gebruik.
Om te testen of ze werkelijk gelijk waren, onderwierpen de onderzoekers de modellen aan een reeks gecontroleerde wijzigingen. Ze namen de afbeeldingen en bedekten delen ervan met een solide, egaal grijs blok, waardoor informatie uit ofwel de bovenste of de onderste helft van de afbeelding werd gewist. Dit proces, bekend als occlusie, simuleert wat er zou kunnen gebeuren als een deel van een afbeelding wazig of ontbrekend is. Wanneer de onderzoekers de helft van de afbeelding verwijderden, bleven vier van de vijf modellen goed presteren, wat aantoonde dat ze nog steeds de noodzakelijke aanwijzingen in de resterende delen konden vinden. Eén model reageerde echter heel anders. Wanneer de helft van de afbeelding werd afgedekt, stortte het vermogen van dit model om tussen de twee regio's te onderscheiden in, tot een niveau dat niet beter was dan willekeurig gokken.
De meest verrassende bevinding was niet alleen dat dit ene model faalde, maar ook hoe het faalde. Wanneer de andere modellen fouten maakten, waren ze geneigd onzeker te zijn over hun antwoorden. Dit falende model was daarentegen gevaarlijk zelfverzekerd geworden. Zelfs toen de nauwkeurigheid kelderde tot het niveau van toeval, bleef het extreem hoge zekerheid toekennen aan zijn foute antwoorden. Het was alsof het model zijn vermogen had verloren om het verschil te zien, maar niet zijn overtuiging had verloren dat het gelijk had. Dit gedrag suggereert dat een model zeer betrouwbaar kan lijken in een standaardtest, terwijl het een kwetsbare afhankelijkheid verbergt van specifieke delen van de afbeelding die, wanneer deze worden verwijderd, ervoor zorgen dat het volledig instort.
De onderzoekers onderzochten ook hoe de modellen hun beslissingen "uitlegden". Met behulp van een techniek die de delen van een afbeelding benadert waar een model zich op focust, controleerden ze of deze verklaringen consistent waren. Ze ontdekten dat de geaccentueerde gebieden aanzienlijk veranderden afhankelijk van hoe het model was getraind, zelfs wanneer de uiteindelijke testscores hetzelfde waren. Dit betekent dat een enkele verklaring van een versie van een model plausibel kan lijken, maar niet als een stabiele gids kan worden vertrouwd voor wat het model daadwerkelijk leert. De aandachtpatronen waren niet reproduceerbaar, wat het moeilijk maakt om deze visuele verklaringen te gebruiken om de logica van het model te begrijpen.
De studie concludeert dat twee modellen er identiek uit kunnen zien op een standaard rapportcijfer, maar in totaal tegenovergestelde manieren kunnen reageren wanneer de input wordt gewijzigd. De onderzoekers vonden dat een vergelijkbare basisprestatie een model kan verbergen dat zeer gevoelig is voor ontbrekende informatie en geneigd is tot zelfverzekerde fouten. Ze vonden geen enkele architectonische fout die dit veroorzaakte, noch bewezen ze dat deze specifieke fout in een echte klinische setting met echte patiënten zou optreden. In plaats daarvan demonstreerden ze dat het evalueren van een model meer vereist dan alleen het controleren van de nauwkeurigheid. Om het vermogen van een computer om medische afbeeldingen te interpreteren echt te begrijpen, moet men ook testen hoe het omgaat met ontbrekende gegevens, hoe het zijn vertrouwen uitdrukt wanneer het het fout heeft, en of de redenering consistent blijft. Zonder deze controles kan een model dat er op papier perfect uitziet, in de praktijk onbetrouwbaar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.