Are Large Multimodal Models Ready for Post-Thrombectomy mTICI Assessment? A Comparison with Physicians
Hoewel grote multimodale modellen een overeenstemming op niveau van artsen kunnen bereiken bij de post-trombectomie mTICI-gradatie wanneer zij worden voorzien van procedurele rapporten, is hun prestatie sterk afhankelijk van tekstuele input en stort deze aanzienlijk in bij het beoordelen van enkel afbeeldingen, wat aangeeft dat menselijke interpretatie door experts essentieel blijft voor directe beeldgebaseerde reperfusie-evaluatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar lijden miljoenen mensen aan beroertes veroorzaakt door een verstopte slagader in de hersenen. Wanneer een groot vat verstopt raakt, kan de schade snel en ernstig zijn, maar artsen hebben een krachtig middel om het te stoppen: een mechanische trombectomie. Bij deze procedure voert een specialist een minuscuul apparaatje door de bloedvaten om de stolsel fysiek naar buiten te trekken. Het succes van deze levensreddende operatie hangt volledig af van één ding: of de bloedstroom naar de hersenen volledig is hersteld. Om dit te meten, gebruiken artsen een standaard schaal die beoordeelt hoe goed de vaten zijn schoongemaakt, variërend van helemaal geen doorstroming tot volledige herstel. Deze gradatie is cruciaal omdat het bepaalt hoe patiënten daarna worden behandeld, hoe ziekenhuizen hun succes meten en hoe onderzoekers begrijpen wat het beste werkt. Het toekennen van deze gradaties is echter een menselijke taak, en zoals veel menselijke oordelen, kan dit van de ene arts tot de andere variëren. Nu kunstmatige intelligentie krachtiger is geworden, is er een natuurlijke vraag ontstaan: kan een computer naar dezelfde beelden en rapporten kijken als een arts en met dezelfde vaardigheid hetzelfde oordeel vellen?
Een team onderzoekers van het Universiteitsziekenhuis Regensburg in Duitsland zette zich in om deze vraag te beantwoorden door geavanceerde computermodellen tegenover menselijke experts te plaatsen. Ze verzamelden negentig gevallen van patiënten die de procedure voor het verwijderen van een stolsel bij een blokkade in de voorzijde van de hersenen hadden ondergaan. Voor elk geval verzamelden ze de digitale angiografische beelden die waren gemaakt vóór en na de verwijdering van het stolsel, samen met het geschreven medische rapport dat beschrijft wat er tijdens de operatie is gebeurd. Vervolgens vroegen ze twee verschillende soorten kunstmatige intelligentiesystemen om het succes van de procedure te beoordelen. Eén systeem was een algemeen model dat bekend staat om zijn brede kennis, terwijl het andere een model was dat specifiek is afgestemd op medische taken. Om een eerlijke test te garanderen, vroegen de onderzoekers ook vier menselijke artsen — twee neurologen en twee radiologen — om dezelfde gevallen te beoordelen. De artsen en de computers werden getest onder drie verschillende scenario's: alleen kijkend naar het schriftelijke rapport waarbij het uiteindelijke cijfer verborgen bleef, alleen kijkend naar de angiografische beelden, en kijkend naar zowel de beelden als het rapport samen.
De resultaten toonden een scherp onderscheid tussen wat de computers konden met woorden en wat ze konden met beelden. Wanneer de kunstmatige intelligentiemodellen de schriftelijke procedurele rapporten kregen, presteerden ze opmerkelijk goed. Met name het algemene model kwam overeen met de nauwkeurigheid van de samengestelde groep menselijke artsen. Het kon de gedetailleerde beschrijvingen van de operatie lezen en correct identificeren hoeveel bloedstroom er was hersteld, waarbij het een mate van overeenstemming bereikte met de experts die vrijwel niet van elkaar te onderscheiden was. In deze tekstgebaseerde setting was de computer net zo betrouwbaar als de menselijke specialisten. Echter, op het moment dat de beelden uit de vergelijking werden gehaald en de modellen werden gevraagd de procedure te beoordelen op basis van alleen het schriftelijke rapport, bleven ze sterk. Maar toen de rollen werden omgedraaid en de modellen werden gedwongen om alleen naar de angiografische beelden te kijken zonder begeleidende tekst, stortte hun prestatie in. Het vermogen van het algemene model om met de menselijke experts tot overeenstemming te komen, daalde aanzienlijk, en het medisch afgestemde model presteerde nog slechter, waarbij het in feite ervan uitging dat bijna elke procedure succesvol was geweest, ongeacht wat de beelden lieten zien.
De menselijke artsen vertoonden daarentegen geen dergelijke daling in prestaties. Of ze nu het rapport lazen of naar de beelden keken, hun vermogen om de procedure te beoordelen bleef consistent hoog. Dit suggereert dat hoewel de kunstmatige intelligentiesystemen uitstekend zijn in het verwerken van de taal die artsen gebruiken om hun werk te beschrijven, ze nog niet hebben geleerd om de complexe patronen van bloedstroom in de beelden echt te "zien" zoals een getrainde specialist dat doet. De studie geeft aan dat deze modellen momenteel meer fungeren als verfijnde lezers die informatie uit een verhaal kunnen extraheren dan als onafhankelijke waarnemers die visuele gegevens kunnen interpreteren. De onderzoekers ontdekten dat de modellen bijna al hun succes ontleenden aan de tekst; het toevoegen van de beelden aan de tekst verbeterde hun scores niet, en het verwijderen van de tekst liet hen worstelen.
Uiteindelijk concludeert de studie dat deze geavanceerde computermodellen klaar zijn om te assisteren bij de administratieve aspecten en de extractie van gegevens binnen de beroepshulp bij beroertes, zoals het automatisch ophalen van succesgradaties uit schriftelijke rapporten voor onderzoek of kwaliteitscontroles. Ze kunnen helpen bij het standaardiseren van de manier waarop informatie wordt vastgelegd. Ze zijn echter nog niet klaar om de menselijke blik te vervangen wanneer het gaat om het bekijken van de beelden zelf. Voor de directe beoordeling of een bloedvat succesvol is geopend, blijft de visuele expertise van een getrainde arts essentieel. De technologie heeft het punt bereikt waarop ze het verhaal van de operatie kan begrijpen, maar ze kan het plaatje nog steeds niet zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.