Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology
Deze studie toont aan dat, hoewel multimodale grote taalmodellen veelbelovend zijn op publieke dermatologische benchmarks, hun diagnostische nauwkeurigheid in reële klinische settingen aanzienlijk daalt, wat aangeeft dat de huidige modellen nog niet betrouwbaar genoeg zijn voor toepassing aan het ziekbed.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een nieuwe assistent inhuurt om een dermatoloog (een huidarts) te helpen duizenden patiëntfoto's en aantekeningen te sorteren. Je wilt weten of deze assistent slim genoeg is om naar een foto van een uitslag te kijken, de korte notitie van de arts erbij te lezen en te zeggen: "Dit lijkt op X, Y of Z, en we moeten deze patiënt direct zien."
Dit artikel is als een strenge "sollicitatiegesprek" voor vijf verschillende AI-assistenten (zogenaamde Multimodale Grootte Taalmodellen, of MLLM's) om te zien of ze klaar zijn voor deze realistische baan.
Hier is de uiteenzetting van wat de onderzoekers vonden, met behulp van eenvoudige analogieën:
1. De "Oefententamen" versus de "Echte Baan"
De Opzet:
Voordat ze werden aangenomen, deden de AI-assistenten een "oefententamen" met openbare datasets. Deze datasets zijn als perfect in scène gezette fotoshoots. De foto's zijn van hoge kwaliteit, gemaakt met speciale medische camera's (dermoscopie), tonen slechts één duidelijk plekje op de huid en hebben geen rommel op de achtergrond. In deze perfecte omgeving presteerden de AI-assistenten aardig. De beste (GPT-4.1) had ongeveer 42% van de antwoorden goed, en de open-source varianten haalden ongeveer 20–26%.
De Realiteitscheck:
Vervolgens gaven de onderzoekers hen de test voor de "echte baan". Dit omvatte 5.811 echte patiëntcases uit een ziekenhuis.
- De Foto's: Dit waren geen perfecte studio-opnames. Ze waren gemaakt door gewone artsen of patiënten op mobiele telefoons. Het licht was slecht, de compositie was rommelig, en er waren vaak meerdere uitslagen of afleidingen op de achtergrond (zoals een ziekenhuisbed of een hand die de telefoon vasthoudt).
- De Aantekeningen: De notities die door de verwijzende artsen werden geschreven, waren vaak kort, vaag, of gaven soms zelfs een verkeerd idee over wat het probleem was.
Het Resultaat:
De prestaties van de AI-assistenten stortten in.
- Bij het kijken alleen naar de rommelige realistische foto's, daalde de beste AI van ongeveer 42% nauwkeurigheid naar ongeveer 24%.
- De open-source modellen daalden nog harder, van ongeveer 26% naar slechts 1,5% tot 13%.
- De Analogie: Het is als een student die een 'A' haalt op een wiskundetoets met schone, gedrukte cijfers, maar volledig faalt wanneer hem wordt gevraagd dezelfde problemen op te lossen die met rommelig handschrift op een servet zijn geschreven.
2. De Valstrik van "De Notitie Vertrouwen"
De onderzoekers testten wat er gebeurt als ze de AI de geschreven notitie van de arts samen met de foto geven.
- Het Goede Nieuws: Wanneer de notities behulpzaam waren, werd de AI beter. Het is als een detective een behulpzame aanwijzing geven.
- Het Slechte Nieuws: De AI was te vertrouwen. Als de verwijzende arts een notitie schreef met "Ik denk dat dit een spinnenbeet is", negeerde de AI vaak de foto en stemde gewoon in met de notitie, zelfs als de foto duidelijk iets anders liet zien.
- Het Gevaar: Als de verwijzende arts fout zat (wat in het echt vaak gebeurt), zou de AI met vertrouwen de verkeerde diagnose herhalen. In sommige gevallen maakte een misleidende notitie de prestaties van de AI slechter dan wanneer ze alleen naar de foto had gekeken. Eén model (SkinGPT-4) raakte 84% van de tijd in de war wanneer de notitie misleidend was.
3. De "Triage"-test (Wie heeft nu hulp nodig?)
Omdat de AI moeite had om de exacte ziekte te benoemen, stelden de onderzoekers een eenvoudigere vraag: "Is de toestand van deze patiënt ernstig en dringend?" (Zoals een triageverpleegkundige beslist wie vooraan in de rij komt).
- Het Resultaat: De AI was hierin okay, maar niet geweldig. Het kon ongeveer 60% van de ernstige gevallen opvangen wanneer de notities werden gegeven.
- De Haken en Ogen: Het miste veel ernstige gevallen, en het vermogen om deze te spotten hing volledig af van hoe goed de notities waren. Als de notities verwarrend waren, miste de AI de dringende gevallen.
4. Waar faalden ze? (De "Ogen" versus het "Brein")
De onderzoekers vroegen menselijke dermatologen om het redeneren van de AI te beoordelen. Ze vonden een verrassende waarheid:
- Het "Brein" (Redeneren) van de AI was in orde. De AI kende medische feiten en kon zinnen schrijven die professioneel klonken.
- De "Ogen" (Visie) van de AI waren het probleem. De AI faalde omdat het de specifieke visuele details van de uitslag niet nauwkeurig kon beschrijven. Het zou algemene dingen zeggen zoals "er is een rode vlek" in plaats van de specifieke vorm of textuur op te merken die een ziekte definieert.
- De Analogie: Stel je een student voor die de hele woordenboek uit het hoofd heeft geleerd en een perfect essay kan schrijven, maar wanneer hem een foto van een kat wordt getoond, hij je niet kan vertellen dat het snorharen of spitse oren heeft. Ze kennen de woorden voor een kat, maar ze kunnen de kat niet zien.
De Conclusie
Het artikel concludeert dat deze AI-modellen niet klaar zijn om alleen te werken in een echte dermatologiepraktijk.
- Benchmarks zijn misleidend: Alleen omdat een AI goed presteert op schone, perfecte datasets, betekent niet dat het de rommelige realiteit van een ziekenhuis aankan.
- De bottleneck is niet "denken": Het probleem is niet dat de AI niet kan redeneren; het is dat het de huid niet nauwkeurig kan "zien" op realistische foto's, en dat het zich gemakkelijk laat verwarren door slechte notities.
- Veiligheidswaarschuwing: Totdat de AI beter wordt in het bekijken van rommelige foto's en het negeren van misleidende notities, kan het niet worden vertrouwd om beslissingen te nemen zonder dat een menselijke arts over zijn schouder meekijkt.
Kortom: De AI is een slimme student die de schriftelijke toets heeft gehaald, maar gefaald heeft in het praktijkexamen autorijden. Het heeft meer training nodig op realistische "wegcondities" voordat het de auto kan besturen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.