GPT Fusion: Integrating Convolutional Neural Networks with GPT-5.5 for Melanoma Diagnosis

Stel je voor dat je een mysterie probeert op te lossen, maar dat je twee heel verschillende soorten detectives in je team hebt. De eerste detective is een "Patroonmeester". Deze detective heeft jarenlang naar miljoenen foto's van huidvlekjes gestaard en heeft geleerd om de kleinste, meest subtiele verschillen te zien tussen een onschuldige moedervlek en een gevaarlijke kanker. Ze zijn ongelooflijk snel en nauwkeurig bij het bekijken van de foto zelf, maar ze kunnen niet echt uitleggen waarom ze denken dat iets gevaarlijk is, en ze kunnen niet met je praten over de geschiedenis van de patiënt. De tweede detective is een "Superdenker". Deze detective is een briljante gesprekspartner die een rapport kan lezen, complexe medische regels kan begrijpen en dingen duidelijk in begrijpelijk Engels kan uitleggen. Echter, als je ze zomaar een foto geeft zonder aantekeningen, kunnen ze in de war raken of een verkeerde gok doen omdat ze niet elke enkele huidvlek ter wereld uit het hoofd hebben geleerd.

Een tijdlang hebben wetenschappers geprobeerd uit te zoeken welke detective beter is in het opsporen van huidkanker, specifiek een enge soort genaamd melanoom. De Patroonmeesters (bekend in de wetenschappelijke wereld als Convolutionele Neurale Netwerken, of CNN's) waren de gouden standaard voor het bekijken van afbeeldingen. Maar onlangs is er een nieuw soort Superdenker (Large Language Models, of LLM's) gearriveerd, die belooft medische afbeeldingen te begrijpen door er simpelweg naar te kijken. De grote vraag was: Kan de Superdenker het werk alleen aan, of is het beter om de Patroonmeester het zware werk te laten doen en de Superdenker vervolgens de aantekeningen van de Patroonmeester te laten lezen om de definitieve beslissing te nemen? Dit is precies de puzzel die een team onderzoekers probeerde op te lossen.

Het Grote Idee: Het "GPT Fusion" Samenwerkingsverband

De onderzoekers, onder leiding van Katie Frederickson en haar collega's, besloten de Superdenker niet meer direct naar de foto's te laten kijken. In plaats daarvan creëerden ze een nieuwe strategie die ze GPT Fusion noemden. Denk hierbij aan een rechtszaak. In deze rechtszaak zijn de Patroonmeesters de deskundige getuigen die het bewijs (de huidfoto's) onderzoeken en gedetailleerde rapporten schrijven. De Superdenker (specifiek een model genaamd GPT-5.5) fungeert als de rechter. De rechter kijkt niet naar de foto's; in plaats daarvan leest de rechter de rapporten van de experts, weegt het bewijs af en spreekt dan het definitieve vonnis uit.

Om dit te testen, zetten ze een race op met vier verschillende concurrenten met behulp van een beroemde collectie huidafbeeldingen genaamd de Derm7pt dataset (die meer dan 1.000 foto's van huidvlekjes bevat met bekende diagnoses). De concurrenten waren:

1. De Beeld-alleen Superdenker: GPT-5.5 die rechtstreeks naar de foto's kijkt.
2. De Patroonmeester (ResNet-50): Een gespecialiseerde AI getraind op een andere set huidafbeeldingen om veel soorten vlekjes te herkennen.
3. De Melanoomspecialist (SIIM-90 Ensemble): Een supernauwkeurig team van AI's ontworpen specifiek om melanoom te vinden.
4. Het GPT Fusion Team: De Patroonmeester en de Melanoomspecialist schreven beiden rapporten, en GPT-5.5 las die rapporten om de definitieve beslissing te nemen.

Wat Ze Vonden: De Kracht van Luisteren

De resultaten waren een duidelijke overwinning voor de samenwerkingsaanpak. Wanneer de Superdenker probeerde direct naar de foto's te kijken, had het moeite. Het kreeg de diagnose in slechts 63,3% van de gevallen correct voor melanoom. Echter, wanneer de Superdenker optrad als rechter en luisterde naar de expertrapporten van de Patroonmeesters, schoot de nauwkeurigheid omhoog naar 86,9%.

Het "GPT Fusion" team won niet alleen van de beeld-alleen Superdenker; het presteerde ook beter dan de specialisten op een aantal belangrijke gebieden.

• Melanoom Opsporen: Het Fusion-team identificeerde melanoom correct in 85,2% van de gevallen (sensitiviteit), wat beter was dan het beeld-alleen model en zeer dicht bij de top specialist lag.
• Alle Kankers Opsporen: Dit is waar het Fusion-team echt uitblonk. Wanneer de taak was om elke vorm van gevaarlijke kanker te vinden (niet alleen melanoom), bereikte het Fusion-team een sensitiviteit van 83,9%, waarmee het de gespecialiseerde Melanoomspecialist (die op 76,2% uitkwam) versloeg. Dit suggereert dat door de "brede kennis" van de Patroonmeester te combineren met de "scherpe focus" van de Melanoomspecialist, de Superdenker slimmere beslissingen kon nemen over welke vlekjes echt gevaarlijk waren.
• De "Top 3" Gok: In de echte wereld maken artsen vaak een lijst van hun top drie vermoedens voordat ze tot een definitieve diagnose komen. Het Fusion-team had in zijn top drie gokken het juiste antwoord in 89,0% van de gevallen, wat de hoogste score van allemaal was.

Waarom Dit Belangrijk Is

Het artikel suggereert dat de Superdenker (LLM) niet noodzakelijkerwijs de beste persoon is om naar een foto te staren en te raden wat het is. In plaats daarvan ligt de superkracht in redeneren. Het is veel beter in het nemen van de harde data van gespecialiseerde AI-tools, het begrijpen van de context en het synthetiseren van die informatie in een heldere, betrouwbare diagnose.

De onderzoekers ontdekten dat de gespecialiseerde AI-modellen (de Patroonmeesters) erg goed waren in hun specifieke taken, maar soms het grote plaatje misten. De Superdenker kon, wanneer deze als rechter optrad, de hiaten overbruggen. Bijvoorbeeld: de Melanoomspecialist was geweldig in het vinden van melanoom, maar wist niet veel over andere soorten kanker. De Patroonmeester kende veel soorten kanker, maar was niet zo scherp op melanoom. Wanneer GPT-5.5 beide rapporten las, kon het de kracht van de Melanoomspecialist gebruiken voor melanoom en de kracht van de Patroonmeester voor andere soorten kanker, waardoor het een diagnose creëerde die nauwkeuriger was dan die van de experts die alleen werkten.

De Kern van het Verhaal

Deze studie beweert niet dat AI het probleem van huidkanker voor altijd heeft opgelost, maar het suggereert wel een zeer veelbelovende nieuwe richting. Het laat zien dat de toekomst van medische AI misschien niet gaat over het bouwen van één gigantische robot die alles kan. In plaats daarvan zou de toekomst kunnen gaan over het bouwen van een "dirigent" (de Superdenker) die een team van gespecialiseerde muzikanten (de CNN's) aanstuurt om een perfecte diagnose-symfonie te creëren. Door de AI die goed is in wiskunde de wiskunde te laten afhandelen, en de AI die goed is in denken het denken te laten doen, kunnen we diagnoses krijgen die niet alleen nauwkeuriger zijn, maar ook makkelijker te begrijpen voor artsen en patiënten. De auteurs merken op dat deze aanpak een pad biedt naar AI-systemen die niet alleen "black boxes" zijn die antwoorden geven, maar transparante partners die kunnen uitleggen waarom ze tot een conclusie zijn gekomen.