GPT Fusion: Integrating Convolutional Neural Networks with GPT-5.5 for Melanoma Diagnosis

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber Sie haben zwei sehr unterschiedliche Arten von Detektiven in Ihrem Team. Der erste Detektiv ist ein „Muster-Meister“. Dieser Detektiv hat Jahre damit verbracht, Millionen von Fotos von Hautflecken zu starren, um die winzigsten, subtilsten Unterschiede zwischen einem harmlosen Leberfleck und einem gefährlichen Krebs zu erkennen. Er ist unglaublich schnell und präzise darin, das Bild selbst zu betrachten, aber er kann nicht wirklich erklären, warum er denkt, dass etwas gefährlich ist, und er kann sich nicht mit Ihnen über die Krankengeschichte des Patienten unterhalten. Der zweite Detektiv ist ein „Super-Denker“. Dieser Detektiv ist ein brillanter Gesprächspartner, der einen Bericht lesen, komplexe medizinische Regeln verstehen und Dinge klar in einfachem Englisch erklären kann. Wenn man ihm jedoch einfach ein Foto ohne Notizen überreicht, könnte er verwirrt sein oder falsch raten, weil er nicht jeden einzelnen Hautfleck der Welt auswendig gelernt hat.

Lange Zeit haben Wissenschaftler versucht herauszufinden, welcher Detektiv besser darin ist, Hautkrebs zu entdecken, speziell eine gefährliche Art namens Melanom. Die Muster-Meister (in der Fachwelt als Convolutional Neural Networks oder CNNs bekannt) gelten als der Goldstandard für die Betrachtung von Bildern. Doch vor kurzem ist eine neue Art von Super-Denker (Large Language Models oder LLMs) aufgetaucht, die verspricht, medizinische Bilder allein durch das Betrachten zu verstehen. Die große Frage war: Kann der Super-Denker die Aufgabe allein bewältigen, oder ist es besser, den Muster-Meister die schwere Arbeit machen zu lassen und dann den Super-Denken die Notizen des Muster-Meisters lesen zu lassen, um die endgültige Entscheidung zu treffen? Dies ist genau das Rätsel, das ein Forscherteam zu lösen versuchte.

Die große Idee: Das „GPT Fusion“-Teamwork

Die Forscher, angeführt von Katie Frederickson und ihren Kollegen, entschieden sich dagegen, den Super-Denker die Fotos direkt anschauen zu lassen. Stattdessen entwickelten sie eine neue Strategie, die sie GPT Fusion nannten. Stellen Sie sich das wie einen Gerichtsprozess vor. In diesem Prozess sind die Muster-Meister die Sachverständigen, die die Beweise (die Hautfotos) untersuchen und detaillierte Berichte schreiben. Der Super-Denker (speziell ein Modell namens GPT-5.5) fungiert als Richter. Der Richter schaut sich die Fotos nicht an; stattdessen liest der Richter die Berichte der Experten, wägt die Beweise ab und spricht dann das endgültige Urteil.

Um dies zu testen, stellten sie ein Rennen mit vier verschiedenen Wettbewerbern auf Basis einer berühmten Sammlung von Hautbildern namens Derm7pt-Datensatz (der über 1.000 Bilder von Hautflecken mit bekannten Diagnosen enthält) auf. Die Wettbewerber waren:

1. Der bildbasierte Super-Denker: GPT-5.5, der direkt auf die Fotos schaut.
2. Der Muster-Meister (ResNet-50): Eine spezialisierte KI, die auf einem anderen Satz von Hautbildern trainiert wurde, um viele Arten von Flecken zu erkennen.
3. Der Melanom-Spezialist (SIIM-90 Ensemble): Ein super-präzises Team von KIs, die speziell darauf ausgelegt sind, Melanome zu finden.
4. Das GPT-Fusion-Team: Der Muster-Meister und der Melanom-Spezialist schreiben beide Berichte, und GPT-5.5 liest diese Berichte, um die endgültige Entscheidung zu treffen.

Was sie fanden: Die Kraft des Zuhörens

Die Ergebnisse waren ein klarer Sieg für den Teamwork-Ansatz. Als der Super-Denker versuchte, die Fotos direkt anzusehen, hatte er Schwierigkeiten. Er traf die Diagnose nur in 63,3 % der Fälle richtig für Melanom. Doch als der Super-Denker als Richter fungierte und den Expertenberichten der Muster-Meister zuhörte, schoss seine Genauigkeit auf 86,9 % in die Höhe.

Das „GPT-Fusion“-Team besiegte nicht nur den bildbasierten Super-Denker; es übertraf auch die Spezialisten in einigen Schlüsselbereichen.

• Melanome aufspüren: Das Fusion-Team identifizierte Melanome in 85,2 % der Fälle korrekt (Sensitivität), was besser war als das bildbasierte Modell und sehr nah an dem Top-Spezialisten lag.
• Alle Krebsarten aufspüren: Hier glänzte das Fusion-Team wirklich. Wenn die Aufgabe darin bestand, irgendeine Art von gefährlichem Krebs zu finden (nicht nur Melanom), erreichte das Fusion-Team eine Sensitivität von 83,9 % und übertraf damit den spezialisierten Melanom-Spezialisten (der 76,2 % erreichte). Dies deutet darauf hin, dass die Kombination aus dem „breiten Wissen“ des Muster-Meisters und dem „scharfen Fokus“ des Melanom-Spezialisten den Super-Denker befähigte, klügere Entscheidungen darüber zu treffen, welche Flecken wirklich gefährlich waren.
• Die „Top-3“-Vermutung: In der Realität listen Ärzte oft ihre drei besten Vermutungen auf, bevor sie eine Diagnose bestätigen. Das Fusion-Team lag in seinen Top-3-Vermutungen in 89,0 % der Fälle richtig, was den höchsten Wert aller Teilnehmer war.

Warum das wichtig ist

Das Paper legt nahe, dass der Super-Denker (LLM) nicht unbedingt die beste Person ist, um ein Foto anzustarren und zu raten, was es darstellt. Seine Superkraft liegt im Schlussfolgern. Er ist viel besser darin, die harten Daten aus spezialisierten KI-Werkzeugen zu nehmen, den Kontext zu verstehen und diese Informationen zu einer klaren, zuverlässigen Diagnose zu synthetisieren.

Die Forscher fanden heraus, dass die spezialisierten KI-Modelle (die Muster-Meister) großartig in ihren spezifischen Aufgaben waren, aber manchmal das große Ganze aus den Augen verloren. Der Super-Denker konnte, wenn er als Richter fungierte, die Lücken schließen. Zum Beispiel war der Melanom-Spezialist gut darin, Melanome zu finden, wusste aber wenig über andere Krebsarten. Der Muster-Meister kannte viele Arten von Krebs, war aber bei Melanomen nicht so scharf. Als GPT-5.5 beide Berichte las, konnte es die Stärke des Melanom-Spezialisten für Melanome und die Stärke des Muster-Meisters für andere Krebsarten nutzen, um eine Diagnose zu erstellen, die genauer war als die der Experten allein.

Das Fazit

Diese Studie behauptet nicht, dass die KI das Problem des Hautkrebses für immer gelöst hat, aber sie deutet auf eine sehr vielversprechende neue Richtung hin. Sie zeigt, dass die Zukunft der medizinischen KI vielleicht nicht darin besteht, einen einzigen riesigen Roboter zu bauen, der alles kann. Stattdessen könnte die Zukunft darin bestehen, einen „Dirigenten“ (den Super-Denker) zu bauen, der ein Team spezialisierter Musiker (die CNNs) orchestriert, um eine perfekte Diagnose-Sinfonie zu erschaffen. Indem wir die KI, die gut in Mathematik ist, die Mathematik erleden lassen und die KI, die gut im Denken ist, das Denken übernehmen lassen, könnten wir Diagnosen erhalten, die nicht nur genauer, sondern auch für Ärzte und Patienten leichter zu verstehen sind. Die Autoren merken an, dass dieser Ansatz den Weg zu KI-Systemen ebnet, die nicht nur „Black Boxes“ sind, die Antworten geben, sondern transparente Partner, die erklären können, warum sie zu einem Schluss gekommen sind.