Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, eine bestimmte Art von Objekt zu erkennen, wie etwa einen seltenen Vogel oder einen kniffligen Fleck auf einem Hemd, nur indem Sie ein Foto betrachten. In der Welt der künstlichen Intelligenz wird dies als Bildklassifizierung bezeichnet. Lange Zeit waren Computer sehr gut darin, indem sie lernten, wie winzige Farbpunkte (Pixel) zusammenwirken, um Formen zu bilden. Aber es gibt einen Haken: Objekte in der realen Welt, insbesondere in der Medizin wie Hautflecken, bestehen nicht einfach aus zufälligen Pixelhaufen. Sie haben eine Struktur. Die Teile eines Muttermals oder einer Läsion kommunizieren miteinander; der Rand eines Flecks steht in Beziehung zu seinem Zentrum.

Um Computern zu helfen, diese Beziehungen zu verstehen, nutzen Wissenschaftler etwas, das man „induktiven Bias“ nennt. Denken Sie an dies als eine Art von Regeln oder einem Hinweis, den wir dem Computer geben, wie die Welt funktioniert. Eine Möglichkeit ist das „implizite“ Lernen, bei dem der Computer Verbindungen selbstständig entdeckt, indem er Millionen von Bildern betrachtet – so wie Sie lernen, das Gesicht eines Freundes zu erkennen, ohne genau gesagt zu bekommen, welche Merkmale wichtig sind. Eine andere Möglichkeit ist das „explizite“ Lernen, bei dem wir dem Computer buchstäblich eine Karte zeichnen, die ihm zeigt, welche Teile eines Bildes Nachbarn sind und verglichen werden sollten. Dieses Paper untersucht, was passiert, wenn wir diese beiden Ansätze kombinieren: dem Computer erlauben, die Grundlagen selbstständig zu lernen, und ihm dann eine spezifische Karte geben, um die Punkte noch besser zu verbinden. Das Ziel? Die medizinische Diagnose genauer zu machen, was eine große Sache ist, da Ärzte jeden möglichen Vorteil brauchen, um Krankheiten frühzeitig zu erkennen.

Die Geschichte des Papers: Einem Computer beibringen, mit sich selbst zu „sprechen“

In diesem Paper geht es um ein Team von Forschern, die herausfinden wollten, ob sie einen Computer besser darin machen könnten, Hautläsionen (Flecken auf der Haut, die Krebs sein könnten) zu diagnostizieren, indem sie zwei verschiedene Arten des Denkens mischen. Sie bauten ein kleines Experiment auf, um zu sehen, ob ein Computer bei seiner Arbeit besser werden kann, indem er zuerst lernt, den „Vibe“ eines Bildes auf eigene Faust zu verstehen, und ihn dann dazu zwingt, explizit mit verschiedenen Teilen dieses Bildes zu „chatten“.

Zuerst gaben sie dem Computer eine „selbstüberwachte“ Trainingssitzung. Stellen Sie sich vor, Sie haben ein Puzzleteil, aber Sie decken die Hälfte der Teile ab und bitten jemanden, zu erraten, was darunter liegt, basierend auf den Teilen, die noch sichtbar sind. Der Computer tat etwas Ähnliches: Er betrachtete ein Bild einer Hautläsion, verbarg Teile davon und versuchte, die fehlenden Teile zu rekonstruieren. Dies lehrte den Computer, die lokalen Beziehungen zwischen winzigen Quadraten (genannt „Patches“) des Bildes zu verstehen, ohne dass ein Mensch ihm sagen musste, was die Krankheit war. Dies ist der implizite Teil – die Regeln des Spiels durch das Spielen zu lernen.

Als Nächstes nahmen sie diese gelernten „Vibes“ (Embeddings) und versuchten, die Hautflecken zu klassifizieren. Sie begannen mit einer Standardmethode, bei der der Computer einfach alle Patches betrachtete und darüber abstimmte, wie die Diagnose lauten sollte. Dies war ihr Baseline-Modell, und es funktionierte ziemlich gut mit einer „balancierten Genauigkeit“ von 76,17 % auf einem Testdatensatz (ISIC-2018). Aber die Forscher waren noch nicht fertig. Sie wollten sehen, ob sie durch das Hinzufügen des expliziten Teils – einer Karte – noch besser werden konnten.

Sie organisierten die Patches in verschiedenen „Graphen“, was im Grunde komplexe Netzwerke sind, in denen Punkte (Patches) durch Linien (Beziehungen) verbunden sind. Sie probierten drei Arten von Karten aus:

1. Zufällig: Verbindung von Patches mit zufälligen Nachbarn, wie ein chaotischer Gruppenchat.
2. Gitter (Grid): Verbindung von Patches nur mit ihren unmittelbaren Nachbarn, wie ein Stadtviertel, in dem man nur mit den Häusern spricht, die direkt nebenan liegen.
3. k-Nächste Nachbarn (kNN): Verbindung von Patches mit denen, die ihnen am ähnlichsten sehen, unabhängig davon, wo sie im Bild liegen – wie ein Club, in dem man nur mit Leuten abhängt, die die gleichen Hobbys haben.

Anschließend verwendeten sie eine spezielle Art von neuronalem Netzwerk (ein Graph Neural Network), um diese Patches entlang der Linien ihrer Karte Nachrichten aneinander „weiterzugeben“, bevor sie eine endgültige Entscheidung trafen.

Was sie herausfanden

Die Ergebnisse waren recht eindeutig. Der Computer, der einfach nur die Patches betrachtete und abstimmte (die Baseline), erreichte 76,17 % Genauigkeit. Als sie das „implizite“ Lernen (die selbstüberwachte Rekonstruktion) hinzufügten, sprang der Wert auf 77,12 %. Aber die wahre Magie geschah, als sie die expliziten Karten hinzufügten.

Der beste Performer war das Gitter-Graph (Grid Graph) kombiniert mit einer speziellen Art von Nachrichten-verarbeitendem Netzwerk, einem Graph Attention Network (GAT). Dieses Setup, das den Computer dazu zwang, die physische Anordnung der Hautläsion zu respektieren, steigerte die Genauigkeit auf 79,27 %. Das ist eine solide Verbesserung! Auf einem zweiten, größeren Datensatz (ISIC-2019) trieb dieselbe Strategie, implizites Lernen mit einem kNN-Graphen (Verbindung ähnlicher Patches) zu mischen, die Genauigkeit auf 60,67 %, was die rein implizite Version, die bei 59,84 % lag, übertraf.

Die Forscher testeten auch ein „Was-wäre-wenn“-Szenario: Was, wenn der Computer nicht aus den Nachrichten lernen könnte und stattdessen nur eine feste, voreingestellte Karte verwendete? Als sie den Lernprozess des Graphen-Netzwerks „einfroren“, stürzte die Leistung auf 34,28 % ab. Dies deutet darauf darauf hin, dass der Computer aktiv lernen muss, wie die Patches miteinander in Beziehung stehen; es reicht nicht aus, nur die Karte zu haben. Der Lernprozess selbst ist das, was den Unterschied macht.

Warum es wichtig ist

Das Paper legt nahe, dass das Geheimrezept nicht nur mehr Daten oder größere Computer sind, sondern die Frage, wie man die Punkte verbindet. Durch die Kombination der Fähigkeit eines Computers, Muster selbstständig zu lernen (implizit), mit einer strukturierten Art, verschiedene Teile eines Bildes zu vergleichen (explizit), schufen sie ein System, das genauer ist als viele bisherige Methoden. Tatsächlich performte ihr einzelnes Modell fast so gut wie einige massive „Ensemble“-Methoden, die die Vorhersagen von bis zu 90 komplexen Modellen kombinieren.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz ein vielversprechender Weg für die Handhabung medizinischer Bilder ist, bei denen die Beziehung zwischen den verschiedenen Teilen einer Läsion entscheidend ist. Sie fanden heraus, dass während das implizite Lernen ein großartiges Fundament bietet, das Hinzufügen der expliziten relationalen Modellierung diesem Fundament ein stabiles Dach verleiht. Es ist eine Erinnerung daran, dass man dem Computer in der Welt der KI manchmal nicht nur beibringen muss, worauf er schauen soll, sondern auch, wie er über die Verbindungen dessen nachdenken soll, was er sieht.