Ghost Features and Spooky Transfer Learning for Hypercomplex-Valued Neural Networks

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Objekte zu erkennen, wie etwa eine Katze oder ein Auto. Normalerweise bringen wir Robotern dies mit „reellen Zahlen“ bei, die wie einfache, geradlinige Messungen sind: Wie groß ist es? Wie rot ist es? Aber was, wenn die Welt nicht nur eine gerade Linie ist? Was, wenn Dinge verborgene Winkel, Rotationen oder Beziehungen haben, die eine einfache Zahl nicht erfassen kann? Hier kommen hyperkomplexe Zahlen ins Spiel. Betrachten Sie sie als eine supergeladene Version regulärer Zahlen, die zusätzliche „imaginäre“ Last mit sich tragen. Während reguläre Zahlen wie eine einspurige Straße sind, sind hyperkomplexe Zahlen wie eine Autobahn mit mehreren Fahrspuren, auf der jede Spur auf eine spezielle, strukturierte Weise mit den anderen kommuniziert. Diese Struktur hilft Computern, komplexe Muster, wie etwa das Mischen von Farben oder die Rotation von 3D-Formen, viel besser zu verstehen.

Stellen Sie sich nun vor, Sie haben einen superintelligenten Roboter, der bereits gelernt hat, Tausende von Dingen mit diesen einfachen, einspurigen Zahlen zu erkennen. Sie wollen ihn auf die Autobahn mit mehreren Spuren aufrüsten, ohne die ganze bisherige Arbeit wegzuwerfen. Das ist die Herausforderung, die dieses Paper angeht. Die Forscher fragen: Können wir einen Roboter, der bereits ein Experte in der „reellen“ Welt ist, heimlich mit der Superkraft ausstatten, die „imaginären“ Details zu sehen, ohne ihn von Grund auf neu trainieren zu müssen? Sie nennen diesen neuen Trick „Spooky Transfer Learning“ (spukendes Transferlernen) und glauben, dass dies der Schlüssel zu intelligenteren, effizienteren KIs sein könnte.

---

Der Geist in der Maschine

In diesem Paper führen die Autoren eine clevere Methode vor, um bestehende KI-Modelle aufzurüsten. Sie beginnen mit einem Standard-Neuronalen-Netzwerk – einer Art Computergehirn, das auf reellen Zahlen trainiert wurde – und führen einen kleinen Zaubertrick aus. Sie nehmen eine Schicht dieses Netzwerks (einen spezifischen Schritt, in dem der Computer Informationen verarbeitet) und betten sie in eine hyperkomplexe Schicht ein.

Hier geschieht die Magie: Wenn sie dies tun, liefert der Computer für den „reellen“ Teil der Daten immer noch exakt denselben Output wie zuvor. Aber aufgrund der speziellen mathematischen Regeln hyperkomplexer Zahlen generiert der Computer automatisch zusätzliche Ausgaben, die „Ghost Features“ (Geistermerkmale) genannt werden.

Stellen Sie sich das so vor: Stellen Sie sich vor, Sie hören ein Lied über einen Mono-Lautsprecher (einen Kanal). Es klingt großartig. Nun stellen Sie sich vor, Sie schließen denselben Mono-Lautsprecher an ein schickes Surround-Sound-System an. Der ursprüngliche Klang ist immer noch da, perfekt klar. Aber plötzlich spielt das System auch „Geister-Sounds“ ab – Echos, Harmonien und räumliche Details, die in dem ursprünglichen Lied verborgen waren, aber vorher nicht hörbar waren. Sie mussten kein neues Lied aufnehmen; das System hat einfach das vorhandene Audio genutzt, um verborgene Informationsebenen offenzulegen. In der Welt des Papers sind diese „Ghost Features“ zusätzliche Informationsstücke, die die KI nutzen kann, um die Daten besser zu verstehen, obwohl sie nicht explizit darauf programmiert wurde, nach ihnen zu suchen.

Das „spukhafte“ Transfern

Die eigentliche Innovation liegt darin, wie sie diese Geister nutzen. Normalerweise, wenn man eine neue Art von Mathematik verwenden möchte (wie hyperkomplexe Zahlen), muss man ein ganz neues Modell von Grund auf neu trainieren, was viel Zeit und Daten kostet. Aber die Autoren schlagen eine Methode vor, die sie „Spooky Transfer Learning“ nennen.

Dies ist „spukhaft“, weil es sich anfühlt, als würde die Information über Dimensionen hinweg transferiert, ohne eine direkte Brücke zu besitzen. So funktioniert es:

1. Sie nehmen ein Modell, das bereits trainiert und eingefroren ist (es lernt nicht mehr).
2. Sie ersetzen seine reellen Schichten durch hyperkomplexe Schichten.
3. Das Modell beginnt sofort, neben den ursprünglichen Daten auch jene „Ghost Features“ zu erzeugen.
4. Um sicherzustellen, dass der Rest des Computergehirns mit diesem neuen, breiteren Datenstrom umgehen kann, fügen sie am Ende einen winzigen, trainierbaren „Filter“ hinzu. Dieser Filter ist klein und kostengünstig; er lernt lediglich, wie er die ursprünglichen Merkmale mit den neuen Geistermerkmalen mischt, um die beste Entscheidung zu treffen.

Das Ergebnis ist ein Modell, das das gesamte Wissen des ursprünglichen Experten behält, aber gleichzeitig ein neues Paar Augen gewinnt, um verborgene Muster zu sehen – und das alles, ohne das gesamte Ding von Grund auf neu trainieren zu müssen.

Was sie herausgefunden haben

Um zu testen, ob dies tatsächlich funktioniert, haben die Forscher es an einem medizinischen Bilddatensatz namens BloodMNIST getestet, der über 17.000 Mikroskopaufnahmen von Blutzellen enthält, sortiert in 8 verschiedene Klassen. Als Ausgangspunkt verwendeten sie ein populäres KI-Modell namens EfficientNetV2 (B0).

Sie verglichen drei Versionen:

1. Das Originalmodell unter Verwendung von Standard-Transfer Learning.
2. Eine Version, die ihr „spukhaftes“ Verfahren nutzt, aber die Geistermerkmale mit einem Standard-Reellzahl-Filter reduziert.
3. Eine Version, die ihr „spukhaftes“ Verfahren nutzt, aber die Merkmale mit einem hyperkomplexen Filter reduziert.

Die Ergebnisse waren vielversprechend. Das Originalmodell erreichte eine Genauigkeit von 95,92 ± 0,07 %. Die Versionen des Spooky Transfer Learning waren besser:

• Die Version mit dem Reellzahl-Filter erreichte 98,21 ± 0,19 %.
• Die Version mit dem hyperkomplexen Filter erreichte 97,49 ± 0,51 %.

Entscheidend war, dass diese Verbesserungen mit sehr geringem Zusatzaufwand einhergingen. Die neuen „Filter“-Schichten fügten nur 4.128 trainierbare Parameter für die Reellzahl-Version und 1.056 für die hyperkomplexe Version hinzu. Dies deutet darauf hin, dass die Geistermerkmale reichhaltige, nützliche Informationen liefern, die der KI helfen, bessere Vermutungen anzustellen, obwohl der Kern des Modells nicht neu trainiert wurde.

Das Fazit

Das Paper kommt zu dem Schluss, dass diese „Ghost Features“ nicht bloß mathematischer Firlefanz sind; sie enthalten redundante, aber hochgradig wertvolle Informationen, die der KI helfen, zwischen verschiedenen Arten von Blutzellen genauer zu unterscheiden. Die Autoren legen nahe, dass dieser Ansatz einen praktischen Weg bietet, robustere KI-Modelle zu bauen, indem man das verborgene Potenzial algebraischer Strukturen nutzt. Obwohl sie nicht jedes Problem der KI gelöst haben, haben sie gezeigt, dass man ein Standardmodell mit zusätzlicher Intelligenz „heimsuchen“ kann, um es smarter und effizienter zu machen, ohne die schwere Arbeit eines Neustarts leisten zu müssen. Der nächste Schritt, deuten sie an, besteht darin, genau zu verstehen, was uns diese Geister mitteilen und wie wir sie nutzen können, um noch leichtere, schnellere Modelle zu bauen.