Die Gestalt des Denkens: Wie KI ihre Welt aufbaut

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein riesiges, digitales Gehirn lernt, eine Katze zu erkennen. Lange Zeit behandelten Wissenschaftler diese „Transformer“ – die leistungsstarken KI-Modelle hinter Ihren Lieblings-Chatbots und Bildgeneratoren – als mysteriöse Black Boxes. Wir wussten, dass sie unglaublich gut funktionierten, aber wir wussten nicht wirklich, wie sie lernten. Um einen Blick hineinzuwerfen, begannen Forscher, die „Repräsentationen“ zu untersuchen, die die KI erzeugt. Stellen Sie sich diese Repräsentationen als eine Wolke aus leuchtenden Punkten vor, die in einem hochdimensionalen Raum schweben. Jeder Punkt ist ein Teil des Bildes (wie ein Stück Fell oder ein Ohr), und die Art und Weise, wie die Punkte angeordnet sind, verrät der KI, was sie sieht.

Zuvor untersuchten Wissenschaftler diese Wolken, indem sie deren „Spektrum“ (wie weit die Punkte verstreut sind) oder ihre „Geometrie“ (wie die Punkte zusammenclustern) maßen. Sie fanden heraus, dass sich die Wolke, während die KI lernt, ausdehnt und sich in bedeutungsvollen Formen organisiert. Aber es fehlte ein Puzzleteil: die Topologie. Vereinfacht gesagt ist die Topologie die Lehre von Formen, denen es egal ist, ob sie gedehnt oder verbogen werden, die aber auf Löcher und Verbindungen achten. Ist die Wolke ein einziger großer, fester Klumpen? Ist sie ein Ring mit einem Loch in der Mitte? Ist sie eine Ansammlung von unverbundenen Inseln? Das Verständnis der „Gestalt“ dieser Wolken hilft uns zu sehen, ob die KI die Struktur der Welt wirklich versteht oder nur Muster auswendig lernt. Dies ist die Frage, die die neue Studie, TGO-IV, zu beantworten versucht.

---

Die Arbeit: TGO-IV, der topologische Detektiv

In dieser neuen Studie mit dem Titel TGO-IV: Developmental Topology Observatory nehmen die Forscher Kaustubh Kapil und Kishor P. Upla von Indiens SVNIT eine Lupe an die „Gestalt“ dessen, wie ein Vision Transformer (eine Art von KI, die Bilder sieht) lernt. Sie sind Teil eines größeren Teams namens Neuromorphic Intelligence Research Collective, und dies ist der vierte Teil ihrer „Transformer Geometry Observatory“-Serie. Während sich die vorherigen Teile mit der Mathematik der Ausbreitung und der semantischen Bedeutung der KI befassten, stellt TGO-IV eine tiefere Frage: Verändert sich die globale Gestalt des Denkens der KI während des Lernens, oder bleibt sie gleich?

Um dies zu beantworten, haben die Forscher nicht nur die Punkte betrachtet; sie bauten ein digitales „Gerüst“ um sie herum. Stellen Sie sich vor, Sie haben eine Wolke aus 197 leuchtenden Punkten (die die Teile eines Bildes repräsentieren), die in einem 384-dimensionalen Raum schweben. Man kann die Form nicht allein durch das Betrachten der Punkte sehen. Deshalb verwendeten die Forscher einen mathematischen Trick namens Vietoris–Rips-Simplicial Complex. Betrachten Sie dies als ein Spiel von „Verbinde die Punkte“. Sie beginnen damit, eine Linie zwischen zwei Punkten zu ziehen, die sehr nah beieinander liegen. Dann vergrößern sie langsam den „Verbindungsradius“. Wenn der Radius wächst, verbinden Linien mehr Punkte, Dreiecke entstehen zwischen drei verbundenen Punkten, und schließlich erscheinen 3D-Formen (wie Tetraeder). Dies erzeugt ein Netz, das die Form der Datenwolke annähert.

Indem sie beobachten, wie sich dieses Netz verändert, während der Radius wächst, können sie die „persistente Homologie“ verfolgen. Dies ist eine schicke Art, die Lebensgeschichten von Löchern und Verbindungen zu zählen.

• Geburt: Eine neue Verbindung entsteht oder ein Loop erscheint.
• Tod: Eine Verbindung wird so groß, dass ein Loch gefüllt wird oder ein Loop sich schließt.

Die Forscher verfolgten diese „Geburten“ und „Tode“, während die KI ein Bild durch ihre 12 Schichten verarbeitete, und dies über 100 Tage des Trainings an 1.000 Bildern aus dem ImageNet-100-Datensatz. Sie verwendeten ein spezifisches Modell, ViT-Small/16, das Bilder verarbeitet, indem es sie in 16x16-Patches zerlegt, was zu 197 Tokens (Punkten) pro Bild führt.

Was sie fanden: Die große Konsolidierung

Die Studie enthüllte eine faszinierende Geschichte darüber, wie sich die interne Welt der KI stabilisiert. Hier ist, was die „topologischen Observatorien“ sahen:

1. Die Inseln verschmelzen zu einem Kontinent
Ganz zu Beginn des Trainings (Epoche 1) war die Repräsentationswolke der KI ein verstreutes Archipel. Die Punkte waren weit voneinander entfernt und bildeten viele isolierte Inseln. Im Verlauf des Trainings bemerkten die Forscher eine massive Verschiebung in den Betti-Kurven (ein Graph, der zählt, wie viele separate Teile existieren). Die „nullte Betti-Zahl“ ($\beta_0$), welche die Anzahl der separaten Inseln zählt, sank drastisch. Die Punkte begannen, sich viel früher im Prozess zu weniger, größeren Gruppen zusammenzuschließen. Bis zum Ende des Trainings (Epoche 100) war die Wolke zu einem einzigen, kohärenten Kontinent geworden. Die KI sah nicht nur Einzelteile; sie sah das ganze Bild als eine verbundene Einheit.

2. Die Ringe bleiben, die Löcher verblassen
Die Forscher suchten auch nach „Loops“ (Ringen aus Punkten) und „Voids“ (3D-Blasen). Sie fanden heraus, dass die KI zwar einige Loops ($\beta_1$) erzeugte, diese aber immer spärlich gesät waren. Noch interessanter war, dass 3D-Blasen ($\beta_2$) fast vollständig fehlten. Dies deutet darauf hin, dass das Denken der KI keine komplexen, mehrschichtigen Informationsblasen bildet. Stattdessen konzentriert sie sich darauf, die Punkte zu einer soliden, flachen(eren) Struktur zu verbinden.

3. Die Schichten werden sich ähnlicher
Eine der überraschendsten Entdeckungen betraf den Abstand zwischen den Schichten. Die Forscher verwendeten zwei Werkzeuge, die Bottleneck-Distanz und die Wasserstein-Distanz, um zu messen, wie unterschiedlich die Gestalt der Daten von einer Schicht zur nächsten war.

• Frühes Training: Die Schichten unterschieden sich stark voneinander. Die Gestalt der Daten änderte sich wild, während sie von der ersten zur zweiten, dann zur dritten Schicht wanderte.
• Spätes Training: Während die KI lernte, begannen die Schichten immer ähnlicher zu werden. Der „Abstand“ zwischen den Gestalten aufeinanderfolgender Schichten schrumpfte. Es ist, als ob die KI aufhörte, bei jedem Schritt das Rad neu zu erfinden, und stattdessen begann, dieselbe stabile Struktur zu verfeinern.

Dennoch bemerkten sie einige „Spitzen“, an denen sich die Gestalt signifikant änderte, insbesondere um die Schichten 3, 10 und 12. Selbst nachdem die KI „gelernt“ hatte, leisteten diese spezifischen Schichten weiterhin Schwerstarbeit und organisierten die Daten in bedeutender Weise neu.

Die große Idee: Progressive Topologische Stabilisierung

Basierend auf diesen Beobachtungen schlagen die Autoren eine neue Idee vor, die Progressive Topological Stabilization Hypothesis genannt wird.

Sie legen nahe, dass Lernen nicht bedeutet, dass die interne Welt der KI zu einem langweiligen, merkmalslosen Klumpen kollabiert. Stattdessen ist es ein Prozess der Verfeinerung.

• Die Metapher: Stellen Sie sich eine chaotische Menschenmenge bei einem Konzert vor. Zuerst sind alle verstreut, schreien und sind unverbunden (hohe $\beta_0$, viele Inseln). Wenn die Musik einsetzt und der Song an Fahrt gewinnt, beginnen die Menschen, sich an den Armen zu halten, bilden kleine Gruppen und schließlich bewegt sich die gesamte Menge als eine einzige, riesige, kohärente Welle. Die „Gestalt“ der Menge wird stabil und verbunden, aber sie verschwindet nicht.
• Das Ergebnis: Die Repräsentationen der KI werden „zunehmend kompakt“ (die Punkte rücken näher zusammen), während sie ihre „nicht-triviale geometrische Organisation“ beibehalten (die Struktur bleibt interessant und nützlich). Die KI lernt nicht nur auswendig; sie baut eine stabile, verbundene Karte der Welt auf.

Was dies bedeutet (und was es nicht bedeutet)

Die Autoren betonen vorsichtig, dass sie nicht behaupten, die exakte Gestalt des Gehirns der KI zu sehen. Da sie nur 197 Punkte in einem riesigen 384-dimensionalen Raum zur Verfügung hatten, ist ihr „Netz“ eine Annäherung, keine perfekte Rekonstruktion. Sie geben zu, dass die „Gestalt“, die sie sehen, eine topologische Approximation ist und nicht die intrinsische Wahrheit. Die beobachteten Trends sind jedoch konsistent und aussagekräftig.

Sie schließen explizit die Idee aus, dass die KI lediglich zu einem trivialen, nutzlosen Punkt kollabiert. Die Tatsache, dass einige Loops ($\beta_1$) den gesamten Trainingsprozess überlebten, beweist, dass die Struktur komplex blieb. Sie widerlegen auch die Vorstellung, dass die KI in einem einzigen, plötzlichen Sprung lernt; stattdessen sind die Veränderungen kontinuierlich, wobei die Schichten mit fortschreitendem Training immer ähnlicher werden.

Der Weg nach vorn

Dieses Paper ist nur die vierte Station auf einer langen Reise. Die Forscher haben Pläne für die Zukunft:

• TGO-V (Kompositionelle Geometrie): Sie wollen wissen, wie die Mathematik der KI (Skalarprodukte und Attention-Mechanismen) diese Formen tatsächlich erzeugt.
• TGO-VI (Optimierungsdynamik): Sie wollen die „Physik“ des Lernprozesses verstehen – wie die Mathematik des Trainingsalgorithmus (Gradienten und Loss-Landschaften) die KI dazu zwingt, sich in diesen stabilen Formen niederzulassen.

Kurz gesagt: TGO-IV gibt uns eine neue Brille. Anstatt die Daten der KI nur als eine Wolke von Zahlen zu sehen, können wir sie nun als eine lebendige, atmende Gestalt sehen, die als verstreutes Archipel beginnt und zu einem stabilen, verbundenen Kontinent heranwächst. Es deutet darauf hin, dass eine Transformer-KI beim Lernen nicht nur auswendig lernt, sondern eine stabile, topologische Heimat für ihr Wissen baut.