Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, Tiere zu erkennen. Sie zeigen ihm tausende Bilder von Katzen, Hunden und Vögeln. Zuerst ist das Gehirn des Roboters ein chaotisches Durcheinander aus Zahlen; er sieht eine Katze und einen Hund nur als ein Wirrwarr aus Pixeln ohne wirklichen Unterschied. Aber während er weiter lernt, geschieht etwas Magisches in seinem digitalen Gehirn. Die Zahlen beginnen, sich selbst zu organisieren. Die „Katzen“-Zahlen driften von den „Hund“-Zahlen weg und bilden ordentliche, getrennte Inseln in einem riesigen Ozean aus Daten. Dieses Forschungsfeld wird Maschinelles Lernen genannt, und es untersucht speziell, wie „Vision Transformer“ (eine Art superintelligente KI, die Bilder betrachtet) ihre internen Denkmuster ändern, während sie lernen. Wissenschaftler interessieren sich dafür, weil wir, wenn wir verstehen, wie diese Roboter ihre Gedanken organisieren, eine bessere, zuverlässigere KI bauen können, die nicht nur rät, sondern die Welt tatsächlich versteht.

Das Papier, das Sie gleich lesen werden, mit dem Titel „TGO-III: Semantic Geometry Observatory“, ist wie ein Hightech-Mikroskop für dieses digitale Gehirn. Die Autoren, Kaustubh Kapil und Kishor Upla, wollten eine große Frage beantworten: Wird die KI beim Lernen einfach nur zufälliger und komplexer, oder beginnt sie tatsächlich, Dinge nach ihrer Bedeutung zu sortieren? Sie nutzten einen neuen Satz von Werkzeugen, um das „Gehirn“ (speziell ein Modell namens ViT-Small/16) der KI zu beobachten, während sie über 100 verschiedene Arten von Bildern (aus einem Datensatz namens ImageNet-100) über 100 Tage (Epochen) hinweg trainierte.

Hier ist die Geschichte dessen, was sie fanden, erzählt durch die Linse einer wachsenden Stadt.

Die Stadt der Ideen

Stellen Sie sich die interne Welt der KI wie eine riesige, leere Stadt vor. Wenn das Training beginnt, ist diese Stadt eine flache, schlammige Ebene. Alle Ideen (wie „Katze“, „Hund“, „Auto“) sind zusammengedrückt am selben Ort. Die KI kann sie nicht unterscheiden.

Während die KI mit dem Training beginnt, expandiert die Stadt. In früheren Studien (TGO-I und TGO-II) stellten Wissenschaftler fest, dass die Stadt größer und komplexer wurde, wie eine Stadt, in der neue Wolkenkratzer und gewundene Straßen entstehen. Sie nannten dies „Manifold Expansion“ (Mannigfaltigkeits-Expansion). Aber sie wussten nicht, warum die Stadt wuchs. Wurde sie nur unordentlicher? Oder baute sie einen besseren Stadtplan?

TGO-III ist der neue Stadtplaner, der eingreift, um diese Frage zu beantworten. Sie haben nicht nur auf die Größe der Stadt geachtet; sie haben beobachtet, wie sich die verschiedenen Stadtviertel (die semantischen Klassen) anordneten.

Die vier Werkzeuge des Observatoriums

Um das Layout der Stadt zu verstehen, verwendeten die Autoren vier spezielle Messwerkzeuge:

1. Die Lineare Sonde (Der einfache Test): Stellen Sie sich vor, man fragt einen sehr einfachen Roboter: „Ist das eine Katze oder ein Hund?“ Wenn das Gehirn der KI chaotisch ist, wird der einfache Roboter oft falsch raten. Aber wenn die KI ihre Gedanken gut organisiert hat, kann der einfache Roboter eine gerade Linie auf einer Karte ziehen und sagen: „Alles auf der linken Seite ist eine Katze, alles auf der rechten Seite ist ein Hund.“ Die Autoren fanden heraus, dass dieser einfache Roboter im Laufe des Trainings immer besser wurde. Das bedeutet, die KI macht ihre Ideen leichter unterscheidbar.
2. Das Fisher-Verhältnis (Der Crowd-Meter): Dieses Werkzeug misst, wie eng eine Gruppe von Freunden (wie alle „Katzen“) zusammenhält im Vergleich dazu, wie weit sie von anderen Gruppen (wie „Hunden“) entfernt steht. Ein hoher Wert bedeutet, dass die Katzen in einem engen Kreis zusammenstehen und dieser Kreis weit von den Hunden entfernt ist. Die Autoren sahen, dass dieser Wert anstieg, was bedeutete, dass die Gruppen dichter und weiter voneinander entfernt wurden.
3. Schwerpunkt-Distanzen (Der Stadtspaziergang): Dies misst die Entfernung zwischen dem „Schwerpunkt“ jeder Gruppe. Wenn man in der Mitte des Katzenviertels steht und zur Mitte des Hundeviertels läuft, wie weit ist es? Die Autoren fanden heraus, dass sich diese Viertel im Verlauf des Trainings immer weiter voneinander entfernten und so eine riesige, offene Stadt schufen, in der sich keine zwei Gruppen verwechselten.
4. Lokale PCA-Rangzahl (Die Raumgröße): Dies ist das interessanteste Werkzeug. Es fragt: „Wie viele Dimensionen benötigt ein spezifisches Viertel, um zu existieren?“ Zu Beginn war das „Katzen“-Viertel ein chaotisches, ausuferndes Durcheinander, das ein riesiges, dreidimensionales Lagerhaus benötigte, um all seine Variationen unterzubringen. Aber während die KI lernte, wurde das „Katzen“-Viertel organisierter. Es brauchte kein riesiges Lagerhaus mehr; es konnte in ein ordentliches, kompaktes Zimmer passen. Die Autoren fanden heraus, dass, während die gesamte Stadt größer wurde, die einzelnen Viertel kleiner und effizienter wurden.

Die große Entdeckung: Die Semantische Expansion

Die aufregendste Entdeckung der Autoren ist das, was sie die Semantic Expansion Hypothesis nennen.

Vor diesem Papier dachten einige Leute, dass die KI beim Lernen einfach nur zufälliger und komplexer wird. Aber TGO-III deutet auf etwas viel Zweckmäßigeres hin. Die KI erstellt nicht nur ein größeres Chaos; sie baut aktiv eine bessere Karte.

Denken Sie an Folgendes: Wenn Sie zum ersten Mal zeichnen lernen, ist Ihr Skizzenbuch voller Kritzeleien. Während Sie üben, zeichnen Sie nicht einfach nur mehr Kritzeleien; Sie beginnen, deutliche Formen zu zeichnen. Sie lernen, dass ein Kreis für einen Kopf und eine Linie für einen Körper ist. Die „Kritzeleien“ (die zusätzliche Komplexität) werden tatsächlich dazu verwendet, klarere, deutlichere Kategorien zu schaffen.

Die Autoren beobachteten, dass die „Katzen“-Ideen und „Hunde“-Ideen nicht einfach nur zufällig auseinanderdriften. Sie organisierten sich in einer Struktur, in der sie leicht zu unterscheiden waren. Die „Stadt“ expandierte, um Platz für all diese neuen, klaren Unterscheidungen zu schaffen.

Die Überraschung der „Übergangszone“

Das Papier untersuchte auch, wo in der KI dieses Gehirn diese Organisation stattfindet. Die KI ist wie ein Stapel von Schichten aufgebaut, wie ein mehrstöckiges Gebäude. Die Autoren fanden heraus, dass die unteren Etagen (die frühen Schichten) noch etwas chaotisch waren. Die wahre Magie geschah in den oberen Etagen.

Sie bestätigten eine Theorie namens Transition Zone Hypothesis, aber mit einer Wendung. Sie fanden heraus, dass die „Mitte“ des Gebäudes der Ort ist, an dem sich die Geometrie zu verändern beginnt, aber die obersten Stockwerke sind, wo das eigentste Sortieren stattfindet. In den obersten Schichten trennen sich „Katzen“ und „Hunde“ wirklich und werden kristallklar. Es ist, als wären die unteren Etagen die Baustelle und die oberen Etagen die fertigen, polierten Wohnungen, in denen die Bewohner in Frieden leben.

Was dies bedeutet (und was es nicht bedeutet)

Die Autoren sind vorsichtig und sagen, dass sie dieses Verhalten beobachtet haben und dass die Beweise ihre Idee stützen. Sie haben das Geheimnis der KI nicht „gelöst“, aber sie haben eine sehr starke Karte davon geliefert, wie sie funktioniert.

Sie widerlegten die Idee, dass die KI beim Lernen einfach nur zufälliger wird oder dass sie Bilder auf chaotische Weise einfach nur auswendig lernt. Stattdessen legen sie nahe, dass die KI ihr Wissen aktiv in ordentliche, getrennte und effiziente Gruppen organisiert.

Am Ende sagt uns TGO-III, dass ein Vision Transformer beim Lernen nicht nur größer wird, sondern auch klüger. Er nimmt eine chaotische Datenwolke und verwandelt sie in eine gut organisierte Stadt, in der jede Idee ihren eigenen Platz hat, weit entfernt von den anderen, bereit, sofort erkannt zu werden. Es ist ein wunderschönes Beispiel dafür, wie Ordnung aus dem Chaos entstehen kann, selbst innerhalb einer Maschine.