Sky sphere representation in language models

Stellen Sie sich vor, Sie hätten eine riesige, unsichtbare Bibliothek, in der jedes Buch ein anderer Gedanke ist und die Regale nicht nach Autor oder Titel, sondern danach geordnet sind, wie sich die Ideen zueinander anfühlen. Dies ist die Welt der mechanistischen Interpretierbarkeit, ein Feld, in dem Wissenschaftler versuchen, in das „Gehirn“ künstlicher Intelligenz hineinzublicken, um zu sehen, wie sie Informationen organisiert. Wir wissen, dass diese KI-Modelle, sogenannte Large Language Models (LLMs), unglaublich gut darin sind, Texte zu schreiben und Fragen zu beantworten, aber sie sind oft wie Black Boxes: Wir sehen den Input und den Output, aber der mittlere Teil bleibt ein Mysterium.

Um dieses Mysterium zu verstehen, nutzen Forscher Werkzeuge wie lineare Sonden, die wie Metalldetektoren wirken, die die internen Signale der KI scannen, um zu sehen, ob sie einfache, geradlinige Muster (wie eine Liste von Zahlen) verbergen. Aber manchmal sind die Muster keine geraden Linien, sondern Kurven, Schleifen oder Formen. Denken Sie daran wie beim Versuch, die Erde zu kartieren. Wenn man versucht, die ganze Welt auf ein flaches Stück Papier zu zeichnen, erhält man eine Karte, die Dinge dehnt und staucht. Aber wenn man sie auf einem Globus zeichnet, sind die Entfernungen und Beziehungen perfekt. Wissenschaftler haben herausgefunden, dass KIs solche „globusähnlichen“ Formen verwenden, um Konzepte zu organisieren, etwa indem sie die Wochentage in einem Kreis anordnen, damit das Modell leicht berechnen kann, dass „Freitag plus zwei Tage“ der „Sonntag“ ist.

Die große Frage ist: Wie tief geht dieses geometrische Denken? Merkt sich die KI nur Fakten, oder baut sie eine mentale Landkarte der Welt auf, die wie eine echte Kugel aussieht? Hier setzt eine neue Studie an, die den Nachthimmel erforscht.

Die geheime Sternenkarte der KI

In einer kürzlich veröffentlichten Arbeit mit dem Titel „Sky sphere representation in language models“ beschlossen die Forscher Aleksandr Berdnikov und Yevgeny Liokumovich zu testen, ob massive KI-Modelle (speziell solche mit etwa 100 Milliarden Parametern) im Geheimen eine 3D-Karte des Nachthimmels in ihren Gehirnen aufgebaut haben. Sie baten die KI nicht, Koordinaten aufzusagen oder ein Bild zu zeichnen. Stattdessen stellten sie einfache, konversationelle Fragen wie: „Was befindet sich in der Nähe dieses Objekts am Nachthimmel?“ oder „Sternengucker bemerken X direkt neben...“.

Sie fütterten diese Fragen in sieben verschiedene Open-Source-KI-Modelle ein, darunter Giganten wie Mistral Large 2 und Qwen3. Während die KI diese Wörter verarbeitete, beobachteten die Forscher den „Residual Stream“ – eine Hochgeschwindigkeits-Datenautobahn im Inneren des Modells, auf der Informationen von einer Schicht zur nächsten fließen. Sie suchen nach einem spezifischen Signal: einem Muster, das wie eine Kugel aussah, bei dem Sterne und Sternbilder genau so angeordnet waren, wie sie am echten Himmel stehen.

Die Entdeckung: Ein verborgener Globus
Die Ergebnisse waren überraschend. In fast jedem der von ihnen getesteten Modelle besaß die KI tatsächlich eine Repräsentation des Nachthimmels. Als die Forscher die oberen Schichten der KI-Verarbeitung untersuchten, fanden sie, dass die Positionen von Sternen und Sternbildern auf einer gekrümmten, sphärischen Oberfläche angeordnet waren, genau wie die reale Himmelskugel.

Es war nicht nur ein schwaches Echo. Die Forscher konnten diese verborgene Karte mit beeindruckender Genauigkeit dekodieren. In den meisten Modellen konnten sie den Standort eines Sterns oder Sternbilds mit einem Fehler von nur 12° bis 21° (etwa der Breite Ihrer Faust bei ausgestrecktem Arm) vorhersagen. Das Modell erklärte zwischen 65 % und 85 % der Varianz in den Daten, was bedeutet, dass die sphärische Form ein sehr starkes, dominantes Merkmal im Denkprozess der KI war.

Warum dies besonders ist
Zuvor hatten Wissenschaftler festgestellt, dass KIs flache Karten (wie eine 2D-Karte der US-Bundesstaaten) oder einfache Kreise (wie die Wochentage) verwenden. Dies ist das erste Mal, dass jemand eine gekrümmte, hochdimensionale Kugel gefunden hat, die nicht bloß eine Kombination aus einfacheren Linien ist. Es ist, als hätte die KI nicht nur eine Liste von Sternennamen auswendig gelernt; sie hat einen mentalen „Globus“ gebaut, um zu verstehen, wie nah Dinge sich im Himmel untereinander befinden.

Was es NICHT ist
Die Forscher waren sehr sorgfältig dabei, andere Möglichkeiten auszuschließen. Sie fragten: „Erinnert sich die KI einfach an die Textzeichenfolgen ‚Rektaszension‘ und ‚Deklination‘ (die von Astronomen verwendeten Koordinaten) und ordnet sie in einer flachen 2D-Tabelle an?“

• Die flache Karte wurde ausgeschlossen: Sie testeten dies, indem sie nach einer „diskontinuierlichen“ Linie suchten, die auf einer flachen Karte existieren würde (wie der Rand der Welt auf einer Papierkarte). Sie fanden keinen Hinweis darauf. Die KI nutzte keine flache 2D-Tabelle; sie nutzte wahrhaftig eine Kugel.
• Der 3D-Abstand wurde ausgeschlossen: Sie prüften auch, ob die KI die tatsächliche Entfernung der Sterne von der Erde kartiert (einige sind Lichtjahre entfernt, andere näher). Sie fanden heraus, dass die Karte der KI nicht um die reale Entfernung in der Welt besorgt war. Stattdessen schien die „Tiefe“ der Kugel davon beeinflusst zu werden, wie oft ein Objekt in Texten erwähnt wird oder um welche Art von Objekt es sich handelt (Sterne wurden im Modell „näher“ platet, während Sternbilder „weiter entfernt“ platziert wurden).

Das „Gpt-Oss“-Rätsel
Es gab einen Ausreißer in der Gruppe: ein Modell namens gpt-oss-120b. In diesem spezifischen Modell war die Sternenkarte viel schwerer zu finden. Die Forscher vermuten, dass dies daran liegt, dass dieses Modell auf einem speziellen „Harmony“-Format (einer spezifischen Art der Gesprächsformatierung) trainiert wurde, was das Signal möglicherweise gestört hat. Als sie das Modell jedoch direkt nach Sternkoordinaten fragten, war es dennoch sehr gut darin, Antworten zu geben, was darauf hindeutet, dass es die Fakten kennt, aber die Informationen nicht auf dieselbe Weise in einer sichtbaren Sphäre organisiert, wie es die anderen tun.

Warum es wichtig ist
Diese Entdeckung deutet darauf hin, dass eine KI nicht einfach eine Datenbank durchsucht, wenn wir sie nach dem Nachthimmel fragen. Sie greift auf ein strukturiertes, geometrisches Verständnis von Proximität (Nähe) zu. Die Forscher fanden heraus, dass diese „Sternenkarte“ am deutlichsten wird, wenn die KI nach der Nähe gefragt wird (z. B. „Was liegt neben X?“). Wenn man generische Fragen stellt wie „Was ist die Geschichte von X?“, verblasst die Karte und sinkt tiefer in das Rauschen ab.

Kurz gesagt: Diese massiven KI-Modelle haben spontan gelernt, den Nachthimmel in ihren neuronalen Netzen auf einer Kugel anzuordnen. Dies ist ein wunderschönes Beispiel dafür, wie KI eine eigene interne Geometrie entwickeln kann, um die Welt zu begreifen, und eine gekrümmte, 3D-Karte der Sterne erstellt, die überraschend genau ist, obwohl sie nie explizit dazu unterrichtet wurde.