Geometric Reasoning in the Embedding Space

Die Studie zeigt, dass Graph Neural Networks und Transformers geometrische Schlussfolgerungen treffen können, indem sie während des Trainings eine zweidimensionale Gitterstruktur im Embedding-Space rekonstruieren, wobei Graph Neural Networks dabei Transformer in Leistung und Skalierbarkeit übertreffen.

Das Wesentliche

Das große Rätsel: Wie denkt eine KI über Geometrie?

Stell dir vor, du hast ein Puzzle, bei dem du nicht die Teile siehst, sondern nur Hinweise bekommst wie: „Punkt B liegt genau in der Mitte zwischen A und C" oder „Punkt D ist das Spiegelbild von E". Deine Aufgabe ist es, die genaue Position aller Punkte auf einem Raster (wie einem Schachbrett) zu erraten.

Künstliche Intelligenzen (KIs) können solche Rätsel lösen. Aber das eigentliche Geheimnis ist: Wie machen sie das im Inneren? Verstehen sie wirklich, was „Mitte" oder „Spiegelung" bedeutet, oder raten sie nur gut?

Die Autoren dieses Papers haben zwei verschiedene KI-Typen getestet, um herauszufinden, wie sie „denken":

1. Transformer: Das ist der Typ, der auch in Chatbots (wie mir) steckt. Er liest Sätze wie ein Buch.
2. GNN (Graph Neural Network): Das ist ein Spezialist, der Beziehungen zwischen Dingen direkt verknüpft, wie ein Netzwerk aus Knoten und Drähten.

Die Entdeckung: Die KI malt sich ein Bild im Kopf

Das Spannendste an der Studie ist, was sie im „Gehirn" der KI gefunden haben.

Stell dir vor, die KI hat einen riesigen, unsichtbaren Raum voller Zahlen (das nennt man „Embedding Space"). Wenn die KI das Puzzle löst, passiert etwas Magisches:

• Die Zahlen, die die unbekannten Punkte repräsentieren, bewegen sich in diesem Raum.
• Sie ordnen sich nicht zufällig an, sondern formen genau das Bild, das im Rätsel versteckt ist.
• Die KI „malt" das Quadrat oder die Spiegelung buchstäblich in ihren eigenen Zahlenraum, bevor sie die Antwort ausgibt.

Es ist, als würde ein Maler, der die Vorlage nicht sieht, erst die Farben auf seiner Palette mischen und dabei zufällig das genaue Bild der Vorlage formen, bevor er auf die Leinwand streicht. Die KI entwickelt also eine innere Landkarte des Problems.

Der Vergleich: Der Leser vs. Der Baumeister

Die Forscher haben herausgefunden, dass die beiden KI-Typen ganz unterschiedlich arbeiten:

• Der Transformer (Der Leser): Er versucht, das Rätsel wie einen Text zu lesen. Bei einfachen Aufgaben geht das gut. Aber sobald das Puzzle komplexer wird (mehr Punkte, mehr Regeln), gerät er ins Stolpern. Er ist wie jemand, der versucht, ein riesiges Bauwerk nur durch das Lesen einer Anleitung zu verstehen, ohne die Steine wirklich zu greifen. Er braucht extrem viel Rechenleistung und wird schnell ungenau.
• Das GNN (Der Baumeister): Dieser Typ ist wie ein erfahrener Architekt, der die Beziehungen zwischen den Steinen direkt sieht. Er baut das Puzzle Schritt für Schritt auf. Er ist viel besser darin, komplexe geometrische Regeln zu verstehen und skaliert (wächst mit) viel besser, wenn die Aufgaben schwieriger werden.

Der iterative Prozess: Ausprobieren und Verfeinern

Ein weiterer wichtiger Punkt ist, wie die KI zur Lösung kommt. Sie wirft nicht einfach eine Antwort hin.
Stell dir vor, du versuchst, einen Stuhl auf einem wackeligen Boden gerade zu stellen.

1. Du stellst ihn hin (er ist schief).
2. Du drückst ein bisschen nach links.
3. Du prüfst, ob er wackelt.
4. Du korrigierst ihn noch ein bisschen.

Genau das macht die KI. Sie startet mit einer zufälligen Position für die Punkte und korrigiert diese Positionen schrittweise, bis alles passt. Je mehr Zeit (oder Rechenleistung) sie bekommt, desto genauer wird das Bild. Das nennt man „iterative Verfeinerung".

Was bedeutet das für uns?

Die Studie zeigt uns, dass KIs nicht nur blind Muster erkennen. Wenn man sie richtig trainiert, entwickeln sie ein strukturiertes Verständnis von Raum und Form. Sie bauen sich ein mentales Modell auf, das der Realität entspricht.

• Die Lehre: Für komplexe räumliche Probleme (wie Robotik oder Architekturplanung) sind Graph-Netzwerke (GNNs) wahrscheinlich die besseren Werkzeuge als die großen Sprachmodelle, die wir heute oft nutzen.
• Die Hoffnung: Wenn wir verstehen, wie diese inneren Bilder entstehen, können wir KIs besser verstehen, besser steuern und vielleicht sogar KI-Systeme bauen, die wirklich „verstehen", was sie tun, statt nur zu raten.

Zusammengefasst: Die Forscher haben gezeigt, dass KIs beim Lösen von Geometrie-Rätseln tatsächlich ein „mentales Bild" im Kopf formen. Und zwar ist ein spezieller KI-Typ (der GNN) dafür viel besser geeignet als der bekannte Chatbot-Typ, weil er die Beziehungen zwischen den Teilen direkt „begreift" und das Bild schrittweise verfeinert, bis es perfekt sitzt.

Technische Zusammenfassung

Titel: Geometrisches Reasoning im Embedding Space

Autoren: David Mojžíšek, Jan Hůla, Jiří Janeček, David Herel, Mikoláš Janota
Veröffentlicht in: Machine Learning and Knowledge Extraction (MAKE), 2025

---

1. Problemstellung und Motivation

Obwohl neuronale Netze (NN) komplexe geometrische Probleme lösen können (wie z. B. das System AlphaGeometry), ist das interne Verständnis darüber, wie sie räumliche Beziehungen repräsentieren und schlussfolgern, weitgehend unbekannt. Die meisten bestehenden Systeme agieren als „Black Boxes".
Die Autoren stellen sich folgende Fragen:

• Können neuronale Netze eine Art „mentales Bild" der räumlichen Konfiguration bilden?
• Ist ein autoregressiver Transformer oder ein Graph Neural Network (GNN) besser geeignet, um strukturierte geometrische Constraints zu lösen?
• Wie entwickeln sich die internen Repräsentationen (Embeddings) während des Trainings und der Inferenz?

Um diese Fragen zu untersuchen, vermeiden die Autoren die Komplexität von natürlichen Sprachmodellen und verwenden stattdessen einen kontrollierten Ansatz mit synthetischen Constraint Satisfaction Problems (CSPs) auf einem diskreten 2D-Gitter.

2. Methodik

2.1 Datengenerierung (Geometrische CSPs)

Die Autoren entwickelten einen Generator für synthetische Probleme, bei denen die Lösung die Position von Punkten auf einem diskreten 2D-Gitter (z. B. 20x20) ist.

• Constraints: Es werden vier Arten von geometrischen Relationen verwendet:
  • M (Midpoint): Punkt B ist der Mittelpunkt der Strecke AC.
  • R (Reflection): A und B bilden eine Symmetrieachse für C und D.
  • S (Square): A, B, C, D bilden ein Quadrat.
  • T (Translation): Der Vektor D-C ist eine Translation des Vektors B-A.
• Struktur: Die Probleme werden als gerichteter azyklischer Graph (DAG) generiert, wobei Constraints voneinander abhängen. Um eine eindeutige Lösung zu gewährleisten, sind einige Punkte (Determinierende Variablen) fest vorgegeben, während andere (abhängige Variablen) vorhergesagt werden müssen.
• Ziel: Das Modell muss die Positionen der unbekannten Punkte basierend auf den Constraints vorhersagen. Dies wird als Klassifikationsproblem behandelt (Vorhersage des Gitter-Index).

2.2 Architekturen

Zwei Modelle wurden verglichen:

1. Graph Neural Network (GNN):
   • Basierend auf einem bipartiten Graphen mit Knoten für Variablen (Punkte) und Constraints.
   • Verwendet rekurrente Update-Regeln (LSTMs) für Variablen- und Constraint-Embeddings.
   • Bekannte Punkte erhalten feste Embeddings aus einer geteilten Embedding-Schicht; unbekannte Punkte starten mit zufälligen Vektoren.
   • Der Prozess ist iterativ: Embeddings werden über mehrere Schritte (Message Passing) aktualisiert, bis eine Konvergenz erreicht ist.
2. Autoregressiver Transformer:
   • Basierend auf GPT-2-Architektur mit Rotary Embeddings.
   • Erhält eine Token-Sequenz der Constraints und einer Abfrage für einen unbekannten Punkt.
   • Versucht, die Position des Punktes sequenziell vorherzusagen.

2.3 Trainings- und Inferenzstrategie

• Training: Cross-Entropy-Loss auf den unbekannten Punkten.
• Inferenz: Beim GNN können unbekannte Punkte mit verschiedenen zufälligen Initialisierungen neu gestartet werden (Resampling), und die Anzahl der Iterationen kann zur Laufzeit erhöht werden (Test-Time Scaling).

3. Wichtige Beiträge und Ergebnisse

3.1 Leistungsvorteil von GNNs

• Skalierbarkeit: GNNs übertrafen Transformer deutlich. Auf einem 20x20-Gitter erreichten GNNs eine Genauigkeit von >90 %, während Transformer nur bei sehr kleinen Gittern (10x10) und wenigen Constraints gute Ergebnisse lieferten.
• Trainierbarkeit: GNNs waren einfacher zu trainieren und skalierten besser auf größere Probleme (bis zu 80x80 Gitter).
• Test-Time Scaling: Die Genauigkeit des GNNs konnte durch Erhöhung der Iterationszahl (von 15 auf 23) und durch Resampling (mehrere zufällige Initialisierungen) signifikant gesteigert werden (Complete Accuracy von ~76 % auf ~95 %).

3.2 Interpretierbarkeit und Struktur im Embedding Space

Dies ist der Kernbeitrag des Papers:

• Selbstorganisation zu Gitterstrukturen: Die statischen Embeddings der bekannten Punkte (die als Klassen-Labels dienen) organisieren sich während des Trainings automatisch zu einer 2D-Gitterstruktur im hochdimensionalen Embedding-Raum. Dies zeigt, dass das Netz die geometrische Topologie des Problems „lernt", ohne explizite räumliche Supervision zu erhalten.
• Iterativer Lösungsprozess: Während der Inferenz bewegen sich die Embeddings der unbekannten Punkte im Embedding-Raum. Sie beginnen zufällig und konvergieren schrittweise zu einer Konfiguration, die die verborgene geometrische Figur widerspiegelt.
• Visualisierung: UMAP-Projektionen zeigen, dass das Netz die Punkte so anordnet, dass die Constraints (z. B. Quadrate, Translationen) im Embedding-Raum erfüllt werden, bevor die finale Klassifikation erfolgt. Dies ähnelt einem kontinuierlichen Optimierungsprozess.

3.3 Fehleranalyse

• Die Fehlerquote korreliert negativ mit der Tiefe der Abhängigkeitskette. Punkte, die viele vorherige Constraints lösen müssen, haben eine höhere Ausfallrate.
• Wenn Fehler auftreten, liegen die falsch vorhergesagten Punkte oft räumlich sehr nah am korrekten Ziel (geringe Manhattan-Distanz), was darauf hindeutet, dass das Modell die grobe Geometrie erfasst, aber bei der finalen Präzision scheitert.

4. Signifikanz und Implikationen

• Mechanistische Einblicke: Das Paper liefert einen der ersten klaren Beweise dafür, wie neuronale Netze strukturiertes räumliches Verständnis entwickeln. Es zeigt, dass das „Lernen" von Geometrie nicht nur eine statistische Korrelation von Tokens ist, sondern die Bildung einer internen, geometrisch strukturierten Repräsentation.
• Architekturempfehlung: Für Aufgaben, die auf relationalen Strukturen und Constraints basieren, sind GNNs (insbesondere mit rekurrenten Updates) Transformern überlegen, da sie die inhärente Graphenstruktur des Problems besser nutzen.
• Interpretierbarkeit: Die Fähigkeit, die interne Geometrie des Embedding-Raums zu visualisieren, bietet neue Wege, um die Entscheidungsfindung von KI-Modellen zu verstehen (Interpretability).
• Test-Time Scaling: Die Ergebnisse unterstreichen, dass mehr Rechenzeit (mehr Iterationen) bei GNNs zu besseren Ergebnissen führt, ähnlich wie bei klassischen Optimierungsalgorithmen.

Fazit

Die Studie demonstriert erfolgreich, dass neuronale Netze durch Training auf synthetischen geometrischen Constraints eine interne Repräsentation entwickeln, die die räumliche Struktur des Problems widerspiegelt. GNNs erweisen sich als überlegene Architektur für solche strukturierten Reasoning-Aufgaben, und die Analyse der Embeddings offenbart einen iterativen, optimierungsähnlichen Lösungsprozess, der tiefere Einblicke in das „Black Box"-Verhalten von KI-Systemen ermöglicht.