A quantitative analysis of semantic information in deep representations of text and images

Diese Studie nutzt den Informationsungleichgewicht zur Analyse von DeepSeek-V3 und DinoV2 und zeigt, dass semantische Informationen über Sprachen und Modalitäten hinweg konvergieren, wobei die Vorhersagekraft stark von der Schichttiefe, der Modellgröße und der Sprachhierarchie abhängt, was darauf hindeutet, dass reine Skalierung effektiver sein kann als explizites multimodales Training.

Das Wesentliche

Stellen Sie sich vor, Sie haben zwei verschiedene Übersetzer: einen, der aus dem Englischen ins Deutsche übersetzt, und einen anderen, der aus dem Deutschen ins Englische übersetzt. Oder noch besser: Stellen Sie sich vor, Sie haben zwei verschiedene Kameras, die dasselbe Bild aufnehmen, aber mit völlig unterschiedlicher Technik.

Die Frage, die sich die Forscher in diesem Papier stellen, ist: Verstehen diese verschiedenen Systeme die Welt auf die gleiche Weise? Wenn ein Computer ein Bild sieht und ein anderer Computer denselben Satz liest, landen die Informationen dann am Ende in einem ähnlichen „Gedankenraum"?

Hier ist die einfache Erklärung der Forschung, gespickt mit ein paar bildhaften Vergleichen:

1. Der „Informations-Ungleichgewicht"-Test (Die Waage der Vorhersage)

Normalerweise vergleichen Wissenschaftler zwei Dinge, indem sie schauen, wie ähnlich sie sind (wie zwei Fingerabdrücke, die fast gleich aussehen). Aber die Forscher wollten wissen: Wer kann den anderen besser vorhersagen?

Stellen Sie sich vor, Sie haben zwei Karten von derselben Stadt:

• Karte A ist sehr detailliert und zeigt jede kleine Gasse.
• Karte B ist etwas ungenauer und zeigt nur die Hauptstraßen.

Wenn Sie Karte A haben, können Sie leicht sagen, wo Sie auf Karte B sind (weil die Hauptstraßen da sind). Aber wenn Sie nur Karte B haben, können Sie nicht genau sagen, welche kleine Gasse auf Karte A gemeint ist. Das ist ein Ungleichgewicht.

Die Forscher nutzen eine spezielle mathematische Methode (die „Informations-Ungleichheit"), um genau dieses Ungleichgewicht zu messen. Sie fragen: „Wenn ich die Repräsentation (den inneren Gedankenzustand) von Modell X kenne, kann ich dann erraten, was in Modell Y passiert?"

2. Das Geheimnis der „Mitte" (Wo die Magie passiert)

Die Forscher haben riesige KI-Modelle (wie DeepSeek-V3) untersucht, die aus vielen Schichten bestehen – ähnlich wie ein mehrstöckiges Gebäude.

• Die unteren Stockwerke (Eingang): Hier wird die Sprache noch sehr „buchstäblich" verarbeitet. Ein Wort wie „Bank" wird noch nicht als Möbelstück oder Finanzinstitut verstanden, sondern nur als Zeichenfolge.
• Die oberen Stockwerke (Ausgang): Hier wird die Antwort generiert. Das Modell muss wieder spezifische Wörter auswählen, um den nächsten Satz zu bilden.
• Das Erdgeschoss (Die Mitte): Hier passiert das Wunder! Die Forscher haben entdeckt, dass in den mittleren Schichten alle Sprachen und sogar Bilder und Texte auf eine gemeinsame Sprache „heruntergebrochen" werden.

Die Analogie: Stellen Sie sich vor, Sie und ein Freund sprechen verschiedene Sprachen. In den unteren Stockwerken reden Sie noch über die Grammatik und die Buchstaben. In den oberen Stockwerken planen Sie, was Sie als Nächstes sagen. Aber in der Mitte des Gebäudes treffen Sie sich auf einer neutralen Terrasse, wo Sie beide die gleiche Idee im Kopf haben, ohne an die Wörter zu denken. Das ist der Ort, an dem die KI die „wahre Bedeutung" speichert.

3. Das Englische ist der „Super-Sprecher"

Ein sehr interessanter Befund: Die englische Sprache scheint in diesen KI-Modellen eine Sonderrolle zu spielen.
Die Repräsentationen von englischen Sätzen sind oft besser darin, andere Sprachen vorherzusagen, als umgekehrt.

Warum? Englisch ist die „Hauptstraße" im Internet. Die KI hat viel mehr englische Texte gelernt als Texte in anderen Sprachen. Es ist, als ob ein Übersetzer, der 1000 Bücher auf Englisch gelesen hat, aber nur 10 auf Italienisch, die englische Version eines Satzes viel klarer versteht und besser in andere Sprachen übersetzen kann, als wenn er vom Italienischen ins Englische übersetzen müsste. Die englische Repräsentation ist einfach „reicher" an Informationen.

4. Bilder vs. Texte: Wer ist der bessere Vorhersager?

Die Forscher haben auch geschaut, wie KI Bilder und deren Beschreibungen (Texte) verarbeitet.

• Überraschung: Zwei völlig unabhängig voneinander trainierte Modelle (eines für Bilder, eines für Text) verstehen sich oft besser als ein Modell, das extra dafür trainiert wurde, Bilder und Texte zu verbinden (wie CLIP).
• Der Grund: Die Größe zählt mehr als das Training. Ein riesiges Modell, das nur Texte liest, und ein riesiges Modell, das nur Bilder sieht, haben so viel „Intelligenz" entwickelt, dass sie die Welt auf eine ähnliche Weise verstehen, auch ohne sich je gesehen zu haben. Es ist, als ob zwei Genies, die in verschiedenen Fächern studiert haben, am Ende dieselben tiefen Wahrheiten über das Universum entdecken, einfach weil sie beide so tiefgründig denken.

5. Nicht nur das letzte Wort zählt

Früher dachten viele, die Bedeutung eines Satzes stecke nur im letzten Wort (dem „End-Token"). Die Forscher haben aber herausgefunden, dass die Bedeutung über viele Wörter verteilt ist.
Die Analogie: Wenn Sie einen Satz lesen, ist die Bedeutung nicht nur im letzten Wort versteckt. Sie ist wie ein Puzzle, das über den ganzen Satz verteilt ist. Wenn man alle Wörter mittelt (zusammenfasst), bekommt man ein viel klareres Bild der Bedeutung, als wenn man sich nur auf das letzte Wort konzentriert.

Fazit: Was lernen wir daraus?

Die Studie zeigt uns, dass KI-Modelle, egal ob sie Bilder sehen oder Texte lesen, ob sie groß oder klein sind, alle auf eine gemeinsame Art und Weise die Welt verstehen. Sie bauen alle eine Art „Platonische Welt" auf, in der ähnliche Konzepte (wie ein Bild einer Katze und das Wort „Katze") im gleichen mentalen Raum landen.

Aber es gibt Unterschiede:

1. Die Mitte ist heilig: Die tiefste Bedeutung liegt in der Mitte der Netzwerke.
2. Größe ist König: Große Modelle verstehen sich besser als kleine, selbst wenn sie nicht speziell dafür trainiert wurden.
3. Englisch hat den Vorteil: Wegen der riesigen Datenmenge ist Englisch in diesen Modellen oft der „Master-Schlüssel".

Zusammengefasst: KI-Modelle sind wie verschiedene Reiseführer, die unterschiedliche Routen nehmen, aber am Ende alle am selben geheimnisvollen Ort (der „Bedeutung") ankommen – wobei einige Führer (große Modelle, englische Sprache) den Weg etwas klarer beschreiben als andere.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper adressiert die Frage, wie semantische Information in den hochdimensionalen Repräsentationen von Deep-Learning-Modellen (insbesondere Transformern) kodiert ist und wie sich diese Repräsentationen über verschiedene Sprachen, Modalitäten (Text vs. Bild) und Architekturen hinweg verhalten.

• Hypothese der platonischen Repräsentation: Es wird angenommen, dass sich bei großen Modellgrößen die Repräsentationen semantisch ähnlicher Eingaben (z. B. Übersetzungen oder Bild-Beschriftungen) in einem gemeinsamen, verborgenen Mannigfaltigkeitsraum annähern, unabhängig von der spezifischen Aufgabe oder Kodierung.
• Herausforderung: Bestehende Metriken zur Messung dieser Ähnlichkeit (wie Central Kernel Alignment - CKA oder Neighborhood Overlap) sind symmetrisch und können die gerichtete Vorhersagbarkeit (Asymmetrie) zwischen Repräsentationen nicht erfassen. Zudem ist die Schätzung der Kreuzentropie in hochdimensionalen Räumen rechnerisch zu aufwendig.
• Ziel: Quantitative Analyse der Informationsverteilung innerhalb von Modellen, der Informationsasymmetrien zwischen Sprachen/Modellen und der cross-modalen Konvergenz.

2. Methodik

Kernmetrik: Informations-Ungleichgewicht (Information Imbalance - II)

Die Autoren nutzen die Information Imbalance (II), eine asymmetrische, rangbasierte Statistik, die als Proxy für die Kreuzentropie dient.

• Prinzip: Sie misst, wie gut die Nachbarschaftsstruktur in einem Repräsentationsraum $X$ die Nachbarschaftsstruktur in einem Raum $Y$ vorhersagen kann.
• Berechnung: Für jeden Punkt $i$ in $X$ wird der Rang seines nächsten Nachbarn in $Y$ bestimmt. Der II-Wert $\Delta(X \to Y)$ ist der normalisierte Durchschnitt dieser Ränge.
  • Ein niedriger Wert (nahe 0) bedeutet, dass $X$ $Y$ gut vorhersagt (hohe Informationsüberlappung).
  • Ein hoher Wert (nahe 1) bedeutet keine Vorhersagbarkeit.
• Vorteil: Im Gegensatz zu symmetrischen Metriken wie CKA kann die II gerichtete Abhängigkeiten aufdecken (z. B. ist $X$ informativer als $Y$, aber nicht umgekehrt).

Daten und Modelle

• Text:
  • Daten: Übersetzungspaare aus dem Opus Books-Korpus (Englisch zu Spanisch, Italienisch, Deutsch, Französisch, Niederländisch, Ungarisch).
  • Modelle: DeepSeek-V3 (671 Mrd. Parameter, MoE-Architektur) und Llama3 (1, 3, 8 Mrd. Parameter).
  • Repräsentationswahl: Vergleich von (i) dem letzten Token, (ii) der Verkettung (Concatenation) der letzten $T$ Token und (iii) dem Durchschnitt (Mean) der letzten $T$ Token.
• Bilder:
  • Daten: ImageNet-1k (Paare gleicher Klasse) und Flickr30k (Bild-Beschriftungs-Paare).
  • Modelle: Image-gpt-large (autoregressiv) und DinoV2-large (Encoder, kontrastives Training).
  • Vergleich: Auch CLIP (multimodal trainiert) wurde einbezogen.

3. Wichtige Beiträge und Ergebnisse

A. Semantische Information ist über viele Token verteilt

• Die Analyse zeigt, dass die beste Vorhersagbarkeit (niedrigste II) zwischen Übersetzungen nicht durch den letzten Token allein erreicht wird.
• Ergebnis: Die Mittelung (Mean) der Aktivierungen der letzten Token liefert die besten Ergebnisse, gefolgt von der Verkettung. Der letzte Token allein ist suboptimal.
• Interpretation: Semantische Information ist in tiefen Schichten über viele Token verteilt und nicht in einem einzelnen Token konzentriert. Die Mittelung filtert zudem irrelevante Positions-Informationen heraus.

B. Schichtabhängigkeit der semantischen Konvergenz

• Text (LLMs): Die stärkste gegenseitige Vorhersagbarkeit zwischen verschiedenen Sprachen findet sich in den zentralen Schichten des Netzwerks.
  • In frühen Schichten dominieren sprachspezifische Token-Informationen.
  • In den letzten Schichten dominieren taskspezifische Informationen (z. B. Next-Token-Vorhersage).
  • Die zentralen Schichten scheinen einen „universellen" semantischen Raum zu kodieren, der sprachunabhängig ist.
• Bilder (Vision Models):
  • Encoder-Modelle (DinoV2): Die semantische Information konzentriert sich in den letzten Schichten (optimiert für Downstream-Aufgaben wie Segmentierung).
  • Autoregressive Modelle (Image-gpt): Die semantische Information konzentriert sich in den mittleren Schichten, ähnlich wie bei Text-LLMs.

C. Informationsasymmetrien

Die II-Metrik deckt signifikante Asymmetrien auf, die von der Modellgröße, der Sprache und der Modalität abhängen:

1. Sprache: Englische Repräsentationen sind systematisch informativer als die anderer Sprachen (z. B. Italienisch). Dies gilt besonders für frühe und späte Schichten. In den zentralen Schichten ist die Vorhersagbarkeit jedoch symmetrisch.
2. Modellgröße: Das große Modell (DeepSeek-V3) ist ein besserer Prädiktor für das kleinere Modell (Llama3-8b) als umgekehrt. Die Asymmetrie ist in den späteren Schichten am stärksten.
3. Modalität: Bei Bild-Text-Paaren sind Textrepräsentationen (DeepSeek-V3) oft besser in der Vorhersage von Bildrepräsentationen als umgekehrt.

D. Cross-Modale Konvergenz und Skalierung

• Training vs. Skalierung: Zwei unabhängig trainierte Modelle (DeepSeek-V3 für Text und DinoV2 für Bilder) erreichen eine stärkere cross-modale Vorhersagbarkeit als das gemeinsam trainierte CLIP-Modell.
• Bedeutung: Dies deutet darauf hin, dass die Modellgröße (Scale) ein dominanterer Faktor für die semantische Konvergenz ist als explizites multimodales Training.
• Robustheit: Die besten Schichten für die cross-modale Ausrichtung entsprechen den Schichten, in denen die Modelle ihre jeweilige semantische Konvergenz (innerhalb der Modalität) erreichen (z. B. letzte Schicht bei DinoV2, mittlere Schicht bei autoregressiven Modellen).

4. Signifikanz und Fazit

Das Paper liefert einen wichtigen methodischen Fortschritt durch die Anwendung der Information Imbalance, die es erlaubt, nicht nur Ähnlichkeit, sondern auch die Richtung und Stärke der Informationsübertragung zwischen Repräsentationen zu quantifizieren.

Kernaussagen:

1. Semantische Konvergenz existiert: Es gibt einen gemeinsamen semantischen Raum, auf den verschiedene Modelle und Sprachen zusteuern, jedoch ist dies ein Phänomen spezifischer Verarbeitungsstufen (meist mittlere Schichten bei LLMs).
2. Asymmetrie ist allgegenwärtig: Die Annahme einer perfekten Symmetrie ist falsch. Größere Modelle und ressourcenreiche Sprachen (Englisch) dominieren die Informationshierarchie.
3. Skalierung schlägt Training: Die Fähigkeit, semantische Konvergenz über Modalitäten hinweg zu erreichen, hängt stärker von der Modellgröße ab als von explizitem multimodalem Training.
4. Verteilte Semantik: Semantik ist keine lokale Eigenschaft eines einzelnen Tokens, sondern eine globale Eigenschaft, die über Token-Gruppen verteilt ist.

Diese Ergebnisse stützen die Hypothese der platonischen Repräsentation, verfeinern sie jedoch durch die Erkenntnis, dass die Konvergenz schichtspezifisch ist und durch Asymmetrien in der Informationsverteilung geprägt wird, die von Architektur, Größe und Trainingsdaten abhängen.