The Concept of Representation in ML: Beyond Plato and Aristotle

Die Karte und das Territorium: Ein kurzer Leitfaden

Stellen Sie sich vor, Sie versuchen, einem Freund die Welt zu beschreiben, der sein Haus nie verlassen hat. Sie könnten ihm eine Liste von Koordinaten geben, einen Haufen Rohdaten oder eine wunderschön gezeichnete Karte. In der Welt des Maschinellen Lernens (ML) wird die „Karte“ als Repräsentation bezeichnet. Es ist die interne Art und Weise, wie ein Computerprogramm die Informationen, die es sieht, organisiert – etwa indem es ein Foto einer Katze in eine Liste von Zahlen verwandelt, die besagt: „flauschig“, „spitze Ohren“ und „Schnurrhaare“. Lange Zeit kümmerten sich Ingenieure nur darum, ob diese Karten dem Computer halfen, Rätsel zu lösen, wie zum Beispiel die Katze korrekt zu identifizieren.

Doch vor kurzem geschah etwas Faszinierendes. Wissenschaftler stellten fest, dass, wenn sie verschiedene, massive Computermodelle bauten und sie auf unterschiedliche Dinge trainierten, ihre internen Karten überraschend ähnlich aussahen. Sie begannen sich zu fragen: Entdecken all diese Computer dieselbe „wahre“ Karte der Realität? Diese Idee wird als die Platonische Repräsentationshypothese bezeichnet. Sie legt nahe, dass es, genau wie es eine perfekte, ideale „Katze“ im Universum gibt, von der alle Katzen Kopien sind, eine einzige perfekte Struktur der Realität gibt, die alle intelligenten KI-Modelle langsam finden.

Philosophen streiten jedoch seit Jahrzehnten darüber, was es wirklich bedeutet, etwas zu „repräsentieren“. Sie fragen: Ist ein Bild einer Katze nur ein Bild, oder bedeutet es „Katze“? Spielt es eine Rolle, ob das Bild von einem Menschen, einem Roboter oder einem Blitzeinschlag gezeichnet wurde? Dieses Paper taucht in diese Frage ein. Es fragt, ob wir wirklich sagen können, dass KI-Modelle die „Wahrheit“ finden, nur weil ihre Karten ähnlich aussehen, oder ob wir nur eine clevere mathematische List sehen.

---

Wenn KI-Karten anfangen, gleich auszusehen

In der Welt des modernen maschinellen Lernens ist das Wort „Repräsentation“ die Geheimzutat. Denken Sie an sie wie an einen Übersetzer. Wenn Sie einem Computer das Bild eines Hundes zeigen, sieht er nicht Fell und Knochen; er sieht ein komplexes Muster aus Zahlen. Eine „Repräsentation“ ist die Art und Weise, wie der Computer diese Rohdaten in ein Format übersetzt, das er nutzen kann, um zu denken, zu lernen und zu generalisieren. Jahrelang verwendeten Ingenieure diesen Begriff auf eine sehr praktische, auf das Ziel gerichtete Weise: „Lass uns den Job erledigen“. Wenn ein Modell in der Lage war, ein chaotisches Bild in einen ordentlichen internen Code zu verwandeln, der half, ein Spiel zu gewinnen, dann war dieser Code eine gute Repräsentation.

Doch als diese KI-Modelle größer, intelligenter und menschenähnlicher wurden, verschob sich die Konversation. Forscher bemerkten ein seltsames Phänomen: Wenn man zwei völlig unterschiedliche KI-Modelle nimmt – eines, das auf Text trainiert wurde, ein anderes auf Bildern, beide mit unterschiedlichem Code gebaut – und in ihre Gehirne blickt, beginnen ihre internen Karten, identisch auszusehen. Sie konvergieren.

Diese Beobachtung führte zu einer kühnen Idee namens Die Platonische Repräsentationshypothese. Der Name stammt vom antiken Philosophen Platon, der glaubte, dass hinter unserer chaotischen, unvollkommenen Welt eine perfekte, einheitliche Realität existiert. Die Hypothese besagt, dass KI-Modelle, während sie größer werden, aufhören, nur Daten auswendig zu lernen, und beginnen, diese eine, zugrunde liegende Struktur der Realität zu „entdecken“. Es ist, als ob jeder Schüler in einer Klasse, der unterschiedliche Lehrbücher und unterschiedliche Lehrer nutzt, schließlich exakt denselben Aufsatz schreibt, weil sie alle dieselbe universelle Wahrheit aufdecken.

Der philosophische Geschwindigkeitsschaden

Die Autoren dieses Papers, Gilad D. Landau und Aviv Keren, sind hier, um in diese spannende Geschichte einzubremsen. Sie argumentieren, dass die Beobachtung der „konvergierenden Karten“ zwar real ist, der Sprung zu dem Schluss, dass KI die „Wahrheit der Realität“ findet, jedoch ein riesiger Sprung ist, der einige sehr wichtige Schritte überspringt.

Um zu verstehen, warum, müssen wir uns ein klassisches Problem der Philosophie ansehen, das Disjunktionsproblem. Stellen Sie sich vor, Sie haben einen Sensor, der piept, wann immer er einen Hund sieht. Großartig! Aber was ist, wenn der Sensor auch piept, wenn er ein Pferd im Nebel, eine Statue eines Hundes oder ein Bild eines Hundes sieht? Wenn der Sensor für all diese Dinge piept, was bedeutet das Piepen dann eigentlich? Bedeutet es „Hund“? „Tier“? „Hundähnliches Ding“? Oder „Hund bei schlechtem Licht“?

In der Welt der Ingenieurwissenschaften ist uns dieser Unterschied oft egal. Wenn das Piepen dem Roboter hilft, dem Hund auszuweichen, funktioniert es. Aber in der Philosophie muss ein Zustand, um eine wahre „Repräsentation“ zu sein, eine spezifische Bedeutung haben und darf nicht nur eine vage Korrelation sein. Das Paper weist darauf hin, dass die „Platonische Hypothese“ darauf basiert, wie ähnlich sich die internen Karten verschiedener Modelle sind. Sie verwenden eine Methode namens Kernel-Alignment, die im Grunde prüft, ob zwei Modelle ihre Daten in derselben geometrischen Form organisieren.

Das Problem ist, dass nur weil zwei Karten gleich aussehen, das nicht bedeutet, dass sie auf dieselbe Wahrheit zeigen. Die Autoren argumentieren, dass diese Modelle vielleicht nur dieselben „Abkürzungen“ oder statistischen Muster in den Daten finden, nicht aber die tiefe Struktur der Realität. Es ist wie zwei Schüler, die dieselbe falsche Antwort von einem Spickzettel abschreiben; ihre Antworten stimmen perfekt überein, aber sie haben die Wahrheit nicht gelernt.

Der „Swampman“ und die fehlende Geschichte

Das Paper bringt auch ein berühmtes Gedankenexperiment namens Swampman ein. Stellen Sie sich vor, ein Blitz schlägt in einen Sumpf ein und erschafft versehentlich eine molekulare Kopie eines Menschen. Dieser „Swampman“ sieht aus und handelt exakt wie ein echter Mensch. Aber weil er nicht geboren wurde und nicht evolvierte, hat er dann Gedanken? Hat er „Repräsentationen“ der Welt, oder ist er nur eine hohle Hülle, die Verhalten nachahmt?

Klassische Theorien der Repräsentation besagen, dass etwas, um Bedeutung zu haben, eine Geschichte von Evolution oder Lernen benötigt, die es geformt hat, um korrekt zu funktionieren. KI-Modelle ähneln eher dem Swampman als echten Menschen; sie werden entworfen und trainiert, nicht entwickelt. Das Paper legt nahe, dass wir nicht einfach davon ausgehen können, dass diese Modelle „reale“ Repräsentationen besitzen, nur weil sie unseren ähneln. Wir müssen verstehen, wie sie diese Repräsentationen nutzen, um zu Erfolg oder Misserfolg bei Aufgaben zu führen.

Eine neuere Theorie, die der Philosoph Nicholas Shea vorgeschlagen hat, bietet einen Mittelweg. Sie besagt, dass selbst wenn ein System nicht biologisch entwickelt wurde, es dennoch echte Repräsentationen entwickeln kann, wenn es aus seiner Umgebung lernt und sein Verhalten im Laufe der Zeit stabilisiert. Dies erfordert jedoch mehr als nur den Blick auf die Form der Daten; es erfordert den Blick auf die Funktion. Was tut die Repräsentation?

Der aristotelische Twist: Der Realitätscheck

Das Paper hebt eine faszinierende Folgestudie hervor, die die platonische Sichtweise aus einem technischen Blickwinkel heraus herausfordert. Diese Studie mit dem Titel „Revisiting the Platonic Representation Hypothesis: An Aristotelian View“ legt nahe, dass Modelle, wenn sie größer werden, tatsächlich mehr Raum für zufällige Verbindungen haben.

Denken Sie es sich so vor: Wenn Sie eine Münze 10 Mal werfen, ist es schwer, ein perfektes Muster zu erhalten. Aber wenn Sie sie eine Million Mal werfen, werden Sie durch Zufall irgendwann eine lange Serie von Köpfen finden. Ähnlich verhält es sich mit massiven KI-Modellen: Die Anzahl der möglichen „spuriösen Korrelationen“ (zufälligen Übereinstimmungen) wächst. Die Studie fand heraus, dass die „perfekte Ausrichtung“ zwischen Modellen oft verschwindet, wenn man diese zufälligen Übereinstimmungen berücksichtigt.

Was bleibt, ist eine bescheidenere, „aristotelische“ Sichtweise. Anstatt eine einzige perfekte, universelle Wahrheit zu finden (Platon), finden die Modelle lediglich die besten lokalen Lösungen für die spezifischen Aufgaben, die sie gerade ausführen (Aristoteles). Sie konvergieren auf die Strukturen, die ihnen helfen, das jeweilige Problem zu lösen, nicht notwendigerweise auf die fundamentale Struktur des Universums.

Was dies für die Zukunft bedeutet

Die Hauptbotschaft dieses Papers ist ein Aufruf zu Demut und Klarheit. Die Autoren sagen nicht, dass KI nutzlos ist oder dass sie nicht lernt. Sie sagen, dass wir vorsichtig mit unseren Worten sein müssen. Wenn wir sehen, dass zwei KI-Modelle sich über eine interne Struktur einig sind, sollten wir nicht sofort zu metaphysischen Schlussfolgerungen über die Natur der Realität übergehen.

Stattdessen müssen wir tiefer graben. Wir müssen fragen:

1. Was ist der Inhalt? Was genau repräsentiert das Modell, und wie wissen wir, dass es kein Zufall ist?
2. Was ist die Funktion? Wie hilft dieser interne Zustand dem Modell, bei einer spezifischen Aufgabe erfolgreich oder erfolglos zu sein?
3. Wer benutzt es? Wie interpretieren andere Teile des Systems diese Information?

Das Paper legt nahe, dass wir, um wirklich zu verstehen, was eine KI repräsentiert, über das bloße Messen der Ähnlichkeit ihrer Karten hinausgehen müssen. Wir müssen Werkzeuge aus der Philosophie nutzen, um die Rolle zu verstehen, die diese Karten spielen. Bis wir erklären können, wie diese Modelle die Bedeutung ihrer eigenen internen Zustände festlegen, bleibt die Idee, dass sie eine „platonische Wahrheit“ entdecken, eine schöne, aber unbewiesene Geschichte.

Kurz gesagt: Das Paper argumentt, dass die „Platonische Repräsentationshypothese“ zwar eine faszinierende Idee ist, die Beweise, die uns bisher vorliegen, jedoch nur zeigen, dass KI-Modelle besser darin werden, ähnliche Muster zu finden. Es beweist nicht, dass sie die ultimative Wahrheit des Universums finden. Um das zu wissen, müssen wir mehr tun, als nur auf die Karten zu schauen; wir müssen die Reise verstehen, die die Modelle zurückgelegt haben, um sie zu zeichnen.