Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
Die Studie zeigt, dass Transformer-Sprachmodelle zwar durch die Statistik ihrer Trainingsdaten eine konsistente logarithmische Magnitudenrepräsentation entwickeln, diese geometrische Struktur jedoch nicht ausreicht, um verhaltensbasierte psychophysische Diskriminationsfähigkeiten zu garantieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wie KI-Modelle Zahlen „fühlen": Ein psychologischer Blick ins Gehirn der Maschine
Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Computer (ein sogenanntes „Large Language Model" oder LLM) Zahlen, Zeit und Entfernungen im Inneren verarbeitet. Die Wissenschaftler haben sich gefragt: Denkt die KI wie ein Mensch, wenn es um Größenordnungen geht?
Die Antwort ist faszinierend und etwas verwirrend: Ja, aber nur auf einer Ebene. Auf einer anderen Ebene ist sie völlig blind.
Hier ist die Geschichte, wie die Forscher das herausgefunden haben, erzählt mit ein paar einfachen Bildern.
1. Das Rätsel: Zählen wie ein Mensch oder wie ein Lineal?
Bisher waren sich die Forscher uneinig. Manche sagten: „KI denkt linear, wie ein Lineal." Andere sagten: „Nein, sie denkt logarithmisch, wie ein menschliches Gehirn."
- Die Lineal-Theorie: Der Abstand zwischen 1 und 2 ist genauso groß wie zwischen 100 und 101.
- Die Logarithmus-Theorie (Weber-Gesetz): Für uns Menschen ist der Unterschied zwischen 1 und 2 riesig, aber der Unterschied zwischen 100 und 101 ist winzig. Wir nehmen relative Unterschiede wahr, nicht absolute.
Die Forscher (Jon-Paul Cacioli) haben nun drei verschiedene KI-Modelle (Llama, Mistral, Qwen) untersucht, um diesen Streit zu schlichten. Sie nutzten Werkzeuge aus der Psychologie, die normalerweise benutzt werden, um zu testen, wie gut Menschen Licht, Ton oder Gewichte unterscheiden können.
2. Die große Entdeckung: Die KI hat ein „logarithmisches Gehirn"
Das erste Ergebnis war eindeutig: Alle getesteten KIs haben eine innere Struktur, die genau wie die menschliche Wahrnehmung funktioniert.
- Die Analogie: Stellen Sie sich vor, die KI hat ein Regal für Zahlen. Auf dem unteren Regal (kleine Zahlen) sind die Fächer sehr weit auseinander. Auf dem oberen Regal (große Zahlen) sind die Fächer extrem eng gedrängt.
- Warum? Das liegt an den Daten, mit denen die KI trainiert wurde. In unserer Sprache kommen kleine Zahlen (wie „1", „2", „3") viel häufiger vor als große Zahlen (wie „1 Million"). Die KI hat gelernt, dass sie für die häufigen kleinen Zahlen mehr „Platz" im Gedächtnis braucht und für die seltenen großen Zahlen weniger. Das nennt man effiziente Kodierung.
- Das Ergebnis: Egal ob es um Zahlen, Zeit (Sekunden vs. Jahre) oder Entfernungen (Meter vs. Kilometer) geht – die KI speichert diese Informationen alle in diesem „eng gepackten" logarithmischen Format.
3. Das große Missverständnis: Haben das Gehirn, aber keine Hände
Hier wird es spannend. Die Forscher haben nicht nur geschaut, wie die KI speichert, sondern auch, ob sie das Speichern nutzen kann.
- Die Analogie: Stellen Sie sich vor, Sie haben einen perfekten Kompass in der Hand (das ist die logarithmische Struktur). Aber Sie sind blind und wissen nicht, wie man ihn benutzt. Sie können zwar den Norden „fühlen", aber Sie können nicht sagen: „Geh 10 Schritte nach Norden".
- Das Ergebnis:
- Bei Zahlen funktionierte es: Eine der KIs (Llama) konnte gut vergleichen, welche Zahl größer ist, und benutzte dabei genau das menschliche Muster (sie brauchte etwa 20 % Unterschied, um sicher zu sein).
- Bei Zeit und Entfernungen war die KI jedoch blind. Obwohl sie die logarithmische Struktur für „5 Minuten" und „2 Stunden" im Inneren hatte, konnte sie diese nicht nutzen, um zu sagen, was länger ist. Sie rät einfach zufällig.
- Warum? Die Forscher vermuten, dass die KI bei Zeit und Entfernungen verwirrt ist, weil wir oft verschiedene Einheiten mischen (Minuten, Stunden, Tage). Die KI sieht „5 Minuten" und „300 Sekunden" als völlig verschiedene Dinge, obwohl sie mathematisch gleich sind. Sie kann diese Einheiten nicht umrechnen.
4. Der verrückteste Teil: Wo passiert die Arbeit?
Die Forscher haben noch tiefer gegraben und die einzelnen Schichten der KI wie einen mehrstöfigen Gebäudekomplex untersucht.
- Die Analogie: Stellen Sie sich die KI als ein Bürogebäude vor.
- Die unteren Etagen (frühe Schichten): Hier werden die Rohdaten verarbeitet. Hier ist die „Zahl-Struktur" eigentlich noch etwas unordentlich. Aber hier passiert die eigentliche Arbeit. Wenn man hier einen kleinen Eingriff macht (wie einen Stromschlag), ändert sich die Antwort der KI sofort.
- Die oberen Etagen (späte Schichten): Hier ist die Struktur perfekt, sauber und wunderschön organisiert (die logarithmische Form ist hier am stärksten). Aber hier ist es tot. Wenn man hier eingreift, passiert gar nichts. Die KI „merkt" sich die Zahlen hier nur, nutzt sie aber nicht für die Entscheidung.
- Die Lehre: Das schönste Bild im Inneren der KI ist nicht unbedingt das, das die KI tatsächlich benutzt, um zu denken.
5. Das Fazit: Training macht den Unterschied
Am Ende haben die Forscher herausgefunden, dass zwei Dinge getrennt sind:
- Die Struktur (Das Gehirn): Diese entsteht automatisch durch das Training mit Texten. Da kleine Zahlen in Texten häufiger sind, baut sich automatisch diese logarithmische Struktur auf. Das passiert bei fast allen modernen KIs.
- Die Fähigkeit (Die Hände): Ob die KI diese Struktur auch nutzt, um Aufgaben zu lösen, hängt davon ab, wie sie danach „unterwiesen" wurde (Instruction Tuning).
- Eine KI (Llama) wurde so unterwiesen, dass sie die Struktur nutzt.
- Eine andere (Mistral) hat die gleiche Struktur, aber sie wurde nicht richtig unterwiesen, sie zu nutzen. Sie hat das Gehirn, aber keine funktionierenden Hände.
Zusammenfassung in einem Satz
Die KI hat gelernt, Zahlen so zu speichern, wie unser Gehirn es tut (mit mehr Fokus auf kleine Zahlen), aber ob sie diese Fähigkeit auch wirklich benutzt, um Vergleiche anzustellen, hängt davon ab, wie gut sie im „Schulunterricht" (Instruction Tuning) mitgemacht hat – und nicht davon, wie intelligent ihre innere Struktur aussieht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.