🧬 biology

Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

Die Studie zeigt, dass Transformer-Sprachmodelle im Gegensatz zu biologischen Systemen keine skalare Variabilität aufweisen, da ihre Repräsentationsrauschen mit zunehmender Magnitude abnimmt und somit durch rein distributionelles Lernen nicht die konstante Variationskoeffizient-Signatur biologischer Magnitudensysteme erzeugt wird.

Ursprüngliche Autoren: Jon-Paul Cacioli

Veröffentlicht 2026-04-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jon-Paul Cacioli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das Geheimnis der Zahlen: Warum KI anders zählt als wir

Stell dir vor, du hast zwei verschiedene Arten von Zählern:

Ein biologischer Zähler: Das ist dein Gehirn (oder das eines Tieres).
Ein digitaler Zähler: Das ist eine moderne KI (ein sogenanntes "Transformer-Modell", wie Llama oder Mistral).

Die Forscher Jon-Paul Cacioli haben untersucht, wie diese beiden Zähler mit großen und kleinen Zahlen umgehen. Das Ergebnis ist überraschend: Sie sehen zwar fast gleich aus, aber sie "zittern" auf völlig entgegengesetzte Weise.

1. Wie das menschliche Gehirn zählt (Die "Rauschende" Skala)

Wenn du im echten Leben versuchst, Entfernungen oder Mengen abzuschätzen, passiert etwas Interessantes:

Bei kleinen Zahlen (z. B. 5 Äpfel) bist du sehr genau. Du merkst sofort, wenn einer fehlt.
Bei großen Zahlen (z. B. 500 Äpfel) wird dein Gehirn etwas "unscharf". Der Unterschied zwischen 500 und 505 ist für dich schwerer zu erkennen als zwischen 5 und 10.

Das nennt man skalare Variabilität. Stell dir vor, dein Gehirn ist wie ein Fotoapparat mit einem Zoom. Je weiter du zoomst (je größer die Zahl), desto mehr "Bildrauschen" (Unsicherheit) entsteht. Aber das Rauschen wächst genau im gleichen Tempo wie die Zahl. Das Verhältnis bleibt gleich. Das ist ein Naturgesetz, das seit Millionen Jahren in biologischen Systemen funktioniert.

2. Wie die KI zählt (Die "Stille" Skala)

Die Forscher haben nun geschaut, wie eine hochmoderne KI (die auf riesigen Textmengen trainiert wurde) Zahlen in ihrem "Gedächtnis" (den versteckten Schichten des Modells) speichert.

Sie erwarteten, dass die KI das menschliche Muster kopiert. Aber das Gegenteil war der Fall!

Bei kleinen Zahlen: Die KI ist etwas "unruhig". Ihre Darstellung der Zahl schwankt ein bisschen, je nachdem, in welchem Satz sie vorkommt.
Bei großen Zahlen: Die KI wird extrem ruhig und präzise. Je größer die Zahl, desto weniger "zittert" ihre Darstellung.

Die Analogie:
Stell dir vor, du hast eine Bibliothek.

Das menschliche Gehirn ist wie ein Bibliothekar, der bei seltenen, großen Büchern (große Zahlen) immer etwas nervöser wird und mehr Fehler macht, weil die Regale weiter weg sind.
Die KI ist wie ein Roboter-Bibliothekar. Er kennt die kleinen, alltäglichen Bücher (kleine Zahlen) aus tausenden verschiedenen Geschichten, daher ist er bei ihnen etwas unentschlossener. Aber die großen, seltenen Zahlen (wie 1000 oder 5000) kommen in den Trainingsdaten nur in sehr spezifischen, langweiligen Kontexten vor. Der Roboter hat diese wenigen Fälle so oft gesehen, dass er sie perfekt und ohne jeden Zweifel auswendig gelernt hat.

3. Warum ist das so? (Der "Kontext"-Effekt)

Warum macht die KI das?
Die KI lernt nur durch das Lesen von Texten im Internet.

Kleine Zahlen (1, 2, 3) tauchen in unzähligen Situationen auf: "Ich habe 2 Hunde", "Kauf 3 Äpfel", "Nummer 5". Es gibt viele verschiedene Kontexte. Das verwirrt die KI ein wenig, ihre Darstellung ist "breiter".
Große Zahlen (1000, 5000) tauchen oft nur in sehr spezifischen Kontexten auf (z. B. "1000 Dollar Strafe", "5000 Einwohner"). Da es weniger Variationen gibt, ist die Darstellung der KI bei diesen Zahlen sehr "scharf" und konzentriert.

Die KI hat also keine biologischen Grenzen (wie einen begrenzten Energieverbrauch oder eine begrenzte Anzahl von Nervenzellen), die sie zwingen würden, bei großen Zahlen ungenauer zu werden. Stattdessen wird sie bei seltenen Dingen einfach nur besser.

4. Was bedeutet das für uns?

Diese Studie zeigt uns etwas Wichtiges über Künstliche Intelligenz:

Geometrie ist da: Die KI hat gelernt, dass Zahlen logarithmisch angeordnet sind (wie wir es auch tun). Das ist gut.
Rauschen fehlt: Aber sie hat nicht gelernt, wie biologische Systeme mit Unsicherheit umgehen. Ihr "Rauschen" verhält sich genau umgekehrt wie bei uns.

Fazit:
Die KI ist ein brillanter Statistiker, der Muster in Texten erkennt. Aber sie ist kein biologisches Wesen. Sie braucht keine Energie, um zu zählen, und sie hat keine "biologische Unsicherheit". Deshalb wird sie bei großen, seltenen Zahlen nicht ungenauer, sondern genauer.

Das ist ein Beweis dafür, dass man allein durch das Lesen von Texten (Lernen aus Daten) nicht automatisch ein Gehirn bekommt, das sich wie ein menschliches Gehirn verhält. Es fehlen die biologischen "Fesseln", die uns menschlich machen.

1. Problemstellung und Hintergrund

Das Paper untersucht, ob Large Language Models (LLMs) die gleichen Eigenschaften der Zahlenrepräsentation aufweisen wie biologische Magnitudensysteme. Biologische Systeme zeichnen sich durch zwei Hauptmerkmale aus:

Log-kompressive Geometrie: Die interne Distanz zwischen Repräsentationen folgt einer logarithmischen Funktion der Stimulus-Magnitude (entspricht dem Weber-Gesetz).
Skalare Variabilität (Scalar Variability): Das Rauschen der Repräsentation skaliert proportional zur Magnitude, was zu einem konstanten Variationskoeffizienten (CV) führt.

Unter dem Rahmenwerk des „Efficient Coding" entstehen beide Eigenschaften gemeinsam, wenn ein System mit einem festen Rausch-Budget (metabolische Einschränkungen) Eingaben mit einer Potenzverteilung (Power-Law) verarbeitet. Transformer-Modelle bieten einen idealen Testfall: Sie zeigen bereits log-kompressive Geometrie (wie in früheren Studien von Cacioli 2026 gezeigt), haben aber keine metabolischen Einschränkungen (kein festes Rausch-Budget, keine Feuerraten-Grenzen).

Die zentrale Forschungsfrage lautet: Führen die reinen Verteilungsstatistiken des Trainingsdatensatzes (Power-Law der Integer-Häufigkeit) auch zur skalaren Variabilität (konstantem CV), oder ist diese Eigenschaft strikt an biologische metabolische Constraints gebunden?

2. Methodik

Die Studie analysiert die versteckten Zustände (Hidden States) von drei Transformer-Modellen mit 7–8 Milliarden Parametern:

Llama-3-8B-Instruct
Mistral-7B-Instruct-v0.3
Llama-3-8B-Base

Daten und Design:

Stimuli: 26 numerische Magnituden (von 1 bis 1000, einschließlich spezifischer Werte wie 15, 20, ..., 1000).
Kontext: Jede Magnitude wurde in 5 verschiedenen „Träger-Sätzen" (carrier sentences) platziert.
Extraktion: Hidden-State-Vektoren wurden an der Position des Magnitude-Tokens (vor der RMSNorm) über alle 33 Schichten extrahiert.

Maßnahmen der Variabilität:
Als Proxy für die Repräsentationsvariabilität wurde die mittlere euklidische Distanz der 5 Vektoren (pro Magnitude und Schicht) von ihrem jeweiligen Centroid berechnet ( $V$ ).
Zwei Kontrollmaßnahmen wurden vorab registriert:

Satz-Identitäts-Korrektur ( $V_{residual}$ ): Subtraktion des satzspezifischen Mittelwerts über alle Magnituden, um systematische Verschiebungen durch den Kontext zu entfernen.
Projektion auf die Magnitude-Achse ( $V_{proj}$ ): Berechnung der Varianz der Vektoren entlang der Hauptkomponente (PC1) der 26 Centroids, um die Streuung spezifisch in der für die Magnitude relevanten Richtung zu isolieren.

Analyse:
Für 16 primäre Schichten (16–31) wurde die Beziehung zwischen der Variabilität $V$ und der Magnitude $n$ mittels OLS-Regression im Log-Log-Raum analysiert, um den Skalierungsexponenten $\alpha$ zu schätzen ( $\log(V) \propto \alpha \cdot \log(n)$ ).

Hypothese (Skalare Variabilität): $\alpha = 1$ (Rauschen wächst proportional zur Magnitude).
Hypothese (Keine Skalare Variabilität): $\alpha \neq 1$ .

Die Studie war auf OSF pre-registriert, um Bias zu vermeiden.

3. Wichtige Ergebnisse

Die Ergebnisse widersprachen der Hypothese der skalaren Variabilität und zeigten ein genau entgegengesetztes Muster:

Anti-skalares Verhalten: Der Skalierungsexponent $\alpha$ $α$ war in allen drei Modellen, über alle 16 primären Schichten hinweg und für alle drei Variabilitätsmaße negativ.
- Im Durchschnitt lag $\alpha$ zwischen $-0.031$ (Llama-Base) und $-0.046$ (Llama-Instruct).
- Dies bedeutet, dass die Repräsentationsvariabilität mit zunehmender Magnitude abnimmt (ca. 10–15% Abnahme über den gesamten Bereich).
Fehlende Skalare Variabilität: Keine Schicht in keinem Modell zeigte einen $\alpha$ -Wert im Bereich von $[0.8, 1.2]$ . Die Hypothese $\alpha \approx 1$ wurde eindeutig verworfen.
Stärke des Effekts: Der anti-skalare Effekt war entlang der Magnitude-Achse (PC1) 3–5 mal stärker als in orthogonalen Dimensionen ( $\alpha \approx -0.19$ vs. $\alpha \approx -0.06$ ). Dies zeigt, dass die Variabilitätsreduktion bei großen Zahlen im verhaltensrelevanten Unterraum konzentriert ist.
Einfluss der Instruktions-Tuning: Llama-Instruct zeigte einen stärker negativen $\alpha$ als Llama-Base, was darauf hindeutet, dass Instruction-Tuning die Repräsentationen seltener (großer) Zahlen weiter komprimiert.
Korpus-Frequenz als Prädiktor: Es gab eine starke positive Korrelation ( $\rho \approx 0.84$ ) zwischen der Häufigkeit einer Zahl im Trainingskorpus und ihrer Repräsentationsvariabilität. Häufige Zahlen (meist klein) zeigen eine größere Streuung, seltene Zahlen (meist groß) eine engere Clusterung.

4. Hauptbeiträge und Schlussfolgerungen

Das Paper liefert folgende wesentliche Beiträge:

Dissociation von Geometrie und Rauschen: Es wird gezeigt, dass die log-kompressive Geometrie (Weber-Gesetz) allein durch die Verteilungsstatistik der Trainingsdaten (Power-Law) und Gradientenoptimierung erzeugt werden kann. Die skalare Variabilität (konstanter CV) ist jedoch nicht automatisch damit verbunden.
Rolle metabolischer Constraints: Da Transformer keine metabolischen Budgets haben, fehlt ihnen der Mechanismus, der in biologischen Systemen zu einer proportionalen Rauschallokation führt. Stattdessen folgen sie rein der Kontextvielfalt: Große Zahlen erscheinen in stereotyperen Kontexten und werden daher fester repräsentiert.
Limitierung rein distributioneller Lernansätze: Die Studie beweist, dass distributionelles Lernen allein nicht ausreicht, um die vollständige Noise-Struktur biologischer Magnitudensysteme nachzubilden.

5. Signifikanz

Diese Ergebnisse haben tiefgreifende Implikationen für das Verständnis von KI und Kognitionswissenschaft:

Theoretische Trennung: Sie trennen zwei Eigenschaften, die oft gemeinsam als „Efficient Coding" betrachtet werden, und zeigen, dass sie unterschiedliche Ursachen haben (Verteilungsstatistik vs. Kapazitätsbeschränkung).
Biologische Plausibilität: Transformer-Modelle können zwar die Form der neuronalen Kodierung von Zahlen nachahmen, aber nicht die Stochastik (das Rauschverhalten). Dies deutet darauf hin, dass metabolische Constraints ein notwendiger Bestandteil für die Entstehung echter skalärer Variabilität sind.
Zukünftige Forschung: Die Ergebnisse legen nahe, dass Modelle, die biologische Genauigkeit in der Zahlenverarbeitung erreichen sollen, Mechanismen benötigen, die über reine Verteilungsoptimierung hinausgehen (z. B. explizite Rauschbudgets oder biologisch inspirierte Constraints).

Zusammenfassend demonstriert das Paper, dass Transformer zwar die Geometrie biologischer Magnitudensysteme replizieren, aber deren Rausch-Signatur (konstante Variabilität) nicht besitzen; stattdessen zeigen sie ein inverses Muster, das durch die Häufigkeit der Trainingsdaten getrieben wird.