🧬 biology

Signal-to-Noise Ratio and Sample Size Govern Representational Alignment in Neural Networks

Diese Arbeit zeigt, dass die rechnerische Ausrichtung über neuronale Netze hinweg in nicht-monotoner Weise vom Signal-Rausch-Verhältnis und der Stichprobengröße bestimmt wird, wobei insbesondere eine minimierte Ausrichtung in der Nähe des Interpolationsschwellenwerts beobachtet wird, ein Phänomen, das von der Generalisierungsleistung entkoppelt ist.

Ursprüngliche Autoren: Ali Hussaini Umar, Alessandro Laio

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Hussaini Umar, Alessandro Laio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Die große Idee: Lernen verschiedene Schüler auf die gleiche Weise?

Stellen Sie sich einen Klassenraum mit Schülern (neuronale Netze) vor, die alle versuchen, dasselbe Fach zu lernen (wie Mathematik oder das Erkennen von Katzen auf Fotos). Sie geben jedem Schüler ein leicht unterschiedliches Lehrbuch (Trainingsdaten) und lassen sie in Ruhe lernen.

Normalerweise gehen wir davon aus, dass, wenn zwei Schüler dieselbe Testnote erzielen, sie das Material auf die gleiche Weise gelernt haben müssen. Aber dieses Papier stellt eine tiefere Frage: Selbst wenn sie dieselbe Note erzielen, sehen sie die Welt dann wirklich auf die gleiche Weise in ihren Köpfen?

Die Forscher kamen zu dem Ergebnis, dass die Antwort nein lautet. Zwei Schüler können die Prüfung bestehen, aber völlig unterschiedliche mentale Landkarten des Fachs haben. Darüber hinaus verändern die Qualität ihrer Lehrbücher (wie klar die Informationen sind) und die Größe ihrer Lehrbücher (wie viele Beispiele sie studieren), wie sie ihr Denken ausrichten, aber nicht immer so, wie man erwarten würde.

Die Werkzeuge: Messen der „mentalen Ähnlichkeit"

Um herauszufinden, ob zwei Schüler ähnlich denken, benötigten die Forscher ein spezielles Lineal. Standard-Lineale (wie das Prüfen, ob zwei Karten ähnlich aussehen) funktionierten nicht gut, weil die inneren Landkarten der Schüler gekrümmt und verdreht waren wie eine Achterbahn, nicht flach wie ein Stück Papier.

Stattdessen nutzten sie ein Werkzeug namens Conditional Copula Entropy (CCE).

Die Analogie: Stellen Sie sich vor, Schüler A hat eine Stadtkarte. Wenn Sie Schüler A sagen: „Ich stehe direkt neben der Bibliothek", kann Schüler B dann erraten, wo Sie sind?
- Wenn Schüler B leicht erraten kann, sind ihre Karten ausgerichtet (sie sehen die Nachbarschaftsstruktur auf die gleiche Weise).
- Wenn Schüler B völlig verloren ist, sind ihre Karten nicht ausgerichtet.
Die Forscher maßen, wie gut die „Nachbarschafts"-Vorhersagen eines Schülers mit denen des anderen übereinstimmten.

Die zwei Hauptfaktoren

Das Papier testete zwei Dinge, die beeinflussen, wie diese Schüler lernen:

1. Signal-zu-Rausch-Verhältnis (SNR): „Die Klarheit des Lehrbuchs"

Die Analogie: Stellen Sie sich vor, Sie lernen für eine Prüfung.
- Hoher SNR: Das Lehrbuch ist klar, der Lehrer spricht laut, und es gibt kein Hintergrundrauschen.
- Niedriger SNR: Das Lehrbuch ist verschwommen, der Lehrer murmelt, und draußen ist Baustellenlärm.
Die Erkenntnis: Wenn das „Lehrbuch" klarer ist (hoher SNR), werden die inneren Landkarten der Schüler einander ähnlicher. Sie sind sich alle einig, wie die Nachbarschaft aussieht. Wenn das Rauschen hoch ist, werden ihre inneren Landkarten chaotisch und voneinander unterschiedlich.

2. Stichprobengröße: „Die Größe des Lehrbuchs"

Die Analogie: Wie viele Seiten mit Beispielen studiert der Schüler?
- Zu wenige Seiten: Sie haben nicht genug Beispiele gesehen, um eine fundierte Meinung zu bilden.
- Genug Seiten: Sie haben genau genug, um die Antworten perfekt auswendig zu lernen.
- Zu viele Seiten: Sie haben so viele Beispiele gesehen, dass sie beginnen, Muster zu finden, die gar nicht existieren.
Die Erkenntnis: Hier wird es seltsam. Die Ausrichtung ihres Denkens geht nicht in einer geraden Linie auf und ab.
- Sie fällt genau dann auf ihren tiefsten Punkt, wenn der Schüler gerade genug Daten hat, um den Trainingsdatensatz perfekt auswendig zu lernen (die „Interpolationsschwelle").
- In genau diesem Moment sind ihre inneren Landkarten, obwohl sie bei der Übungsprüfung vielleicht perfekte Noten erzielen, völlig unterschiedlich. Sie alle lernen die Antworten auf ihre eigene, chaotische Weise auswendig.
- Sobald sie mehr als das lernen (überparametrisiert), beginnen ihre Landkarten wieder, sich auszurichten.

Die überraschende Wendung: Gute Noten $\neq$ gutes Verständnis

Die wichtigste Entdeckung ist, dass eine gute Note nicht bedeutet, dass man ein gutes Verständnis hat.

Das Szenario: Die Forscher verglichen ein „Lineares Netz" (ein einfacher Schüler) und ein „Nicht-lineares Netz" (ein komplexer, kreativer Schüler).
Das Ergebnis: Der einfache Schüler erzielte bessere Testergebnisse (geringerer Fehler). Der komplexe Schüler hatte jedoch bessere, strukturiertere innere Landkarten.
Die Erkenntnis: Der komplexe Schüler lernte eine reichhaltigere, informativere Art, die Daten zu sehen, obwohl er bei der Abschlussprüfung mehr Fehler machte.
Die Warnung: Wenn Sie nur die Testergebnisse (Generalisierungsfehler) betrachten, denken Sie vielleicht, der einfache Schüler sei „klüger" oder habe ein besseres Modell. Aber in Wirklichkeit hat der komplexe Schüler eine nützlichere innere Repräsentation der Welt.

Zusammenfassung in einfacher Sprache

Ausrichtung: Neuronale Netze, die auf unterschiedlichen Daten trainiert wurden, landen oft mit ähnlichen inneren „Landkarten" der Welt.
Klarheit ist wichtig: Je klarer die Daten sind (weniger Rauschen), desto ähnlicher werden diese Landkarten.
Menge ist tückisch: Die Größe des Datensatzes verändert die Ausrichtung in einer „U-Form". Die Landkarten sind am unterschiedlichsten (am wenigsten ausgerichtet), genau dann, wenn das Netz gerade groß genug ist, um die Trainingsdaten perfekt auswendig zu lernen.
Leistung ist ein schlechter Stellvertreter: Ein Netz kann eine höhere Testnote erzielen, aber dennoch eine „dümmer" oder weniger informative innere Landkarte haben als ein Netz mit einer niedrigeren Note. Sie können die Qualität des inneren Denkens eines Netzes nicht allein anhand seiner Testergebnisse beurteilen.

Das Papier kommt zu dem Schluss, dass wir, um zu verstehen, wie KI lernt, in das „Gehirn" (die Repräsentationen) schauen müssen, nicht nur auf die endgültige Testnote.

Technische Zusammenfassung: Signal-Rausch-Verhältnis und Stichprobengröße bestimmen die Ausrichtung von Repräsentationen in neuronalen Netzen

Problemstellung

Deep-Learning-Modelle, die unabhängig voneinander trainiert werden, konvergieren häufig zu strukturell ähnlichen internen Repräsentationen, ein Phänomen, das als Ausrichtung von Repräsentationen (representational alignment) bekannt ist. Obwohl die empirischen Belege für diese „Hypothese der platonischen Repräsentation" robust sind, bleiben die theoretischen Mechanismen, die sie steuern, unklar. Insbesondere bestehen weiterhin grundlegende Fragen bezüglich:

Wie die Ausrichtung von der Qualität (Rauschpegel) und der Quantität (Stichprobengröße) der Trainingsdaten abhängt.
Ob die Mechanismen, die die Ausrichtung antreiben, sich zwischen unterparametrisierten und überparametrisierten Regimen unterscheiden.
Ob die Ausrichtung von Repräsentationen ein zuverlässiger Prädiktor für die Modellqualität (Generalisierungsfehler) ist.

Bestehende Studien quantifizieren Ausrichtung primär mit Werkzeugen wie der Representational Similarity Analysis (RSA), der Singular Vector Canonical Correlation Analysis (SVCCA) und der Centered Kernel Alignment (CKA). Diese Metriken gehen jedoch häufig von linearen Korrespondenzen aus und können für Repräsentationen ungeeignet sein, die auf stark gekrümmten, nichtlinearen Mannigfaltigkeiten liegen. Ferner ist unklar, ob eine bessere Generalisierungsleistung notwendigerweise stärker ausgerichtete interne Repräsentationen impliziert.

Methodik

Theoretischer Rahmen und Metrik

Die Autoren schlagen ein neues statistisches Maß für Ausrichtung vor, die bedingte Copula-Entropie (CCE). Im Gegensatz zu symmetrischen Maßen (z. B. CKA) ist CCE asymmetrisch und quantifiziert, wie gut die Nachbarschaftsstruktur einer Repräsentation die Nachbarschaftsstruktur einer anderen vorhersagt.

Definition: CCE wird aus dem Informationsungleichgewicht (Information Imbalance, II) abgeleitet und als die negative bedingte Entropie von Copula-Variablen definiert: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$ .
Begründung: Sie erfasst die lokale Ausrichtung von Repräsentationen, indem sie die Reduktion der Unsicherheit über Abstände im Raum $B$ misst, gegeben, dass Punkte im Raum $A$ infinitesimal nahe beieinander liegen.
Analytische Handhabbarkeit: Entscheidend ist, dass CCE für eindimensionale Projektionen von Gaußschen Vektoren einen geschlossenen Ausdruck zulässt, der vom Korrelationskoeffizienten $\rho$ abhängt: $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$ .

Experimenteller Aufbau

Die Studie verfolgt einen mehrstufigen Ansatz zur Validierung der Theorie:

Lineares Lehrer-Schüler-Setting (Analytisch):
- Modell: Ein zweischichtiges tiefes lineares Netz, das mittels Gradientenabstieg auf einer verrauschten linearen Regressionsaufgabe trainiert wird ( $y = w^* \cdot x + \epsilon$ ).
- Protokoll: Zwei identische Schüler-Netze werden unabhängig auf unabhängigen Datensätzen trainiert, die aus derselben Lehrerverteilung gezogen werden.
- Analyse: Die Autoren leiten die asymptotische Korrelation ( $\rho^*$ ) zwischen den versteckten Repräsentationen der beiden Netze am globalen Minimum her. Dies ermöglicht die analytische Berechnung der CCE als Funktion des Signal-Rausch-Verhältnisses (SNR) und des Verhältnisses von Trainingsstichproben zur Eingabedimension ( $\alpha = n/d$ ).
Nichtlineare Simulationen (Numerisch):
- Modell: Zweischichtige Netze mit ReLU-Aktivierungsfunktionen.
- Aufgabe: Dieselbe synthetische Regressionsaufgabe wie im linearen Setting.
- Vergleich: Direkter Vergleich von Ausrichtung und Generalisierungsfehler zwischen linearen und ReLU-Netzen, die auf denselben Daten trainiert wurden.
Klassifizierung mit Realwelt-Daten:
- Datensätze: CIFAR-10 (unter Verwendung eines CNN) und MNIST (unter Verwendung eines vollständig verbundenen neuronalen Netzes).
- Protokoll: Netze werden auf unabhängigen Teilmengen von Daten mit variierenden Levels an Label-Rauschen (als inverses SNR wirkend) trainiert.
- Metrik: CCE wird zwischen den Repräsentationen der vorletzten Schicht berechnet.

Hauptbeiträge

Theoretische Herleitung: Das Papier etabliert einen theoretischen Rahmen zur Analyse der Ausrichtung von Repräsentationen in tiefen linearen Netzen und leitet geschlossene Ausdrücke für CCE basierend auf der Korrelation der gelernten Gewichte ab.
Steuernde Faktoren: Die Autoren zeigen, dass die Ausrichtung von zwei primären Faktoren gesteuert wird:
- Signal-Rausch-Verhältnis (SNR): Die Ausrichtung nimmt über alle Regime hinweg (linear und nichtlinear, Regression und Klassifizierung) monoton mit dem SNR zu.
- Stichprobengröße: Die Ausrichtung variiert nicht-monoton mit der Trainingsstichprobengröße. Sie erreicht ein Minimum nahe der Interpolationsschwelle ( $n \approx d$ oder $n \approx p$ ) und spiegelt dabei das „Double-Descent"-Verhalten wider, das beim Generalisierungsfehler beobachtet wird.
Entkopplung von Ausrichtung und Generalisierung: Die Studie liefert Belege dafür, dass eine hohe Generalisierungsleistung nicht notwendigerweise eine hohe Ausrichtung von Repräsentationen impliziert.
- Im unterparametrisierten Regime können Netze mit unterschiedlichen SNRs identische Generalisierungsfehler erreichen, aber unterschiedliche Grade an Ausrichtung aufweisen.
- Im überparametrisierten Regime können Netze mit niedrigerem SNR (bessere Generalisierung) weniger ausgerichtete Repräsentationen haben als solche mit höherem SNR.
Informationsgehalt vs. Leistung: Das Papier zeigt, dass ein Netz eine höhere Aufgabenleistung erzielen kann, während es weniger informative interne Repräsentationen lernt als ein Netz mit niedrigerer Leistung. Dies unterstreicht, dass die Aufgabenleistung ein unzureichender Proxy für die Qualität der Repräsentation ist.

Ergebnisse

Lineare Netze

Generalisierungsfehler: Zeigt die charakteristische Double-Descent-Kurve mit einem Peak an der Interpolationsschwelle ( $\alpha = 1$ ).
Ausrichtung (CCE): Zeigt ebenfalls eine nicht-monotone Abhängigkeit von der Stichprobengröße und erreicht ein Minimum (nahe null Ausrichtung) an der Interpolationsschwelle.
SNR-Abhängigkeit: Ein höheres SNR führt konsistent zu einer stärkeren Ausrichtung. Bemerkenswert ist, dass im unterparametrisierten Regime ( $\alpha > 1$ ) unterschiedliche SNRs denselben Generalisierungsfehler, aber unterschiedliche Ausrichtungslevel ergeben.

Nichtlineare Netze (ReLU)

Qualitative Ähnlichkeit: Das Verhalten von CCE und Generalisierungsfehler in ReLU-Netzen spiegelt das lineare Fallbeispiel qualitativ wider: nicht-monotone Abhängigkeit von der Stichprobengröße mit einem Minimum nahe der Interpolationsschwelle und monotone Verbesserung mit dem SNR.
Quantitative Unterschiede: Im Gegensatz zum linearen Fall divergiert der Generalisierungsfehler an der Interpolationsschwelle nicht, und die CCE kollabiert nicht auf null. Stattdessen konvergiert sie auf einen SNR-abhängigen Wert, was darauf hindeutet, dass nichtlineare Netze selbst an der Schwelle noch einige gemeinsame Informationen behalten.
Vergleich Linear vs. ReLU: Wenn auf demselben Datensatz trainiert, erreicht das lineare Netz einen niedrigeren Generalisierungsfehler (näher am Bayes-optimalen Lerner für dieses lineare Problem), lernt jedoch weniger informative Repräsentationen (niedrigere CCE) im Vergleich zum ReLU-Netz. Das ReLU-Netz erfasst trotz höherem Fehler reichhaltigere strukturelle Informationen.

Realwelt-Daten (CIFAR-10, MNIST)

Label-Rauschen: Die Einführung von Label-Rauschen (inverses SNR) erhöht den Generalisierungsfehler und reduziert die Ausrichtung von Repräsentationen.
Stichprobengröße: Die nicht-monotone Beziehung zwischen Stichprobengröße und Ausrichtung bleibt bestehen, mit einem Minimum nahe der Interpolationsschwelle.
Konsistenz: Die Erkenntnisse erstrecken sich von synthetischen linearen Settings auf komplexe, realweltliche Klassifizierungsaufgaben unter Verwendung standardmäßiger Architekturen.

Bedeutung und Behauptungen

Das Papier behauptet, eine nicht-triviale Abhängigkeit der Ausrichtung von Datenqualität und -quantität nachzuweisen, die von der Generalisierungsleistung entkoppelt ist. Durch die Einführung der CCE bieten die Autoren eine Metrik, die in der Lage ist, Ausrichtung auf stark gekrümmten Mannigfaltigkeiten zu erfassen, wo traditionelle lineare Maße (CKA, SVCCA) versagen oder irreführende Ähnlichkeiten melden könnten.

Die zentrale Bedeutung liegt in der Infragestellung der Annahme, dass eine bessere Aufgabenleistung gleichbedeutend mit besseren oder stärker ausgerichteten internen Repräsentationen ist. Die Autoren argumentieren, dass:

Aufgabenleistung ein unzureichender Proxy für die Qualität der Repräsentation ist. Ein Netz kann ein anderes in einer spezifischen Aufgabe übertreffen und dennoch weniger strukturierte oder informative interne Repräsentationen kodieren.
Ausrichtung kein universeller Indikator für „gutes" Lernen ist. Die Mechanismen, die die Ausrichtung antreiben (SNR, Stichprobengröße), operieren in bestimmten Regimen unabhängig von den Mechanismen, die den Generalisierungsfehler steuern.

Diese Erkenntnisse tragen zum Aufbau einer prinzipiellen Theorie des Repräsentationslernens bei, indem sie spezifische Bedingungen (SNR und Stichprobengröße relativ zur Dimensionalität) identifizieren, unter denen unabhängig trainierte Netze zu ähnlich strukturierten internen Repräsentationen konvergieren. Die Arbeit legt nahe, dass die „platonische" Konvergenz von Repräsentationen nicht garantiert ist, sondern streng von den statistischen Eigenschaften der Daten und dem Trainingsregime bestimmt wird.