🤖 machine learning

How are linear representations learned? Exact solutions to the dynamics of abstraction

Diese Arbeit präsentiert eine dynamische Theorie der Abstraktion, die exakte Lösungen dafür herleitet, wie lineare Konzeptrepräsentationen während des Trainings sowohl in linearen als auch in nichtlinearen neuronalen Netzen entstehen, und aufzeigt, dass Abstraktion durch die Geometrie der Daten, die Netztiefe und die Skalierung der Initialisierung gesteuert wird, während sie einem universellen Abschwächungsgesetz folgt, das die Abstraktion in den Aktivierungen im Verhältnis zu den Präaktivierungen abschwächt.

Ursprüngliche Autoren: William W. Yang, Andrew M. Saxe, Peter E. Latham

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: William W. Yang, Andrew M. Saxe, Peter E. Latham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie zeigen ihm Bilder von roten Quadraten, blauen Quadraten, roten Kreisen und blauen Kreisen. Sie möchten, dass der Roboter lernt, dass „Quadrat-haftigkeit“ eine einzige, konsistente Idee ist, egal ob das Quadrat rot oder blau ist. In dem Gehirn des Roboters (einem neuronalen Netzwerk) wird diese Idee als eine spezifische Richtung in einer riesigen, mehrdimensionalen Landkarte gespeichert. Wenn der Roboter „abstrakt“ ist, sollte die Richtung für „Quadrat minus Kreis“ in der roten Welt in exakt dieselbe Richtung zeigen wie „Quadrat minus Kreis“ in der blauen Welt. Sie sollten parallel sein.

Dieses Paper ist eine tiefgehende Untersuchung dessen, wie diese perfekte Ausrichtung während des Lernens des Roboters geschieht und was sie daran hindert, perfekt zu sein.

Die große Entdeckung: Der Tanz zwischen „reichem“ und „trägem“ Lernen

Die Autoren bauten eine vereinfachte, mathematisch lösbare Version eines neuronalen Netzwerks, um zu beobachten, wie diese Ausrichtung in Echtzeit geschieht. Sie fanden heraus, dass der Weg zum Verständnis kein gerader Strich ist; es ist ein Tanz mit einer überraschenden Wendung.

Stellen Sie sich den Lernprozess des Roboters wie einen Wanderer vor, der versucht, ein bestimmtes Lager zu erreichen (das endgültige, perfekte Verständnis).

Das Ziel: Der Standort des endgültigen Lagers wird vollständig durch das Gelände (die Daten) und die Karte (das Ziel) bestimmt. Wenn die Daten chaotisch sind, ist auch das Lager chaotisch. Wenn die Daten sauber sind, ist das Lager perfekt.
Die Ausrüstung des Wanderers (Initialisierung): Hier ist der coole Teil. Wie der Wanderer seine Reise beginnt, verändert den Pfad, den er nimmt, selbst wenn das Ziel dasselbe bleibt.
- Der „reiche“ Wanderer (kleiner Start): Wenn der Roboter mit winzigen, winzigen Gewichten startet (wie ein Wanderer mit einem sehr leichten Rucksack), rast er am unordentlichen Mittelgrund vorbei und erreicht sehr früh einen Punkt perfekter Ausrichtung. Er verweilt dort für eine überraschend lange Zeit, fast so, als wäre er in einer Zeitschleife des perfekten Verständnisses gefangen. Die Autoren nennen dies „Metastabilität“. Es ist so perfekt, dass man denken würde, der Roboter hätte das Konzept für immer gemeistert, wenn man das Training früh gestoppt hätte.
- Der „träge“ Wanderer (großer Start): Wenn der Roboter mit großen Gewichten startet (einem schweren Rucksack), erreicht er diesen Höhepunkt nie. Er klettert nur langsam in Richtung des endgültigen Ziels und hält dort inne. Er erlebt diesen Moment der Perfektion nie.

Die Regel: Das endgültige Ziel ist durch die Daten festgelegt, aber der Höhepunkt des Verständnisses während des Trainings wird dadurch kontrolliert, wie klein man startet. Wenn man klein genug startet, kann der Roboter eine nahezu perfekte Abstraktion erreichen, selbst wenn die Daten verrauscht sind.

Der Tiefeneffekt: Tiefer gehen macht schlauer

Das Paper untersuchte auch, was passiert, wenn man mehr Schichten von Neuronen übereinanderstapelt, wie beim Bau eines höheren Turms.

Die Analogie: Stellen Sie sich vor, eine Nachricht wird durch eine Menschenkette weitergegeben. Wenn die Nachricht „Rotes Quadrat“ lautet, spricht die erste Person sie vielleicht mit einem leichten Akzent aus. Die zweite Person bereinigt sie ein wenig. Bis die Nachricht die Spitze eines hohen Turms erreicht, ist die Nachricht kristallklar.
Das Ergebnis: Die Autoren haben mathematisch bewiesen, dass die Repräsentation mit zunehmender Anzahl an Schichten abstrakter wird. Es ist eine sanfte Interpolation: Je tiefer man geht, desto näher kommt man dem „reinen“ Konzept, vorausgesetzt, das Ziel, das man vorherzusagen versucht, ist bereits abstrakt.

Die Nichtlinearitäts-Falle: Warum „Aktivierung“ die Idee stumpfen lassen kann

Echte neuronale Netze sind nicht einfach nur gerade Linien; sie haben „Nichtlinearitäten“ (wie ReLU oder GELU), die wie Tore oder Filter wirken. Das Paper testete, was passiert, wenn man die „Konzeptrichtung“ durch diese Tore leitet.

Das Ergebnis: Diese Tore schwächen die Ausrichtung ab. Sie wirken wie ein Dimmer an einer Glühbirne. Die „Pre-Aktivierung“ (das Signal vor dem Tor) ist heller und besser ausgerichtet als die „Aktivierung“ (das Signal nach dem Tor).
Der Beweis: Die Autoren haben ein „Abschwächungsgesetz“ (Attenuation Law) für spezifische Nichtlinearitäten wie die Fehlerfunktion (erf) und Leaky ReLU bewiesen: Diese Nichtlinearitäten reduzieren den Abstraktionsgrad im Vergleich zum Signal vor ihnen. Sie vermuten, dass dies für eine breitere Familie von Nichtlinearitäten gilt, aber der strikte Beweis gilt für diese spezifischen Fälle. Sie reparieren die schlechte Ausrichtung nicht magisch; sie machen sie nur etwas schlechter.

Was das für die reale KI bedeutet

Die Autoren haben sich nicht nur mit der Mathematik beschäftigt; sie haben diese Ideen auch auf echte, massive Modelle wie DINOv3 (ein Visionsmodell) und Gemma 4 (ein Sprachmodell) angewendet.

Das Experiment: Sie nahmen diese riesigen Modelle und ersetzten die GELU-Aktivierungsfunktionen vorübergehend durch die Identitätsfunktion (was im Wesentlichen bedeutet, die Nichtlinearität für diesen Schritt zu entfernen), um zu sehen, was passiert.
Das Ergebnis: Als sie die Nichtlinearitäten entfernten, wurden die Konzepte abstrakter und die Modelle verbesserten ihre Generalisierung (die Fähigkeit, Wissen von einem Kontext auf einen anderen zu übertragen). Dies bestätigt die Theorie: Die Nichtlinearitäten haben die Konzepte tatsächlich verschleiert.

Was das Paper ausschließt

Es ist wichtig zu wissen, was dieses Paper nicht über die ganze Geschichte aussagt:

Es geht nicht nur um das Ende: Frühere Theorien betrachteten oft nur das Ende des Trainings und gingen davon aus, dass der Roboter schließlich alles perfekt verstehen würde. Dieses Paper zeigt, dass die Reise entscheidend ist. Der Roboter kann einen Höhepunkt der Perfektion erreichen und dann wieder abdriften, oder er erreicht ihn je nach Startbedingungen vielleicht nie.
Es ist nicht immer perfekt: In der realen Welt, mit chaotischen Daten, erreicht der Roboter selten eine 100 % perfekte Ausrichtung. Das Paper zeigt, dass das endgültige Niveau der Abstraktion eine mathematische Formel basierend auf dem „Rauschen“ im Input und im Target ist. Wenn die Daten verrauscht sind, wird die Abstraktion unvollkommen sein, egal wie lange man trainiert.

Wie sicher sind sie sich?

Die Mathematik: Für die einfachen, linearen Netzwerke haben die Autoren exakte, bewiesene Lösungen. Sie haben nicht nur geraten; sie haben die Gleichungen gelöst. Sie wissen genau, wie sich die Abstraktion im Laufe der Zeit verändert.
Die Simulationen: Für die tiefen, nichtlinearen Netzwerke haben sie Simulationen und mathematische Annäherungen (unendliche Breiten-Limits) verwendet. Die Ergebnisse sind sehr stark und stimmen mit der Theorie überein, basien jedoch auf diesen spezifischen mathematischen Modellen.
Die reale Welt: Als sie dies auf DINOv3 und Gemma 4 anwandten, haben sie die Ergebnisse gemessen. Die Experimente zeigten, dass ihre Theorie Bestand hat: Das Entfernen von Nichtlinearitäten verbesserte die Abstraktion und die Generalisierung in diesen realen Modellen.

Das Fazit

Zu lernen, Konzepte zu verstehen, ist wie das Wandern auf einem Pfad. Das Ziel wird durch die Daten festgelegt, aber der Pfad, den man nimmt, hängt davon ab, wie man startet. Wenn man klein startet, kann man einen Moment reiner Klarheit erreichen, der lange anhält. Wenn man tiefer geht, wird man klarer. Aber Vorsicht vor den Toren (Nichtlinearitäten) auf dem Weg; sie neigen dazu, das Licht des Verständnisses zu dimmen. Indem wir diese Dynamiken verstehen, können wir bessere Werkzeuge bauen, um in die KI-Gehirne hineinzublicken und sie intelligenter zu machen.

Technisches Resümee: Exakte Lösungen zur Dynamik der Abstraktion

Problemstellung

In künstlichen und biologischen neuronalen Netzen werden hochgradige Konzepte häufig als annähernd lineare Richtungen im Repräsentationsraum beobachtet. Dieses Phänomen, formalisiert als die Lineare Repräsentationshypothese (LRH), bildet die Grundlage für viele Interpretierbarkeits- und Steuerungsmethoden, wie etwa lineare Probes zur Konzeptdetektion und Activation Steering. Während vorangegangene theoretische Arbeiten etabliert haben, dass abstrakte Repräsentationen (bei denen Konzeptvektoren über Kontexte hinweg perfekt ausgerichtet sind) an den globalen Minima der Verlustlandschaft entstehen können, bleibt die Dynamik der Entstehung dieser Repräsentationen während des Trainings unzureichend verstanden. Empirische Beobachtungen deuten darauf hin, dass Abstraktion oft nicht-triviale, nicht-monotone Trajektorien aufweist und häufig die perfekte Abstraktion ( $\alpha=1$ ) verfehlt, die einfache asymptotische Theorien vorhersagen.

Diese Arbeit adressiert die zentralen Fragen: Was ist die Trajektorie der Abstraktion während des Trainings? Wie wird sie durch die Geometrie des Datensatzes, die Netztiefe und die Initialisierung beeinflusst? Wie beeinflussen Nichtlinearitäten diese Dynamiken?

Methodik

Die Autoren entwickeln ein dynamisches Framework, um die Ausrichtung von Konzeptvektoren – bezeichnet als „Abstraktion“ – unter Verwendung eines minimalen, analytisch lösbaren Settings zu untersuchen.

Minimales lineares Netzwerkmodell:
- Setup: Ein zweischichtiges lineares Netzwerk, das auf einem Datensatz mit zwei binären latenten Variablen („Form“ und „Farbe“) trainiert wird, was vier Klassen erzeugt.
- Abstraktions-Score ( $\alpha$ ): Definiert als die Kosinus-Ähnlichkeit zwischen Konzeptvektoren in verschiedenen Kontexten (z. B. dem Vektor für „Quadrat minus Kreis“ im roten Kontext gegenüber dem blauen Kontext). $\alpha=1$ impliziert perfekte Linearität.
- Annahmen:
  - Variablen-projektierter Readout: Es wird angenommen, dass die Readout-Gewichte ( $W_r$ ) zu jedem Zeitpunkt am Ridge-Optimum liegen, was effektiv nur die Feature-Gewichte regularisiert. Dies vereinfacht die Dynamik zu einer Funktion des Feature-Kernels $Q = Z^\top Z$ .
  - Two-Factor Symmetry (2FS): Es wird angenommen, dass der Input ( $\Sigma_x$ ), der Target ( $\Sigma_y$ ) und die Feature-Kernel eine spezifische Symmetriestruktur besitzen, die unter Permutationen innerhalb der Klassen und globaler Relabeling-Verfahren der Latenten invariant ist. Dies ermöglicht die Diagonalisierung der Kernel-Dynamik in fünf Eigenmodi: Globaler Mittelwert ( $G$ ), Form ( $S$ ), Farbe ( $C$ ), Form-Farbe-Interaktion ($SC$) und Residuum ( $I$ ).
- Dynamik: Die Autoren leiten exakte gewöhnliche Differentialgleichungen (ODEs) für die Eigenwerte des Kernels $Q$ unter Gradientenfluss ab. Der Abstraktions-Score wird als Funktion des Verhältnisses der $S$ - und $SC$-Eigenwerte (inverser Signal-Rausch-Abstand/SNR) ausgedrückt.
Erweiterung auf nichtlineare Netzwerke:
- Die Theorie wird auf unendlich breite zweischichtige nichtlineare Netzwerke unter Verwendung der Neural Tangent Kernel (NTK) / Neural Network Gaussian Process (NNGP) Limits ausgeweitet.
- Zwei Nichtlinearitäten werden analysiert: die Fehlerfunktion ( $\text{erf}$ ) und Leaky ReLU.
- Die Autoren leiten die Kernel-Abbildungen her, die den Präaktivierungs-Kernel $Q$ in den Feature-Kernel $K$ transformieren, und analysieren, wie diese Abbildungen den Abstraktions-Score instantan und dynamisch beeinflussen.
Empirische Validierung:
- Experimente werden auf synthetischen Daten und realen Datensätzen (3dshapes) mittels ResNets und Transformern (DINOv3, Gemma 4) durchgeführt.
- Ein „lokales GELU-Ablationsverfahren“ wird auf Transformer-Modelle angewendet, um die theoretischen Vorhersagen bezüglich Nichtlinearitäten zu testen.

Zentrale Beiträge und Ergebnisse

1. Exakte Lösungen für die Dynamik linearer Netzwerke

Das Paper liefert exakte implizite Lösungen für die Trajektorie der Abstraktion $\alpha(t)$ während des Trainings.

Terminaler Abstraktionsgesetz: Die endgültige Abstraktion $\alpha_\infty$ wird ausschließlich durch das geometrische Mittel der inversen Signal-Rausch-Abstände (SNR) der Input- und Target-Kernel bestimmt:
$\alpha_\infty = \frac{1 - \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}{1 + \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}$
wobei $\nu = \lambda_{SC}/\lambda_S$ . Perfekte Abstraktion ( $\alpha_\infty=1$ ) wird erreicht, wenn entweder die Inputs oder die Targets rauschfrei sind.
Initialisierungsskala steuert maximale Abstraktion: Während der Endwert unabhängig von der Initialisierung ist, hängt die maximale während des Trainings erreichte Abstraktion kritisch von der Skala der Initialisierung ( $\kappa$ $κ$ ) ab.
- Im reichen Limit (kleine Initialisierung) kann das Netzwerk eine nahezu perfekte Abstraktion ( $\alpha \approx 1$ ) für eine parametrisch lange Zeit (Metastabilität) erreichen, bevor es zum terminalen Wert abfällt.
- Im trägen Limit (große Initialierung) übersteigt die Abstraktion niemals ihren terminalen Wert.
Nicht-Monotonie: In signal-dominanten Regimen kann die Abstraktion ihren terminalen Wert überschießen und einen Peak erreichen, bevor sie konvergiert.

2. Tiefe und schichtweise Interpolation

Die Erweiterung des Modells auf tiefe lineare Netzwerke mit $L$ Schichten unter einer „schichtweisen Balancing“-Annahme:

Schichtweise Interpolation: Die Abstraktion in Schicht $\ell$ interpoliert linear zwischen der Input-Abstraktion und der finalen Schicht-Abstraktion im Arctanh-Raum:
$\text{arctanh}(\alpha^{(\ell)}) = \left(1 - \frac{\ell}{L}\right)\text{arctanh}(\alpha_{\Sigma_x}) + \frac{\ell}{L}\text{arctanh}(\alpha^{(L)})$
Tiefe verbessert Abstraktion: Wenn die Target-Geometrie abstrakter ist als die Input-Geometrie, verbessert eine Erhöhung der Netzwerktiefe die terminale Abstraktion der finalen Schicht monoton.

3. Das Attenuationsgesetz in nichtlinearen Netzwerken

Ein bemerkenswertes theoretisches Ergebnis für unendlich breite nichtlineare Netzwerke:

Attenuationsgesetz (Abschwächungsgesetz): Nichtlinearitäten (speziell $\text{erf}$ und Leaky ReLU) schwächen die Abstraktion im Feature-Raum ( $H$ ) relativ zum Präaktivierungs-Raum ( $Z$ ) ab. Formal gilt: $|\alpha_K| \leq |\alpha_Q|$ .
Differentielle Effekte:
- Erf-Netzwerke: Die Dynamik nähert sich der linearen Theorie eng an.
- ReLU-Netzwerke: Die Dynamik hängt weniger von der Target-Geometrie und mehr von der Input-Geometrie ab. Bei reinem ReLU ist selbst bei rauschfreien Targets perfekte Abstraktion nicht garantiert, falls der Input-Lärm hoch ist; das System kann zu „Anti-Abstraktion“ ( $\alpha \approx -1$ ) konvergieren.

4. Empirische Anwendungen

Transformer (DINOv3, Gemma 4): Durch Anwendung der Theorie zeigen die Autoren, dass das Ablatieren von Nichtlinearitäten (Ersetzen von GELU durch Identität lokal) in Transformer-Blöcken die Abstraktion erhöht und die Generalisierung linearer Probes verbessert. Dies validiert das Attenuationsgesetz in endlichen, tiefen Modellen.
Neurowissenschaft (Makaken-Ventralstrom): Bei der Analyse von Aufzeichnungen aus V4- und IT-Regionen stellt die Studie fest, dass die Abstraktion entlang der ventralen visuellen Hierarchie zunimmt, was konsistent mit der theoretischen Vorhersage ist, dass tiefere Schichten (näher am Verhalten-Output) eine höhere Abstraktion aufweisen sollten.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste dynamische Theorie der Abstraktion zu liefern, welche die vollständige Trajektorie des Lernens erfasst, statt nur den asymptotischen Endpunkt.

Brücke zwischen Theorie und Praxis: Es erklärt, warum Abstraktion in realen Settings oft nicht Perfektion erreicht (aufgrund von Input-/Target-Rauschen und Initialisierungsskala) und warum sie ein nicht-monotones Verhalten zeigt.
Interpretierbarkeit und Kontrolle: Die Ergebnisse legen nahe, dass die Qualität linearer Probes und Steering-Vektoren fundamental mit der Abstraktionsdynamik verknüpft ist. Die Erkenntnis, dass Nichtlinearitäten die Abstraktion abschwächen, bietet eine theoretische Basis dafür, warum das Ablatieren von Nichtlinearitäten die Generalisierung von Probes verbessern kann.
Neurowissenschaftliche Implikationen: Die Theorie liefert eine mechanistische Erklärung für die Entstehung abstrakter Repräsentationen im Gehirn und sagt voraus, dass tiefere kortikale Hierarchien (näher am Verhalten) höhere Abstraktionswerte aufweisen sollten – eine Vorhersage, die durch Makaken-Daten bestätigt wurde.

Die Autoren betonen, dass, obwohl ihre exakten Lösungen auf vereinfachenden Annahmen beruhen (lineare Netzwerke, 2FS-Symmetrie, unendliche Breite), die qualitativen Vorhersagen (Überschwingen, Abhängigkeit von der Initialisierungsskala, Tiefenverbesserung, Abschwächung durch Nichtlinearitäten) in realistischen, endlichen tiefen Lernsettings und biologischen Daten robust Bestand haben.