🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

Diese Arbeit erläutert den Mechanismus hinter der Entstehung von Potenzgesetz-Anisotropie in neuronalen Repräsentationen, indem sie zeigt, dass im Gegensatz zu dem Regime, in dem der Spektralexponent statisch bleibt, das Merkmalslernen in linearen und nichtlinearen Netzwerken durch das dynamische Zusammenspiel von Eingangsstatistiken und Aufgabenstruktur eine nichtmonotone Entwicklung dieses Exponenten vorantreibt.

Ursprüngliche Autoren: Asahi Nakamuta, Jun-nosuke Teramae

Veröffentlicht 2026-08-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Asahi Nakamuta, Jun-nosuke Teramae

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Neuronale Netze, die Motoren hinter der modernen künstlichen Intelligenz, werden oft als Black Boxes beschrieben, die Rohdaten in komplexe Entscheidungen umwandeln. Um zu verstehen, wie sie funktionieren, blicken Wissenschaftler in das Innere auf die „internen Repräsentationen“ – die hochdimensionalen Muster, die das Netzwerk erzeugt, während es Informationen verarbeitet. Eine zentrale Methode, um die Form dieser Muster zu messen, besteht darin, zu untersuchen, wie die Bedeutung verschiedener Informationsrichtungen verteilt ist. In vielen Systemen, von den Gehirnen von Mäusen bis hin zu den fortschrittlichsten Sprachmodellen, folgt diese Verteilung einer spezifischen Regel: Wenige Richtungen halten eine massive Menge an Information, während der Rest progressiv kleinere Mengen enthält, die in einer vorhersagbaren mathematischen Kurve, bekannt als Potenzgesetz, abfallen. Diese Ungleichmäßigkeit oder Anisotropie gilt als entscheidend dafür, wie effizient ein Netzwerk lernt und generalisiert. Lange Zeit nahmen Forscher an, dass dieses Muster lediglich ein statisches Abbild der Daten sei, die dem Netzwerk zugeführt wurden – wie ein durch den Input hinterlassener Fingerabdruck. Eine neue Studie stellt diese Ansicht jedoch infrage und legt nahe, dass das Muster nicht nur geerbt, sondern durch den Lernprozess selbst aktiv umgestaltet wird.

Ein Forschungsteam der Universität Kyoto setzte sich zum Ziel, genau zu entschlüsseln, wie diese Umgestaltung geschieht. Sie konzentrierten sich auf ein vereinfachtes Modell eines neuronalen Netzes – ein zweischichtiges System mit einer breiten verborgenen Schicht –, das in einem „Lehrer-Schüler-Szenario“ platziert wurde. In diesem Aufbau versucht das Schüler-Netzwerk, eine Aufgabe zu erlernen, die von einem Lehrer definiert wird, wobei die Daten bereits eine Potenzgesetz-Struktur aufweisen. Die Forscher wollten wissen: Kopiert der Schüler einfach das Muster des Lehrers, oder verändert der Akt des Lernens die Geometrie der internen Repräsentation? Durch das mathematische Lösen der Gleichungen, die bestimmen, wie sich das Netzwerk im Laufe der Zeit verändert, entdeckten sie, dass die Antwort vollständig davon abhängt, wie das Netzwerk trainiert wird. Sie fanden heraus, dass das Netzwerk nicht in einem einzigen, festen Muster zur Ruhe kommt. Stattdessen entwickelt sich die Form seiner internen Information dynamisch und durchläuft beim Lernen verschiedene Phasen.

Die Studie zeigt, dass die Entwicklung dieser Muster keine gerade Linie ist, sondern eine Reise durch verschiedene Regime. Wenn das Netzwerk in einem „Merkmalslern-Modus“ (Feature-Learning) trainiert wird, in dem es seine interne Struktur aktiv reorganisiert, um die Aufgabe zu lösen, erfährt das Muster der Information eine dramatische Transformation. Zu Beginn spiegelt der interne Zustand des Netzwerks die Eingangsdaten wider. Doch sobald das Lernen beginnt, verschiebt sich das Muster. Die Forscher identifizierten, dass das Netzwerk bis zu vier verschiedene Stadien der Organisation durchläuft. In der frühesten Phase des Lernens wird das Muster noch stärker verzerrt, wobei sich die Information noch schärfer in einigen wenigen Richtungen konzentriert. Während das Lernen fortschreitet, entspannt sich diese Steilheit, und das Muster pendelt sich in einer neuen, stabilen Form ein, die durch die spezifische Aufgabe bestimmt wird, die der Lehrer dem Netzwerk stellt. Diese neue Form ist eine Mischung aus der ursprünglichen Datenstruktur und den Anforderungen der Aufgabe, was zu einem finalen Muster führt, das sich sowohl vom Rohinput als auch vom Ausgangszustand unterscheidet.

Entscheidend ist, dass die Forscher zeigten, dass diese dynamische Umgestaltung nur stattfindet, wenn das Netzwerk erlaubt wird, Merkmale tiefgreifend zu lernen. Wenn das Netzwerk in einem Regime trainiert wird, in dem es seine interne Struktur kaum verändert und sich stattdessen hauptsächlich auf seinen anfänglichen Zufallsaufbau verlässt, bleibt das Muster eingefroren. In diesem Zustand bleibt die interne Repräsentation fast exakt so, wie sie zu Beginn war, und spiegelt lediglich die Eingangsdaten wider, ohne eine signifikante Reorganisation zu erfahren. Diese Unterscheidung ist wichtig, da sie beweist, dass die beobachteten Potenzgesetz-Muster in realen neuronalen Netzen keine unvermeidlichen Folgen der Daten allein sind. Stattdessen sind sie das Ergebnis einer spezifischen, aktiven Interaktion zwischen der Statistik des Inputs und den spezifischen Zielen der Lernaufgabe.

Um sicherzustellen, dass diese Ergebnisse nicht nur eine Besonderheit ihres vereinfachten mathematischen Modells waren, testete das Team seine Theorie an komplexeren, nichtlinearen Netzwerken, die eher wie reale künstliche Intelligenz funktionieren. Die Ergebnisse blieben bestehen: Selbst in diesen realistischeren Systemen verschob sich die Form der internen Repräsentationen während des Trainings im Merkmalslern-Regime, während sie im Regime, in dem das Netzwerk hauptsächlich auf seinen anfänglichen Zufallsaufbau vertraut, statisch blieb. Die Studie legt nahe, dass die beobachtete Potenzgesetz-Anisotropie in biologischen und künstlichen Gehirnen eine fluide Eigenschaft ist, die ständig durch den Lernprozess neu geschrieben wird. Sie ist kein festes Merkmal der Daten, sondern eine dynamische Signatur dessen, wie sich ein System an seine Umgebung anpasst. Diese Arbeit liefert eine klare, analytische Erklärung dafür, wie die mikroskopische Geometrie des internen Zustands eines Netzwerks geformt wird, und bietet einen neuen Weg, um die Beziehung zwischen den Daten, die ein System sieht, und der Intelligenz, die es entwickelt, zu verstehen.

Technisches Resümee: Lernen formt Potenzgesetz-Anisotropie in internen Repräsentationen

Problemstellung
Potenzgesetz-Anisotropie in den Eigenspektren interner Repräsentationen ist eine allgegenwärtige geometrische Eigenschaft, die in diversen neuronalen Systemen beobachtet wird, angefangen beim Maus-Cortex bis hin zu großen Sprachmodellen. Diese Anisotropie, bei der die Eigenwerte mit dem Rang als Potenzgesetz abfallen, steht im Zusammenhang mit Kodierungseffizienz, Robustheit und Generalisierung. Bestehende theoretische Rahmenwerke behandeln den Potenzgesetz-Exponenten jedoch weitgehend als eine feste Größe, die von der Input-Statistik geerbt wird, oder setzen voraus, dass dieser während des Trainings statisch bleibt. Infolgedessen bleibt der Mechanismus, durch den das aufgabenorientierte Lernen diese Spektren umgestaltet, und wie der Exponent als Reaktion auf die Input-Struktur und Lehrer-Signale dynamisch evolviert, unklar. Insbesondere ist unbekannt, ob interne Repräsentationen lediglich die Input-Potenzgesetze erben oder ob sie eine nicht-triviale Deformation erfahren, und wie diese Änderungen von dem Lernregime (Feature-Learning vs. linearisiert) abhängen.

Methodik
Um diese Fragen zu adressieren, analysieren die Autoren ein breites zweischichtiges lineares neuronales Netzwerk in einem Teacher-Student-Szenario. Das Modell ist definiert mit Input-Dimension $D$ , verborgener Breite $N$ und Output-Dimension $P$ , wobei $P=D \ll N$ und $N \to \infty$ .

Input- und Teacher-Struktur: Sowohl die Input-Kovarianzmatrix als auch die Teacher-Gram-Matrix werden im selben orthonormalen Basissystem als diagonal angenommen, wobei die Eigenwerte als Potenzgesetze mit den Exponenten $\alpha$ (Input) und $\beta$ (Teacher) abfallen.
Dynamik: Das Netzwerk wird mittels Population Gradient Flow auf den mittleren quadratischen Fehler trainiert. Obwohl die Input-Output-Abbildung linear ist, induziert das gemeinsame Training der Gewichte nichtlineare Dynamiken in der internen Repräsentation.
Analytischer Ansatz: Die Autoren leiten die exakte zeitliche Evolution der Eigenwerte des Kernels der internen Repräsentation (Gram-Matrix der ersten Schicht-Gewichte) im Unendlich-Daten- und Unendlich-Breite-Limit her. Sie zerlegen das Spektrum in eine Initialisierungskomponente (geerbt vom Input) und eine durch den Teacher induzierte Komponente (gebildet durch Lernen).
Regime-Analyse: Die Studie unterscheidet zwischen dem Feature-Learning-Regime (in dem sich die Gewichte signifikant ändern) und dem linearisierten Regime (in dem die Gewichte nahe der Initialisierung bleiben), gesteuert durch den Parameter $\gamma_0$ .
Validierung: Die theoretischen Vorhersagen werden durch numerische Simulationen von endlicher Breite linearer Netzwerke sowie nichtlinearer Netzwerke mit nichtlinearen Aktivierungsfunktionen validiert.

Zentrale Beiträge und Ergebnisse
Die Arbeit liefert eine exakte analytische Charakterisierung dessen, wie sich der lokale Potenzgesetz-Exponent der internen Repräsentationen während des Trainings entwickelt.

Spektrale Zerlegung: Es wird gezeigt, dass das Spektrum der internen Repräsentation $\rho_k(t)$ aus zwei additiven Komponenten besteht: einer, die von der Input-Kovarianz abgeleitet ist (bei der Initialisierung vorhanden), und einer, die durch das Teacher-Signal durch Lernen induziert wird. Die relative Dominanz dieser Komponenten bestimmt die Spektralform.
Vier asymptotische Exponenten-Regime: Im Feature-Learning-Regime ist der lokale effektive Potenzgesetz-Exponent $\alpha_{\text{eff}}(k, t)$ nicht statisch. Während des Trainings zeigt das Spektrum bis zu vier verschiedene asymptotische Regime, abhängig vom Modus-Index $k$ und der Trainingszeit $t$ :
- Region I (Initialisierungs-dominiert): $\alpha_{\text{eff}} \approx \alpha$ . Tritt auf, wenn die durch das Lernen induzierte Änderung im Vergleich zur Initialisierung vernachlässigbar ist.
- Region II (Frühes Lernen, erste Schicht dominant): $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . Tritt auf, wenn das Lernen begonnen hat, aber der Modus noch nicht vollständig gelernt wurde und die erste Schicht die Aktualisierung dominiert.
- Region IIIa (Gelernt, erste Schicht dominant): $\alpha_{\text{eff}} \approx \alpha + \beta$ . Tritt auf, wenn der Modus gelernt wurde und die erste Schicht das primäre Lernsignal trägt.
- Region IIIb (Gelernt, beide Schichten): $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . Tritt auf, wenn der Modus gelernt wurde und das Lernen über beide Schichten verteilt ist.
  Der Übergang zwischen diesen Regimen ist nicht-monoton; für einen festen Modus kann der Exponent zuerst steiler werden (transient) und dann abnehmen, während das Teacher-Signal integriert wird.
Stabilität des linearisierten Regimes: Im linearisierten Regime übersteigt die durch das Lernen induzierte Komponente niemals die Initialisierungskomponente. Folglich bleibt der lokale Exponent während des gesamten Trainings im Wesentlichen unverändert ( $\alpha_{\text{eff}} \approx \alpha$ ), was darauf hindeutet, dass die interne Repräsentation die Input-Anisotropie nicht signifikant umgestaltet.
Generalisierbarkeit auf nichtlineare Netzwerke: Numerische Experimente mit nichtlinearen Netzwerken zeigen, dass die vorhergesagten spektralen Übergänge und die Unterscheidung zwischen Feature-Learning- und linearisierten Regimes über das lineare Modell hinaus bestehen bleiben. In nichtlinearen Feature-Learning-Settings geht das Spektrum ähnlich von $\alpha$ zu $\alpha + \beta$ über endliche Modus-Bereiche über.

Bedeutung
Die Arbeit beansprucht, einen allgemeinen Mechanismus zu liefern, der die Entstehung von Potenzgesetz-internen Repräsentationen erklärt. Die Ergebnisse legen nahe, dass diese Repräsentationen nicht bloß statische Reflexionen der Input-Statistiken sind, sondern dynamisch durch das Zusammenspiel zwischen Input-Anisotropie, der Anisotropie des Teacher-Signals und modusspezifischen Lern-Zeitskalen umgestaltet werden.

Durch den Nachweis, dass der Potenzgesetz-Exponent mehrere asymptotische Werte annehmen und nicht-monoton verlaufen kann, stellt die Arbeit die Annahme eines festen Exponenten in theoretischen Analysen in Frage. Sie etabliert, dass die geometrischen Eigenschaften interner Repräsentationen eine Folge des spezifischen Zusammenspiels zwischen Datenstruktur und aufgabenorientierter Lern-Dynamik sind. Dieser analytische Rahmen bietet einen Ausgangspunkt für das Verständnis, wie mikroskopische spektrale Geometrie mit makroskopischer Performance und Skalierungsgesetzen in neuronalen Netzwerken zusammenhängt.

Mehr davon