🤖 machine learning

Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

Diese Arbeit zeigt auf, dass lineare Strukturen in den Gewichten und Aktivierungen neuronaler Netze zwar keine globalen, statischen Aufgabenrichtungen darstellen, jedoch eine starke lokale niedrigdimensionale Geometrie (Low-Rank Geometry) aufweisen, die sich zwar schnell entwickelt, aber dennoch ausreichend beständig bleibt, um eine effektive Steuerung mittels Methoden wie LoRA, Random Search und Activation Steering zu ermöglichen.

Ursprüngliche Autoren: Irina Piontkovskaia, Sergey Nikolenko

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Irina Piontkovskaia, Sergey Nikolenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich komplexe Bibliothek (ein trainiertes KI-Modell), die Witze erzählen, mathematische Probleme lösen und Poesie schreiben kann. Lange Zeit glaubten Forscher, wenn man dieser Bibliothek einen neuen Trick beibringen oder eine schlechte Angewohnheit korrigieren wollte, müsse man lediglich einen ganz bestimmten Flur in der Bibliothek finden und diesen entlanggehen. Sie dachten, dieser Flur sei ein permanenter, fester Weg, der immer zum selben Ziel führt, egal wann man ihn besucht.

Dieses Paper sagt: „Nicht ganz.“

Hier ist die Aufschlüsselung dessen, was die Autoren tatsächlich entdeckt haben, unter Verwendung einfacher Analogien:

1. Das Problem des „beweglichen Ziels“

Die alte Vorstellung war, dass jede Aufgabe (wie das „Schreiben eines Witzes“) auf einer statischen Karte existiert. Wenn man eine vergessene Fähigkeit wiederherstellen wollte, musste man nur diese spezifische Karte finden und in einer geraden Linie gehen.

Die Autoren fanden heraus, dass die Karte nicht statisch ist; sie driftet.

Die Analogie: Stellen Sie sich vor, Sie versuchen, zu einem Freund zu laufen. Während Sie laufen, ist die Straße, auf der Sie sich befinden, eigentlich ein seitlich versetztes Förderband. Wenn Sie versuchen, in einer geraden Linie zu laufen, basierend darauf, wo das Haus zu Beginn Ihrer Reise war, werden Sie es verpassen.
Die Erkenntnis: Die „Richtung“, um eine vergessene Aufgabe zu korrigieren, ist keine feste Linie. Es ist ein kurzer, beweglicher Pfad. Der beste Weg, eine Fähigkeit wiederherzustellen, besteht darin, den ersten paar Schritten der Wiederherstellungsreise selbst zu folgen, anstatt eine statische Richtung basierend darauf zu erraten, wo sich das Modell gestern befand.

2. Der „Nadel im Heuhaufen“-Mythos

Es gab eine Theorie, dass das Finden einer nützlichen Änderung in einer riesigen KI (die Milliarden von Parametern hat) so ist, als würde man eine einzelne Nadel in einem Heuhaufen suchen, der so groß wie ein Berg ist. Man würde denken, dass zufälliges Raten niemals funktionieren würde.

Die Autoren sagen: Zufälliges Raten funktioniert überraschend gut, aber nur, wenn man nach bestimmten Regeln spielt.

Die Analogy: Stellen Sie sich vor, Sie werfen Dartpfeile auf eine riesige Wand. Sie wollen die winzige, unsichtbare Zielscheibe treffen.
- Wenn Sie einen einzigen Dartpfeil werfen, treffen Sie wahrscheinlich daneben.
- Aber wenn Sie 1.000 Dartpfeile werfen und nur den behalten, der am nächsten an der Mitte gelandet ist, werden Sie fast sicher die Zielscheibe treffen.
- Der Haken: Sie müssen die Dartpfeile sanft werfen. Wenn Sie sie zu hart werfen (eine zu große Änderung bewirken), treffen Sie auf die Krümmung der Wand und prallen in die falsche Richtung ab. Wenn Sie sie zu sanft werfen, bewegen sie sich überhaupt nicht. Es gibt eine „Goldlöckchen-Zone“ der Kraft, in der das zufällige Raten jedes Mal den richtigen Pfad findet.
Die Erkenntnis: Sie müssen die Karte nicht kennen. Wenn Sie kleine, zufällige Änderungen vornehmen und die beste auswählen, können Sie das Modell verbessern, ohne es von Grund auf neu trainieren zu müssen.

3. Die „Schatten“-Verbindung

Das Paper verbindet auch zwei Dinge, die normalerweise unzusammenhängend erscheinen: das Ändern des Gehirns (Gewichte) und das Ändern der Gedanken (Aktivierungen).

Die Analogy: Stellen Sie sich vor, das „Gehirn“ der KI ist eine Maschine mit Zahnrädern (Gewichte). Wenn Sie ein Zahnrad leicht verändern, wirft es einen „Schatten“ an die Wand (die Aktivierung).
Die Erkenntnis: Die Autoren fanden heraus, dass, wenn man die Zahnräder genau richtig manipuliert, um ein Problem zu lösen, der Schatten, den diese Manipulation an die Wand wirft, fast exakt wie ein „Steuerungsvektor“ aussieht, den Forscher normalerweise manuell entwerfen müssten.
Das Ergebnis: Sie können die Maschine reparieren, indem Sie die Zahnräder manipulieren, und diese Manipulation erzeugt automatisch ein „Steuerrad“ für die Gedanken. Sie müssen das Steuerrad nicht separat bauen; die Manipulation der Zahnräder erschafft es für Sie.

4. Was dies für das „Editieren“ von KI bedeutet

Das Paper stellt die Idee infrage, dass KI-Verhaltensweisen an einem festen Ort verankert sind.

Alte Sichtweise: „Aufgabe A lebt in Raum 1. Aufgabe B lebt in Raum 2. Sie sind getrennt.“
Neue Sichtweise: „Aufgabe A und Aufgabe B sind wie ein Tanz. Die Schritte ändern sich, während die Musik spielt. Um einen Fehler zu korrigieren, geht man nicht zurück zum Anfang des Liedes; man folgt dem Rhythmus der nächsten paar Schritte.“

Zusammenfassung der „Regeln“

Das Paper schließt mit drei wesentlichen Erkenntnissen für jeden, der eine KI anpassen möchte:

Suchen Sie nicht nach einer festen Karte: Die Richtung zur Behebung eines Problems bewegt sich, während man das Problem behebt. Folgen Sie dem unmittelbaren Pfad, nicht einem statischen Plan.
Zufällige Suche funktioniert (wenn man vorsichtig ist): Man kann gute Änderungen finden, indem man kleine, zufällige Anpassungen vornimmt, solange man die Anpassungen klein genug hält, um in der „linearen“ Zone zu bleiben, in der die Mathematik funktioniert.
Zahnräder und Schatten passen zusammen: Wenn man die internen Zahnräder repariert, richten sich die externen Gedanken natürlich mit der Korrektur aus.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies ein perfekter Ersatz für das Standardtraining (Gradient Descent) ist.
Es behauptet nicht, dass dies bei jeder einzelnen Aufgabe oder jedem KI-Modellmodell perfekt funktioniert (es funktioniert am besten bei kleineren Modellen oder spezifischen „Adaptern“).
Es bietet keinen neuen Weg an, Modelle von Grund auf neu zu trainieren, sondern vielmehr einen Weg, sie nach dem Training zu verstehen und anzupassen.

Kurz gesagt: KI-Verhaltensweisen sind keine festen Orientierungspunkte; sie sind bewegliche Strömungen. Um sie zu navigieren, muss man der Strömung folgen, nicht der Karte.

Technisches Resümee: Rekuperierbar, aber nicht stationär: Lokale lineare Strukturen in Gewichten und Aktivierungen

1. Problemstellung

Jüngste Ansätze zur Editierung und Anpassung vortrainierter Modelle – wie etwa Task-Vektoren, LoRA, Activation Steering und die Zufallssuche im Bereich der Gewichte – stützen sich auf eine gemeinsame geometrische Annahme: dass gelernte Verhaltensweisen mit festen, niedrigdimensionalen linearen Richtungen entweder im Gewichtsraum oder im Aktivierungsraum korrespondieren. Die vorherrschende Hypothese legt nahe, dass eine „Task-Ebene“ (task plane) als statischer Subraum durch einen Checkpoint existiert und die Bewegung entlang dieser Ebene die Hinzufügung oder Entfernung aufgabenspezifischer Verhaltensweisen ohne erneutes Training ermöglicht.

Es bleibt jedoch unklar, ob diese linearen Strukturen wahrhaft global und statisch sind oder ob sie lokal und evolvierend sind. Zudem ist die Effektivität der Zufallssuche in hochdimensionalen Räumen (z. B. $10^9$ Parameter) kontraintuitiv; Wenn nützliche Richtungen seltene Nadeln im Heuhaufen wären, sollte das Zufallssampling theoretisch scheitern. Dieses Paper untersucht die wahre Natur dieser linearen Strukturen: ihre Dimensionalität, Stationarität und die Beziehung zwischen Gewichtsstörungen und Activation Steering.

2. Methodik

Die Autoren verwenden eine „Recovery after Forgetting“-Experimentschleife (Rekuperation nach dem Vergessen), um einen Ground-Truth-Adaptationsvektor ( $\Delta_{GD}$ ) zu generieren, gegen den Kandidaten-Subräume gemessen werden. Die Schleife besteht aus drei Phasen:

Multitask-Training: Training eines Modells auf einer Mischung von Aufgaben, um einen Checkpoint $\theta_{mt}$ zu erreichen.
Vergessen (Forgetting): Fortsetzung des Trainings auf einer einzelnen Aufgabe, bis die Leistung auf anderen Aufgaben degradiert, was zum Checkpoint $\theta_{forg}$ führt.
Rekuperation (Recovery): Kurzes Retraining auf der ursprünglichen Mischung, um die verlorenen Aufgaben wiederherzustellen, was zum Checkpoint $\theta_{rec}$ führt.

Die Verschiebung $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ dient als Ziel-Adaptation. Die Autoren evaluieren Kandidaten-Subräume, indem sie messen, wie viel von $\Delta_{GD}$ sie erfassen, und indem sie eine Zufallssuche innerhalb dieser Subräume durchführen.

Experimentelle Skalen

Synthetische Transformer: Ein kontrollierter 4-Schicht, 128-dimensionaler kausaler Transformer, trainiert auf Digit-Sequence-Aufgaben (kopieren, umkehren, sortieren, mod-add).
LoRA-Adapter: Fine-Tuning auf DistilGPT-2 und GPT-2 Backbones unter Verwendung von rangdefizienten Adaptern.
Large Language Models (LLMs): Experimente auf Qwen2.5 (0.5B, 3B, 7B) und OLMo-7B.

Theoretischer Rahmen

Das Paper entwickelt einen theoretischen Rahmen, um die Effektivität der Zufallssuche und die Subraum-Selektion zu erklären:

Best-of-N Theorem: Beweist, dass in einem lokal linearen Regime eine isotrope Gaußsche Zufallssuche ein nützliches Signal mit einer Varianz erfasst, die unabhängig von der Umgebungssdimension $D$ ist. Der erwartete Gewinn skaliert mit $\sqrt{\log N}$ (wobei $N$ das Suchbudget ist), aber nicht mit $D$ .
Signal Dichte vs. Masse: Eine Proposition zeigt, dass ein kleinerer, gut ausgerichteter Subraum ein höheres Suchsignal liefert als ein größerer Subraum, der lediglich die Zielrichtung enthält, aufgrund der Verdünnung der Signaldichte ( $\|P_U a\|/\sqrt{r}$ ).
Krylov-Rekuperation: Ein Lemma zeigt, dass die Rekuperations-Verschiebung in einem Krylov-Subraum liegt, der durch die Hesse-Matrix und den initialen Gradienten generiert wird, statt in einer festen Richtung. Dies impliziert, dass der relevante Subraum evolviert, während sich die Trajektorie entfaltet.
Pushforward-Identität: Stellt eine theoretische Verbindung zwischen Gewichtsstörungen ( $\delta\theta$ ) und Aktivierungsverschiebungen ( $\Delta h$ ) über die Jacobi-Matrix $D_\theta h$ her, was darauf hindeutet, dass nützliche Gewichtsänderungen „Schatten“ im Aktivierungsraum haben, die als Steering-Vektoren dienen können.

3. Zentrale Beiträge und Ergebnisse

A. Lineare Strukturen sind lokal und beweglich, nicht statisch

Die zentrale Erkenntnis ist, dass die „Task-Plane“-Hypothese nicht korrekt ist.

Statische Ebenen versagen: Subräume, die am vergessenen Checkpoint (lokale Task-Ebene) oder vor dem Vergessen (Pre-Interference-Ebene) gemessen wurden, erfassen nur einen kleinen Bruchteil der Rekuperations-Verschiebung (z. B. ~15 % und <2 % in LoRA-Experimenten).
Trajektorien-Ausrichtung: Die Rekuperationsrichtung wird am besten durch ein Trajectory Prefix erfasst – eine Basis, die aus den ersten Schritten des Rekuperationspfads gebildet wird. In LoRA-Experimenten erfassten die ersten 10 Rekuperationsschritte ~77 % der gesamten Verschiebung $\Delta_{GD}$ , und die ersten 20 Schritte erfassten ~90 %.
Drift: Die Orientierung des lokalen Task-Subraums driftet während der Rekuperation signifikant (der Hauptwinkel-Overlap sinkt von 1.0 auf ~0.12–0.17 über 100 Schritte), was bestätigt, dass die relevante Geometrie ein bewegliches Bündel und keine feste Ebene ist.

B. Effektivität der Zufallssuche und Dimensionsunabhängigkeit

Das Paper liefert eine theoretische Rechtfertigung dafür, warum Zufallssuche in hohen Dimensionen funktioniert:

Dimensionsunabhängigkeit: Die Projektion einer isotropen Gaußschen Störung auf eine nützliche Richtung hat eine Varianz, die unabhängig von der Gesamtzahl der Parameter ist.
Skalen-Fenster: Zufallssuche ist nur innerhalb eines spezifischen Perturbationsmaßstabs effektiv, in dem die Loss-Landschaft lokal linear ist (z. B. $\sigma \approx 10^{-4}$ auf Qwen2.5-0.5B). Außerhalb dieses Fensters dominiert die Krümmung, und Zufallsbewegungen werden destruktiv.
Suchqualität: Eine Zufallssuche innerhalb des Trajectory-Prefix-Subraums übertrifft die Suche innerhalb statischer Task-Subräume oder des isotropen Raums signifikant, was die theoretische Vorhersage bestätigt, dass die „Dichte“ des Signals wichtiger ist als die „Masse“ des Subraums.

C. Verbindung zwischen Gewichtsstörungen und Activation Steering

Die Autoren validieren die Verbindung zwischen Gewichts-Edits und Activation Steering:

Gradientenschritt als Steering-Vektor: Ein einzelner Gradientenschritt auf Qwen2.5-0.5B erzeugt eine Gewichtsstörung, deren Pushforward in den Aktivierungsraum mit einem kontrastiven Aktivierungs-Additions-Vektor (CAA) korreliert (Cosinus-Ähnlichkeit $\approx 0.58$ ) in den späten Decoder-Layern (19–20).
Wiederverwendbarkeit: Das Injizieren dieser gradienteninduzierten Aktivierungsverschiebung in ein sauberes Modell verbessert die Genauigkeit auf Hold-out-Daten (bis zu +10 Punkte auf BoolQ), vergleichbar mit Steering-Vektoren, die aus gelabelten kontrastiven Paaren abgeleitet wurden.
Random Search Bridge: Ausgewählte Zufallsgewichts-Perturbationen (Best-of-N) können ebenfalls in Steering-Vektoren konvertiert werden, die die Performance verbessern, wenngleich der Effekt verrauschter und aufgabenabhängiger ist.

D. Niedrigdimensionale Geometrie bei Skalierung

Synthetisch/LoRA: Eine klare Low-Rank-Struktur (effektiver Rang 2–8) ist in Task-Gradienten beobachtbar.
LLMs: Die Low-Rank-Behauptung wird bei Milliarden-Parameter-Skalen nur teilweise bestätigt. Während einige Einstellungen (z. B. Qwen-3B MLP) Ränge zeigen, die vom Rauschen unterscheidbar sind, zeigen andere (z. B. Qwen-7B) effektive Ränge, die von Sampling-Rauschen nicht zu unterscheiden sind, was darauf hindeutet, dass naive Rang-Schätzungen in dieser Größenordnung schwierig sind.

4. Bedeutung und Behauptungen

Das Paper beansprucht, ein korrigiertes geometrisches Verständnis der Adaptation in trainierten Netzwerken zu liefern:

Widerlegung statischer Task-Vektoren: Die relevanten linearen Strukturen sind keine globalen, festen Task-Richtungen, sondern evoluierende lokale Geometrien (Krylov-ähnliche Trajektorien-Bündel), die teilweise über Parameter- und Aktivierungsräume hinweg persistieren.
Vereinheitlichung der Methoden: Die Arbeit vereinheitlicht Gradienten-Updates, Zufallsparameter-Suche und Activation Steering unter einer einzigen differentialgeometrischen Perspektive. Sie postuliert, dass erfolgreiche Parameter-Perturbationen nützliche Aktivierungs-Richtungen induzieren, und dass Zufallssuche funktioniert, weil sie effizient innerhalb dieser lokalen linearen Regime sampelt.
Praktische Implikationen:
- Multitask-Training: Sequenzielle Spezialisierung ist brüchig, da die lokale Task-Ebene driftet; simultane Zeitpläne sind robuster.
- Suchstrategie: Um nützliche Richtungen zu finden, sollte man innerhalb der frühen Trajektorie des Adaptationspfades suchen, anstatt in statischen Task-Subräumen.
- Steering: Activation Steering-Vektoren können aus Gewichtsstörungen abgeleitet werden (selbst aus einem einzelnen Gradientenschritt), was die Lücke zwischen Gewichtsraum-Editierung und Aktivierungsraum-Kontrolle schließt.

Die Autoren bleiben bescheiden und merken an, dass, obwohl die Zufallssuche in kontrollierten Settings bestimmte Zielaufgaben gegenüber dem Gradientenabstieg übertreffen kann, sie instabil ist und keinen Ersatz für den Gradientenabstieg darstellt. Die Ergebnisse werden als Ausgangspunkt für eine tiefere Analyse lokaler linearer Strukturen präsentiert, mit Einschränkungen hinsichtlich der Evidenzstärke (stärkste Ergebnisse bei synthetischen und kleinen LoRA-Modellen) und der partiellen Natur der Low-Rank-Funde in Milliarden-Parameter-Modellen.