🤖 machine learning

Evidence for feature-specific error correction in LLMs

Diese Arbeit liefert empirische Belege dafür, dass große Sprachmodelle eine featurespezifische Fehlerkorrektur nutzen, indem sie zeigt, dass ihre Aktivierungen im Residualstrom gegenüber Perturbationen entlang gemischter Richtungen robuster sind als entlang privilegierter „reiner“ Feature-Richtungen, ein Befund, der konsistent mit einem Super- $L^p$ -Norm-Fehlerkorrekturmechanismus ( $p>2$ ) ist, der über mehrere Modellarchitekturen hinweg Bestand hat.

Ursprüngliche Autoren: Francisco Ferreira da Silva, Stefan Heimersheim

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Francisco Ferreira da Silva, Stefan Heimersheim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, hochtechnologische Bibliothek vor, in der jedes Buch ein Stück Wissen repräsentiert. Diese Bibliothek hat jedoch ein seltsames Problem: Sie hat viel mehr Bücher (Konzepte wie „Reichtum“, „Geschlecht“ oder „Programmierung“) als sie Regale (Dimensionen) hat, um sie unterzubringen.

Um dies zu lösen, nutzt die Bibliothek einen Trick namens Superposition. Sie stapelt mehrere Bücher übereinander auf demselben Regal, in der Hoffnung, dass sie nicht zu sehr durcheinandergeraten. Die große Frage, die Forscher gestellt haben, lautet: Wie verhindert die Bibliothek, dass diese gestapelten Bücher durcheinandergebracht und korrumpiert werden?

Dieses Paper argumentiert, dass die Bibliothek eine spezielle Art von Geräuschunterdrückungssystem (genannt „feature-spezifische Fehlerkorrektur“) verwendet, das die „echten Bücher“ anders behandelt als zufälliges Rauschen. Hier ist die Erklärung, wie sie dies bewiesen haben, unter Verwendung einfacher Analogien.

Das Experiment: Die Regale schubsen

Die Forscher beschlossen, die Stabilität der Bibliothek zu testen, indem sie die Bücher in den Regalen vorsichtig anstießen.

Der „Plateau“-Effekt: Sie fanden heraus, dass nichts passiert, wenn man ein Regal nur ein kleines Stück schubst. Die Bücher fallen nicht herunter, und die Geschichte, die das Modell erzählt, ändert sich nicht. Dies ist wie ein „flaches Plateau“ auf einem Hügel; man kann ein Stück weit gehen, ohne höher oder tiefer zu gelangen.
Die Richtung ist entscheidend: Sie entdeckten, dass dieses „Schubsen“ unterschiedlich wirkt, je nachdem, in welche Richtung man drückt.
- Wenn man in eine zufällige Richtung drückt (wie wenn man das Regal seitlich anstößt), ist das Regal sehr stabil. Man muss sehr fest drücken, um es zu bewegen.
- Wenn man in eine spezifische Richtung drückt (wie wenn man direkt auf das Buch „Reichtum“ oder das Buch „Geschlecht“ drückt), ist das Regal überraschend empfindlich. Es bewegt sich viel leichter.

Der „Superellipsen“-Test

Um genau zu messen, wie diese Empfindlichkeit funktioniert, erstellten sie eine mathematische Form namens Superellipse (denken Sie an eine Form zwischen einem perfekten Kreis und einem Quadrat).

Der Kreis (p = 2): Wenn die Bibliothek alle Richtungen gleich behandeln würde, wäre die Form des „Schubsen-Limits“ ein perfekter Kreis. Es würde keine Rolle spielen, ob man direkt auf ein Buch oder in einem 45-Grad-Winkel zwischen zwei Büchern drückt; der Aufwand wäre derselbe.
Das Quadrat (p > 2): Wenn die Bibliothek sich nur um die spezifischen Bücher kümmert und die Zwischenräume ignoriert, wird die Form eher einem Quadrat ähneln. Man kann im „Zwischenraum“ stark drücken, ohne etwas zu bewegen, aber sobald man direkt auf ein Buch zielt, bewegt es sich.

Das Ergebnis:
Als die Forscher Richtungen testeten, von denen sie wussten, dass sie wichtig sind (wie „Reichtum“, „Geschlecht“ oder „Programmiersprachen“), sah die Form aus wie ein Quadrat (speziell ein Wert von etwa 2,3).
Als sie Zufallsrichtungen oder durch Zufall gefundene Richtungen testeten, sah die Form aus wie ein Kreis (ein Wert von 2,0).

Was das bedeutet

Dieses Ergebnis deutet darauf an, dass das Modell über ein eingebautes „Fehlerkorrektursystem“ verfügt. Es ist darauf ausgelegt, hyper-sensibel für spezifische Konzepte (die „reinen“ Richtungen) zu sein, während es Rauschen ignoriert, das in den Mischungen dieser Konzepte existiert.

Denken Sie an ein Sicherheitssystem in einem Haus:

Zufälliges Rauschen: Wenn jemand gegen die Wand oder den Boden stößt (zufällige Richtung), geht der Alarm nicht los. Das Haus ist robust.
Spezifische Auslöser: Wenn jemand den spezifischen „Reichtum“-Knopf oder den „Geschlecht“-Knopf berührt, geht der Alarm sofort los.
Die Mischung: Wenn jemand versucht, beide Knöpfe gleichzeitig mit halber Kraft zu drücken, wird der Alarm weniger wahrscheinlich ausgelöst, als wenn er nur einen der Knöpfe mit voller Kraft drückt.

Das Paper zeigt, dass das Modell so gebaut ist, dass es seine spezifischen „Features“ vor dem Untergehen im Rauschen der Superposition schützt.

Der „Toy Model“-Beweis

Um absolut sicher zu sein, dass ihre Mathematik kein Zufall war, bauten die Forscher ein winziges, vereinfachtes Computermodell (ein „Toy Model“), bei dem sie genau wussten, wie die „Bücher“ gestapelt waren.

Als sie dieses Toy Model mit den echten Büchern testeten, zeigte es die „quadratische“ Form (p > 2).
Als sie ihren Test so rotierten, dass sie auf die falschen Stellen zielten, kehrte die Form zu einem Kreis zurück (p = 2).

Dies bestätigte, dass ihre Methode funktioniert: Wenn ein System diese Art von Fehlerkorrektur betreibt, muss es diese spezifische mathematische Signatur zeigen.

Zusammenfassung

Das Paper liefert den ersten realen Beweis dafür, dass Large Language Models Konzepte nicht einfach zufällig zusammenwürfeln. Sie besitzen einen hochentwickelten Mechanismus, der es ihnen ermöglicht, viele Ideen im selben Raum zu halten und sie dennoch unterscheidbar zu machen. Dies geschieht, indem sie besonders empfindlich für spezifische Konzepte und besonders resistent gegen zufälliges Rauschen sind, wodurch sie effektiv „Fehler korrigieren“, bevor diese das Denken des Modells stören können.

Sie testeten dies an sechs verschiedenen großen KI-Modellen (darunter Gemma, Llama und Mistral) und fanden in allen das gleiche Muster.

Technisches Resümee: Evidenz für featurespezifische Fehlerkorrektur in LLMs

Problemstellung

Die internen Repräsentationen von Large Language Models (LLMs) sind nach wie vor unzureichend verstanden. Eine vorherrschende Hypothese besagt, dass LLMs Superposition nutzen, um mehr Merkmale (Features) als verfügbare Dimensionen zu repräsentieren, und potenziell Berechnung in Superposition (Computation in Superposition, CiS) durchführen. Theoretische Arbeiten (Hänni et al., 2024) sagen voraus, dass für die Funktion von CiS das Netzwerk eine Fehlerkorrektur implementieren muss, die spezifische „Feature-Richtungen“ gegenüber generischen Richtungen bevorzugt, um Interferenzrauschen zu unterdrücken. Diese Vorhersage mangelt es jedoch an empirischer Validierung. Ohne eine Ground-Truth-Referenz für Feature-Richtungen ist es schwierig zu testen, ob LLMs bestimmte Richtungen als privilegiert behandeln. Dieses Paper schlägt einen empirischen Test vor, um zu bestimmen, ob LLMs eine featurespezifische Fehlerkorrektur (Feature-Specific Error Correction, FSEC) aufweisen – eine Eigenschaft, bei der das Modell weniger sensitiv gegenüber Perturbationen entlang von Nicht-Feature-Richtungen ist als entlang von Feature-Richtungen.

Methodik

Die Autoren schlagen einen perturbationsbasierten empirischen Test vor, um die Geometrie von Aktivierungsplateaus (Regionen, in denen kleine Perturbationen vernachlässigbare Auswirkungen auf die nachfolgende Reaktion haben) zu messen.

Perturbations-Setup:
- Aktivierungen des Residual-Streams in einer frühen Schicht ( $\ell=2$ ) werden perturbiert, indem der Aktivierungsvektor in Richtung einer Zielrichtung $d$ rotiert wird, wobei die Norm des Vektors beibehalten wird (norm-angepasste Perturbation).
- Die nachfolgende Reaktion wird in der vorletzten Schicht als $L_2$ -Distanz zwischen den perturbierten und den unperturbierten Residual-Streams gemessen.
- Der Plateau-brechende Winkel ( $\alpha$ ) ist definiert als der kleinste Perturbationswinkel, der einen bestimmten Antwortschwellenwert überschreitet.
Typen von Richtungen:
- Kandidat-Feature-Richtungen: Konstruiert mittels kontrastiver Prompts (z. B. Geschlecht, Sentiment, Sprachen), MELBO (unüberwachte Optimierung für die nachfolgende Reaktion) und Sparse Autoencoder (SAE) Decoder-Spalten.
- Baseline-Richtungen: Zufällige isotrope Richtungen, PCA-Richtungen und Random-Difference-Richtungen (Differenzen von ungepaarten Aktivierungen).
Der Superellipsen-Test:
- Die Autoren perturbieren Aktivierungen entlang von Mischungen zweier Richtungen ( $d_1, d_2$ ), indem sie einen Mischwinkel $\phi$ variieren.
- Sie modellieren den Plateau-brechenden Winkel $\alpha(\phi)$ als Funktion der Projektionen auf die zwei Richtungen.
- Die Reaktion wird als $L_p$ -Norm der Dekomposition modelliert: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$ .
- Theoretische Vorhersage:
  - Wenn das Modell nur auf die Magnitude der Perturbation reagiert (isotrop), ist die Grenze eine Ellipse ( $p=2$ ).
  - Wenn das Modell einzelne Feature-Richtungen privilegiert (FSEC), wölbt sich die Grenze nach außen und bildet eine Superellipse mit $p > 2$ . Dies bedeutet, dass eine Mischung von Features eine größere Perturbation erfordert, um das Plateau zu brechen, was impliziert, dass das Netzwerk die Interferenz aus gemischten Richtungen unterdrückt.

Zentrale Beiträge

Vorschlag von FSEC als Test: Die Autoren formalisieren FSEC als Test für Berechnung in Superposition, indem sie die Reaktion des LLM auf Perturbationen über den Exponenten $p$ der $L_p$ -Norm-Dekomposition modellieren.
Empirische Evidenz: Sie liefern die erste empirische Evidenz dafür, dass Kandidat-Feature-Richtungen gegenüber ihren Mischungen privilegiert sind.
Modellübergreifende Replikation: Die Ergebnisse werden über sechs diverse LLMs hinweg repliziert (Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B und Yi-1.5-9B).
Validierung durch Toy-Modell: Die Methodik wird an einem Toy-Denoising-Netzwerk mit bekannter Ground-Truth-Features validiert, was bestätigt, dass $p > 2$ für wahre Features wiederhergestellt wird und zu $p \approx 2$ degradiert, wenn die Richtungen von den Features weg rotiert werden.

Ergebnisse

Kontrastive Richtungen: Über 318 Paare von kontrastiven Richtungen hinweg (die Konzepte wie Wohlstand, Geschlecht und Sprachen abdecken) liegt der gefittete Superellipsen-Exponent konsistent bei $p > 2$ (Mittelwert $p \approx 2,42$ , Median $2,30$).
MELBO- und SAE-Richtungen: Diese Kandidat-Feature-Richtungen liefern ebenfalls $p > 2$ (MELBO Mittelwert $2,21$; SAE Mittelwert $2,28$), wenn auch etwas niedriger als die kontrastiven Richtungen.
Baselines: PCA-, Random- und Random-Difference-Richtungen clustern alle um $p \approx 2$ (Mittelwerte zwischen $2,03$ und $2,05$), was darauf hindeutet, dass sie nicht privilegiert sind.
Rotationsanalyse: Wenn kontrastive Richtungen in Richtung zufälliger orthogonaler Richtungen rotiert werden, sinkt der Exponent $p$ monoton von $\approx 2,4$ auf $\approx 2,0$ , was zeigt, dass $p$ die Ausrichtung auf Feature-Richtungen verfolgt.
Robustheit: Die Ergebnisse halten verschiedenen Ablationen stand, einschließlich unterschiedlicher Perturbationsschichten, Messschichten, Response-Metriken (Cosine Distance, KL-Divergenz) und Token-Positionen.

Bedeutung und Behauptungen

Das Paper behauptet, die erste empirische Evidenz dafür zu liefern, dass LLMs eine featurespezifische Fehlerkorrektur implementieren, eine notwendige Bedingung für die Berechnung in Superposition.

Interpretation von $p > 2$ : Die Autoren argumentieren, dass $p=2$ (eine quadratische Form) nicht in der Lage ist, eine große Anzahl von Feature-Richtungen gegenüber anderen zu privilegieren, aufgrund der begrenzten Freiheitsgrade in der Dimension des Modells. Im Gegensatz dazu erlaubt $p > 2$ dem Netzwerk, hochsensitiv gegenüber spezifischen Feature-Richtungen zu sein und gleichzeitig die Interferenz aus deren Mischungen zu unterdrücken.
Untere Schranke: Die Autoren merken bescheiden an, dass ihr gemessener Wert von $p \approx 2,3$ für LLMs wahrscheinlich eine untere Schranke darstellt. Da ihre Kandidat-Richtungen (kontrastiv, MELBO, SAE) unvollkommene Annäherungen an die tatsächlichen Ground-Truth-Features sind, verwässert die Fehlstellung die Richtungs-Sensitivität und verzerrt $p$ in Richtung 2. Ihre Toy-Modell-Experimente unterstützen dies und zeigen, dass selbst moderate Fehlstellungen $p$ von der Ground-Truth-Range ( $3\text{--}3,4$ ) auf den beobachteten LLM-Bereich reduziert.
Limitierungen: Das Paper stellt explizit fest, dass $p > 2$ zwar eine notwendige, aber keine hinreichende Bedingung ist, um zu beweisen, dass eine Richtung ein Feature ist (vorläufige Experimente deuten darauf hin, dass die bloße Maximierung von $p$ keine Features wiederherstellt). Zudem beweist die Existenz von Aktivierungsplateaus nicht definitiv die Existenz von Fehlerkorrektur; diese könnten auch aus anderen Robustheitsmechanismen resultieren. Dennoch bleibt die differenzielle Behandlung von Richtungen ( $p > 2$ für Features vs. $p \approx 2$ für Baselines) eine robuste Beobachtung der bevorzugten Behandlung.

Zusammenfassend etabliert das Paper eine quantitative Metrik ( $p$ ), die Kandidat-Feature-Richtungen von Nicht-Features unterscheidet, und bietet damit eine starke empirische Unterstützung für den theoretischen Rahmen von Superposition und Fehlerkorrektur in LLMs.