Technisches Resümee: C2R (Cross-sample Consistency Regularization)

1. Problemstellung

Sparse Autoencoder (SAEs) sind ein primäres Werkzeug zur Interpretation von Large Language Models (LLMs), indem sie dichte Aktivierungen in dünnbesetzte (sparse), menschenverständliche Merkmale zerlegen. Da SAEs jedoch auf große Dictionaries skalieren, zeigen sie zwei weit verbreitete Pathologien, welche die Zuverlässigkeit der gelernten Latenten beeinträchtigen:

• Feature Splitting (Merkmalsspaltung): Kohärente, hochgradige Konzepte werden in mehrere nicht-atomare, redundante Latente fragmentiert (z. B. wird ein einzelnes „Mathematik“-Konzept in separate „Algebra“- und „Geometrie“-Latente aufgeteilt). Dies verschleiert die wahren funktionalen Konzepte, die das Modell verwendet, und verschwendet die Kapazität des Dictionaries.
• Feature Absorption (Merkmalsabsorption): Spezifische Latente erfassen Aktivierungen, die eigentlich zu allgemeinen Merkmalen gehören sollten, wodurch willkürliche Ausnahmen entstehen (z. B. aktiviert ein „beginnt mit S“-Latent nicht auf „short“ oder „small“, weil tokenspezifische Latente das Signal absorbieren). Dies verzerrt das intendierte semantische Muster.

Die Autoren argumentieren, dass diese Probleme aus einer inkonsistenten latenten Zuweisung über Proben hinweg resultieren. Standardmäßige Sparsitäts-Objektive (wie $\ell_1$-Regularisierung oder TopK-Constraints) operieren auf einer pro-Sample-Basis. Ohne über Proben hinweg konsistente Constraints kann der Optimierer die Sparsitäts-Strafe minimieren, indem er ein einzelnes semantisches Konzept über mehrere disjunkte Latente verteilt oder zulässt, dass spezifische Latente Aktivierungen von allgemeinen eins „stehlen“, solange der Rekonstruktionsfehler für dieses spezifische Sample niedrig bleibt.

2. Methodik: C2R

Um diese Fehler zu adressieren, führt das Paper C2R (Cross-sample Consistency Regularization) ein. Diese Methode erzwingt, dass jedes semantische Merkmal über den gesamten Batch hinweg durch ein einheitliches Latent repräsentiert wird.

Theoretische Grundlage

C2R basiert auf der Minkowski-Ungleichung und der strikten Konvexität der $\ell_2$-Norm. Die zentrale Erkenntnis ist, dass für nicht-ausgerichtete Vektoren $u$ und $v$ die Summe ihrer Normen strikt größer ist als die Norm ihrer Summe:
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
Im Kontext von SAEs gilt: Wenn ein semantisches Merkmal über mehrere Latente aufgeteilt ist, wird die Summe der $\ell_2$-Normen ihrer Aktivierungen über einen Batch höher sein, als wenn das Merkmal in ein einziges Latent konsolidiert wäre. C2R nutzt dies aus, um die Aufteilung semantischer Informationen zu bestrafen.

Das C2R-Objektiv

Die Methode erweitert die paarweise Analyse auf ein vollständiges Dictionary, indem sie redundante Latent-Paare identifiziert und deren Ko-Aktivierung bestraft.

1. Redundanzdetektion: Für jedes Latent $i$ identifiziert der Algorithmus seinen nächsten Nachbarn $j^*(i)$ im Decoder-Gewichtsraum basierend auf der Kosinus-Ähnlichkeit. Dies zielt auf Paare ab, die wahrscheinlich fragmentierte oder absorbierte Variationen darstellen.
2. Gated Penalty (Gesteuerte Strafe): Der Regularisierungsverlust wird durch die quadrierte, rechtwinklige Kosinus-Ähnlichkeit ($\rho^2$) zwischen den Decoder-Gewichten des Paares gewichtet. Dies fungt als Gate:
   • Wenn die Latente unterscheidbar (orthogonal) sind, ist $\rho \approx 0$ und es wird keine Strafe angewendet.
   • Wenn die Latente redundant (hochgradig ausgerichtet) sind, ist $\rho$ groß und die Strafe wird angewendet.
3. Loss-Formulierung:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   Wobei $Z_{:,i}$ die Batch-Aktivierungen für Latent $i$ darstellt. Das gesamte Trainingsziel addiert diesen Term zum Standard-SAE-Loss:
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

Gradientendynamik

Der Gradient von C2R liefert zwei gleichzeitige Kräfte:

• Konsistenzdruck (Consistency Pressure): Skaliert mit der Ähnlichkeit ($\rho^2$), um die Summe der Normen zu minimieren, was aufgesplitterte Aktivierungen in ein einzelnes Latent drängt.
• Implizite Orthogonalität: Skaliert mit der Aktivierungsamplitude ($S$), um die Kosinus-Ähnlichkeit zwischen Decoder-Gewichten zu minimieren. Im Gegensatz zu uniformen Orthogonalitäts-Constraints skaliert dies die Strafe nach der Häufigkeit der Merkmale, um die vorzeitige Zerstörung seltener oder sich entwickelnder Merkmale zu verhindern.

3. Kernbeiträge

Das Paper skizziert drei primäre Beiträge:

1. Theoretische Diagnose: Eine vereinheitlichte formale Analyse, die den Mangel an Konsistenz über Proben hinweg in pro-Sample-Sparsitäts-Objektiven als Ursache für Feature Splitting und Absorption identifiziert.
2. Prinzipielles Objektiv: Der Vorschlag von C2R, einer neuartigen Regularisierung, die Decoder-Geometrie und Batch-Level-Statistiken nutzt, um eine konsistente Latent-Selektion zu erzwingen und zwischen echter Polysemantizität und schädlicher Redundanz zu unterscheiden.
3. Empirische Validierung: Demonstration, dass C2R Feature Splitting und Absorption signifikant mildert, während die Rekonstruktionstreue erhalten bleibt, wobei es State-of-the-Art-Baselines wie Batch TopK, Matryoshka SAEs und OrtSAE übertrifft.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Gemma-2-2B (und validiert auf Qwen3-8B und Llama-3-8B) unter Verwendung des SAEBench-Frameworks durchgeführt.

• Milderung von Pathologien: C2R erreichte die niedrigsten Raten von Feature-Absorption und -Splitting unter den Methoden, die eine hohe Rekonstruktionstreue beibehielten. Während Matryoshka SAEs niedrigere Splitting/Absorption-Scores zeigten, litten sie unter einer signifikanten Degradierung der Rekonstruktionsqualität.
• Rekonstruktionstreue: Im Gegensatz zu Matryoshka SAEs behielten C2R-verbesserte Modelle hohe „Loss Recovered“- und „KL Divergence“-Scores bei, was darauf hindeutet, dass das ursprüngliche Verhalten des LLM bewahrt wurde.
• Interpretierbarkeit & Disentanglement: C2R hatte keinen negativen Einfluss auf den „AutoInterp“-Score (menschliche Verständlichkeit der Merkmale) oder die „Disentanglement“-Scores (kausale Kontrolle von Attributen).
• Merkmalszusammensetzung: C2R lieferte die niedrigste maximale Kosinus-Ähnlichkeit zwischen Decoder-Gewichten, was auf ein atomischeres und unterscheidbareres Merkmalssatz hindeutet.
• Downstream-Aufgaben: In kausalen Interventionsaufgaben (Spurious Correlation Removal und Targeted Probe Perturbation) übertraf C2R TopK, Batch TopK und OrtSAE und erreichte eine Leistung, die mit Matryoshka SAEs vergleichbar ist.
• Robustheit: Die Methode blieb effektiv über verschiedene Random Seeds, Modellskalen (8B), Layer und Trainingsdatenzusammensetzungen (OpenWebText vs. The Pile) hinweg.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass C2R eine prinzipielle Lösung für den Trade-off zwischen Merkmals-Atomizität und Modelltreue bietet. Durch die Erzwingung von Konsistenz über Proben hinweg adressiert es die fundamentale Limitierung der pro-Sample-Optimierung in SAEs.

Die Autoren betonen, dass ihr Ansatz:

• Die interpretierbare Latenz verbessert: Durch die Konsolidierung fragmentierter Konzepte und das Entfernen willkürlicher Ausnahmen spiegelt das resultierende Dictionary die hierarchische Natur von Sprachmodell-Merkmalen besser wider.
• Die Performance bewahrt: Entscheidend ist, dass diese Verbesserungen ohne Verschlechterung der Fähigkeit des SAE, die ursprünglichen Aktivierungen des Modells zu rekonstruieren, erreicht werden – ein häufiger Schwachpunkt früherer struktureller SAE-Versuche.
• Theoretische Garantien bietet: Unter spezifischen Bedingungen (die empirisch in 88,1 % der Absorptionspaare erfüllt sind), bietet die Methode eine theoretische Garantie gegen Splitting und Absorption, die aus der Minkowski-Ungleichung abgeleitet ist.

Die Arbeit positioniert C2R als einen generalisierten Regularisierer, der mit verschiedenen SAE-Architekturen kompatibel ist (TopK, Batch TopK, OrtSAE, AbsTopK), und bietet einen robusten Weg für die Analyse interner Prozesse großer Sprachmodelle.