Measuring Semantic Abstractness of SAE Features via Nonlocality

Technische Zusammenfassung: Messung der semantischen Abstraktion von SAE-Features via Nichtlokalität

Problemstellung
Sparse Autoencoder (SAEs) sind zu einem primären Werkzeug für die Entdeckung mechanistischer Erklärungen von Verhaltensweisen großer Sprachmodelle (LLMs), wie etwa Schlussfolgerungen (Reasoning) oder Jailbreaking, geworden, indem sie kausal wirksame Features isolieren. Es besteht jedoch eine kritische Lücke bei der Unterscheidung zwischen echten, hochgradig semantischen Features und oberflächlichen, token-getriebenen Features (z. B. spezifische lexikalische Hinweise oder Formatierungsmuster). Aktuelle Methoden zur Feature-Selektion – die auf Keyword-Filterung, kontrastiven Datensätzen oder LLM-generierten Auto-Interpretationen beruhen – scheitern oft daran, die Abstraktionsebene eines Features zu bestimmen. Folglich impliziert eine erfolgreiche Verhaltenssteuerung durch Intervention nicht zwangsläufig ein mechanistisches Verständnis der zugrunde liegenden Berechnung; ein Feature könnte lediglich die Wahrscheinlichkeit erhöhen, ein bestimmtes Token (z. B. „Wait“) auszugeben, anstatt ein komplexes Konzept wie „Unsicherheit“ zu repräsentieren. Es besteht ein Bedarf an einer LLM-unabhängigen, label-freien Metrik, um die „mechanistische Komplexität“ oder semantische Abstraktion von SAE-Features zu quantifizieren.

Methodik: Feature-Nichtlokalität (FNL)
Die Autoren führen die Feature-Nichtlokalität (FNL) als quantitativen Zeugen für die kontextuelle Reichweite eines Features ein. Inspiriert von der holografischen Dualität behandelt FNL die Token-Sequenz des Transformers als eine „Zeitevolution“ und misst die „Position“ der Aktivierung eines Features in diesem temporalen Raum.

Die Metrik ist wie folgt definiert:

1. Einfluss pro Position: Für ein spezifisches SAE-Feature $a$, das an der finalen Token-Position $T$ eines Prompts $P$ aktiviert wird, berechnen die Autoren die quadrierte Gradientennorm der Feature-Aktivierung in Bezug auf das Input-Embedding an jeder vorangehenden Position $t$ ($1 \le t \le T$). Dies misst, wie stark die Aktivierung des Features von spezifischen Input-Tokens abhängt.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. Wahrscheinlichkeitsverteilung: Diese Einfluss-Scores werden normalisiert, um eine Wahrscheinlichkeitsverteilung $p_a^{(P)}(t)$ über die Präfix-Positionen zu bilden.
3. Entropie-Berechnung: Die Nichtlokalität $H(a, P)$ ist definiert als die Shannon-Entropie dieser Verteilung.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. Aggregation: Ein Datensatz-Level-FNL-Score $H(a, D)$ wird durch Mittelung der Entropie über eine Menge von Aktivierungsereignissen erhalten.

Intuitiv deutet eine niedrige FNL darauf hin, dass die Aktivierung eines Features durch lokale, spezifische Tokens getrieben wird (niedrige Entropie, konzentrierter Einfluss), während eine hohe FNL anzeigt, dass ein Feature Informationen über das gesamte Kontextfenster hinweg integriert (hohe Entropie, diffuser Einfluss).

Wesentliche Beiträge

1. Definition von FNL: Das Paper schlägt FNL als label-freie, gradientenbasierte Metrik vor, um die typische kontextuelle Reichweite eines SAE-Features zu charakterisieren.
2. Validierung von Stabilität und Geometrie: Die Autoren zeigen, dass FNL-Rankings über verschiedene Datensätze (WikiText, GSM8K, Code-Python) und Modelltiefen hinweg stabil sind. Sie zeigen zudem, dass Felesaian mit der Feature-Geometrie korreliert, wobei Features mit ähnlichen Decoder-Vektoren (ähnliche Write-Seite-Funktionen) ähnliche Nichtlokalitätsbereiche aufweisen.
3. Korrelation mit semantischer Abstraktion: FNL wird gegen zwei unabhängige Proxy-Maße der Abstraktion validiert:
   • Anfälligkeit gegenüber Token-Injektion: High-FNL-Features zeigen eine geringere Anfälligkeit dafür, durch isolierte Token-Injektionen (False Positives) ausgelöst zu werden, was sie von token-getriebenen Features unterscheidet.
   • Paraphrase-Invarianz: High-FNL-Features weisen eine größere Robustheit gegenüber bede preservation-erhaltenden Paraphrasen (geringere False Negatives) auf als Low-FNL-Features.
4. Downstream-Anwendungen:
   • Audit zur Jailbreak-Abschwächung: Die Autoren analysierten neu die Features, die zur Abschwächung von Wrapper-Stil-Jailbreaks verwendet werden. Sie fanden heraus, dass die effektivsten Features eine nahezu Null-FNL aufweisen, was bedeutet, dass sie fast ausschließlich am Anfang der Sequenz aktivieren (positionale Indikatoren), anstatt eine schädliche Absicht zu erkennen. Dies deutet darauf hin, dass aktuelle Minderungsmechanismen auf oberflächlichen Artefakten statt auf semantischem Verständnis beruhen.
   • Reasoning-Steuerung: In einem Proof-of-Concept-Experiment auf DeepSeek-R1-Distill-Llama-8B verbesserte die Steuerung von High-FNL-Features die MATH-500-Genauigkeit um 4,6 Punkte gegenüber der ungesteuerten Baseline und übertraf damit die Steuerung von Low-FNL-Features sowie Random-Baselines.

Ergebnisse

• Korrelationsmetriken: FNL zeigt eine signifikante negative Korrelation mit der Recovery bei Token-Injektion ($\rho \approx -0,46$) und eine positive Korrelation mit der Paraphrase-Robustheit ($\rho \approx 0,27$).
• Diskriminationskraft: FNL unterscheidet erfolgreich zwischen kontextabhängigen und token-getriebenen Features in 73–84 % der zufällig gezogenen Paare (AUC 0,73–0,84).
• Jailbreak-Erkenntnisse: In der Untersuchung von 25 Jailbreak-Mitigations-Features wurden 21 als positional (0 FNL) identifiziert; die Steuerung dieser positionalen Features war für den Großteil der Verbesserungen der Verteidigung verantwortlich, während die Steuerung der 4 inhaltsbewussten Features vernachlagbare Gewinne brachte.
• Steuerungsleistung: Die High-FNL-Steuerung auf DeepSeek-R1-Distill-Llama-8B erreichte eine MATH-500-Genauigkeit von 0,911 (avg@4), verglichen mit 0,865 für die ungesteuerte Baseline. Die Autoren merken jedoch an, dass dieser Gewinn modellspezifisch ist; auf anderen Modellen (Gemma-2-9B, Qwen3-8B) übertraf die High-FNL-Steuerung die Baselines nicht konsistent.

Bedeutung und Behauptungen
Das Paper kommt zu dem Schluss, dass FNL ein LLM-unabhängiger, label-freier, korrelativer Zeuge des Abstraktionslevels eines SAE-Features ist. Es beansprucht nicht, ein perfekter Prädiktor für die Steuerungsnutzlichkeit in allen Kontexten zu sein, argumentiert aber, dass es ein notwendiges Diagnosewerkzeug bietet, um zwischen oberflächlichen lexikalischen Triggern und echter hochgradiger Berechnung zu unterscheiden.

Die Autoren betonen, dass während die Steuerungsnutzlichkeit die Kontrolle validiert, FNL hilft, das Verständnis zu validieren, indem es offenlegt, ob ein Feature ein komplexes semantisches Konzept oder einen einfachen positionalen Hinweis repräsentiert. Diese Unterscheidung ist entscheidend für die Entwicklung robuster mechanistischer Erklärungen von LLM-Verhalten und für das Design effektiverer Sicherheitsinterventionen, die auf echte Intent-Erkennung statt auf Oberflächenartefakte abzielen. Die Arbeit wird als Schritt in Richtung einer feingliedrigen mechanistischen Interpretierbarkeit präsentiert, mit dem Vorbehalt, dass die Steuerungs-Ergebnisse ein Proof-of-Concept sind und keine allgemeine Garantie darstellen, dass hohe Nichtlokalität Nutzen vorhersagt.