🤖 machine learning

ActivationReasoning: Logical Reasoning in Latent Activation Spaces

Das Papier stellt ActivationReasoning vor, ein Framework, das explizites logisches Schließen in die latenten Aktivierungsräume großer Sprachmodelle integriert, indem es Merkmale aus spärlichen Autoencodern auf logische Propositionen abbildet und dadurch transparentes, kontrollierbares und robustes Multi-Hop-Schließen über verschiedene Aufgaben und Modellarchitekturen hinweg ermöglicht.

Ursprüngliche Autoren: Lukas Helff, Ruben Härle, Wolfgang Stammer, Felix Friedrich, Manuel Brack, Antonia Wüst, Hikaru Shindo, Patrick Schramowski, Kristian Kersting

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lukas Helff, Ruben Härle, Wolfgang Stammer, Felix Friedrich, Manuel Brack, Antonia Wüst, Hikaru Shindo, Patrick Schramowski, Kristian Kersting

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie ein riesiges, unglaublich talentiertes, aber leicht chaotisches Orchester vor. Es kann wunderschöne Musik spielen (fließenden Text generieren), aber wenn Sie den Dirigenten (das Modell) fragen, warum es eine bestimmte Note gespielt hat, kann es sich nicht wirklich erklären. Die Noten sind alle in einem riesigen, verwickelten Netz aus Schallwellen miteinander vermischt. Das ist es, was Forscher als „Superposition" bezeichnen: Viele verschiedene Ideen sind im selben überlappenden Raum kodiert, was es schwierig macht, die einzelnen Instrumente zu erkennen oder die Musik zu steuern.

Die Arbeit stellt ein neues Framework namens Activation Reasoning (AR) vor, um dies zu beheben. Denken Sie an AR als die Installation eines intelligenten Dirigentenpults, das die inneren Vibrationen des Orchesters hören, spezifische Instrumente identifizieren und ihnen ein logisches Skript zur Befolgung geben kann.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Die Instrumente finden (Finden latenter Repräsentationen)

Zuerst verwendet das Team ein Werkzeug namens Sparse Autoencoder (SAE). Sie können sich den SAE als einen hochtechnologischen „Frequenzanalysator" vorstellen. Er hört dem chaotischen Lärm des Orchesters zu und trennt ihn in einzelne, klare Noten auf.

Das Ziel: „Monosemantische" Merkmale zu finden. Das bedeutet, eine spezifische Vibration im Modell zu finden, die nur „Brücke" bedeutet oder nur „San Francisco", anstatt eine unordentliche Mischung aus beidem.
Das Ergebnis: Sie erstellen ein Wörterbuch dieser klaren Konzepte. Manche Konzepte sind nur eine Note (Einzelmerkmal), manche ein Akkord aus wenigen Noten (Mehrmerkmals), und manche sind komplexe Regeln wie „Wenn Sie eine traurige Geige UND eine Molltonart hören, ist es 'Traurigkeit'" (Beziehungsmerkmal).

2. Noten in Sätze verwandeln (Aktivieren von Propositionen)

Stellen Sie sich nun vor, das Modell liest einen Satz: „Die Golden Gate Bridge ist in San Francisco."

Während das Modell liest, leuchtet der SAE auf. Er erkennt die „Brücke"-Note, die „San Francisco"-Note und die „USA"-Note.
Anstatt diese Noten einfach herumfliegen zu lassen, greift AR sie und verwandelt sie in logische Propositionen (einfache Aussagen wie „Brücke ist aktiv" oder „San Francisco ist aktiv").
Es erstellt eine Punktzahl (eine Aktivierungsmatrix), die genau zeigt, welche Konzepte derzeit „an" sind und wie laut sie sind.

3. Die Logik-Engine (Logisches Schließen)

Dies ist der magische Schritt. Das Team gibt dem System eine Reihe von logischen Regeln, wie ein Kochbuch zum Denken.

Die Regel: „WENN (Brücke) UND (San Francisco) UND (USA) alle aktiv sind, DANN ist (Golden Gate Bridge) wahr."
Die Aktion: Selbst wenn das Modell den Ausdruck „Golden Gate Bridge" noch nie gesehen hat, erkennt die Logik-Engine die drei Zutaten (Brücke, SF, USA) auf der Punktzahl und schließt auf das neue Konzept. Es schafft eine neue, höherstufige Idee aus den rohen Zutaten.
Die Kontrolle: Da das System nun weiß, dass „Golden Gate Bridge" logisch wahr ist, kann es das Modell lenken, Fragen korrekt zu beantworten oder unsichere Antworten zu blockieren. Wenn das Modell beispielsweise versucht zu sagen „Die Golden Gate Bridge ist in China", erkennt die Logik-Engine, dass die Regel „USA" verletzt wird, und korrigiert den Pfad des Modells.

Warum ist das eine große Sache? (Die Ergebnisse)

Die Arbeit testete diesen „intelligenten Dirigenten" an mehreren schwierigen Aufgaben, bei denen normale Modelle normalerweise verwirrt werden:

Mehrstufige Logik (PrOntoQA): Stellen Sie sich ein Rätsel vor, das fünf Schritte des Schlussfolgerns erfordert. Normale Modelle verirren sich nach Schritt zwei. AR behielt die Ruhe und löste 93 %+ dieser Rätsel, unabhängig davon, wie lang die Logikkette war. Es wurde nicht müde oder verwirrt.
Zwischen den Zeilen lesen (Rail2Country): Manchmal sagen Menschen nicht „Rot"; sie sagen „Die Farbe einer Tomate". Normale Modelle übersehen diese Verbindung oft. AR hingegen verstand, dass „Tomate" „Rot" impliziert, und nutzte dies, um das Rätsel zu lösen. Es konnte Metaphern und Vergleiche bewältigen, die andere Modelle verwirrten.
Realwelt-Sicherheit (BeaverTails): Das System wurde an kniffligen Sicherheitsfragen getestet. Es konnte zwischen einem „Polizisten mit einer Waffe" (im Kontext sicher) und einem „Kriminellen mit einer Waffe" (unsicher) unterscheiden, indem es die logische Kombination von Konzepten betrachtete, anstatt nur auf das Wort „Waffe" zu reagieren.

Das Fazit

Die Arbeit behauptet, dass Activation Reasoning das unordentliche, unsichtbare Gehirn einer KI in einen strukturierten, logischen Arbeitsraum verwandelt.

Transparenz: Wir können nun genau sehen, welche Konzepte die KI verwendet, um eine Entscheidung zu treffen.
Zuverlässigkeit: Es wird nicht durch komplexe Rätsel oder trickreiche Formulierungen verwirrt.
Kontrolle: Wir können der KI eine Reihe logischer Regeln geben, und sie wird ihnen folgen, was die KI sicherer und vorhersehbarer macht.

Kurz gesagt: AR nimmt das „Bauchgefühl" (latente Aktivierungen) der KI und gibt ihr ein „logisches Gehirn", das es stützt, wodurch die KI nicht nur ein fließender Redner, sondern ein zuverlässiger Denker wird.

Technische Zusammenfassung: ACTIVATIONREASONING (AR)

Problemstellung

Large Language Models (LLMs) zeichnen sich durch die Erzeugung fließenden Textes aus, leiden jedoch unter intransparenten internen Schlussfolgerungsmechanismen. Ihre internen Aktivierungen sind verteilt und verflochten (ein Phänomen, das als Superposition bekannt ist) und kodieren mehrere nicht zusammenhängende Merkmale in überlappenden Dimensionen. Dies verschleiert konzeptionelle Repräsentationen, schränkt die Interpretierbarkeit ein und behindert systematisches Schlussfolgern, kompositionelle Generalisierung und die Durchsetzung von Regeln. Während Sparse Autoencoder (SAEs) als Werkzeug zur Aufdeckung latenter Merkmale hervorgetreten sind, die oft mit menschlich interpretierbaren Konzepten übereinstimmen, bleiben diese Merkmale fragil, passiv und häufig mehrdeutig oder kontextuell instabil. Entscheidend ist, dass SAEs keine Mechanismen für Komposition und höherstufiges Schlussfolgern besitzen. Umgekehrt bietet formale Logik explizite Kompositionalität und Transparenz, setzt jedoch diskrete propositionale Einheiten voraus, was im Widerspruch zu den kontinuierlichen, superponierten Repräsentationen von LLMs steht. Diese Diskrepanz hat historisch die direkte Integration symbolischen Schlussfolgerns in neuronale Architekturen behindert.

Methodik: ACTIVATIONREASONING (AR)

Die Autoren schlagen ACTIVATIONREASONING (AR) vor, ein Framework, das explizites logisches Schlussfolgern direkt in den latenten Aktivierungsraum von LLMs einbettet. AR behandelt aus SAE abgeleitete Merkmale als propositionale Einheiten und kombiniert sie durch benutzerdefinierte Regeln. Das Framework arbeitet in drei distincten Stufen:

1. Finden latenter Repräsentationen

Die erste Stufe konstruiert ein Konzeptlexikon ( $D$ ), das im latenten Raum des LLM verankert ist.

Formalisierung: Ein Konzept $c$ wird als Tupel $(n_c, r_c, \tau_c)$ definiert, wobei $n_c$ ein semantischer Identifikator, $r_c$ die Funktion der latenten Repräsentation und $\tau_c$ ein weicher Aktivierungsschwellenwert ist.
SAE-Integration: Um Superposition zu adressieren, werden rohe LLM-Aktivierungen mithilfe von SAEs in einen spärlichen Merkmalsraum projiziert, um Monosemantizität zu fördern.
Repräsentationstypen: AR unterstützt drei Formen latenter Repräsentation, um unterschiedliche Abstraktionsgrade und Polysemie zu handhaben:
- Einzelmerkmal ( $R_{single}$ ): Bindet ein Konzept an ein SAE-Merkmal.
- Multi-Merkmal ( $R_{multi}$ ): Verknüpft ein Konzept mit einer Menge von $k$ SAE-Merkmalen und aggregiert Evidenz durch gewichtete Summen, um fragmentierte oder mehrdeutige Merkmale zu handhaben.
- Relationales Merkmal ( $R_{relation}$ ): Definiert Konzepte über strukturierte Relationen (z. B. Entscheidungsbäume) zwischen SAE-Merkmalen, was komplexe Interaktionen wie Konjunktionen oder kontextabhängige Ausschlüsse ermöglicht (z. B. die Unterscheidung von Hassrede von pädagogischer Nutzung).
Extraktion: Repräsentationen werden automatisch induziert, indem SAE-Merkmale identifiziert werden, die am besten Token unterscheiden, die mit einem Konzept gelabelt sind, von denen, die es nicht sind, oder manuell von Experten zugewiesen.

2. Aktivieren von Propositionen

Während der Inferenz überwacht AR Token-level-Aktivierungen, um sie atomaren Propositionen zuzuordnen.

Aktivierungsbewertung: Für jeden Token $t$ und jedes Konzept $c$ wird ein Aktivierungswert $a(c, t)$ basierend auf dem gewählten Repräsentationstyp berechnet (z. B. Summierung gewichteter Merkmalswerte für $R_{multi}$ ).
Propositionsbildung: Werte werden gegen $\tau_c$ $τ_{c}$ thresholded, um eine Aktivierungsmatrix $A$ $A$ zu bilden. Diese Matrix umfasst:
- Lokale Aktivierungen ( $A_{local}$ ): Token-level-Evidenz.
- Globale Aktivierungen ( $A_{global}$ ): Auf Sequenzniveau aggregierte Evidenz, die abstrakte Semantik (z. B. Sarkasmus) erfasst, die nur über einen Textabschnitt hinweg entsteht.

3. Logisches Schlussfolgern

Benutzerdefinierte logische Regeln ( $L$ ) werden auf die Aktivierungsmatrix $A$ angewendet, um höherstufige Strukturen abzuleiten.

Vorwärtskettung: Das System wendet Regeln iterativ auf die diskretisierten Aktivierungen an (z. B. $Brücke \land San Francisco \land USA \rightarrow Golden Gate Bridge$ ).
Angereicherte Matrix: Der Prozess ergibt eine angereicherte Matrix $A'$ , die sowohl direkt erkannte Konzepte als auch abgeleitete Propositionen enthält. Dies ermöglicht dem System, neue Konzepte zu komponieren, die im ursprünglichen SAE-Lexikon fehlen, und Mehrschritt-Deduktionen durchzuführen.

Integration und Steuerung

Die angereicherte Matrix $A'$ dient zwei Zwecken:

Analyse: Feingranulare Inspektion des Modellverhaltens, Zurückverfolgen von Fehlern zu spezifischen Aktivierungen und Evaluierung der Einhaltung von Sicherheitsregeln.
Steuerung: Direkte Intervention während der Inferenz. AR kann das Modell lenken, indem es latente Aktivierungen, die bestimmten Konzepten entsprechen (z. B. Lenkung hin zu „Sicher" oder „Rot"), verstärkt oder unterdrückt, unter Verwendung von Decoder-Gewichten, die aus dem SAE abgeleitet sind.

Hauptbeiträge

Framework: Einführung von ACTIVATIONREASONING (AR), einer Methode, die logische Propositionen in latenten SAE-Merkmalen verankert und kompositionelles Schlussfolgern durch explizite Regeln ermöglicht.
Benchmark: Vorschlag von Rail2Country, einem neuen Benchmark für Schlussfolgern über Meta-Ebenen-Konzeptbeschreibungen (z. B. Gleichnisse wie „farbig wie eine Tomate" statt explizit „rot").
Empirische Validierung: Demonstration, dass latente Aktivierungen als tragfähige Substrat für strukturiertes logisches Schlussfolgern dienen und Transparenz, Robustheit und Kontrolle bei Schlussfolgerungs-, Abstraktions- und Sicherheitstasks verbessern.

Experimentelle Ergebnisse

Die Autoren evaluierten AR auf den Backbones Llama-3.1-8B und Gemma-2-9B über vier Settings hinweg:

Mehrschritt-Schlussfolgern (PrOntoQA): AR löste deduktive Aufgaben mit 1, 3 und 5 Schritten mit Genauigkeiten von über 93%. Im Gegensatz zu Baselines (einschließlich größerer instruktionsfeinabgestimmter Modelle und auf Schlussfolgern spezialisierter Modelle wie DeepSeek-R1) verschlechterte sich die Leistung von AR nicht, als die Aufgabenkomplexität zunahm.
Meta-Ebenen-Abstraktion (Rail2Country): Im R2C-Mono-Setting (explizite Farben) schnitt AR Baselines signifikant ab. Im R2C-Meta-Setting (Farben, die über Gleichnisse beschrieben werden) kollabierten vanilla SAEs auf 0% Genauigkeit, und Basis-LLMs fielen auf ~30%. AR behielt eine robuste Leistung bei und erreichte 86% auf Gemma-2-9B, wodurch es erfolgreich die Lücke zwischen expliziten lexikalischen Hinweisen und impliziten semantischen Beschreibungen schloss.
Schlussfolgern in natürlicher Sprache (ProverQA): AR demonstrierte Robustheit gegenüber linguistischer Vielfalt und erreichte ~70% Genauigkeit bei „Hard"-Stufen-Problemen, bei denen alle anderen Modelle (einschließlich GPT-4o und DeepSeek-R1) unter 50% fielen.
Sicherheit und Ausrichtung (BeaverTails): AR verbesserte die balancierte Genauigkeit über 14 Sicherheitsdimensionen hinweg. Die relationale Repräsentation ( $R_{relation}$ ) erzielte die beste Gesamtleistung (83,0%), was SAEs signifikant übertraf (57,9%) sowie Einzel- und Multi-Merkmalsvarianten, insbesondere bei abstrakten und kontextsensitiven Sicherheitskonzepten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Verankerung logischer Strukturen in latenten Aktivierungen einen modellagnostischen Mechanismus bietet, der die Schlussfolgerungsleistung verbessert und gleichzeitig Transparenz und Kontrolle erhöht. Zu den wichtigsten Behauptungen gehören:

Robustheit: AR skaliert robust mit der Komplexität des Schlussfolgerns und generalisiert auf abstrakte, kontextsensitive Aufgaben, bei denen Standard-LLMs und sogar größere Modelle versagen.
Übertragbarkeit: Der Ansatz überträgt sich auf verschiedene Modell-Backbones (Llama und Gemma).
Effizienz: AR verursacht im Vergleich zu Chain-of-Thought (CoT) oder auf Schlussfolgern spezialisierten Modellen minimale Laufzeit-Overheads, da das Schlussfolgern im Aktivierungsraum stattfindet und nicht durch umfangreiche Token-Generierung.
Auditierbare Steuerung: Durch Operation auf diskreten Propositionen, die aus latenten Merkmalen abgeleitet sind, ermöglicht AR auditierbare Mechanismen für Sicherheit und Ausrichtung und erlaubt eine direkte Steuerung des Modellverhaltens ohne Nachtraining.

Die Autoren positionieren AR als Schritt hin zur Vereinigung der semantischen Fülle von LLMs mit der systematischen Generalisierung der Logik, hin zu Modellen, die zuverlässiger, steuerbarer und mit menschlichen Werten übereinstimmend sind. Sie erkennen Einschränkungen hinsichtlich der Abhängigkeit von der Qualität der SAEs und der aktuellen Abhängigkeit von manuell definierten Regeln an und schlagen zukünftige Arbeiten zur automatisierten Regelinduktion und probabilistischen Schlussfolgerung vor.