🤖 machine learning

When Are Two Networks the Same? Tensor Similarity for Mechanistic Interpretability

Dieser Beitrag führt die „Tensor-Ähnlichkeit" ein, eine gewichtsbasierte Metrik, die gegenüber Symmetrien im Gewichtsraum invariant ist und die globale funktionale Äquivalenz zwischen tensorbasierten neuronalen Netzen effizient verifiziert, wodurch die mechanistische Interpretierbarkeit von einer empirischen Annäherung in ein gelöstes algebraisches Problem verwandelt wird.

Ursprüngliche Autoren: ML Nissen Gonzalez, Melwina Albuquerque, Laurence Wroe, Jacob Meyer Cohen, Logan Riggs Smith, Thomas Dooms

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: ML Nissen Gonzalez, Melwina Albuquerque, Laurence Wroe, Jacob Meyer Cohen, Logan Riggs Smith, Thomas Dooms

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei identisch aussehende Roboter. Beide gehen, sprechen und lösen mathematische Probleme auf die gleiche Weise. Doch wenn Sie ihre Brustöffnungen öffnen, stellen Sie fest, dass ihre inneren Zahnräder völlig unterschiedlich angeordnet sind. Das eine hat vertikal gestapelte Zahnräder; das andere hat sie horizontal ausgebreitet.

Das Problem:
In der Welt der KI wollen Wissenschaftler verstehen, wie diese Roboter (neuronale Netze) denken. Dies wird als „mechanistische Interpretierbarkeit" bezeichnet. Doch es gibt ein großes Ärgernis: Wie beweisen Sie, dass zwei verschiedene interne Anordnungen tatsächlich exakt dasselbe tun?

Aktuelle Methoden sind vergleichbar damit, die Roboter zu beobachten, wie sie gehen.

Der „Verhaltens"-Test: Wenn sie auf einem bestimmten Pfad gleich gehen, gehen wir davon aus, dass sie gleich sind. Doch was, wenn ein Roboter einen geheimen Trick hat, der nur auf einem Pfad funktioniert, den wir noch nicht gegangen sind? Wir würden ihn übersehen.
Der „Bauplan"-Test: Wenn wir nur die Baupläne (die Zahlen im Inneren des Roboters) vergleichen, könnten wir sagen, sie seien unterschiedlich, weil die Zahnräder gedreht sind, selbst wenn sie exakt denselben Job erledigen. Es ist so, als würde man sagen, zwei Häuser seien unterschiedlich, weil das eine die Küche links und das andere rechts hat, obwohl die Räume identisch funktionieren.

Die Lösung: „Tensor-Ähnlichkeit"
Die Autoren dieses Papers haben eine neue Methode entwickelt, um diese Roboter zu vergleichen. Sie nennen sie Tensor-Ähnlichkeit.

Stellen Sie es sich so vor: Anstatt die Baupläne zu betrachten oder den Roboter beim Gehen zu beobachten, nutzen sie einen speziellen „magischen Spiegel", der das Wesen der Mathematik des Roboters betrachtet.

Der „Magische Spiegel" (Symmetrie-Invarianz):
Stellen Sie sich eine Skulptur aus Ton vor. Sie können sie quetschen, dehnen oder drehen, aber wenn sie immer noch die gleiche Form hat, ist es dieselbe Skulptur. Aktuelle Methoden geraten in Verwirrung, wenn Sie die Skulptur drehen. Die neue Methode der Autoren ignoriert die Drehung. Sie interessiert sich nur für die Form der Funktion. Wenn zwei Roboter dieselbe Mathematik betreiben, verleiht ihnen diese Methode eine perfekte Punktzahl, selbst wenn ihre inneren Zahlen völlig unterschiedlich aussehen.
Das „Röntgenbild" (Datenfrei):
Die meisten Tests müssen dem Roboter Tausende von Fragen zuführen, um zu sehen, wie er antwortet. Diese neue Methode benötigt keine Fragen. Sie betrachtet das innere „Gehirn" des Roboters (die Gewichte) und berechnet die Antwort mathematisch. Es ist wie ein Röntgenbild, das Ihnen sagt, ob ein Knochen gebrochen ist, ohne den Patienten zu bitten, zu gehen.
Der „Spezialroboter" (Tensor-basierte Modelle):
Damit dieser magische Spiegel funktioniert, mussten die Autoren ihre Roboter mit einer leicht anderen Art von Ton bauen, der „Tensoren" genannt wird (speziell multilinear Modelle). Diese Roboter funktionieren genauso wie normale KI, aber ihre innere Mathematik ist so strukturiert, dass dieser spezielle Vergleich möglich ist. Es ist ein Kompromiss: Sie müssen den Roboter auf eine bestimmte Weise bauen, um dieses hochpräzise Vergleichswerkzeug zu erhalten.

Was sie fanden (Die Experimente):
Das Team testete dieses neue Werkzeug in vier verschiedenen Szenarien:

Der „Amnesie"-Test: Sie brachten einem Roboter bei, die Zahlen 0–4 zu erkennen, und fügten dann 5–9 hinzu. Später versuchten sie, ihn zu veranlassen, die 9 zu vergessen. Die alten Werkzeuge konnten nicht sagen, welcher Teil des Roboters vergaß. Das neue Werkzeug richtete einen Laser direkt auf das spezifische „Zahnrad", das für die Zahl 9 verantwortlich war, und zeigte genau, wo der Gedächtnisverlust stattfand.
Der „Aha!"-Moment (Grokking): Manchmal wird KI nach langem Ringen plötzlich sehr gut in einer Aufgabe. Das neue Werkzeug zeigte, dass dies kein plötzlicher Sprung ist, sondern eine langsame, kontinuierliche Umordnung der inneren Zahnräder des Roboters, die die alten Werkzeuge übersehen hatten.
Der „Geheimhand"-Schlag (Backdoors): Sie pflanzten einen geheimen Auslöser in den Roboter ein: „Wenn Sie ein schwarzes Diamant sehen, nennen Sie es eine 9." Der Roboter funktionierte auf normalen Bildern immer noch perfekt, sodass Standardtests sagten, er sei in Ordnung. Doch das neue Werkzeug, das die innere Mathematik betrachtete, entdeckte sofort den geheimen Handgriff, selbst ohne das schwarze Diamant zu sehen.
Der „Sprach"-Test: Sie wandten dies auf ein Sprachmodell an (einen Roboter, der Text schreibt). Das neue Werkzeug zeigte klare, scharfe Veränderungen, als der Roboter neue Muster lernte, während andere Werkzeuge nur ein verschwommenes Durcheinander sahen.

Das Fazit:
Das Paper argumentiert, dass wir, um KI wirklich zu verstehen, eine Möglichkeit benötigen, ihre innere Logik zu vergleichen, die nicht durch die Anordnung der Zahlen oder die Daten, die wir ihnen zuführen, getäuscht wird. Ihr neues Maß „Tensor-Ähnlichkeit" tut genau das, funktioniert derzeit jedoch nur bei einer bestimmten Art von KI-Architektur (tensor-basierte Modelle). Es verwandelt das chaotische Problem „Sind diese beiden Gehirne gleich?" in ein sauberes, lösbares mathematisches Problem.

Technische Zusammenfassung: Tensor-Ähnlichkeit für mechanistische Interpretierbarkeit

Problemstellung

Mechanistische Interpretierbarkeit zielt darauf ab, neuronale Netze in sinnvolle, konstituierende Teile zu zerlegen, um ihre internen Berechnungen zu verstehen. Eine kritische Voraussetzung für dieses Feld ist die Fähigkeit, rigoros zu verifizieren, ob zwei zerlegte Komponenten (oder zwei verschiedene Modelle) dieselbe zugrunde liegende Funktion implementieren. Aktuelle Evaluierungsmethoden leiden unter zwei primären Einschränkungen:

Empirische/Verhaltensähnlichkeit: Methoden, die Modellausgaben oder Aktivierungen auf spezifischen Datensätzen vergleichen, sind blind gegenüber Mechanismen außerhalb der Verteilung (OOD). Sie können Probleme wie Hintertüren nicht erkennen, die nur bei bestimmten Eingaben ausgelöst werden, oder sie versagen bei der Generalisierung, wenn die Zerlegung auf approximativen Heuristiken statt auf der wahren Funktion beruht.
Parameterbasierte Ähnlichkeit: Methoden, die Gewichtsmatrizen vergleichen (z. B. Matrix-Kosinus-Ähnlichkeit), sind hochgradig empfindlich gegenüber Symmetrien im Gewichtsraum (wie Permutation und Skalierung). Sie erkennen funktionale Äquivalenz nicht, wenn Modelle unterschiedlich trainiert wurden oder wenn Mechanismen über Schichten verteilt sind, statt in einzelnen Neuronen konzentriert zu sein.

Es fehlt eine rigorose, datensatzunabhängige Metrik, die invariant gegenüber diesen Symmetrien ist und globale funktionale Äquivalenz erfassen kann.

Methodik

Die Autoren schlagen Tensor-Ähnlichkeit vor, eine gewichtsbasierte Metrik, die für tensorbasierte neuronale Netze (speziell multilineare Modelle wie bilineare Transformer) entwickelt wurde. Dieser Ansatz ersetzt die Verwendung standardmäßiger nichtlinearer Aktivierungsfunktionen durch polynomielle (multilineare) Architekturen, um eine algebraische Analyse der Gewichte zu ermöglichen.

Kernarchitektonische Verschiebung

Die Methode basiert auf multilinearen Modellen, bei denen Aktivierungsfunktionen durch multiplikative Gating-Mechanismen ersetzt werden (z. B. bilineare Schichten und bilineare Aufmerksamkeit).

Bilineare Schichten: Bilden einen angehobenen Input $\tilde{x} = (1, x)$ über ein Polynom zweiten Grades auf eine Ausgabe ab: $A(x) = D((L\tilde{x}) \odot (R\tilde{x}))$ .
Multilineare Darstellung: Diese Schichten können als Kontraktion eines Gewichtstensors $A$ mit $n$ Kopien des Inputs ausgedrückt werden: $A(x) = A \cdot \text{in}^{\otimes n} \tilde{x}$ .
Tiefe Modelle: Tiefe multilineare Netze werden als baumstrukturierte Zerlegungen globaler Tensoren konstruiert, was eine effiziente Berechnung ermöglicht, ohne den exponentiell großen globalen Tensor materialisieren zu müssen.

Die Tensor-Ähnlichkeitsmetrik

Die Metrik ist definiert als ein generalisiertes Skalarprodukt zwischen zwei Gewichtstensoren $A$ und $B$ , normalisiert durch ihre induzierten Normen:
$\text{sim}_M(A, B) = \frac{\langle A | M | B \rangle}{\|A\|_M \|B\|_M}$
wobei $M$ ein Metriktensor ist.

Um sicherzustellen, dass die Metrik die Kriterien der Symmetrieinvarianz und Datensatzunabhängigkeit erfüllt, leiten die Autoren eine spezifische Form für $M$ her:

Symmetrisierung: Basierend auf dem Polarisationsisomorphismus stellen die Autoren fest, dass zwei multilineare Modelle genau dann funktional äquivalent sind, wenn ihre Gewichtstensoren denselben Repräsentanten im symmetrischen Unterraum haben. Die Metrik projiziert Tensoren auf diesen symmetrischen Unterraum, um Freiheitsgrade in Bezug auf Eingabe-Permutationssymmetrien zu entfernen.
Gaußsche Metrik: Um die Metrik weiter zu verfeinern und sie mit der Verhaltensähnlichkeit in Beziehung zu setzen, definieren die Autoren $M$ unter Verwendung des Erwartungswerts des Input-Tensors unter einer Standard-Gauß-Verteilung ( $x \sim \mathcal{N}(0, I)$ ). Unter Verwendung des Isserlis-Theorems ergibt sich eine geschlossene Form der Metrik, die das Skalarprodukt der Aktivierungen über den gesamten Gaußschen Eingaberaum berechnet, anstatt über einen gesampelten Datensatz.
Effiziente Berechnung: Ein Gram-basierter rekursiver Algorithmus ermöglicht die Berechnung dieser Ähnlichkeit für tiefe Netze durch die schrittweise Verarbeitung lokaler Tensoren Schicht für Schicht, wodurch die Notwendigkeit entfällt, den vollständigen globalen Tensor zu instanziieren.

Hauptbeiträge

Eine prinzipielle gewichtsbasierte Metrik: Die Arbeit führt eine Metrik ein, die invariant gegenüber Symmetrien im Gewichtsraum (Permutationen, Skalierung) und unabhängig vom Eingabedatensatz ist. Sie verifiziert funktionale Äquivalenz formal, indem sie prüft, ob zwei Modelle dieselbe polynomielle Logik implementieren.
Geschlossene Form, datenfreie Analyse: Im Gegensatz zu verhaltensbasierten Metriken erfordert die Tensor-Ähnlichkeit keine Datengenerierung. Sie integriert über den gesamten Gaußschen Eingaberaum, was sie in der Lage macht, OOD-Mechanismen (wie Hintertüren) zu erkennen, die für Standard-Leistungsmetriken unsichtbar sind.
Lokalisierungsfähigkeiten: Die Metrik kann „geschnitten" werden, um sich auf bestimmte Ausgabedimensionen zu konzentrieren, oder „diff"-Tensoren verwendet werden, um funktionale Änderungen zwischen Checkpoints zu isolieren, was die Zuordnung spezifischer Mechanismen zu spezifischen Ausgaben ermöglicht.
Skalierbarkeit: Der rekursive Algorithmus stellt sicher, dass die Metrik für tiefe Netze rechnerisch handhabbar ist und exponentielle oder quadratische Konvergenzschranken vermeidet, die mit Monte-Carlo-Sampling verbunden sind.

Ergebnisse

Die Autoren validieren die Tensor-Ähnlichkeit über vier verschiedene Domänen und demonstrieren ihre Überlegenheit gegenüber bestehenden Metriken (CKA, Matrix-Kosinus, Verhaltensähnlichkeit):

Katastrophales Vergessen (Vision): In einem progressiven Trainingssetup auf SVHN lokalisiert die Tensor-Ähnlichkeit den Wissensverlust für spezifische Ziffern (z. B. Ziffer '9') präzise, wenn der Datensatz reduziert wird. Sie zeigt einen scharfen Abfall der Ähnlichkeit für die betroffene Klasse, während sie für andere stabil bleibt, wohingegen verhaltensbasierte Metriken mehrdeutige Signale zeigen.
Grokking (Modulare Arithmetik): Bei Aufgaben der modularen Addition verfolgt die Tensor-Ähnlichkeit die kontinuierliche Reorganisation des Modells in spezifische Fourier-Frequenzen. Sie offenbart, dass die strukturelle Reorganisation auch nach einem Sprung der Genauigkeit auf Perfektion weitergeht und bietet so einen lesbareren Einblick in die Trainingsdynamik als Genauigkeitskurven allein.
Hintertür-Erkennung (OOD): Wenn eine Hintertür in SVHN injiziert wird (ausgelöst durch einen schwarzen Diamant-Patch), versagen Standard-verhaltensbasierte Metriken auf sauberen Daten, die Änderung zu erkennen. Die Tensor-Ähnlichkeit meldet jedoch die Hintertür allein anhand sauberer Daten und lokalisiert die Änderung auf die spezifisch angegriffene Klasse ('9'), was ihre Fähigkeit zur Erkennung von OOD-Mechanismen demonstriert.
Sprachmodellierung: Auf einen zweischichtigen bilinearen Attention-Transformer angewendet, der auf The Pile trainiert wurde, offenbart die Tensor-Ähnlichkeit klare Blockstrukturen und scharfe Übergänge in Trainingsregimen, die von bestehenden Metriken verwischt werden. Sie verfolgt die Bildung komplexer n-Gramm-Statistiken effektiver als verhaltensbasierte Proxys.

Bedeutung und Behauptungen

Die Arbeit positioniert die Tensor-Ähnlichkeit als grundlegendes Werkzeug für die mechanistische Interpretierbarkeit. Ihre primäre Bedeutung liegt darin, das Problem der Messung von Ähnlichkeit und der Verifizierung von Treue von einem empirischen Approximationsproblem zu einem gelösten algebraischen Problem zu reduzieren.

Treue: Durch die reliance auf die algebraischen Eigenschaften multilinearer Modelle stellt die Metrik sicher, dass Zerlegungen die wahre zugrunde liegende Funktion und nicht approximativen Heuristiken erfassen.
Robustheit: Sie liefert stärkere Robustheitsbehauptungen, indem sie auf die gesamte Verteilung angewendet wird und Mechanismen, die nur bei bestimmten Eingaben (wie Hintertüren) ausgelöst werden, effektiv ausschließt.
Einschränkungen: Die Autoren räumen bescheiden ein, dass die Methode derzeit auf multilineare Modelle angewiesen ist, was die meisten State-of-the-Art-Architekturen mit nicht-polynomiellen Nichtlinearitäten ausschließt. Sie argumentieren jedoch, dass multilineare Modelle als ein wesentlicher Teststand für Interpretierbarkeit dienen und dass Evidenz darauf hindeutet, dass sie die Leistung standardmäßiger Architekturen erreichen können.
Ausblick: Die Arbeit legt nahe, dass die Beschränkung auf multilineare Modelle ein notwendiger Kompromiss für eine handhabbare algebraische Analyse ist, aber den Weg für zukünftige Zuordnungsmethoden ebnet (z. B. Berechnung der Ähnlichkeit zwischen Pfaden in tiefen Transformern) und die Ansicht stützt, dass multilineare Architekturen transparenter sind als gewöhnliche tiefe Netze.