Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment

1. Problemstellung

Die Interpretierbarkeit von Deep Neural Networks (DNNs) konzentriert sich derzeit meist auf einzelne Modelle. Bestehende Methoden zur konzeptbasierten Interpretierbarkeit (z. B. Sparse Autoencoder oder SAEs) lernen einen Merkmalsraum, der nur für ein spezifisches Modell und eine spezifische Aufgabe gilt. Dies führt zu folgenden Herausforderungen:

• Isolation: Risiken und interne Repräsentationen werden modell-spezifisch analysiert, was die Skalierbarkeit bei einer wachsenden Anzahl leistungsfähiger Modelle erschwert.
• Fehlende Universalität: Es gibt keine gemeinsame Basis, um zu verstehen, wie unterschiedliche Architekturen (z. B. Vision Transformer, CNNs) dieselben semantischen Konzepte (z. B. „Hundegesicht", „Kanten") kodieren.
• Ineffizienz bestehender Ansätze: Post-hoc-Methoden, die Konzepte aus einzelnen Modellen extrahieren und dann manuell abgleichen, sind rechenintensiv, skalieren schlecht und ermöglichen keine direkte Übersetzung zwischen Modellen in einem einheitlichen Raum.

Das Ziel ist es, einen universellen Konzeptraum zu lernen, der interpretierbare Konzepte über mehrere vortrainierte Modelle hinweg abdeckt und eine einheitliche Perspektive auf deren interne Repräsentationen bietet.

2. Methodik: Universal Sparse Autoencoders (USAEs)

Die Autoren führen Universal Sparse Autoencoder (USAEs) ein, ein Framework, das Sparse Autoencoder (SAEs) erweitert, um mehrere Modelle gleichzeitig zu verarbeiten.

• Architektur:

  • Im Gegensatz zu einem Standard-SAE, der nur ein Modell rekonstruiert, trainiert ein USAE einen gemeinsamen, überkompletten latenten Code $Z$ (den universellen Konzeptraum).
  • Für jedes der $M$ Modelle $i$ gibt es einen modell-spezifischen Encoder $\Psi^{(i)}_\theta$, der die Aktivierungen $A^{(i)}$ in den gemeinsamen Raum $Z$ kodiert.
  • Für jedes Modell $j$ gibt es einen modell-spezifischen Decoder (Dictionary) $D^{(j)}$, der $Z$ zurück in die Aktivierungen $\hat{A}^{(j)}$ des Modells $j$ decodiert.
  • Die Formel für die Kodierung ist: $Z = \text{TopK}(W^{(i)}_{enc}(A^{(i)} - b^{(i)}_{pre}))$.
  • Die Rekonstruktion erfolgt über: $\hat{A}^{(j)} = Z D^{(j)}$.

• Trainingsprozess:

  • Das Training erfolgt end-to-end. In jedem Schritt wird zufällig ein Encoder-Modell $i$ ausgewählt, um ein Batch von Aktivierungen zu kodieren.
  • Der resultierende Code $Z$ wird dann verwendet, um die Aktivierungen aller Modelle $j \in [M]$ zu rekonstruieren.
  • Der Verlust ist die Summe der Rekonstruktionsfehler (Frobenius-Norm) über alle Modelle:
    $$L_{Universal} = \sum_{j=1}^{M} \|A^{(j)} - \hat{A}^{(j)}\|_F$$
  • Dieser Ansatz erzwingt eine Konzeptausrichtung (Concept Alignment) während des Trainings, da der gemeinsame Code $Z$ für alle Modelle aussagekräftig sein muss, um den Gesamtverlust zu minimieren.

• Anwendung: Koordinierte Aktivierungsmaximierung (Coordinated Activation Maximization)

  • Ein neuartiges Anwendungsszenario, bei dem Eingaben für alle Modelle gleichzeitig optimiert werden, um dasselbe Konzept $k$ im gemeinsamen Raum $Z$ maximal zu aktivieren. Dies visualisiert, wie verschiedene Modelle dasselbe Konzept kodieren.

3. Experimentelles Setup

• Modelle: Drei verschiedene Vision-Modelle wurden verwendet:
  1. DinoV2: Selbstüberwachtes Lernen (Self-Supervised) mit Distillation.
  2. SigLIP: Vision-Language-Modell mit kontrastivem Lernen (Bild-Text).
  3. ViT (Vision Transformer): Überwachtes Lernen auf ImageNet.
• Daten: ImageNet (Trainings- und Validierungsset).
• Hyperparameter: Dictionary-Größe von 6144 (Faktor 8 über die größte Merkmalsdimension von 768), TopK-SAE mit $K$-Sparsity.

4. Wichtige Ergebnisse

A. Qualitative Analyse

USAEs entdecken eine breite Palette universeller Konzepte über verschiedene Abstraktionsebenen hinweg:

• Niedrige Ebene: Farben („Gelb", „Blau"), Texturen, geometrische Formen.
• Mittlere Ebene: Objektteile („Hundegesicht" ohne Augen), Hintergrund-Vordergrund-Kontraste.
• Hohe Ebene: Kompositionen („Gruppen von Tieren", „Menschenmassen").
• Ergebnis: Diese Konzepte sind robust und treten in allen drei Architekturen auf, unabhängig von deren Trainingsziel.

B. Quantitative Analyse

• Rekonstruktionsgüte: USAEs können Aktivierungen von Modell $i$ erfolgreich in den Raum $Z$ kodieren und die Aktivierungen von Modell $j$ rekonstruieren (positive $R^2$-Scores im Off-Diagonal-Bereich der Konfusionsmatrix). Dies beweist das Vorhandensein geteilter Merkmale.
• Universalität vs. Wichtigkeit:
  • Es wurde ein starker positiver Zusammenhang zwischen der Universalität eines Konzepts (gemessen durch Co-Firing Proportion – wie oft ein Konzept in allen Modellen gleichzeitig feuert) und seiner Wichtigkeit (gemessen durch Energy, d.h. Beitrag zur Rekonstruktion) festgestellt.
  • Die wichtigsten Konzepte sind tendenziell die universalsten.
• Vergleich mit modell-spezifischen SAEs:
  • Ein Teil der universellen Konzepte (ca. 23–38%) findet sich auch in unabhängig trainierten SAEs.
  • Der USAE entdeckt jedoch viele neue, geteilte Repräsentationen, die in modell-spezifischen Trainings nicht auftreten, da diese nur auf die Rekonstruktion eines einzelnen Modells optimiert sind.

C. Modell-spezifische Besonderheiten

• DinoV2: Zeigt einzigartige Konzepte, die mit Tiefe, Perspektive und geometrischen Hinweisen (z. B. verschwindende Punkte, 3D-Ecken) verbunden sind. Dies wird auf die selbstüberwachte Trainingsstrategie (Distillation über verschiedene Ansichten) zurückgeführt.
• SigLIP: Enthält Konzepte, die sowohl visuelle als auch textuelle Elemente kombinieren (z. B. das Wort „Stern" und die Form eines Sterns), was auf die Vision-Language-Architektur hinweist.

5. Bedeutung und Beiträge

Die Arbeit leistet folgende wesentliche Beiträge:

1. Neues Framework: Einführung von USAEs als erste Methode, die einen gemeinsamen, interpretierbaren Konzeptraum für mehrere DNNs durch simultanes Training lernt, anstatt Konzepte post-hoc abzugleichen.
2. Einblicke in Repräsentationen: Nachweis, dass große Vision-Modelle trotz unterschiedlicher Architekturen und Trainingsziele eine signifikante Menge an universellen, semantisch kohärenten Konzepten teilen.
3. Neue Anwendung: Demonstration der „Koordinierten Aktivierungsmaximierung", die es ermöglicht, die Kodierung desselben Konzepts in verschiedenen Modellen direkt zu vergleichen und Unterschiede (z. B. Skalierungseffekte bei DinoV2) zu visualisieren.
4. Skalierbarkeit: Bietet einen Weg, um die Interpretierbarkeit von KI-Systemen zu skalieren, was für Risikomanagement, regulatorische Compliance und die Entwicklung robusterer Architekturen essenziell ist.

Zusammenfassend zeigt das Paper, dass die Suche nach einer „platonischen" Repräsentation über verschiedene Modelle hinweg möglich ist und dass USAEs ein leistungsfähiges Werkzeug sind, um Gemeinsamkeiten und Unterschiede in der „Denkweise" verschiedener KI-Modelle zu entschlüsseln.