🤖 machine learning

A Unifying Framework for Concept-Based Representational Similarity

Dieses Paper schlägt ein vereinheitlichendes Framework für konzeptbasierte Repräsentationsähnlichkeit vor, das die unterschiedlichen Ziele der Ausrichtung klärt, einen neuen Benchmark zur Evaluierung dieser einführt und demonstriert, dass der Coupled Sparse Autoencoder (CoSAE) durch die gemeinsame Optimierung dieser komplementären Ziele mit minimalen gepaarten Daten eine starke Instanz-Ebene-Ausrichtung erreicht.

Ursprüngliche Autoren: Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Köche, Chef A und Chef B. Beide bereiten köstliche Gerichte zu, aber sie sprechen verschiedene Sprachen und benutzen unterschiedliche Werkzeuge. Sie vermuten, dass sie im Grunde tatsächlich dieselben grundlegenden Zutaten und Rezepte verwenden, nur anders beschrieben.

In dieser Arbeit geht es darum, herauszufinden, wie man beweist, dass diese beiden Köche wirklich dieselben „konzeptionellen“ Zutaten verwenden, und wie man ihnen beibringt, dieselbe Sprache zu sprechen, ohne ein riesiges Wörterbuch zu benötigen.

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

1. Das Problem: „Alignment“ (Ausrichtung) ist ein unpräziser Begriff

In der Welt der KI sagen Forscher oft, sie hätten zwei Modelle „aligniert“ (ausgerichtet). Aber die Autoren argumentieren, dass dieses Wort zu vage ist. Es ist, als würde man sagen, zwei Menschen seien „verbunden“. Sind sie durch einen Telefonanruf verbunden? Durch einen Händedruck? Durch ein gemeinsames Geheimnis?

Die Autoren erkannten, dass bestehende Methoden versuchten, unterschiedliche Probleme zu lösen, aber dasselbe Wort dafür verwendeten. Einige Methoden versuchten, die Modelle dazu zu bringen, ihre Ausgaben ineinander zu übersetzen (wie eine Übersetzungs-App). Andere versuchten, sie dazu zu bringen, sich darüber einig zu sein, was ein bestimmtes Objekt ist (wie beide darin übereinzustimmen, dass ein Bild eine „Katze“ ist).

2. Das Framework: Ein 2x2-Raster der Alignment

Die Autoren erstellten eine einfache Landkarte, um das Chaos zu ordnen. Sie sagten, dass Alignment von zwei Fragen abhängt:

Was gleichen wir ab? Gleichen wir die Rohdaten (das Bild selbst) oder die Konzepte (die Idee einer „Katze“) ab?
Wie gleichen wir ab? Gleichen wir sie eins zu eins ab (dieses spezifische Bild zu jenem spezifischen Bild) oder als ganze Menge (den allgemeinen Vibe aller Bilder)?

Dies ergibt vier unterschiedliche Ziele:

Translation (Übersetzung): Kann ich das Gericht von Chef A perfekt in das Gericht von Chef B verwandeln?
Konzept-Konsistenz: Sind sich beide Köche über den Namen und die Natur der Zutaten einig?
Instanzweise (Instance-wise): Sind sie sich über diesen spezifischen Apfel einig?
Distributional (Verteilung): Sind sie sich über die allgemeine Population von Äpfeln einig?

3. Die große Überrasung: „Einheitsgröße passt nicht für alle“

Die Forscher testeten gängige Annahmen und fanden heraus, dass diese oft falsch waren. Sie entdeckten:

Nur zu übersetzen reicht nicht aus: Wenn man ein Modell lehrt, gut zu übersetzen, bedeutet das nicht automatisch, dass es auch die zugrunde liegenden Konzepte korrekt versteht.
Nur die Menge abzugleichen reicht nicht aus: Wenn man nur sicherstellt, dass die Modelle über das „Durchschnittsbild“ übereinstimmen, können sie beim Blick auf ein spezifisches, einzigartiges Bild völlig versagen.
Der „Zyklus“-Trick scheitert: In anderen Bereichen nutzen Menschen einen „Rundlauf-Test“ (von A nach B, dann von B zurück nach A), um zu prüfen, ob Dinge übereinstimmen. Die Autoren fanden heraus, dass dieser Trick für KI-Konzepte unzuverlässig ist; die Modelle können den Test bestehen, ohne sich tatsächlich gegenseitig zu verstehen.

4. Die Lösung: Der „Coupled“ Autoencoder (CoSAE)

Da keine einzelne Methode funktionierte, bauten sie ein neues Werkzeug namens CoSAE. Denken Sie an ein hybrides Trainingslager.

Anstatt die Modelle zu zwingen, nur eine einzige Sache zu tun, lässt CoSAE sie ein bisschen von allem gleichzeitig machen:

Es zwingt sie zu übersetzen (dieselbe Sprache sprechen).
Es zwingt sie, sich über Konzepte einig zu sein (denselben Wortschatz teilen).
Es nutzt einen „distributionalen“ Ansatz (die allgemeine Menge abgleichen) für den Großteil des Trainings.

Die magische Zutat: Ein winziger Tropfen gepaarter Daten
Hier ist der überraschendste Teil. Normalerweise benötigt man Tausende von Beispielen, bei denen man ein Bild und die dazugehörige Beschreibung hat, um zwei Modelle perfekt miteinander zu synchronisieren.

Die Autoren fanden heraus, dass man, wenn man für 99,9 % des Trainings den „Mengen“-Ansatz verwendet, nur 0,1 % gepaarte Daten benötigt (nur wenige Beispiele, bei denen bekannt ist, dass Bild und Beschreibung zusammenpassen), um das System zu „verankern“.

Die Analogie: Stellen Sie sich vor, Sie versuchen, zwei massive Orchester zu synchronisieren, die unterschiedliche Stücke spielen. Anstatt ihnen die Partitur für jede einzelne Note zu geben, geben Sie ihnen nur ein paar Takte desselben Liedes, das sie gemeinsam spielen sollen. Dieser winzige gemeinsame Rhythmus reicht aus, um den gesamten Rest der Aufführung in Einklang zu bringen.

5. Das Ergebnis

Durch die Verwendung dieses „gekoppelten“ Ansatzes mit diesem winzigen Teil an Zusatzdaten übertraf ihre neue Methode (CoSAE) alle bisherigen Methoden. Sie schaffte es, die verschiedenen KI-Modelle viel besser dazu zu bringen, sich gegenseitig ihre internen „Konzepte“ verständlich zu machen, und bewies damit, dass Alignment kein einzelnes Ziel ist, sondern ein mehrstufiger Tanz, der die richtige Mischung der Schritte erfordert.

Kurz gesagt: Man kann nicht einfach zwei KI-Modelle dazu zwingen, in einer Sache übereinzustimmen, und erwarten, dass sie alles verstehen. Man muss sie lehren zu übersetzen, Konzepte zu teilen und das große Ganze zu betrachten, wobei man nur einen winzigen Hinweis auf die „Wahrheit“ nutzt, um alles zusammenzuhalten.

Technisches Resümee: Ein vereinheitlichendes Framework für konzeptbasierte Repräsentationsähnlichkeit

Problemstellung

Moderne Deep-Learning-Modelle weisen oft auffällige strukturelle Ähnlichkeiten in ihren internen Repräsentationen auf, was auf gemeinsame zugrunde liegende Konzeptdekompositionen über Architekturen, Initialisierungen und Modalitäten hinweg hindeutet. Das Konzept der „Konzept-Ausrichtung“ (Concept Alignment) bleibt jedoch schlecht definiert. In der bestehenden Literatur wird dieselbe Terminologie verwendet, um unterschiedliche Ziele zu optimieren, was verschleiert, welche spezifischen Eigenschaften tatsächlich abgeglichen werden. Zudem ist unklar, ob die Optimierung eines Alignment-Ziels (z. B. Translation) zuverlässig andere Ziele (z. B. Konzeptkonsistenz) wiederherstellt oder ob rein unüberwachte, distributionale Ziele eine sinnvolle instanzbasierte Ausrichtung wiederherstellen können. Das Paper argumentet, dass aktuellen Methoden ein rigoroses Framework fehlt, um zwischen der Ausrichtung von Repräsentationen versus Konzepten und zwischen instanzweiser versus distributionaler Ausrichtung zu unterscheiden.

Methodik: Ein vereinheitlichendes Framework

Die Autoren schlagen ein formales Framework vor, das die Konzept-Ausrichtung entlang zweier Achsen dekomponiert:

Was abgeglichen wird: Repräsentationen (Translation) vs. Konzepte (Konzeptkonsistenz).
Ebene der Ausrichtung: Instanzweise (spezifische Datenpunkte) vs. Distributionale (statistische Eigenschaften der Daten).

Diese Dekomposition ergibt vier fundamentale Eigenschaften:

Instanzweise Translation ( $P_{tr}$ ): Die Fähigkeit, eine Repräsentation von System $i$ zu System $j$ abzubilden ( $(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$ ).
Instanzweise Konzeptkonsistenz ( $P_{cont}$ ): Die Fähigkeit beider Systeme, dieselbe komprimierte Sicht auf einen gemeinsamen Konzeptraum wiederherzustellen ( $\psi_i(x_i) = \psi_j(x_j)$ ).
Distributionale Translation ( $P^{dist}_{tr}$ ): Das Pushforward-Maß der Translation entspricht der Zielverteilung.
Distributionale Konzeptkonsistenz ( $P^{dist}_{cont}$ ): Die Pushforward-Maße der Konzepträume entsprechen einander.

Das Framework operationalisiert diese Eigenschaften als Regularisierungsterme im Trainingsverlust von Sparse Autoencodern (SAEs). Die Autoren analysieren die theoretischen Beziehungen zwischen diesen Eigenschaften und stellen fest, dass Translation und Konzeptkonsistenz unter strikten Annahmen von Injektivität und Rekonstruktion theoretisch äquivalent sind, diese Bedingungen in der Praxis jedoch oft fehlschlagen.

Zur Evaluierung dieser Eigenschaften führen die Autoren InterVenchA ein, einen diagnostischen Benchmark, der SAEBench erweitert. Er unterteilt die Evaluierung in:

Extraktionsqualität ( $M_{extract}$ ): Wie gut der SAE die Rekonstruktion und Entwirrung (Disentanglement) von Features innerhalb einer einzelnen Domäne bewältigt.
Translationsqualität ( $M_{tr}$ ): Wie gut in einer Domäne gelernte Konzepte den Transfer zur Rekonstruktion einer anderen Domäne ermöglichen (unabhängig von der Konsistenz).
Konzeptkonsistenz ( $M_{cont}$ ): Wie gut derselbe Satz an Konzepten domänenübergreifend relevante Informationen erfasst (unabhängig von der Translation).

Vorgeschlagene Lösung: Coupled Sparse Autoencoder (CoSAE)

Basierend auf der Erkenntnis, dass kein einzelnes Ziel ausreicht, schlagen die Autoren CoSAK, ein modulares SAE-Framework vor, das komplementäre Alignment-Ziele gemeinsam erzwingt. CoSAE kombiniert:

Rekonstruktionsverlust ( $L_{dcy}$ ).
Instanzweisen Translationsverlust ( $L_{tr}$ ) auf einer kleinen Teilmenge gepaarter Daten.
Instanzweisen Konzeptkonsistenzverlust ( $L_{cont}$ ) auf denselben gepaarten Daten.
Distributionale Alignment-Verluste ( $L^{dist}_{tr}$ und $L^{dist}_{cont}$ ) auf dem vollständigen Datensatz.

Entscheidend ist, dass die Methode auf „Anchoring“ (Verankerung) der distributionalen Ziele mit einer minimalen Menge gepaarter Daten setzt (sogar nur 0,1 % des Datensatzes), um die Unidentifizierbarkeit des Transportproblems zu lösen.

Kernergebnisse

Durch Experimente mit synthetischen Daten, Vision-Modellen (ViT, DinoV2, SigLIP) und multimodalen Encodern (CLIP, OpenCLIP) demonstrieren die Autoren:

Scheitern von Äquivalenzen: Häufig angenommene Äquivalenzen zwischen Alignment-Zielen halten in der Praxis nicht stand.
- Die Optimierung der Translation führt nicht zuverlässig zur Wiederherstellung der Konzeptkonsistenz und umgekehrt.
- Zyklische Konsistenz (oft als Surrogat für Translation in paarfreien Settings genutzt) ist kein getreuer Stellvertreter für Alignment; eine hohe zyklische Konsistenz kann mit schlechtem Alignment koexistieren.
- Rein distributionale Ziele scheitern an der Wiederherstellung der instanzweisen Ausrichtung aufgrund der Unidentifizierbarkeit des Transportproblems.
Notwendigkeit der Multi-Objective-Optimierung: Starke Ausrichtung entsteht nur, wenn Translation und Konzeptkonsistenz explizit gemeinsam regularisiert werden.
- In realen Embeddings verbessert die alleinige Optimierung von $L_{tr}$ zwar die Translation, aber nicht die Konsistenz; die alleinige Optimierung von $L_{cont}$ verbessert die Konsistenz, verschlechtert jedoch die Extraktionsqualität.
- Nur die Kombination beider führt zu hohen Werten in beiden Metriken.
Effektivität spärlicher Supervision: Die „Anchoring“-Strategie ist äußerst effektiv. Die Verwendung von nur 1 aus 1.000 gematchten Paaren, um die distributionalen Ziele zu verankern, ermöglicht es CoSAE, eine starke instanzweise Ausrichtung wiederherzustellen, die Modelle mit voller instanzweiser Supervision erreicht oder übertrifft.
Performance: CoSAE übertrifft State-of-the-Art-Methoden, einschließlich Crosscoders, Universal SAEs (USAEs) und SAE-Aligned (SAE-A), in allen Alignment-Metriken ( $M_{tr}$ und $M_{cont}$ ). Bemerkenswert ist, dass Crosscoders, die Konsistenz über architektonische Constraints (Summierung von Codes) erzwingen, Schwierigkeiten haben, starke eigenständige Encoder beizubehalten, während CoSAE robuste individuelle Encoder bewahrt.
Downstream-Nutzen: Das durch CoSAE gelernte Alignment unterstützt eine kompetitive Zero-Shot-Transferleistung (z. B. ImageNet-Klassifizierung), die mit Methoden vergleichbar ist, die dichte Projektoren verwenden, obwohl CoSAE auf Sparse Autoencodern basiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass Konzept-Alignment fundamental ein Multi-Objective-Problem ist, das nicht durch ein einzelnes Surrogat-Ziel erfasst werden kann. Die Autoren argumentieren:

Bestehende Methoden konfundieren oft distinkte Eigenschaften, was zu ambivalenten Interpretationen von „Alignment“ führt.
Eine rigorose Definition, die zwischen Repräsentations- vs. Konzept-Alignment sowie zwischen instanzweiser vs. distributionaler Ebene unterscheidet, ist für den Fortschritt notwendig.
Die stärkste praktische Leistung resultiert nicht aus der perfekten Optimierung eines einzelnen Ziels, sondern aus der Kombination komplementärer Regularisierer mit minimaler Supervision.

Die Autoren positionieren CoSAE nicht nur als neues Modell, sondern als konstruktive Konsequenz eines klareren theoretischen Verständnisses von Alignment. Sie betonen, dass sinnvolles Alignment erfordert, die Struktur des Problems sowohl in der Evaluierung als auch im Methodendesign zu respektieren, weg von Single-Score-Metriken hin zu einer gekoppelten Familie von Zielen.

Anerkannte Limitationen:

Das Framework konzentriert sich auf gemeinsame Strukturen und modelliert nicht explizit idiosynkratische oder domänenspezifische Features jenseits der Selbst-Rekonstruktion.
Die Evaluierung stützt sich auf Proxy-Metriken statt auf Ground-Truth-Konzepten, was bedeutet, dass semantisches Alignment und funktionaler Transfer nicht immer deckungsgleich sein müssen.
Das kombinierte Ziel führt zu einer Sensitivität gegenüber Hyperparametern.
Die empirische Validierung beschränkt sich auf spezifische Architekturen und Datensätze, wenngleich das Framework als verallgemeinerbar intendiert ist.