🤖 machine learning

Bridging Functional and Representational Similarity via Usable Information

Dieser Beitrag stellt ein einheitliches Framework vor, das die Ähnlichkeit von Repräsentationen durch die Linse der nutzbaren Information quantifiziert, formale Verbindungen zwischen der Leistung beim Zusammenfügen und der bedingten gegenseitigen Information herstellt und nachweist, dass die Ähnlichkeit von Repräsentationen relativ zur Vorhersagefähigkeit ist und hinreichend, aber nicht notwendig für funktionale Ähnlichkeit ist.

Ursprüngliche Autoren: Antonio Almudévar, Alfonso Ortega

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Antonio Almudévar, Alfonso Ortega

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Köche (neuronale Netze), die beide gelernt haben, ein bestimmtes Gericht, wie eine perfekte Lasagne, zuzubereiten. Sie möchten wissen: Verwenden diese beiden Köche tatsächlich dasselbe „Rezept" in ihren Köpfen, oder gelangen sie nur durch völlig unterschiedliche Methoden zum selben köstlichen Ergebnis?

Dieser Artikel mit dem Titel "Bridging Functional and Representational Similarity via Usable Information" ist ein Leitfaden zur Beantwortung dieser Frage. Er schlägt eine neue Methode vor, um zu messen, wie ähnlich sich zwei KI-Modelle wirklich sind, indem er die „verwendbare Information" betrachtet, die sie enthalten, anstatt lediglich ihre rohen Ausgaben zu vergleichen.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die zwei Arten, Köche zu vergleichen

Die Autoren argumentieren, dass wir Ähnlichkeit normalerweise auf zwei verschiedene Arten betrachten, diese jedoch oft verwechseln:

Funktionale Ähnlichkeit (Der „Geschmackstest"): Dies fragt: „Wenn ich Chef A's Notizen Chef B gibt, kann Chef B dann immer noch die Lasagne zubereiten?" Wenn Chef B die Zwischennotizen von Chef A nehmen und die Aufgabe perfekt abschließen kann, sind sie funktional ähnlich. Es ist egal, ob ihre Notizen auf dem Papier unterschiedlich aussehen; entscheidend ist, ob die Information verwendbar ist, um das Ergebnis zu erzielen.
Repräsentationale Ähnlichkeit (Der „Notizbuch-Check"): Dies fragt: „Schreiben Chef A und Chef B ihre Notizen in genau derselben Handschrift und im selben Format?" Dies betrachtet die interne Struktur der Daten. Wenn ihre Notizen geometrisch identisch sind, sind sie repräsentational ähnlich.

2. Die große Entdeckung: Das Problem der „Einbahnstraße"

Der Artikel enthüllt einen entscheidenden Fehler bei der Art und Weise, wie wir diese Köche normalerweise testen. Wir versuchen oft, Chef A's Notizen in den Stil von Chef B zu übersetzen (ein Prozess namens „Stitching" oder „Versticken") und zu sehen, ob es funktioniert.

Die Erkenntnis: Diese Übersetzung ist oft eine Einbahnstraße.
Die Analogie: Stellen Sie sich vor, Chef A schreibt Notizen in ein detailliertes, hochauflösendes Tagebuch. Chef B schreibt in ein grobes Skizzenbuch. Sie können das Tagebuch leicht in eine Skizze übersetzen (Sie verlieren Details, aber die Hauptidee bleibt erhalten). Aber Sie können die grobe Skizze nicht zurück in ein detailliertes Tagebuch übersetzen, da die Information in der Skizze verloren gegangen ist.
Die Lehre: Um wirklich zu sagen, dass zwei Modelle ähnlich sind, müssen Sie in beide Richtungen übersetzen können. Wenn Sie nur von A nach B gehen können, aber nicht von B nach A, sind sie nicht wirklich funktional ähnlich. Der Artikel beweist, dass „Stitching" inhärent asymmetrisch ist.

3. Der „Beobachter" zählt (Wer liest die Notizen?)

Der Artikel führt ein faszinierendes Konzept ein: Ähnlichkeit hängt davon ab, wer die Notizen liest.

Die Analogie: Stellen Sie sich eine komplexe Karte vor.
- Wenn Sie ein starrer Beobachter sind (jemand, der nur gerade Linien und rechte Winkel versteht), mögen zwei Karten für Sie völlig unterschiedlich und nutzlos aussehen.
- Wenn Sie ein flexibler Beobachter sind (jemand, der Kurven, Winkel und 3D-Formen versteht), mögen dieselben zwei Karten für Sie identisch aussehen.
Die Lehre: Zwei KI-Modelle mögen für ein einfaches mathematisches Werkzeug (wie eine gerade Linie) sehr unterschiedlich aussehen, aber wenn Sie ein leistungsfähigeres Werkzeug (ein komplexes neuronales Netz) verwenden, um sie zu lesen, könnten sie sich als exakt gleich herausstellen. „Ähnlichkeit" ist keine absolute Tatsache; sie hängt von der Komplexität des Werkzeugs ab, das Sie zur Messung verwenden.

4. Die Hierarchie: Das „Gesamtbild" vs. die „Spezifische Aufgabe"

Die Autoren etablieren eine klare Hierarchie zwischen den beiden Ähnlichkeitstypen:

Repräsentationale Ähnlichkeit ist der „Hauptschlüssel": Wenn zwei Modelle exakt dieselben internen Notizen haben (Repräsentationale Ähnlichkeit), ist garantiert, dass sie jede Aufgabe lösen können, die Sie ihnen stellen, von der schwierigsten bis zur einfachsten.
Funktionale Ähnlichkeit ist der „Spezifische Schlüssel": Wenn zwei Modelle eine spezifische Aufgabe lösen können (wie das Erkennen einer Katze), sind sie für diese Aufgabe funktional ähnlich. Allerdings könnten sie andere Informationen verworfen haben (wie die Farbe des Katzenfells), die für diese spezifische Aufgabe nicht benötigt werden.
Das Fazit: Wenn Sie den „Hauptschlüssel" (Repräsentationale Ähnlichkeit) haben, garantiert dies, dass Sie den „Spezifischen Schlüssel" (Funktionale Ähnlichkeit) haben. Aber wenn Sie den „Spezifischen Schlüssel" haben, garantiert dies nicht, dass Sie den Hauptschlüssel haben. Sie könnten in der Lage sein, die Haustür zu öffnen (die Aufgabe zu lösen), ohne den Bauplan für das ganze Haus (die vollständige Repräsentation) zu besitzen.

5. Alte Werkzeuge sind eigentlich neue Werkzeuge im Verborgenen

Schließlich betrachtet der Artikel die Standardwerkzeuge, die Wissenschaftler heute verwenden (wie CKA, RSA und Stitching).

Die Erkenntnis: Dies sind keine zufälligen mathematischen Tricks. Sie messen tatsächlich „verwendbare Information" unter spezifischen Einschränkungen.
Die Analogie: Denken Sie an diese Werkzeuge als verschiedene Arten von Linealen. Ein Standardlineal misst Längen. Ein flexibles Maßband misst Kurven. Der Artikel zeigt, dass wir, wenn wir diese verschiedenen „Lineale" verwenden, im Wesentlichen den Modellen fragen: „Können Sie dieses Problem lösen, wenn Sie nur gerade Linien verwenden dürfen?" oder „Können Sie es lösen, wenn Sie Kurven verwenden dürfen?"
Das Ergebnis: Der Artikel beweist, dass diese Standardwerkzeuge tatsächlich sehr gut darin sind abzuschätzen, wie viel „verwendbare Information" zwischen Modellen geteilt wird, vorausgesetzt, Sie verstehen, welche Art von „Lineal" (oder Vorhersagefamilie) Sie verwenden.

Zusammenfassung

Kurz gesagt sagt uns dieser Artikel:

Überprüfen Sie nicht nur eine Richtung: Um zu sehen, ob zwei KI-Modelle wirklich ähnlich sind, müssen Sie ihr Wissen hin und her übersetzen können.
Kontext ist König: Ähnlichkeit hängt davon ab, wie komplex der „Leser" ist. Ein einfacher Leser mag zwei Modelle als unterschiedlich sehen, während ein komplexer Leser sie als identisch sieht.
Das Ganze vs. der Teil: Wenn zwei Modelle in ihrer internen Struktur identisch sind, können sie alles. Aber wenn sie eine spezifische Sache tun können, mögen sie intern immer noch sehr unterschiedlich sein.
Alte Werkzeuge sind nützlich: Die Standardmethoden, mit denen wir KI-Ähnlichkeit messen, sind tatsächlich gültig, aber sie messen spezifische Arten von „verwendbarer Information" basierend auf der Komplexität der Werkzeuge, die wir verwenden.

Technische Zusammenfassung: Überbrückung funktionaler und repräsentationaler Ähnlichkeit durch nutzbare Information

Problemstellung

Das Feld des Deep Learning stützt sich stark auf den Vergleich interner neuronaler Repräsentationen, um zu verstehen, wie verschiedene Systeme Informationen verarbeiten, Wissen transferieren und Strukturen organisieren. Die Literatur fehlt jedoch derzeit ein einheitliches Rahmenwerk zur Definition und Messung von „Ähnlichkeit" zwischen Repräsentationen. Bestehende Ansätze sind typischerweise in zwei lose definierte Kategorien aufgespalten:

Funktionale Ähnlichkeit: Bewertung, ob Repräsentationen dieselben nachgelagerten Verhaltensweisen unterstützen (z. B. via Model Stitching oder lineare Proben).
Repräsentationale Ähnlichkeit: Bewertung, ob Repräsentationen Eingabeinformationen auf dieselbe strukturelle Weise kodieren (z. B. via CKA, RSA oder Procrustes-Analyse).

Diese Konzepte wurden isoliert untersucht, was zu einer Diskrepanz zwischen funktionalen Methoden (die sich auf die Aufgabenleistung konzentrieren) und geometrischen Metriken (die sich auf die Ausrichtung des Merkmalsraums konzentrieren) führte. Darüber hinaus fehlt es Standardmetriken oft an einer rigorosen theoretischen Fundierung hinsichtlich dessen, welche Information tatsächlich verglichen wird oder wie die Kapazität des Beobachters (das prädiktive Modell) die Messung beeinflusst.

Methodik

Die Autoren schlagen ein einheitliches Rahmenwerk vor, das auf der Theorie der nutzbaren Information (Xu et al., 2020) basiert. Diese Theorie beschränkt den Informationsfluss auf eine spezifische „prädiktive Familie" $\mathcal{V}$ und erkennt an, dass nicht alle statistischen Abhängigkeiten in einer Repräsentation von einem nachgelagerten Modell begrenzter Kapazität ausnutzbar sind.

Theoretisches Rahmenwerk

Der Artikel definiert Ähnlichkeit neu durch die Linse der bedingten gegenseitigen Information und Markov-Hüllen:

Funktionale Ähnlichkeit: Zwei Repräsentationen $Z_1$ und $Z_2$ sind funktional ähnlich bezüglich einer Aufgabe $Y$ , wenn sie gegenseitige Markov-Hüllen bilden. Dies impliziert $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$ . Die Autoren formalisieren Model Stitching als Mechanismus zur Schätzung hiervon: Wenn $Z_1$ in $Z_2$ gestickt werden kann, ohne Leistungsverlust, enthält $Z_1$ alle aufgabenrelevanten Informationen von $Z_2$ . Entscheidend ist, dass sie beweisen, dass diese Beziehung inhärent asymmetrisch ist; eine robuste funktionale Ähnlichkeit erfordert bidirektionales Stitching.
Repräsentationale Ähnlichkeit: Definiert als funktionale Ähnlichkeit, bei der die Aufgabe $Y$ die Eingabe $X$ selbst ist ( $I(X; Z_2 | Z_1) = 0$ ). Dies impliziert, dass die Repräsentationen identische Informationen über die Eingabe enthalten.
Hierarchie der Granularität: Die Autoren stellen eine monotone Beziehung her: Ähnlichkeit bei einer komplexen Aufgabe garantiert Ähnlichkeit bei jeder gröberen abgeleiteten Aufgabe. Folglich ist repräsentationale Ähnlichkeit (Rekonstruktion der Eingabe) die stärkste Bedingung und garantiert funktionale Ähnlichkeit für alle abgeleiteten Aufgaben.

Empirische Methodik

Um diese theoretischen Behauptungen zu validieren, führten die Autoren eine groß angelegte empirische Studie durch, die Folgendes umfasste:

Skala: 58 trainierte Modelle über 14 verschiedene Architekturen (einschließlich Linear, CNNs wie ResNet, DenseNet, ShuffleNet und MobileNet) und 6 Datensätze (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet).
Vergleiche: 12.459 verschiedene Schicht-zu-Schicht-Vergleiche.
Stitching-Familien: Die Studie nutzte drei spezifische Familien von Stitchern (prädiktive Familien $\mathcal{V}$ $V$ ), um den Einfluss der Ausdruckskraft zu testen:
1. Affin: Unbeschränkte lineare Abbildungen.
2. Orthogonal + isotrope Skalierung: Procrustes-ähnliche Beschränkungen.
3. Orthogonal: Strikte Rotationsbeschränkungen.
Metriken: Die Autoren verglichen Standardmetriken (CKA, RSA, SVCCA) mit ihren vorgeschlagenen, auf nutzbarer Information basierenden Scores (normalisierter Rekonstruktionsfehler).

Hauptbeiträge

Einheitliches Rahmenwerk durch nutzbare Information: Der Artikel verbindet theoretisch Model Stitching mit nutzbarer bedingter gegenseitiger Information. Er zeigt, dass funktionale Ähnlichkeit keine absolute Eigenschaft ist, sondern relativ zur Kapazität der prädiktiven Familie $\mathcal{V}$ definiert wird.
Neuinterpretation Standardmetriken: Die Autoren zeigen empirisch und theoretisch, dass Standard-Geometriemetriken (CKA, RSA, Procrustes) keine willkürlichen Maße sind, sondern spezifische Schätzer nutzbarer Information unter bestimmten Beschränkungen (z. B. orthogonale Transformationen).
Die Hierarchie der Ähnlichkeit:
- Asymmetrie: Sie beweisen, dass Stitching inhärent asymmetrisch ist; ein einzelner gerichteter Stitcher reicht nicht aus, um funktionale Ähnlichkeit zu behaupten.
- Genügsamkeit vs. Notwendigkeit: Sie zeigen, dass repräsentationale Ähnlichkeit eine hinreichende, aber nicht notwendige Bedingung für funktionale Ähnlichkeit ist. Repräsentationen können funktional ähnlich sein (dieselbe Aufgabe lösen), während sie repräsentational unterschiedlich sind (verschiedene Störvariablen kodieren).
- Aufgaben-Granularität: Sie stellen fest, dass repräsentationale Ähnlichkeit (Eingaberekonstruktion) das Limit der maximalen Granularität darstellt und funktionale Ähnlichkeit für alle gröberen Aufgaben garantiert.

Experimentelle Ergebnisse

Stitching-Asymmetrie: Die Analyse von 12.459 Paaren ergab eine schwergeflügelte Verteilung der Genauigkeitsunterschiede zwischen vorwärts- und rückwärtsgerichteten Stitchern, was bestätigt, dass funktionale Ähnlichkeit häufig asymmetrisch ist. Eine Repräsentation enthält oft die Informationen einer anderen, ohne dass das Umgekehrte zutrifft.
Monotonie der repräsentationalen Ähnlichkeit: Die Studie validierte, dass die Scores für repräsentationale Ähnlichkeit zunehmen, wenn die prädiktive Familie ausdrucksvoller wird. Repräsentationen, die unter starren Procrustes-Beschränkungen (Orthogonal) unterschiedlich erscheinen, erscheinen oft nahezu identisch unter ausdrucksvolleren affinen Transformationen.
Metrik-Übereinstimmung: Standardmetriken zeigten eine starke Korrelation mit den vorgeschlagenen Scores nutzbarer Information. Insbesondere CKA ( $R^2=0.937$ ) und RSA ( $R^2=0.912$ ) stimmten eng mit der repräsentationalen Ähnlichkeit überein, die von Orthogonal + Skalierung-Stitchern abgeleitet wurde, was die Hypothese stützt, dass diese Metriken als Stellvertreter für nutzbare Information unter spezifischen Transformationsgruppen fungieren.
Validierung der Hierarchie: Unter Verwendung von CIFAR-100 (feine Klassen vs. grobe Superklassen) bestätigten die Autoren, dass funktionale Ähnlichkeit bei einer groben Aufgabe die Ähnlichkeit bei der feinen Aufgabe konsistent nach oben begrenzt.
Genügsamkeit der repräsentationalen Ähnlichkeit: Wenn sich die repräsentationale Ähnlichkeit 1,0 näherte, konvergierte die Wahrscheinlichkeit funktionaler Ähnlichkeit gegen 1,0. Hohe funktionale Ähnlichkeit wurde jedoch häufig auch bei niedriger repräsentationaler Ähnlichkeit beobachtet, was bestätigt, dass repräsentationale Ähnlichkeit keine notwendige Bedingung ist.

Bedeutung und Behauptungen

Der Artikel behauptet, die Diskrepanz zwischen funktionaler und repräsentationaler Ähnlichkeit zu lösen, indem er beide in der Theorie der nutzbaren Information verankert. Die Autoren argumentieren, dass Ähnlichkeit keine inhärente Eigenschaft der Repräsentationen allein ist, sondern relativ zu den rechnerischen Beschränkungen der prädiktiven Familie steht, die zum Vergleich verwendet wird.

Durch die Vereinheitlichung dieser Konzepte liefert der Artikel eine rigorose theoretische Begründung dafür, warum Standardmetriken funktionieren und unter welchen Bedingungen sie versagen. Er verschiebt das Paradigma von der Suche nach einer „universellen" Ähnlichkeitsmetrik hin zur expliziten Definition der prädiktiven Familie $\mathcal{V}$ , die festlegt, was „ähnlich" für eine spezifische Anwendung bedeutet. Die Arbeit schließt damit, dass repräsentationale Ähnlichkeit zwar funktionale Ähnlichkeit über alle Aufgaben hinweg garantiert, das Umgekehrte jedoch nicht gilt, und hebt hervor, dass Modelle identische Aufgabenleistung durch fundamental unterschiedliche interne Repräsentationen erreichen können.