Who Guards the Guardians? The Challenges of Evaluating Identifiability of Learned Representations

Die Arbeit widerlegt die Annahme, dass Standardmetriken zur Evaluierung von Identifizierbarkeit in der Repräsentationslernung universell gültig sind, indem sie zeigt, dass diese nur unter spezifischen Annahmen über den Daten-generierenden Prozess und die Encoder-Geometrie zuverlässig funktionieren, und stellt darauf aufbauend eine neue Taxonomie sowie ein Evaluierungstoolkit vor.

Das Wesentliche

Wer bewacht die Wächter? – Eine einfache Erklärung der Studie

Stellen Sie sich vor, Sie haben einen genialen Koch (den KI-Algorithmus), der aus rohen Zutaten (den Daten) ein komplexes Gericht (die Repräsentation) zubereitet. Die Theorie sagt uns: Wenn der Koch gut ist, kann er die einzelnen Zutaten (z. B. Salz, Pfeffer, Tomaten) wieder genau identifizieren, auch wenn sie in der Suppe vermischt sind.

Aber wie überprüfen wir, ob der Koch wirklich gut ist? Dafür benutzen wir Messlöffel (die Metriken wie MCC, R² oder DCI). Diese Löffel sollen uns sagen: „Ja, der Koch hat die Zutaten perfekt getrennt!" oder „Nein, das ist nur ein Durcheinander."

Das Problem, das diese Studie aufdeckt, ist: Unsere Messlöffel sind oft kaputt oder falsch kalibriert. Sie zeigen manchmal „Perfekt" an, obwohl der Koch eigentlich nur Glück hatte, oder sie zeigen „Schlecht" an, obwohl der Koch eigentlich genial gearbeitet hat.

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Das Grundproblem: Die falschen Werkzeuge

Die Forscher sagen: „Vertraue nicht blind auf die Zahlen, die dir die KI gibt."
Jeder Messlöffel hat eine eigene, versteckte Annahme darüber, wie die Welt funktioniert.

• Beispiel: Ein Messlöffel könnte davon ausgehen, dass alle Zutaten völlig unabhängig voneinander sind (wie Salz und Zucker). Aber was ist, wenn die Zutaten eigentlich zusammengehören (wie Milch und Sahne)? Dann misst der Löffel nicht die Trennung der Zutaten, sondern nur, wie sehr sie sich ähneln. Das Ergebnis ist falsch.

2. Die vier Fallen (Die „Wunder" der Messlöffel)

Die Studie hat vier Hauptszenarien gefunden, in denen die Messlöffel versagen:

Fall A: Die „Zwillinge"-Falle (Korrelation)

• Szenario: Stell dir vor, du hast zwei Zutaten, die immer zusammen auftreten (z. B. wenn es regnet, ist der Boden nass). Sie sind wie Zwillinge.
• Der Fehler: Ein Messlöffel (MCC) denkt: „Wow, diese beiden sind so ähnlich, der Koch muss sie perfekt getrennt haben!" und gibt eine hohe Punktzahl.
• Die Realität: Der Koch hat sie gar nicht getrennt; er hat nur die Zwillinge kopiert. Der Löffel verwechselt „Ähnlichkeit" mit „guter Trennung".
• Metapher: Es ist wie wenn ein Lehrer einem Schüler eine 1 gibt, nur weil der Schüler die Antworten von seinem Zwilling abgeschrieben hat, obwohl er nichts verstanden hat.

Fall B: Die „Überflüssige"-Falle (Redundanz)

• Szenario: Du hast 10 Zutaten, aber eine davon ist nur eine Kopie einer anderen (z. B. du hast 100g Zucker und 100g Zucker). Eigentlich brauchst du nur 9.
• Der Fehler: Wenn der Koch nur 9 Zutaten herausfiltert (die 9 wichtigen), denken einige Messlöffel: „Oh, er hat eine verloren! Schlechte Punktzahl!" Andere denken: „Er hat perfekt getrennt!"
• Die Realität: Der Koch hat eigentlich alles Wichtige gerettet. Die „verlorene" Zutat war eh nur eine Kopie. Die Messlöffel können nicht unterscheiden zwischen „etwas Wichtiges verloren" und „etwas Überflüssiges weggelassen".

Fall C: Die „Überfüllte"-Falle (Zu viele Messlöffel)

• Szenario: Der Koch hat 10 Zutaten, aber du gibst ihm 100 Teller, um sie aufzuteilen.
• Der Fehler: Manche Messlöffel werden verwirrt. Sie denken: „Da sind so viele Teller, der Koch muss toll sein!" oder sie denken: „Die Zutaten sind auf so viele Teller verteilt, das ist chaotisch!"
• Die Realität: Es ist egal, wie viele Teller du hast, solange die Zutaten richtig sortiert sind. Die Messlöffel bewerten die Anzahl der Teller falsch als Qualität der Sortierung.

Fall D: Die „Zufalls"-Falle (Zu wenig Daten)

• Szenario: Du hast nur 5 Datenpunkte (sehr wenig), aber du willst 100 Zutaten messen.
• Der Fehler: Selbst wenn der Koch gar keine Zutaten kennt und nur zufällig auf die Teller tippt, zeigen die Messlöffel oft eine hohe Punktzahl an.
• Warum? Bei so wenig Daten und so vielen Tellen ist es statistisch fast unmöglich, nicht zufällig eine Übereinstimmung zu finden. Es ist wie beim Lotto: Wenn du genug Lose kaufst, gewinnst du irgendwann mal, auch wenn du kein Glück hast. Die Messlöffel sehen diesen „Zufallsgewinn" als echtes Können.

3. Die Lösung: Ein neuer Werkzeugkasten

Die Autoren schlagen vor, dass wir nicht mehr nur einen einzigen Messlöffel benutzen sollen. Stattdessen müssen wir:

1. Den Kontext kennen: Sind die Zutaten Zwillinge? Sind sie redundant?
2. Mehrere Löffel testen: Wenn ein Löffel „Perfekt" sagt, aber ein anderer „Schlecht", dann ist etwas faul.
3. Den Null-Test machen: Bevor wir den Koch loben, testen wir ihn mit einem Koch, der gar nichts kann (Zufall). Wenn der Zufallskoch auch eine hohe Punktzahl bekommt, ist unser Messlöffel kaputt.

Fazit für den Alltag

Diese Studie ist eine Warnung an alle, die KI-Modelle bewerten: Vertraue nicht auf die Zahl auf dem Display.

Es ist wie beim Autofahren: Ein Tacho, der anzeigt, dass du 100 km/h fährst, ist nur dann nützlich, wenn er auch bei 0 km/h wirklich 0 anzeigt und nicht durch eine Kurve beeinflusst wird. Die Forscher haben gezeigt, dass viele unserer aktuellen „Tachos" für KI-Modelle bei bestimmten Kurven (Datenstrukturen) völlig falsch liegen.

Die Botschaft: Bevor wir sagen „Unsere KI ist verständlich und gut", müssen wir sicherstellen, dass unsere Messinstrumente nicht durch die Daten selbst manipuliert werden. Wir müssen die Wächter (die Metriken) selbst bewachen!

Technische Zusammenfassung

1. Problemstellung

Im Bereich des maschinellen Lernens ist das Ziel, interpretierbare, modulare und kontrollierbare Repräsentationen zu lernen. Die Identifizierbarkeit (Identifiability) formalisiert dies: Ein Encoder soll die wahren generativen Faktoren (Ground-Truth) bis auf eine spezifische Äquivalenzklasse (z. B. Permutation und Skalierung) eindeutig zurückgewinnen.

Obwohl theoretische Garantien für die Identifizierbarkeit unter bestimmten Bedingungen existieren (z. B. durch zusätzliche Informationen, zeitliche Struktur oder Sparsity), werden diese in der Praxis fast ausschließlich empirisch durch Metriken validiert. Übliche Metriken wie MCC (Mean Correlation Coefficient), $R^2$ und DCI (Disentanglement, Completeness, Informativeness) werden auf synthetischen Benchmarks berechnet, bei denen die Ground-Truth-Faktoren bekannt sind.

Das Kernproblem: Die Autoren zeigen, dass die Annahme, diese Metriken würden die Identifizierbarkeit korrekt widerspiegeln, nur unter sehr spezifischen strukturellen Bedingungen gilt. Jedes Metrik-Design kodiert implizite Annahmen über:

1. Die Struktur der Daten generierenden Prozesse (DGP), insbesondere die Unabhängigkeit oder Korrelation der latenten Faktoren.
2. Die Geometrie des Encoders (z. B. Dimensionsverhältnis $m/d$, Äquivalenzklasse).

Wenn diese Annahmen verletzt werden, führen die Metriken zu systematischen Fehlern (False Positives und False Negatives), selbst wenn der Encoder theoretisch korrekt funktioniert. Dies ist besonders kritisch in Bereichen wie der mechanistischen Interpretierbarkeit (Mechanistic Interpretability), wo oft überkomplette Repräsentationen ($m \gg d$) und kleine Stichprobengrößen vorliegen.

2. Methodik

Die Autoren entwickeln eine systematische Analyse, um die Fehlermodi von Identifizierbarkeitsmetriken zu isolieren und zu verstehen.

• Taxonomie der Misspezifikation: Sie führen ein zweidimensionales Raster ein, um Evaluierungsszenarien zu klassifizieren:

  • Achse 1: Struktur der latenten Faktoren (DGP):
    • $D_\perp$: Unabhängige Faktoren.
    • $D_\rho$: Korrelierte Faktoren (statistische Abhängigkeit).
    • $D_f / D_F$: Deterministische funktionale Abhängigkeiten, die die effektive Dimensionalität $d_{eff}$ reduzieren (z. B. $V = I \cdot R$).
  • Achse 2: Encoder-Geometrie:
    • Äquivalenzklassen (linear, nichtlinear, entangled).
    • Dimensionsverhältnis $m/d$ (angepasst, unterkomplett, überkomplett).
    • Verteilung der Faktorinformation über die Codes.

• Kontrollierte synthetische Experimente: Anstatt trainierte Encoder zu verwenden, konstruieren die Autoren deterministische Transformationen, die spezifische Encoder-Typen (E1–E10) simulieren. Dies isoliert das Verhalten der Metriken von Optimierungsartefakten (z. B. schlechtem Training).

• Theoretische Herleitungen: Die Autoren leiten geschlossene Formeln für das erwartete Verhalten der Metriken unter Null-Hypothesen (zufällige Encoder) und unter spezifischen Korrelationsstrukturen ab.

• Bewertete Metriken: Der Fokus liegt auf den gängigsten Metriken: MCC (Pearson/Spearman), $R^2$ und DCI-D, ergänzt durch MI-basierte Metriken (MIG, InfoMEC) und T-MEX.

3. Wichtige Beiträge

1. Taxonomie der Metrik-Misspezifikation: Eine formale Trennung von Annahmen bezüglich der Datenverteilung und der Encoder-Struktur, um zu bestimmen, wann eine Metrik gültig ist.
2. Vier Eigenschaften (Desiderata) für Metriken: Die Autoren definieren vier Kriterien, die eine ideale Metrik erfüllen sollte:
   • P1 (Invarianz gegenüber latenter Korrelation): Die Metrik sollte nicht durch Korrelationen zwischen Ground-Truth-Faktoren verzerrt werden.
   • P2 (Treue zur effektiven Dimensionalität): Die Metrik sollte zwischen dem Weglassen redundanter Faktoren (verlustfrei) und informativer Faktoren (verlustbehaftet) unterscheiden können.
   • P3 (Invarianz gegenüber Überkomplettheit): Die Metrik sollte nicht bestrafen oder belohnen, nur weil $m > d$, solange die Information erhalten bleibt.
   • P4 (Unempfindlichkeit gegenüber uninformative Encodern): Bei einem zufälligen Encoder (Null-Encoder) sollte der Score nahe 0 liegen, unabhängig von $m/n$.
3. Analyse der Fehlermodi: Detaillierte Aufdeckung, warum und wann bestehende Metriken versagen.
4. Praktische Werkzeuge: Bereitstellung einer Evaluierungs-Suite für reproduzierbare Stress-Tests und eine Checkliste für Praktiker.

4. Zentrale Ergebnisse

Die Studie zeigt, dass keine einzelne Metrik in allen Szenarien zuverlässig ist. Die Hauptergebnisse sind:

• Korrelation führt zu False Positives/Negatives (Verletzung von P1):

  • MCC verwechselt Korrelation mit Identifizierbarkeit. Bei stark korrelierten Faktoren ($D_\rho$) und linear verflochtenen Encodern ($E3$) steigt der MCC-Score gegen 1, obwohl der Encoder entangled ist. Dies ist ein massives False Positive.
  • DCI-D ist zu empfindlich gegenüber Entanglement und kollabiert bei moderater Korrelation auf nahe 0 (False Negative).
  • $R^2$ ist hier am robustesten.

• Unfähigkeit, Mehr-Faktor-Redundanz zu erkennen (Verletzung von P2):

  • Keine der aktuellen Metriken kann unterscheiden, ob ein Encoder einen redundanten Faktor (der durch andere deterministisch bestimmt ist) weglässt (verlustfrei) oder einen wichtigen Faktor (verlustbehaftet).
  • Regression-basierte Metriken ($R^2$, DCI) erkennen Ein-Faktor-Redundanz, scheitern aber bei Mehr-Faktor-Abhängigkeiten ($D_F$, z. B. $V=I \cdot R$).
  • MCC bleibt bei 1, egal ob Faktoren weggelassen werden (False Positive).

• Probleme bei Überkompletten Encodern (Verletzung von P3):

  • Bei $m > d$ (häufig in Sparse Autoencodern) verhalten sich Metriken inkonsistent.
  • MCC versagt bei verteilten Codes (E8), wo ein Faktor über mehrere nicht-lineare Koordinaten kodiert ist, da er eine 1-zu-1-Zuordnung erzwingt.
  • DCI-D kann bei linear verflochtenen, überkompletten Encodern (E7) False Positives produzieren, da die Probe die Entanglement-Struktur falsch interpretiert.

• False Positives durch hohe $m/n$-Verhältnisse (Verletzung von P4):

  • Dies ist ein kritisches Finite-Sample-Phänomen. Wenn die Anzahl der Repräsentationsdimensionen $m$ im Verhältnis zur Stichprobengröße $n$ groß ist ($m/n \gtrsim 0.1$), liefern selbst zufällige Encoder hohe Scores.
  • Der erwartete MCC-Score unter Null skaliert mit $\sqrt{2 \log(m/n)}$. In Szenarien wie der Interpretierbarkeit von LLMs (z. B. $m=4096$, $n=500$) liegen diese Werte weit im Bereich der False Positives.
  • Nur $R^2$ zeigt sich hier relativ robust, benötigt aber große Stichproben für nicht-lineare Encodern.

5. Bedeutung und Fazit

Das Paper stellt die aktuelle Praxis der Evaluierung von Identifizierbarkeit in Frage. Es zeigt, dass hohe Metrik-Scores oft nicht auf eine erfolgreiche Entanglement oder Identifizierbarkeit hindeuten, sondern auf eine strukturelle Misspezifikation zwischen der Metrik und dem Evaluierungskontext.

Implikationen:

• Vorsicht bei Interpretation: Ein hoher MCC-Score ist in korrelierten Umgebungen oder bei kleinen $n$ wertlos.
• Notwendigkeit von Baselines: Es ist zwingend erforderlich, Null-Encoder-Baselines (zufällige Encodern) zu berichten, um False Positives zu erkennen.
• Kein "One-Size-Fits-All": Es gibt keine universelle Metrik. Die Wahl der Metrik muss strikt an die DGP-Annahmen (Korrelation, Redundanz) und die Encoder-Geometrie (Dimensionsverhältnis) angepasst werden.
• Richtlinien für die Praxis: Die Autoren liefern eine Checkliste und eine Lookup-Tabelle (Tab. 3 im Paper), die angibt, welche Metrik in welchem Szenario (z. B. $m=d$ vs. $m>d$, unabhängig vs. korreliert) verwendet werden sollte.

Zusammenfassend fordert das Paper die Community auf, die "Wächter" (die Metriken) selbst zu überprüfen, da deren blindes Vertrauen zu irreführenden Schlussfolgerungen über die Qualität von Repräsentationslern-Algorithmen führt.