💻 computer science

A Fiber Criterion for Representation Identifiability in Supervised Learning

Diese Arbeit stellt fest, dass Eigenschaften auf Repräsentationsebene im überwachten Lernen genau dann allein aus dem Input-Output-Verhalten identifizierbar sind, wenn sie über alle möglichen Faktorisierungen des Prädiktors hinweg konstant bleiben, und zeigt damit auf, dass Ansprüche über Repräsentationen inhärent Annahmen oder Zielsetzungen erfordern, die über die Überwachungsleistung hinausgehen.

Ursprüngliche Autoren: Vasileios Sevetlidis

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vasileios Sevetlidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Die „Black Box“ vs. die „Inside Story“

Stellen Sie sich vor, Sie engagieren einen Koch, um ein bestimmtes Gericht zuzubereiten, zum Beispiel eine Spaghetti Carbonara. Sie beurteilen den Koch ausschließlich nach dem fertigen Teller Essen. Wenn der Geschmack perfekt ist, sagen Sie: „Gute Arbeit!“

In der maschinellen Lernprozessen ist dies Überwachtes Lernen (Supervised Learning). Wir betrachten den Input (die Rohzutaten) und den Output (das fertige Gericht). Wenn das Modell die richtige Antwort vorhersagt, gehen wir davon aus, dass es auch das Richtige gelernt hat.

Moderne KI-Modelle werden jedoch oft als Modelle beschrieben, die „Repräsentationen lernen“. Das bedeutet, wir nehmen an, dass das Modell nicht nur rät, sondern eine interne „mentale Landkarte“ der Welt aufgebaut hat. Wir behaupten Dinge wie:

„Das Modell hat gelernt, den Hintergrund zu ignorieren.“
„Das Modell hat die Daten effizient komprimiert.“
„Das Modell versteht das Konzept eines ‚Vogels‘, unabhängig von Wasser oder Land.“

Die große Frage der Arbeit: Können wir diese Dinge tatsächlich wissen, indem wir nur auf das fertige Gericht (die Vorhersage) schauen?

Die Antwort: Nein. (Das „Faser-Problem“)

Die Arbeit argumentt, dass man nicht feststellen kann, was im Kopf des Kochs vorgeht, indem man nur das Essen schmeckt.

Die Autoren verwenden ein mathematisches Konzept namens „Faser“ (Fiber). Stellen Sie sich ein Bündel verschiedener Kochmethoden vor, die alle exakt dieselbe geschmackliche Spaghetti Carbonara ergeben.

Koch A verwendet frische, hochwertige Eier und ignoriert den Salzgehalt.
Koch B verwendet Pulver-Eier und fügt ein geheimes, nutzloses Gewürz hinzu, das den Geschmack überhaupt nicht verändert.
Koch C verwendet frische Eier, führt aber heimlich ein Notizbuch über das Wetter draußen (was für die Pasta völlig irrelevant ist).

Wenn Sie nur die Pasta probieren, sehen alle drei Köche identisch aus. Sie befinden sich in derselben „Faser“. Da das Endergebnis dasselbe ist, kann das überwachte Lernen Ihnen nicht sagen, welcher Koch frische Eier verwendet, welcher den Salzgehalt ignoriert oder welcher heimlich das Wetter verfolgt.

Der „Zaubertrick“ (Prädikator-erhaltende Augmentierung)

Die Arbeit beweist dies mit einem einfachen Trick namens „Predictor-Preserving Augmentation“ (Prädikator-erhaltende Augmentierung).

Stellen Sie sich vor, Sie haben ein perfektes KI-Modell, das Vögel identifiziert. Es sieht ein Foto und sagt: „Adler“.
Nun sagt die Arbeit: Ich kann dem Gehirn des Modells heimlich eine nutzlose Information hinzufügen, ohne seine Antwort zu verändern.

Der Trick: Wir nehmen das interne „Gehirn“ (die Repräsentation) des Modells und hängen ein neues, nutzloses Stück Daten daran. Nehmen wir an, wir hängen die aktuelle Temperatur oder eine Zufallszahl an die Bilddaten des Vogels an.
Die Korrektur: Wir sagen dem finalen Teil des Modells (dem „Head“), dass er diese neue, nutzlose Information einfach ignorieren soll. Er schaut nur auf den Vogel-Teil.
Das Ergebnis: Das Modell sagt immer noch mit 100 % Genauigkeit „Adler“. Die Vorhersage hat sich überhaupt nicht geändert.

Aber hier liegt der Haken:

Das Modell ist nicht mehr „minimal“ (es trägt zusätzliches Gewicht mit sich herum).
Das Modell ist nicht mehr „invariant“ (wenn sich die Temperatur ändert, ändern sich auch die internen Daten, obwohl der Vogel derselbe bleibt).
Das Modell enthält nun „Störinformationen“ (die Temperatur).

Da wir diesen Trick für jede Eigenschaft durchführen können (Kompression, Invarianz, semantische Bedeutung), ist keine dieser Eigenschaften allein durch die Vorhersage garantiert. Die Vorhersage ist fix, aber die interne Geschichte kann völlig unterschiedlich sein.

Was das für „Behauptungen“ bedeutet

Die Arbeit führt ein „Faser-Kriterium“ ein. Es besagt:

Eine Behauptung darüber, was das Modell „weiß“ (wie z. B. „es ist komprimiert“ oder „es ist invariant“), ist nur dann wahr, wenn jede einzelne mögliche Version dieses Modells (die dieselbe Vorhersage liefert) dieselbe Eigenschaft teilt.

Da wir gerade gezeigt haben, dass man ganz einfach „Müll“ in das Modell einbauen kann, ohne die Vorhersage zu ändern, sind die meisten dieser coolen Behauptungen über das interne Gehirn des Modells unbewiesen, wenn man nur auf die Vorhersage schaut.

Wie lösen wir das Problem?

Wenn wir sicher sein wollen, dass das Modell „invariant“ oder „komprimiert“ ist, können wir uns nicht nur auf die Vorhersage verlassen. Wir müssen zusätzliche Regeln hinzufügen (was die Arbeit als „induktive Biases“ oder „Annahmen“ bezeichnet).

Stellen Sie sich das wie das Einstellen eines Kochs mit einem Vertrag vor:

Ohne Vertrag: Sie bekommen ein gutes Gericht, aber Sie wissen nicht, ob sie frische Zutaten verwendet oder ob sie das Wetter verfolgt haben.
Mit Vertrag (Architektonische Einschränkungen): Sie zwingen den Koch, eine ganz bestimmte Art von Pfanne zu benutzen (Architektur) oder begrenzen die Anzahl der Zutaten (Bottleneck).
Mit einer Strafe (Regularisierung): Sie bestrafen den Koch, wenn er zu viele Zutaten verwendet.

Die Arbeit kommt zu dem Schluss, dass Behauptungen über die interne Repräsentation diese zusätzlichen Verträge erfordern. Man kann sie nicht allein aus dem Endergebnis ableiten.

Zusammenfassung in einem Satz

Nur weil ein maschinelles Lernmodell die richtige Antwort gibt, bedeutet das nicht, dass es den „richtigen“ Weg gelernt hat; es könnte eine völlig andere, chaotische oder ineffiziente interne Methode nutzen, die zufällig das gleiche Ergebnis liefert, und wir können den Unterschied nicht erkennen, ohne zusätzliche Regeln in das System einzuführen.

Technisches Resümee: Ein Faser-Kriterium für die Identifizierbarkeit von Repräsentationen im überwachten Lernen

Problemstellung
In der überwachten Lernprozesse werden Modelle typischerweise anhand ihres Input-Output-Verhaltens (Vorhersagegenauigkeit oder Risiko) bewertet. Moderne Modelle werden jedoch oft nicht bloß als Prädiktoren, sondern als Repräsentationslerner interpretiert, bei denen die interne Abbildung $h$ behauptet, spezifische strukturelle Eigenschaften wie Kompression, Invarianz, Entwirrung (Disentanglement) oder semantische Zugänglichkeit zu besitzen. Das Paper identifiziert eine fundamentale Lücke: Überwachte Evidenz beschränkt den zusammengesetzten Prädiktor $f = c \circ h$ (wobei $h$ Eingaben auf Repräsentationen abbildet und $c$ Repräsentationen auf Ausgaben abbildet), bestimmt aber nicht notwendigerweise die spezifische Faktorisierung $(h, c)$ , die diesen realisiert.

Zwei unterschiedliche Faktorisierungen können exakt denselben Prädiktor $f$ induzieren, während sie substanziell verschiedene interne Repräsentationen besitzen. Beispielsweise könnte eine Repräsentation Störinformationen (Nuisance) verwerfen, während eine andere diese beibehält; eine könnte komprimiert sein, während eine andere dies nicht ist. Das Paper formalisiert die Frage: Welche Eigenschaften der internen Repräsentation $h$ sind durch den induzierten Prädiktor $c \circ h$ eindeutig bestimmt? Die Autoren argumentieren, dass ohne zusätzliche Annahmen viele gängige Behauptungen auf Repräsentationsebene allein durch das überwachte Vorhersageverhalten nicht identifizierbar sind.

Methodik und theoretischer Rahmen
Das Paper nähert sich diesem Problem durch einen formalen Identifizierbarkeitsrahmen basierend auf dem Konzept der Fasern im Raum der Repräsentations-Head-Paare.

Prädiktor-Äquivalenz und Fasern:
Sei $\mathcal{M}$ eine Klasse zulässiger Repräsentations-Head-Paare $(h, c)$ . Das Paper definiert eine Projektionsabbildung $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ , wobei $\Pi(h, c) = [c \circ h]_{P_X}$ der induzierte Prädiktor ist, identifiziert bis auf $P_X$ -fast-sure Gleichheit.
- Zwei Paare $(h, c)$ und $(\tilde{h}, \tilde{c})$ sind prädiktor-äquivalent, wenn sie denselben Prädiktor induzieren ( $c \circ h = \tilde{c} \circ \tilde{h}$ fast sicher).
- Die Menge aller Paare, die denselben Prädiktor induzieren, bildet eine Faser von $\Pi$ .
Das Faser-/Abstiegskriterium (Fiber/Descent Criterion):
Das zentrale theoretische Resultat (Theorem 3.3) etabliert eine notwendige und hinreichende Bedingung für die Identifizierbarkeit von Repräsentationen:
- Eine Repräsentationseigenschaft $P$ ist identifizierbar aus dem induzierten Prädiktor, wenn und nur wenn $P$ auf jeder Faser von $\Pi$ konstant ist.
- Äquivalenterweise muss $P$ auf eine wohldefinierte Eigenschaft des Pr Perdiktors selbst absteigen (descend). Wenn $P$ innerhalb einer einzigen Faser variiert (d. h. zwei Faktorisierungen produzieren denselben Prädiktor, aber haben unterschiedliche Werte für $P$ ), dann kann $P$ nicht allein aus dem Prädiktor abgeleitet werden.
Die Augmentierungs-Obstruktion:
Um die Nicht-Identifizierbarkeit zu demonstrieren, führt das Paper eine kanonische Konstruktion namens prädiktor-erhaltende Augmentierung ein.
- Gegeben sei eine Faktorisierung $(h, c)$ und eine Hilfsstatistik $q(x)$ . Man kann eine neue Repräsentation $h_q(x) = (h(x), q(x))$ und einen neuen Head $c_q(u, v) = c(u)$ konstruieren.
- Der neue Head ignoriert die angehängte Koordinate $q$ , wodurch $c_q \circ h_q = c \circ h$ punktweise gilt. Der Prädiktor und das überwachte Risiko bleiben unverändert.
- Die neue Repräsentation $h_q$ kann jedoch in Eigenschaften wie Minimalität, Kompression, Invarianz oder semantische Zugänglichkeit von $h$ abweichen.
- Theorem 3.5 (Augmentierungs-Obstruktion): Wenn eine Modellklasse $\mathcal{M}$ unter prädiktor-erhaltender Augmentierung abgeschlossen ist, ist jede Repräsentationseigenschaft, die sich bei Anwendung einer solchen Augmentierung ändert, nicht identifizierbar aus dem induzierten Prädiktor (und folglich auch nicht aus dem skalaren überwachten Risiko).
Wiederherstellung der Identifizierbarkeit:
Das Paper stellt fest, dass die Identifizierbarkeit durch die Einschränkung der zulässigen Klasse $\mathcal{M}$ wiederhergestellt werden kann (z. B. durch architektonische Beschränkungen, Bottlenecks oder induktive Biases), um die „schlechten“ Augmentierungen auszuschließen, oder durch die Anreicherung des Beobachtungsobjekts (z. B. durch zusätzliche Verluste, mehrere Umgebungen oder direkte Messungen).

Wesentliche Beiträge

Formalisierung der Repräsentations-Identifizierbarkeit: Das Paper definiert Repräsentations-Identifizierbarkeit strikt in Bezug auf den induzierten Prädiktor und unterscheidet dies von der statistischen Identifizierbarkeit latenter generativer Faktoren.
Das Faser-/Abstiegskriterium: Es liefert ein rigoroses mathematisches Kriterium (Theorem 3.3), das besagt, dass eine Eigenschaft identifizierbar ist, wenn und nur wenn sie auf den Fasern der Projektion von Faktorisierungen auf Prädiktoren konstant ist.
Allgemeiner Obstruktionsmechanismus: Es identifiziert die prädiktor-erhaltende Augmentierung als universellen Zeugen für Nicht-Identifizierbarkeit, der auf gängige Desiderata wie Minimalität, Kompression, Invarianz, Äquivarianz, Störungsentfernung (Nuisance Removal) und semantische Zugänglichkeit (Tabelle 1) anwendbar ist.
Empirische Diagnostik: Das Paper liefert zwei Arten empirischer Evidenz:
1. Exakte algebraische Zeugen: Experimente auf CelebA, CIFAR-10, STL-10, OfficeHome und PACS, bei denen Hilfsinformationen (semantische Attribute, Transformations-Embeddings, Domänen-Labels) an Repräsentationen angehängt werden. Die Ergebnisse zeigen, dass während der Prädiktor identisch bleibt (Null Disagreement), Standarddiagnosen (Probe-Genauigkeit, Invarianz-Distanz, effektiver Rang) drastisch variieren.
2. Studie mit gematchter Performance: Eine Studie am Waterbirds-Datensatz, die Modelle vergleicht, die mit unterschiedlichen Constraints (ERM, Bottleneck, VIB, AugInv, SupCon) trainiert wurden und eine ähnliche überwachte Performance erreichen. Die Ergebnisse zeigen, dass diese Modelle unterschiedliche Repräsentations-Diagnostika (z. B. effektiven Rang, Nuisance-Dekodierbarkeit) wählen, trotz vergleichbarer Testgenauigkeit und Loss.

Ergebnisse

Theoretisch: Das Paper beweist, dass Eigenschaften wie Kompression, Invarianz und semantische Zugänglichkeit keine Konsequenzen des rein überwachten Prädiktionsverhaltens sind. Sie variieren innerhalb der Faser des induzierten Prädiktors, sofern die zulässige Klasse nicht eingeschränkt wird.
Empirisch:
- In den Experimenten mit exakten Zeugen ermöglichte das Anhängen einer einzigen Koordinate (z. B. eines Domänen-Labels) an eine Repräsentation einer Probe, diese Information mit 100 % Genauigkeit zu dekodieren, während die ursprüngliche Repräsentation dies nicht konnte, obwohl der Output des Prädiktors unverändert blieb.
- In der Waterbirds-Studie zeigten Modelle mit gematchter Testgenauigkeit signifikante Divergenzen in ihren Repräsentations-Eigenschaften. Beispielsweise wählten Information-Bottleneck-Methoden extrem niedrigdimensionale Repräsentationen (effektiver Rang $\approx 1,8$ ) im Vergleich zu ERM (effektiver Rang $\approx 35,7$ ), während Augmentierungs-Invarianz-Methoden die Transformationssensitivität reduzierten, aber eine hohe Nuisance-Dekodierbarkeit beibehielten. Entscheidend war, dass die Worst-Group-Accuracy nicht monoton mit der Nuisance-Probe-Genauigkeit korrelierte, was darauf hindeutet, dass Behauptungen über Repräsentationen spezifische Rechtfertigungen erfordern, die über die Vorhersagegenauigkeit hinausgehen.

Bedeutung und Ansprüche
Das Paper beansprucht, die logische Beziehung zwischen überwachtem Vorhersageverhalten und internen Repräsentationseigenschaften zu klären. Sein primärer Beitrag ist ein Negativresultat bezüglich der Hinlänglichkeit von überwachtem Lernen für Repräsentationsbehauptungen:

Überwachtes Vorhersageverhalten zertifiziert eine Eigenschaft auf Repräsentationsebene nur dann, wenn diese Eigenschaft durch den induzierten Prädiktor bestimmt ist.
Behauptungen über Kompression, Invarianz oder semantische Struktur sind keine automatischen Konsequenzen eines niedrigen überwachten Verlusts.
Um solche Behauptungen zu rechtfertigen, muss man sich auf zusätzliche Strukturen verlassen, die über den Prädiktor hinausgehen, wie etwa architektonische Beschränkungen, Regularisierungen, Bottlenecks, Datenaugmentierung, Hilfsziele, kausale Annahmen oder direkte Messungen auf Repräsentationsebene.

Das Paper schließt mit dem Schluss, dass die Identifizierbarkeit von Repräsentationen auf Repräsentationsebene von der zulässigen Klasse der Faktorisierungen abhängt. Oh ohne Einschränkungen, die die Prädiktor-Faser verkleinern oder spezifische Repräsentanten auswählen, bleibt die interne Struktur eines überwachten Modells durch das Input-Output-Verhalten allein unterbestimmt.