CLIP-Free, Label Free, Unsupervised Concept Bottleneck Models

Die Arbeit stellt U-F$^2$-CBM vor, eine neue Methode, die beliebige eingefrorene visuelle Klassifikatoren ohne CLIP, ohne manuelle Bild-Konzept-Labels und ohne überwachtes Training in interpretierbare Concept Bottleneck Models umwandelt und dabei den aktuellen State-of-the-Art übertrifft.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber stummen Kunstexperten. Er kann ein Bild ansehen und sofort sagen: „Das ist ein Goldfisch!" oder „Das ist ein Löwe!" Er ist extrem gut darin, aber er kann nicht erklären, warum er das denkt. Er sieht nur Zahlen und Muster, die für uns Menschen wie Kauderwelsch aussehen.

Früher gab es zwei Wege, diesem Experten eine Stimme zu geben, damit er seine Gedanken erklären kann:

1. Der mühsame Weg: Du musstest ihm stundenlang beibringen, was ein „Schuppen", eine „Flosse" oder ein „Schwanz" ist. Das war teuer, langweilig und dauerte ewig.
2. Der moderne Weg (CLIP): Man hat einen riesigen, super-intelligenten Roboter (CLIP) gebeten, dem Experten zu helfen. Dieser Roboter kennt die Welt durch Texte und Bilder. Aber das Problem: Der Experte denkt dann plötzlich nicht mehr in seinem eigenen Stil, sondern muss sich an die Denkweise des CLIP-Roboters anpassen. Das ist, als würde ein klassischer Maler gezwungen werden, in einem digitalen Pixel-Stil zu malen, nur weil er einen Computer benutzt.

Die neue Lösung: „TextUnlock" (Der Schlüssel zur Sprache)

Die Autoren dieses Papers haben eine geniale Methode namens TextUnlock entwickelt. Stell dir das wie einen universellen Übersetzer vor, der keine neue Sprache lernt, sondern einfach die Gedanken des Experten in unsere Sprache übersetzt, ohne ihn zu verändern.

Hier ist, wie es funktioniert, ganz einfach erklärt:

1. Der „Geist" des Experten bleibt erhalten

Stell dir vor, dein Experte hat einen festen „Gedankenraum" (seine ursprüngliche Entscheidung). Normalerweise würde man ihn zwingen, in einen neuen Raum (CLIP) zu gehen.
Die neue Methode sagt: „Nein, bleib wo du bist!" Sie nimmt die ursprüngliche Entscheidung des Experten (z. B. „80% Wahrscheinlichkeit Goldfisch") und baut eine Brücke zu den Wörtern, die wir kennen.

2. Die Brücke aus Worten

Die Methode nutzt nur die Namen der Dinge, die der Experte kennt (z. B. „Goldfisch"). Sie fragt sich: „Wenn der Experte sagt 'Goldfisch', welche Wörter passen dazu?"
Dafür nutzt sie einen kleinen, cleveren Übersetzer (einen neuronalen Netz-Teil), der lernt: „Aha, wenn der Experte 'Goldfisch' sieht, dann muss das im Sprachraum auch mit Wörtern wie 'Flossen', 'Wasser' oder 'orange' übereinstimmen."

Das Tolle dabei:

• Keine neuen Lehrer nötig: Man braucht keine tausenden Bilder mit Beschriftungen. Der Experte lernt aus dem, was er schon weiß.
• Kein CLIP-Roboter: Man braucht keinen riesigen externen KI-Roboter. Der Experte bleibt er selbst.
• Kein Training von Null: Der Experte wird nicht neu trainiert und vergisst nichts. Er wird nur „übersetzt".

3. Das Ergebnis: Ein verständlicher Experte

Am Ende hast du denselben super-schnellen Experten, aber er kann jetzt sagen:

„Ich sage 'Goldfisch', weil ich Flossen, Wasser und eine orange Farbe sehe."

Und das Beste: Da er die Konzepte (Flossen, Wasser) selbst entdeckt hat, kann man ihn auch fragen: „Was ist, wenn ich die 'Flossen' wegnehme?" Und er antwortet ehrlich: „Dann bin ich mir nicht mehr sicher." Das macht die KI überprüfbar und fair.

Warum ist das ein großer Durchbruch?

• Es ist wie ein Zaubertrick: Man nimmt einen alten, bewährten Computer-Experten und macht ihn in Sekunden verständlich, ohne ihn neu zu programmieren.
• Es ist billiger und schneller: Man spart sich die riesigen Datenmengen und die Abhängigkeit von großen Firmen-Modellen (wie CLIP).
• Es funktioniert überall: Ob der Experte ein einfacher Ziegelstein-Experte (ResNet) oder ein komplexer Visionär (ViT) ist – die Methode passt sich an.

Ein weiteres Talent: Bildbeschreibungen

Die Autoren haben gezeigt, dass diese Methode auch Bilder beschreiben kann, ohne dass sie jemals gelernt haben, wie man Sätze bildet. Es ist, als würde man dem Experten einen Satzbauplan geben, der sich aus den Wörtern zusammensetzt, die er gerade sieht. Das Ergebnis sind oft überraschend genaue Beschreibungen, die besser sind als viele aktuelle Methoden.

Zusammenfassend:
Diese Arbeit ist wie der Schlüssel, der einen stummen, aber genialen KI-Experten zum Reden bringt – und zwar in seiner eigenen Sprache, ohne ihn zu verfälschen oder externe Helfer zu brauchen. Sie machen die KI nicht nur schlauer, sondern auch ehrlicher und verständlicher für uns Menschen.

Technische Zusammenfassung

1. Problemstellung

Concept Bottleneck Models (CBMs) sind interpretierbare Modelle, die Vorhersagen treffen, indem sie Eingabebilder zunächst auf menschenlesbare Konzepte abbilden (z. B. „hat Federn", „ist rot") und diese Konzepte dann linear zu einer Klassenvorhersage kombinieren.

Bisherige Ansätze leiden jedoch unter drei wesentlichen Einschränkungen:

1. Abhängigkeit von CLIP: Moderne, „label-freie" CBMs nutzen das CLIP-Modell (Contrastive Language-Image Pre-training), um Bild-Konzept-Annotationen zu generieren. Dies bindet das CBM an den Embedding-Raum von CLIP und überträgt dessen Verzerrungen (Biases) auf das ursprüngliche Modell.
2. Manuelle Annotation: Methoden ohne CLIP erfordern oft aufwendige manuelle Annotationen, um Merkmale mit Konzepten zu verknüpfen.
3. Überwachtes Training des Klassifikators: Alle bisherigen CBMs benötigen ein überwachtes Training einer linearen Schicht (Linear Probe), um die erkannten Konzepte auf die Klassenlabels abzubilden.

Ziel der Arbeit ist es, eine Methode zu entwickeln, die keine CLIP-Modelle, keine manuellen Labels und kein überwachtes Training benötigt, um jedes eingefrorene visuelle Klassifikationsmodell in ein CBM zu verwandeln.

2. Methodik: TextUnlock und U-F2-CBM

Die Autoren schlagen eine zweistufige Methode vor, die als U-F2-CBM (Unsupervised, CLIP-Free, Label-Free) bezeichnet wird. Der Kern der Methode ist ein Verfahren namens TextUnlock.

A. TextUnlock: Ausrichtung der Verteilungen

Das Ziel ist es, die Ausgabe eines eingefrorenen visuellen Klassifikators in den semantischen Raum von Text-Embeddings zu projizieren, ohne die ursprüngliche Entscheidungslogik zu verändern.

1. Architektur:

   • Ein visueller Encoder ($F_v$) extrahiert Merkmale $f$ aus einem Bild.
   • Ein Text-Encoder ($T$) (z. B. MiniLM) kodiert Textprompts (z. B. „an image of a {Class}") in Text-Embeddings $u$.
   • Ein trainierbarer MLP (Multi-Layer Perceptron) projiziert die visuellen Merkmale $f$ in den Text-Embedding-Raum, sodass $\tilde{f} = \text{MLP}(f)$ entsteht.
   • Der visuelle Encoder, der lineare Klassifikator des Originalmodells und der Text-Encoder bleiben eingefroren.

2. Training (Label-Free):

   • Anstatt Ground-Truth-Labels zu verwenden, wird der MLP so trainiert, dass die Wahrscheinlichkeitsverteilung des projizierten Modells ($\tilde{f}$) mit der Verteilung des ursprünglichen Klassifikators ($o$) übereinstimmt.
   • Dies geschieht durch Minimierung der Kreuzentropie zwischen der Original-Ausgabe und der neuen Ausgabe (berechnet über Cosinus-Ähnlichkeit zwischen $\tilde{f}$ und den Text-Embeddings der Klassen).
   • Dies ist ein Knowledge-Distillation-Ansatz, bei dem die „Lehre" die eigene ursprüngliche Verteilung ist. Das Ergebnis ist, dass das Modell die semantischen Beziehungen der Klassennamen lernt, ohne seine ursprüngliche Leistung zu verlieren.

B. Konstruktion des U-F2-CBM

Sobald der MLP trainiert ist (und die visuelle in den Text-Raum projiziert), erfolgt die CBM-Erstellung in zwei Schritten, ohne weiteres Training:

1. Konzept-Entdeckung (Concept Discovery):

   • Ein Satz von Text-Konzepten (z. B. 20.000 häufigste englische Wörter) wird vom Text-Encoder in Embeddings $C$ umgewandelt.
   • Die projizierten Bildmerkmale $\tilde{f}$ werden mit diesen Konzept-Embeddings verglichen (Cosinus-Ähnlichkeit).
   • Das Ergebnis sind Aktivierungsscores für jedes Konzept im Bild.

2. Konzept-zu-Klasse Klassifikation (Unsupervised):

   • Normalerweise müsste hier ein linearer Klassifikator trainiert werden. Hier wird er unüberwacht abgeleitet.
   • Da sowohl die Klassen-Embeddings ($U$) als auch die Konzept-Embeddings ($C$) im selben Text-Raum liegen, wird die Gewichtungsmatrix $W_{con}$ durch die Cosinus-Ähnlichkeit zwischen Konzepten und Klassen berechnet ($C \cdot U^T$).
   • Die finale Vorhersage ergibt sich aus: $\text{Aktivierungen} \times W_{con}$.
   • Mathematisch entspricht dies einer Skalierung des ursprünglichen Klassifikators durch eine Gram-Matrix der Konzepte, wodurch die ursprüngliche Entscheidungslogik erhalten bleibt.

3. Wichtige Beiträge

1. Vollständig CLIP-frei, Label-frei und Unsupervised: Die Methode wandelt beliebige eingefrorene visuelle Klassifikatoren (CNNs, Transformers) in CBMs um, ohne CLIP, ohne manuelle Annotationen und ohne Training einer linearen Probe.
2. Erhaltung der Modellleistung: Durch das Ausrichten der Verteilung (TextUnlock) bleibt die Genauigkeit des ursprünglichen Modells nahezu unverändert (durchschnittlicher Abfall von nur ~0,2 Punkten).
3. Flexibilität: Konzepte können zur Laufzeit (on-the-fly) ausgewählt werden, da die Projektion in den Text-Raum erfolgt.
4. Erweiterung auf Zero-Shot Bildbeschriftung: Die Methode ermöglicht es, beliebige visuelle Klassifikatoren für die Zero-Shot-Bildbeschriftung zu nutzen, indem sie mit einem Sprachmodell (Prefix-Tuning) kombiniert werden.

4. Ergebnisse

Die Autoren evaluieren die Methode an über 40 verschiedenen Visual-Classifiern (ResNet, ViT, ConvNeXt, DINOv2, etc.) auf dem ImageNet-1K-Datensatz und anderen Datensätzen (Places365, EuroSAT, DTD).

• Leistung auf ImageNet: Das U-F2-CBM setzt einen neuen State-of-the-Art (SOTA) für CBMs. Es übertrifft sogar überwachte CLIP-basierte CBMs.
  • Beispiel: Ein einfacher ResNet-50 (nur auf ImageNet trainiert) erreicht mit U-F2-CBM eine höhere Genauigkeit als ein CLIP-basierter CBM, der auf 400 Millionen Bild-Text-Paaren trainiert wurde.
  • Das beste Modell (ConvNeXtv2) erreicht 86,4 % Top-1-Genauigkeit.
• Robustheit: Die Methode funktioniert auch auf domänenspezifischen Datensätzen (z. B. Texturen, Satellitenbilder) und übertrifft dort CLIP-Baselines.
• Interpretierbarkeit: Durch Konzept-Interventionen (z. B. auf dem Waterbirds-Datensatz) konnte gezeigt werden, dass das Modell Verzerrungen (Bias) erkennen und korrigieren kann.
• Zero-Shot Bildbeschriftung: Auf dem COCO-Datensatz erzielt die Methode SOTA-Ergebnisse bei den Metriken CIDEr und SPICE, obwohl sie nur mit ImageNet-Daten trainiert wurde und keine CLIP-Vision-Encoder nutzt.

5. Bedeutung und Fazit

Dieses Paper löst ein fundamentales Problem im Bereich der interpretierbaren KI: Es ermöglicht die Nutzung von hochleistungsfähigen, spezialisierten Legacy-Modellen als interpretierbare CBMs, ohne diese neu trainieren zu müssen oder auf die oft verzerrten Embeddings von CLIP angewiesen zu sein.

Die Methode TextUnlock demonstriert, dass die semantische Struktur von Klassenbezeichnungen ausreicht, um visuelle Merkmale in einen interpretierbaren Text-Raum zu überführen, während die ursprüngliche Entscheidungsfindung des Modells bewahrt bleibt. Dies macht CBMs skalierbarer, effizienter und frei von den Einschränkungen großer multimodaler Modelle wie CLIP.