🤖 machine learning

Hyperbolic Concept Bottleneck Models

Der Artikel stellt Hyperbolic Concept Bottleneck Models (HypCBM) vor, ein nachgelagertes Framework, das hyperbolische Geometrie nutzt, um Konzept-Hierarchien durch asymmetrische Einbettung zu modellieren und dabei im Vergleich zu euklidischen Modellen überlegene Interpretierbarkeit, hierarchische Konsistenz und Robustheit erreicht, ohne zusätzliche Überwachung oder Vorab-Trainings-Strafen zu erfordern.

Ursprüngliche Autoren: Daniel Uyterlinde, Swasti Shreya Mishra, Pascal Mettes

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Uyterlinde, Swasti Shreya Mishra, Pascal Mettes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, einen Pinguin zu erkennen.

Auf die alte Art und Weise (ein herkömmliches „Concept Bottleneck Model") erhält der Computer eine flache Liste von Merkmalen, wie eine Tabellenkalkulation. Er sieht „hat Flügel", „hat Federn", „lebt im Wasser" und „ist ein Vogel". In dieser flachen Liste sind „Vogel" und „Pinguin" nur zwei separate Kästchen, die nebeneinander stehen. Der Computer weiß von sich aus nicht, dass ein „Pinguin" eine Art von „Vogel" ist. Wenn Sie dem Computer sagen: „Das ist kein Vogel", könnte er trotzdem denken: „Okay, aber es ist definitiv ein Pinguin", weil in dieser flachen Liste die beiden Ideen nicht verbunden sind. Dies führt zu logischen Fehlern.

Hyperbolische Concept Bottleneck Models (HypCBM) beheben dies, indem sie die Form des „Geistes" des Computers verändern.

Die Analogie: Ein Baum versus eine flache Karte

Stellen Sie sich vor, Sie versuchen, eine Bibliothek zu organisieren.

Die alte Art (Euklidischer Raum): Sie versuchen, die gesamte Bibliothek auf einen einzigen, flachen Boden zu packen. Um alles unterzubringen, müssen Sie die Bücher zusammendrücken. Ein Bereich „Fiktion" und ein Bereich „Science-Fiction" überlappen sich am Ende oder werden verzerrt. Es ist schwer zu erkennen, dass „Science-Fiction" ein kleiner Zweig ist, der aus dem großen „Fiktion"-Baum wächst.
Die neue Art (Hyperbolischer Raum): Stellen Sie sich vor, die Bibliothek hat die Form eines riesigen, sich erweiternden Baumes oder eines Trichters. Der obere Teil des Trichters sind die breiten, allgemeinen Ideen (wie „Tier"). Je tiefer Sie in den Trichter gehen, desto mehr erweitert sich der Raum exponentiell, sodass Sie spezifische, detaillierte Ideen (wie „Pinguin", „Kaiserpinguin", „Blaufußtölpel") unterbringen können, ohne dass sie gegeneinander stoßen.

In dieser neuen Form versteht der Computer von selbst, dass „Pinguin" innerhalb des Bereichs „Vogel" lebt. Es ist nicht nur ein Nachbar; es ist ein Kind des übergeordneten Konzepts.

Wie es funktioniert (der „Entailment Cone")

Die Arbeit stellt einen cleveren Trick vor, der Entailment Cones (Ableitungskegel) genannt wird.

Stellen Sie sich ein Konzept wie „Vogel" als einen Taschenlampenstrahl vor, der von der Spitze des Trichters nach unten scheint.

Der Strahl wird breiter, je weiter er nach unten geht.
Wenn ein Bild (wie ein Foto eines Pinguins) innerhalb des „Vogel"-Strahls liegt, weiß der Computer: „Ja, das ist ein Vogel."
Wenn das Bild innerhalb des „Vogel"-Strahls liegt, aber auch innerhalb eines schmaleren, spezifischeren Strahls namens „Pinguin", weiß der Computer: „Das ist ein Pinguin."

Das Magische ist, dass der Computer nicht explizit die Regeln „Vögel enthalten Pinguine" lernen muss. Die Form des Raums (der Trichter) zwingt diese Logik dazu, automatisch zu geschehen. Wenn Sie den „Vogel"-Strahl ausschalten, schaltet sich der „Pinguin"-Strahl automatisch ebenfalls aus, weil der Pinguin im Licht des Vogels gefangen ist.

Warum das wichtig ist

Die Autoren testeten dies an drei Hauptpunkten:

Es ist mit weniger Daten schlauer:
Stellen Sie sich zwei Schüler vor, die eine Prüfung schreiben. Schüler A (das alte Modell) lernte mit einem massiven Lehrbuch (400 Millionen Beispiele). Schüler B (HypCBM) lernte mit einem viel dünneren Buch (20 Millionen Beispiele). Normalerweise gewinnt Schüler A. Aber weil die Lernmethode von Schüler B (die Trichterform) so viel besser darin ist, Informationen zu organisieren, schlug Schüler B tatsächlich Schüler A, und zwar trotz 20-mal weniger Daten.
Es macht weniger logische Fehler:
Wenn Sie dem alten Modell sagen: „Das ist kein Hund", könnte es trotzdem sagen: „Aber es ist ein Golden Retriever!" (ein logischer Widerspruch). Das neue Modell versteht die Hierarchie. Wenn Sie sagen „Kein Hund", weiß es automatisch, dass es auch kein Golden Retriever sein kann. Es hält seine Erklärungen konsistent.
Es ist robuster:
Wenn Sie ein Foto nehmen und etwas Rauschen hinzufügen oder es verschwimmen lassen (wie bei einer schlechten Internetverbindung), gerät das alte Modell in Verwirrung und ändert seine Meinung darüber, welche Konzepte vorhanden sind. Das neue Modell bleibt stabil. Es ist wie ein Blick auf einen Baum im Wind; die Blätter (die spezifischen Details) mögen wackeln, aber der Stamm (die Hauptstruktur) bleibt solide.

Die „Human-in-the-Loop"-Superkraft

Das Beste ist, wie einfach es ist, die Fehler des Computers zu korrigieren.
Wenn der Computer ein Bild einer Umkleidekabine für einen Serverraum hält (weil beide „elektrische Geräte" haben), können Sie dem Computer einfach sagen: „Nein, das sind keine elektrischen Geräte."

Altes Modell: Sie müssen manuell jedes einzelne Kästchen überprüfen, das mit „Serverraum" zu tun hat, um es zu korrigieren.
Neues Modell: Sie schalten einfach „elektrische Geräte" aus. Wegen der Trichterform schaltet der Computer automatisch auch „Serverraum", „Leitungsschutzschalter" und „technische Geräte" für Sie aus. Es korrigiert den gesamten Ast des Baumes mit einem Klick.

Zusammenfassung

Die Arbeit behauptet, dass wir durch den Wechsel von einer flachen, unübersichtlichen Liste von Ideen zu einer strukturierten, baumartigen Form (hyperbolischer Raum) KI-Modelle entwickeln können, die:

Verstehen, wie Konzepte miteinander verwandt sind (Eltern und Kinder).
Schneller lernen und mit weniger Daten auskommen.
Weniger logische Fehler machen.
Für Menschen leichter zu korrigieren sind, wenn sie etwas falsch machen.

Die Autoren nennen dies HypCBM, und sie zeigen, dass es besser funktioniert als frühere Methoden, selbst wenn diese Methoden mit viel größeren Datenmengen trainiert wurden.

Technische Zusammenfassung: Hyperbolische Concept Bottleneck Models (HypCBM)

1. Problemstellung

Concept Bottleneck Models (CBMs) haben sich als führender Ansatz für interpretierbares maschinelles Lernen etabliert, indem sie Modelle zwingen, menschlich verständliche Konzepte vorherzusagen, bevor eine endgültige Entscheidung getroffen wird. Diese Architektur ermöglicht Transparenz und erlaubt Eingriffe des Menschen im Kreislauf, um fehlerhafte Vorhersagen zu korrigieren. Allerdings beruhen bestehende CBMs auf einem fundamentalen Repräsentationsmangel: Sie verankern Konzepte in einem flachen, euklidischen Raum und behandeln sie als unabhängige, orthogonale Dimensionen.

In Wirklichkeit sind Konzepte hochgradig strukturiert und in semantischen Hierarchien organisiert (z. B. ist „Hund" eine Teilmenge von „Tier"). Die euklidische Geometrie hat Schwierigkeiten, diese verzweigten Beziehungen darzustellen, ohne Eltern- und Kindkonzepte in überlappende oder verzerrte Bereiche zu zwingen, was zu logischen Inkonsistenzen führt (z. B. Vorhersage von „Hund" ohne „Tier") und ineffiziente Eingriffe verursacht. Darüber hinaus erfordern aktuelle Methoden, die versuchen, Struktur durchzusetzen, oft zusätzliches überwachtes Training oder gelernte Module und weichen damit vom wünschenswerten „post-hoc"-Paradigma ab, bei dem das Modell ohne Nachtraining des Backbones interpretierbar ist.

2. Methodik

Die Autoren schlagen Hyperbolische Concept Bottleneck Models (HypCBM) vor, ein post-hoc-Framework, das das Concept Bottleneck in der hyperbolischen Geometrie verankert, um semantische Hierarchien auf natürliche Weise zu berücksichtigen.

2.1 Geometrische Grundlage

HypCBM nutzt das Lorentz-Modell des hyperbolischen Raums, eine Riemannsche Mannigfaltigkeit mit konstanter negativer Krümmung. Im Gegensatz zum euklidischen Raum weist der hyperbolische Raum ein exponentielles Volumenwachstum auf, was ihn zum natürlichen Bereich für das Lernen hierarchischer Repräsentationen macht. Das Framework nutzt vortrainierte hyperbolische Vision-Language-Modelle (VLMs), speziell HyCoCLIP, die Bild- und Text-Embeddings in diesem Raum unter Verwendung von Entailment-Kegel-Zielen ausrichten.

2.2 Konzeptgenerierung und -filterung

Nach einem label-freien, post-hoc-Paradigma generiert HypCBM eine Kandidatenmenge von Konzepten mithilfe eines Large Language Model (LLM), das mit den Klassenlabels des Datensatzes promptet wird. Diese textuellen Beschreibungen werden mithilfe des eingefrorenen Text-Encoders des VLM in die hyperbolische Mannigfaltigkeit codiert.

Normbasierte Filterung: Um zu allgemeine Konzepte (z. B. „Objekt") zu entfernen, die keine diskriminierende Kraft besitzen, filtert das Framework Konzepte basierend auf ihrem Abstand zum Ursprung im hyperbolischen Raum. Konzepte mit niedrigen Normen (nahe dem Ursprung) repräsentieren breite, allgemeine Kategorien und werden entfernt, da sie dazu neigen, indiscriminativ zu aktivieren.

2.3 Hyperbolische Entailment-Aktivierung

Die Kerninnovation ist die Umformulierung der Konzeptaktivierung von einer symmetrischen Distanzmetrik (wie der kosinussähnlichkeit) zu einem asymmetrischen geometrischen Enthaltungsproblem.

Entailment-Kegel: Jedes Konzept $c_i$ ist mit einem Entailment-Kegel assoziiert, der durch einen Halboffenwinkel $\omega(c_i)$ definiert ist, der umgekehrt proportional zur räumlichen Norm des Konzepts ist (spezifische Konzepte haben schmalere Kegel).
Aktivierungsmechanismus: Ein Bild-Embedding $z$ aktiviert ein Konzept, wenn es geometrisch innerhalb des Entailment-Kegels des Konzepts liegt. Der Aktivierungswert $a_i$ wird als „Einschlussmarge" berechnet – der Grad, in dem das Bild-Embedding innerhalb des Kegels enthalten ist, normalisiert durch den Öffnungswinkel des Kegels.
Ergebnis: Dies ergibt einen spärlichen, nicht-negativen Aktivierungsvektor, der konstruktionsbedingt hierarchisch konsistent ist. Wenn ein Bild ein spezifisches Kindkonzept entailt, entailt es geometrisch auch das Elternkonzept.

2.4 Hierarchisch treue Eingriffe

Eine kritische Einschränkung euklidischer CBMs besteht darin, dass Eingriffe in ein Elternkonzept (z. B. Setzen von „Tier" auf 0) nicht automatisch Kindkonzepte (z. B. „Hund") deaktivieren, was zu logischen Paradoxien führt. HypCBM löst dies durch adaptive Skalierung:

Aufgrund des exponentiellen Volumenwachstums des hyperbolischen Raums ist ein fester Schwellenwert für die Enthaltung über verschiedene Hierarchietiefen hinweg unzureichend.
Die Autoren leiten ein adaptives Skalierungsgesetz für den Parameter der Enthaltungsstrengte $\eta_{text}$ ab, das linear mit der Norm des Elternkonzepts skaliert.
Wenn ein Benutzer ein Elternkonzept unterdrückt, propagiert das Framework diese Unterdrückung automatisch auf alle geometrischen Nachkommen, die die adaptive Enthaltungsbedingung erfüllen, und gewährleistet so kohärente Korrekturen im gesamten Konzeptbaum.

3. Hauptbeiträge

Hyperbolische Entailment-Aktivierung: Ein Mechanismus, der Bildrepräsentationen über die Enthaltung von Entailment-Kegeln auf spärliche, hierarchiebewusste Konzeptaktivierungen abbildet und damit die Notwendigkeit symmetrischer Distanzmetriken eliminiert.
Adaptives Skalierungsgesetz: Eine neuartige Strategie für hierarchische Eingriffe, die Benutzerkorrekturen kohärent durch den Konzeptbaum propagiert, indem die Strengte an die geometrische Spezifität der Elternkonzepte angepasst wird.
Post-hoc strukturiertes Bottleneck: HypCBM ist das erste Framework, das ein strukturiertes Bottleneck vollständig post-hoc erreicht, ohne gelernte Module oder zusätzliche Überwachung, und sich ausschließlich auf die geometrischen Eigenschaften vortrainierter hyperbolischer VLMs stützt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HypCBM auf CIFAR-100, SUN397 und ImageNet und verglichen es mit euklidischen Baselines (LF-CBM) und Modellen, die mit deutlich mehr Daten trainiert wurden.

Genauigkeit und Dateneffizienz: HypCBM übertrifft euklidische post-hoc-Modelle konsistent. Bemerkenswert ist, dass es in spärlichen Regimen (geringe Konzeptbudgets) mit euklidischen Modellen mithalten kann, die mit 20-mal mehr Daten trainiert wurden. Beispielsweise verdoppelt HypCBM auf ImageNet mit einem Budget von 10 Konzepten die Baseline-Genauigkeit mehr als (34,6 % vs. 15,3 %).
Hierarchische Konsistenz: HypCBM zeigt eine signifikant höhere logische Konsistenz. In strengen Budgetregimen erreicht es eine relative Verbesserung der Konsistenz von über 100 % im Vergleich zu euklidischen Baselines und stellt sicher, dass die Aktivierung eines Kindkonzepts die Aktivierung seines Elternkonzepts impliziert.
Reaktionsfähigkeit auf Eingriffe: In Simulationen mit menschlichem Eingriff zeigt HypCBM einen steileren Vertrauensabfall bei der Korrektur von Fehlern und kehrt erfolgreich 19 % mehr Proben von falschen Vorhersagen zur richtigen Klasse zurück als die euklidische Baseline.
Robustheit: HypCBM weist eine überlegene Robustheit gegenüber Eingangsverfälschungen (Rauschen, Unschärfe, Wetter) auf. Es behält unter Störungen eine signifikant höhere „Konzeptstabilität" (semantische Konsistenz der Erklärungen) bei als euklidische Modelle, die unter einer schnellen Verschlechterung der Erklärungsqualität leiden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass strukturelle Priors im Repräsentationsraum in spärlichen, interpretierbaren Regimen als leistungsfähiger Ersatz für Skalierung dienen können. Durch die Verankerung von Konzepten in einer Mannigfaltigkeit, die ihre hierarchischen Beziehungen widerspiegelt, erzeugt HypCBM Erklärungen, die genauer, robuster und logisch konsistenter sind, ohne zusätzliches Training oder Überwachung zu erfordern.

Die Autoren betonen, dass Interpretierbarkeit nicht lediglich eine Eigenschaft von Modellausgaben ist, sondern grundlegend durch die Geometrie des Repräsentationsraums geprägt wird. HypCBM zeigt, dass die Nutzung des natürlichen exponentiellen Volumenwachstums des hyperbolischen Raums eine effiziente Entwirrung semantischer Informationen ermöglicht und es Modellen erlaubt, mit weniger Daten als ihre euklidischen Gegenstücke hohe Leistung und Interpretierbarkeit zu erzielen. Das Framework wird als zero-shot-Pfad zur Interpretierbarkeit für die aufkommende Klasse hyperbolischer Foundation Models präsentiert.