Hierarchical Concept-based Interpretable Models

Dieses Paper stellt Hierarchical Concept Embedding Models (HiCEMs) vor, eine neue Klasse interpretierbarer Modelle, die durch eine neuartige Methode namens Concept Splitting automatisch feinere Subkonzepte aus vortrainierten Embeddings ableiten, um sowohl menschlich verständliche Erklärungen als auch präzisere Vorhersagen durch hierarchische Konzeptbeziehungen zu ermöglichen.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, aber stummen Koch in deiner Küche. Dieser Koch (das KI-Modell) kann fantastische Gerichte zubereiten und weiß genau, was er tut. Aber wenn du ihn fragst: „Warum hast du das so gemacht?", antwortet er nur mit einem unverständlichen Murmeln. Er kann dir nicht sagen: „Ich habe Salz hinzugefügt, weil es die Tomaten betont." Er kennt die Zutaten, aber er kann sie dir nicht in einer Sprache erklären, die du verstehst.

Das ist das Problem mit modernen KI-Modellen: Sie sind „Black Boxes".

In diesem Papier stellen die Autoren eine Lösung vor, die sie HiCEM nennen. Um das zu verstehen, müssen wir uns erst ansehen, wie man KI-Modellen bisher versucht hat, die Sprache beizubringen, und wo dabei die Haken lagen.

1. Das alte Problem: Die „Einzel-Ingredienten"-Methode

Bisher gab es Modelle (genannt CEMs), die dem Koch beibrachten, seine Zutaten zu benennen. Wenn das Modell ein Bild sah, sagte es: „Aha, hier ist eine Tomate und hier ist Salz."
Das war schon mal gut. Aber es gab zwei große Mängel:

1. Keine Zusammenhänge: Das Modell behandelte jede Zutat als völlig isoliert. Es wusste nicht, dass „Tomate" eine Art von „Gemüse" ist. Es sah „Tomate" und „Salz" als zwei völlig fremde Dinge, ohne zu verstehen, dass sie in einer Hierarchie stehen.
2. Teure Schulung: Um dem Modell beizubringen, was eine Tomate ist, musste ein Mensch tausende Bilder einzeln mit dem Label „Tomate" versehen. Das ist extrem aufwendig und teuer.

2. Die neue Idee: Der „Zerlegungs-Trick" (Concept Splitting)

Die Autoren sagen: „Moment mal! Wenn unser Koch schon weiß, was 'Gemüse' ist, dann muss er im Inneren seines Gehirns auch wissen, was 'Tomate', 'Karotte' oder 'Zwiebel' ist – auch wenn wir ihm diese feinen Details nie explizit beigebracht haben."

Stell dir das wie einen Schokoladentafel vor.

• Das alte Modell sah nur die ganze Tafel und sagte: „Das ist Schokolade."
• Die neuen Autoren nehmen diese Tafel und zerlegen sie mit einem speziellen Werkzeug (einem Algorithmus namens Sparse Autoencoder).
• Plötzlich entdecken sie: „Oh, hier drin sind versteckte Stücke! Hier ist ein Stück mit Erdnuss, hier eines mit Karamell."

Das nennen sie Concept Splitting (Konzept-Spaltung).
Sie nehmen ein Modell, das nur grobe Begriffe kennt (z. B. „enthält Gemüse"), und lassen es automatisch herausfinden, welche feineren Begriffe darin stecken (z. B. „enthält Zwiebeln", „enthält Karotten"). Das passiert ohne, dass ein Mensch neue Bilder markieren muss. Die KI findet die Unter-Kategorien quasi von selbst in ihren eigenen Daten.

3. Die Lösung: Der Hierarchische Koch (HiCEM)

Nachdem sie diese feinen Details entdeckt haben, bauen sie ein neues Modell: den HiCEM (Hierarchical Concept Embedding Model).

Stell dir diesen neuen Koch wie einen Chef mit einem strukturierten Kochbuch vor:

• Die Hierarchie: Er weiß, dass „Tomate" eine Untertyp von „Gemüse" ist. Wenn er „Gemüse" sieht, denkt er automatisch an die möglichen Untertypen.
• Die Erklärung: Wenn er ein Gericht serviert, kann er nicht nur sagen „Das ist Gemüse", sondern: „Das ist Gemüse, und zwar speziell Karotten und Zwiebeln." Das ist viel genauer und verständlicher für uns.
• Die Korrektur (Intervention): Das ist der coolste Teil. Wenn du als Mensch sagst: „Moment, das ist keine Karotte, das ist eine Pastinake!", kann der Chef das sofort verstehen und sein Gericht (die Vorhersage) anpassen. Da er die Hierarchie kennt, weiß er, dass „Pastinake" auch unter „Gemüse" fällt, aber er ändert die Details korrekt.

4. Warum ist das so toll? (Die Vorteile)

• Weniger Arbeit: Du musst dem Modell nicht jede einzelne Zutat von Hand beibringen. Du sagst ihm nur „Gemüse", und er lernt die Details (Zwiebel, Karotte) automatisch dazu. Das spart enorm viel Zeit und Geld.
• Bessere Erklärungen: Das Modell kann viel detaillierter erklären, warum es eine Entscheidung trifft.
• Bessere Fehlerkorrektur: Wenn das Modell einen Fehler macht, kannst du es auf der feinen Ebene korrigieren (z. B. „Nein, keine Karotten"), und das Modell verbessert sich sofort.

Zusammenfassung in einer Metapher

Stell dir vor, du hast einen Detektiv (die KI).

• Das alte Modell: Der Detektiv sagt: „Ich habe einen Verdächtigen gesehen, der eine rote Jacke trug." (Das ist das Konzept „Rot"). Er weiß nicht, ob es ein Feuerwehrmann oder ein Clown war.
• Das neue Modell (HiCEM): Der Detektiv sagt: „Ich habe einen Verdächtigen gesehen. Er trägt eine rote Jacke, die spezifisch für Feuerwehrleute ist, und er hat eine Axt dabei."
• Der Trick: Der Detektiv hat sich das nicht alles von dir sagen lassen. Er hat einfach genauer hingeschaut (Concept Splitting) und die Details selbst entdeckt, obwohl du ihm nur gesagt hast: „Achte auf rote Jacken."

Fazit:
Die Autoren haben einen Weg gefunden, KI-Modellen beizubringen, nicht nur grobe Begriffe zu kennen, sondern die feinen Details und Zusammenhänge (die Hierarchie) selbst zu entdecken. Das macht die KI nicht nur intelligenter, sondern auch viel verständlicher und leichter zu steuern, ohne dass wir Menschen endlose Listen von Begriffen abhaken müssen.

Technische Zusammenfassung

1. Problemstellung

Moderne Deep Neural Networks (DNNs) erreichen zwar hohe Genauigkeiten, bleiben aber in ihrer Entscheidungsfindung oft undurchsichtig ("Black Box"). Concept Embedding Models (CEMs) wurden entwickelt, um dieses Problem zu lösen, indem sie Eingaben auf menschenlesbare Konzept-Repräsentationen (Embeddings) abbilden, aus denen die Aufgabe vorhergesagt wird.

Trotz ihrer Vorteile weisen CEMs jedoch zwei wesentliche Mängel auf:

1. Fehlende Hierarchie: CEMs behandeln alle Konzepte als unabhängige Entitäten. Sie können keine Beziehungen zwischen Konzepten modellieren (z. B. dass "enthält Zwiebeln" ein Unterkonzept von "enthält Gemüse" ist), was der menschlichen Kognition und dem realen Weltwissen widerspricht.
2. Hoher Annotationsaufwand: Um verschiedene Granularitäten von Konzepten zu lernen, benötigen CEMs umfangreiche manuelle Annotationen auf allen Ebenen der Hierarchie, was in der Praxis oft zu teuer oder unmöglich ist.

Ziel der Arbeit ist es, Modelle zu schaffen, die hierarchische Konzeptbeziehungen explizit modellieren und dabei den Bedarf an manuellen Annotationen reduzieren.

2. Methodik

Die Autoren stellen zwei Hauptkomponenten vor, die zusammenarbeiten: Concept Splitting und Hierarchical CEMs (HiCEMs).

A. Concept Splitting (Konzept-Splitting)

Dies ist eine Methode zur automatischen Entdeckung feinerer Unterkonzepte (Sub-Concepts) aus dem Embedding-Raum eines bereits trainierten CEM, ohne zusätzliche manuelle Labels zu benötigen.

• Prozess:
  1. Ein CEM wird auf einem Datensatz mit groben (High-Level) Konzepten trainiert.
  2. Die Embeddings der Konzepte werden extrahiert.
  3. Sparse Autoencoder (SAEs) werden auf diesen Embeddings trainiert (getrennt für Fälle, in denen das übergeordnete Konzept aktiv ist, und Fälle, in denen es inaktiv ist).
  4. Die aktivierten Features des SAE werden als neue, diskrete Unterkonzepte interpretiert.
  5. Basierend auf der Aktivierung dieser Features werden automatisch neue binäre Labels für die Unterkonzepte generiert.
• Vorteil: Dies ermöglicht es, feingranulare Konzepte (z. B. "enthält Karotten") aus einem groben Konzept (z. B. "enthält Gemüse") abzuleiten, ohne dass diese spezifischen Labels während des Trainings manuell bereitgestellt werden mussten.

B. Hierarchical CEM (HiCEM)

HiCEM ist eine neue Architektur, die die durch Concept Splitting entdeckten Hierarchien explizit in das Modell integriert.

• Architektur:
  • Wie bei herkömmlichen CEMs lernt das Modell für jedes übergeordnete Konzept zwei Embeddings (aktiv/inaktiv).
  • Neu ist jedoch, dass diese Embeddings durch Sub-Concept Modules verarbeitet werden.
  • Diese Module bestehen aus Generatoren für Unterkonzept-Embeddings und einer gemeinsamen Bewertungsfunktion (Scoring Function), die die Wahrscheinlichkeit jedes Unterkonzepts berechnet.
  • Das finale Embedding eines übergeordneten Konzepts ist eine gewichtete Mischung der Embeddings seiner Unterkonzepte.
• Interventionen: HiCEMs unterstützen Interventionen auf beiden Ebenen. Ein Experte kann ein übergeordnetes Konzept korrigieren oder spezifisch ein Unterkonzept (z. B. "Keine Zwiebeln vorhanden") ändern. Das Modell passt daraufhin die Vorhersage unter Berücksichtigung der hierarchischen Abhängigkeiten an.

3. Schlüsselbeiträge

1. Concept Splitting: Eine Methode zur automatischen Entdeckung menscheninterpretierbarer Unterkonzepte aus den Embeddings eines CEM mittels SAEs. Dies reduziert den Bedarf an exhaustiven Konzept-Annotationen erheblich.
2. HiCEM-Architektur: Eine Familie von inhärent interpretierbaren Modellen, die hierarchische Konzeptbeziehungen explizit modellieren und Interventionen auf mehreren Hierarchieebenen ermöglichen.
3. PseudoKitchens-Datensatz: Einführung eines neuen, synthetischen Datensatzes mit fotorealistischen 3D-Küchenszenen. Dieser bietet perfekte Ground-Truth-Annotationen für Konzepte und deren räumliche Lokalisierung, was eine rigorose Evaluierung ermöglicht.
4. Umfassende Evaluation: Nachweis durch empirische, qualitative und quantitative Experimente (inklusive einer Benutzerstudie), dass HiCEMs mit Concept Splitting sowohl interpretierbare Unterkonzepte entdecken als auch wettbewerbsfähige Aufgaben-Genauigkeiten erreichen.

4. Ergebnisse

Die Evaluation erfolgte auf sechs Datensätzen (MNIST-ADD, SHAPES, CUB, AwA2, PseudoKitchens, ImageNet):

• Entdeckung interpretierbarer Konzepte (RQ1):
  • Concept Splitting entdeckt Unterkonzepte, die während des Trainings nicht vorhanden waren, aber vom Modell kodiert wurden.
  • Eine Benutzerstudie mit ImageNet-Daten zeigte, dass die automatisch generierten Namen für diese Unterkonzepte semantisch konsistent mit den übergeordneten Konzepten sind (60,6 % Zustimmung vs. 3,8 % bei Kontrollgruppe).
  • Die Vorhersagegenauigkeit der entdeckten Unterkonzepte (gemessen als ROC-AUC) liegt bei HiCEMs oft über 0,9 und ist signifikant höher als bei Baselines wie Label-free CBMs.
• Aufgaben- und Konzeptgenauigkeit (RQ2):
  • HiCEMs erreichen eine Aufgaben-Genauigkeit, die mit herkömmlichen CEMs und Black-Box-Modellen vergleichbar ist (Unterschiede meist < 2 %).
  • Die Genauigkeit bei der Vorhersage der bereitgestellten (High-Level) Konzepte bleibt erhalten. Die Einführung von Unterkonzepten führt also nicht zu einem Genauigkeitsverlust.
• Effektivität von Interventionen (RQ3):
  • Interventionen auf entdeckten Unterkonzepten können die Aufgaben-Genauigkeit verbessern.
  • In Szenarien mit hierarchischen Beziehungen (z. B. CUB, PseudoKitchens) führen Interventionen in HiCEMs zu größeren Genauigkeitssteigerungen als in Standard-CEMs, da die Hierarchie genutzt wird, um Fehler auf der richtigen Granularitätsebene zu korrigieren.

5. Bedeutung und Fazit

Das Paper schließt eine wichtige Lücke in der Forschung zu interpretierbaren KI-Modellen. Während frühere Ansätze Konzepte als unabhängig behandelten, zeigt HiCEM, dass die hierarchische Struktur von Konzepten entscheidend für menschliches Schlussfolgern ist.

• Praktische Relevanz: Durch die Kombination von Concept Splitting und HiCEM wird der enorme Aufwand für manuelle Konzept-Annotationen reduziert. Modelle können aus wenigen groben Labels lernen und dennoch feingranulare Erklärungen liefern.
• Vertrauenswürdigkeit: Die Fähigkeit, Interventionen auf verschiedenen Ebenen der Hierarchie durchzuführen, erhöht die Kontrolle und das Vertrauen in das Modell, da Experten spezifische Fehlerquellen (z. B. ein falsches Unterkonzept) gezielt korrigieren können.
• Zukunftsausblick: Die Arbeit legt den Grundstein für tiefere Hierarchien und untersucht, wie feinere Interventionsmöglichkeiten die kognitive Belastung von Nutzern beeinflussen.

Zusammenfassend stellen HiCEMs einen bedeutenden Schritt vorwärts dar, um die "Black Box" tieferer neuronaler Netze durch strukturierte, hierarchische und menschenlesbare Konzepte zu öffnen.