Digging Deeper: Learning Multi-Level Concept Hierarchies

Die vorgestellte Arbeit überwindet die Beschränkung flacher Konzeptmodelle durch die Entwicklung von Multi-Level Concept Splitting (MLCS) zur Entdeckung mehrstufiger Konzept-Hierarchien aus nur grober Überwachung und Deep-HiCEMs als Architektur, die diese Hierarchien für interpretierbare Eingriffe auf verschiedenen Abstraktionsebenen nutzbar macht.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas verwirrten Koch in einer riesigen Küche. Dieser Koch kann Gerichte perfekt zubereiten (das ist die Künstliche Intelligenz), aber wenn du ihn fragst: „Warum hast du das so gemacht?", antwortet er nur mit einem wirren Haufen von Fachbegriffen, die du nicht verstehst.

Bisherige KI-Modelle, die versuchen, ihre Entscheidungen zu erklären, benutzten eine einfache Liste von Zutaten: „Tomate", „Zwiebel", „Salz". Das ist okay, aber es ist sehr flach. Es ignoriert, dass eine „Tomate" eine Art „Gemüse" ist und eine „rote Tomate" eine spezielle Art von Tomate. Die KI wusste nicht, dass diese Dinge zusammengehören.

Diese neue Forschung von Oscar Hill und seinem Team aus Cambridge und Oxford möchte das ändern. Sie haben ein System entwickelt, das die KI lehrt, nicht nur Zutaten zu erkennen, sondern ganze Rezept-Bücher mit Hierarchien zu verstehen.

Hier ist die einfache Erklärung ihrer drei großen Ideen:

1. Das Problem: Der flache Blick

Früher haben KI-Modelle alles als eine lange, flache Liste behandelt. Sie wusnten: „Das ist ein Apfel" und „Das ist ein rotes Auto". Aber sie verstanden nicht, dass ein „roter Apfel" eine Unterart von „Apfel" ist, und dass „Apfel" eine Unterart von „Obst" ist.
Das ist wie wenn ein Koch sagt: „Ich habe eine Tomate benutzt", aber er vergisst zu erwähnen, dass es eine reife Tomate war, die er von einem speziellen Baum gepflückt hat. Die Erklärung ist unvollständig.

2. Die Lösung: Ein mehrstöckiges Gebäude (MLCS)

Die Forscher haben eine Methode namens MLCS (Multi-Level Concept Splitting) erfunden. Stell dir das wie einen genialen Detektiv vor, der in die Gedanken der KI schaut.

• Der alte Weg: Der Detektiv sah nur die groben Kategorien (z. B. „Obst").
• Der neue Weg (MLCS): Der Detektiv geht tiefer. Er sieht nicht nur „Obst", sondern findet heraus: „Aha! Hier ist eine Gruppe für Äpfel, und innerhalb der Äpfel gibt es eine Gruppe für rote Äpfel und eine für grüne Äpfel."

Das Tolle ist: Die KI musste dafür nicht extra gelernt werden, was ein „roter Apfel" ist. Sie hat das selbst entdeckt, indem sie die groben Hinweise (nur „Obst") genutzt hat und die feinen Details selbst herausgefiltert hat. Es ist, als würde man einem Kind nur sagen „Das ist ein Tier", und das Kind lernt dann von selbst, dass es ein „Hund" ist, und dass der Hund ein „Welpen" oder ein „erwachsener Hund" sein kann.

3. Der Architekt: Deep-HiCEM (Das tiefe Haus)

Damit die KI diese neuen, tiefen Entdeckungen auch nutzen kann, haben sie eine neue Architektur namens Deep-HiCEM gebaut.

Stell dir das alte Modell wie ein Erdgeschoss vor. Du kannst dort nur sagen: „Mach das Licht an" (Konzept: Licht).
Das neue Modell ist ein Wolkenkratzer.

• Im Erdgeschoss sagst du: „Licht an".
• Im ersten Stock sagst du: „Lampe an".
• Im zweiten Stock sagst du: „Die rote Lampe im Wohnzimmer an".

Das System erlaubt es uns, auf jeder Etage dieses Gebäudes einzugreifen. Wenn du der KI sagst: „Nein, das ist kein roter Apfel, das ist ein grüner!", kann die KI sofort verstehen, dass es auch kein rotes Obst mehr ist, und ihre Entscheidung für das Gericht (oder die Diagnose) sofort anpassen.

Warum ist das wichtig? (Das Experiment)

Die Forscher haben das an verschiedenen Aufgaben getestet, von einfachen Zahlenmustern bis hin zu Bildern von Vögeln und Tieren.

• Ergebnis 1: Die KI hat tatsächlich neue, sinnvolle Kategorien gefunden, die niemand ihr vorher gezeigt hat (z. B. „rote Äpfel" statt nur „Äpfel").
• Ergebnis 2: Die KI wurde nicht dümmer durch diese Komplexität. Sie war genauso gut im Lösen der Aufgaben wie vorher.
• Ergebnis 3: Wenn Menschen in das System eingreifen (z. B. „Korrektur: Das ist ein roter Apfel"), verbessert sich die Leistung der KI oft sogar noch weiter.

Zusammenfassung in einer Metapher

Stell dir vor, du lernst eine Sprache.

• Die alte KI lernte nur einzelne Wörter: „Hund", „Katze", „Laufen". Wenn du fragtest, warum sie „Hund" sagte, zeigte sie nur auf das Wort.
• Die neue KI (MLCS + Deep-HiCEM) lernt die Grammatik und die Sätze. Sie versteht, dass „Hund" ein Substantiv ist, dass es „kleine Hunde" (Welpen) gibt und dass „Hunde laufen" eine Handlung ist.

Wenn du jetzt sagst: „Nein, das ist kein großer Hund, das ist ein Welpe!", versteht die neue KI sofort den Kontext und passt ihre Antwort perfekt an. Sie ist nicht nur klüger, sondern auch ehrlicher und verständlicher für uns Menschen.

Kurz gesagt: Die Forscher haben der KI beigebracht, ihre eigene Welt in einer strukturierten, mehrstufigen Bibliothek zu organisieren, anstatt sie als einen chaotischen Haufen von Fakten zu sehen. Das macht sie vertrauenswürdiger und leichter zu kontrollieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Digging Deeper: Learning Multi-Level Concept Hierarchies" für das ICLR 2026 Workshop on Principled Design for Trustworthy AI, verfasst auf Deutsch.

Technische Zusammenfassung: Multi-Level Concept Hierarchies für vertrauenswürdige KI

1. Problemstellung

Konzeptbasierte Modelle (Concept-Based Models, CBMs) zielen darauf ab, die Vorhersagen neuronaler Netze durch menschenverständliche Konzepte (z. B. „Farbe", „Größe") zu erklären. Bisherige Ansätze leiden jedoch unter zwei wesentlichen Einschränkungen:

• Flache Struktur: Die meisten Modelle behandeln Konzepte als unabhängig und flach, obwohl reale Konzepte oft in komplexen Hierarchien (z. B. „Obst" $\to$ „Apfel" $\to$ „roter Apfel") verknüpft sind.
• Hoher Annotationsaufwand: Um diese Hierarchien zu nutzen, wären exhaustive Annotationen auf allen Ebenen notwendig, was in der Praxis oft nicht machbar ist.

Zwar haben neuere Arbeiten wie Hierarchical Concept Embedding Models (HiCEMs) und Concept Splitting begonnen, Beziehungen zwischen Konzepten zu modellieren und Unterkonzepte aus groben Labels abzuleiten, doch sind diese Methoden auf flache Hierarchien beschränkt (nur eine Ebene von Unterkonzepten). Es fehlt eine Methode, um tiefere, mehrstufige Hierarchien (Sub-Sub-Konzepte) automatisch zu entdecken und zu nutzen, ohne zusätzliche manuelle Annotationen.

2. Methodik

Die Autoren schlagen einen zweistufigen Ansatz vor, der aus einer neuen Entdeckungsmethode und einer neuen Modellarchitektur besteht:

A. Multi-Level Concept Splitting (MLCS)
MLCS ist eine Methode zur Entdeckung mehrstufiger Konzept-Hierarchien, die nur mit Supervision auf der obersten Ebene (Top-Level) auskommt.

• Kernkomponente: Anstelle eines einfachen Sparse Autoencoders (SAE) verwendet MLCS einen Hierarchical Sparse Autoencoder (HiSAE).
• Funktionsweise:
  1. Ein Top-Level-Encoder kodiert Eingabe-Embeddings in eine Menge von potenziellen Unterkonzepten (z. B. „Apfel").
  2. Für jedes aktive Top-Level-Latent wird ein separater Sub-Encoder aktiviert, der feinere Verfeinerungen (Sub-Sub-Konzepte, z. B. „roter Apfel") in einem untergeordneten Dictionary entdeckt.
  3. Die Sub-Ebene ist „gegate" (gesteuert) durch die Top-Ebene: Sub-Sub-Konzepte tragen nur bei, wenn ihr übergeordnetes Sub-Konzept aktiv ist.
• Ergebnis: Dies ermöglicht die Extraktion einer tiefen Baumstruktur von Konzepten aus den Embeddings eines vortrainierten Concept Embedding Model (CEM), ohne dass neue Labels benötigt werden.

B. Deep-HiCEM (Deep Hierarchical Concept Embedding Models)
Deep-HiCEM ist die Architektur, die die durch MLCS entdeckten Hierarchien repräsentiert und für Inferenz und Intervention nutzt.

• Struktur: Das Modell organisiert Konzepte in einem Baum. Jeder Knoten kann positive und negative Unterkonzepte haben. Die Logik ist hierarchisch: Ein Unterkonzept kann nur vorhanden sein, wenn sein Eltern-Konzept vorhanden ist.
• Architektur-Details:
  • Für jedes Top-Level-Konzept werden zwei Embeddings gelernt (aktiv/inaktiv).
  • Diese werden durch Sub-Concepts-Module geleitet, die Informationen über die Unterkonzepte und deren Nachkommen integrieren.
  • Die Module nutzen verschachtelte Embedding-Generatoren, die auf den vorläufigen Embeddings der Eltern-Konzepte operieren.
• Intervention: Das Modell erlaubt Eingriffe auf jeder Ebene der Hierarchie. Wenn ein Mensch ein Sub-Sub-Konzept korrigiert (z. B. „Es ist ein roter Apfel"), wird dies automatisch auf die übergeordneten Konzepte („Apfel", „Obst") propagiert, was die Vorhersage des downstream Tasks aktualisiert.

3. Wichtige Beiträge

1. MLCS: Einführung einer Methode zur Entdeckung mehrstufiger Konzept-Hierarchien ausschließlich aus Top-Level-Supervision, die tiefere Strukturen als bisherige „Concept Splitting"-Ansätze offenlegt.
2. Deep-HiCEM: Entwicklung einer skalierbaren Architektur, die beliebig tiefe Hierarchien modelliert und Interventionen auf jeder Abstraktionsebene ermöglicht.
3. Validierung: Demonstration, dass diese tiefen Hierarchien nicht nur menscheninterpretierbar sind, sondern auch die Task-Performance erhalten oder sogar verbessern können.

4. Ergebnisse

Die Evaluation erfolgte auf fünf Datensätzen (u. a. MNIST-ADD, CUB, AwA2 und ein synthetischer PseudoKitchens-2-Datensatz).

• Entdeckte Konzepte (RQ1): MLCS entdeckt zuverlässig menscheninterpretierbare Hierarchien (Sub- und Sub-Sub-Konzepte). Die Vorhersagegenauigkeit der entdeckten Konzepte (gemessen an ROC-AUC) liegt nur wenige Prozentpunkte unter der von HiCEMs mit flachen Hierarchien. Auf PseudoKitchens-2 wurden sowohl Sub-Konzepte (z. B. „Apfel") als auch Sub-Sub-Konzepte (z. B. „roter Apfel") erfolgreich identifiziert.
• Task-Genauigkeit (RQ2): Deep-HiCEMs erreichen eine Task-Genauigkeit, die mit Standard-HiCEMs und anderen State-of-the-Art-Baselines (CBMs, CEMs) konkurrierbar ist. Die Einführung tieferer Hierarchien führt nicht zu einem Leistungsabfall.
• Interventionen (RQ3): Interventionen auf entdeckten Konzepten können die Task-Genauigkeit verbessern. In den meisten Fällen führt das Korrigieren von Konzepten zu besseren Ergebnissen. Es gab jedoch einige Fälle (besonders bei PseudoKitchens-2), in denen Interventionen die Genauigkeit leicht senkten, was auf Ungenauigkeiten in den automatisch entdeckten Labels hindeutet und zukünftiges Forschungsbedarf aufzeigt.

5. Bedeutung und Ausblick

Diese Arbeit ist ein signifikanter Schritt hin zu vertrauenswürdiger und erklärbarer KI.

• Skalierbarkeit: Durch die Eliminierung des Bedarfs an exhaustiven Annotationen für jede Hierarchieebene wird die Anwendung konzeptbasierter Modelle auf komplexe, reale Szenarien praktikabler.
• Mensch-in-the-Loop: Die Fähigkeit, auf verschiedenen Abstraktionsebenen (vom groben Konzept bis zum feinen Detail) einzugreifen, ermöglicht eine präzisere Kontrolle und Debugging von KI-Systemen.
• Zukunft: Die Autoren sehen Potenzial in der Skalierung auf noch komplexere Datensätze und der weiteren Erforschung tieferer Hierarchien. Ein offenes Problem bleibt die Konsistenz der automatisch entdeckten Labels, die für zuverlässige Interventionen optimiert werden muss.

Zusammenfassend beweisen die Autoren, dass tiefere konzeptuelle Strukturen nicht nur theoretisch wünschenswert, sondern technisch machbar und für die Verbesserung der KI-Interpretierbarkeit und -Leistung essenziell sind.