🤖 AI

Mixture of Concept Bottleneck Experts

Das Papier schlägt Mixture of Concept Bottleneck Experts (M-CBE) vor, ein Framework, das Concept Bottleneck Models durch den Einsatz mehrerer Experten mit unterschiedlichen Funktionsformen verbessert, um die Vorhersagegenauigkeit und Anpassungsfähigkeit zu steigern und gleichzeitig die Interpretierbarkeit aufrechterhalten.

Ursprüngliche Autoren: Francesco De Santis, Gabriele Ciravegna, Giovanni De Felice, Arianna Casanova, Francesco Giannini, Michelangelo Diligenti, Johannes Schneider, Danilo Giordano, Mateo Espinosa Zarlenga, Pietro Barbiero

Veröffentlicht 2026-06-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco De Santis, Gabriele Ciravegna, Giovanni De Felice, Arianna Casanova, Francesco Giannini, Michelangelo Diligenti, Johannes Schneider, Danilo Giordano, Mateo Espinosa Zarlenga, Pietro Barbiero

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Black Box“ vs. die „Einheitslösung“

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine intelligente Maschine eine Entscheidung trifft.

Das „Black Box“-Problem: Die meisten modernen KIs sind wie eine magische Kristallkugel. Sie geben ein Bild hinein, und sie liefert eine Antwort. Sie haben jedoch keine Ahnung, warum sie diese Antwort gewählt hat. Dies ist in wichtigen Bereichen (wie Medizin oder Recht) gefährlich, in denen man die Begründung kennen muss.
Die „Concept Bottleneck“-Lösung: Um dies zu beheben, entwickelten Forscher Modelle, die Rohdaten zuerst in menschliche Wörter (Konzepte) übersetzen. Anstatt nur auf Pixel zu schauen, sagt die KI zum Beispiel zuerst: „Dieser Vogel hat einen roten Schnabel und blaue Flügel.“ Dann nutzt sie diese Wörter, um die Art zu erraten. Dies nennt man ein Concept Bottleneck Model (CBM).

Das neue Problem:
Die Arbeit argumentiert, dass bestehende CBMs zwar transparent, aber zu starr sind. Sie zwingen die KI dazu, eine einzige, vordefinierte Regel zu verwenden, um ihre endgültige Entscheidung zu treffen.

Analogie: Stellen Sie sich einen Arzt vor, der einen Patienten diagnostiziert. Ein Standard-CBM ist wie ein Arzt, der gezwungen ist, für jeden einzelnen Patienten nur eine ganz bestimmte Formel anzuwenden (z. B. „Wenn Fieber + Husten = Grippe“), egal wie komplex der Fall ist. Wenn der Patient eine seltene Erkrankung hat, versagt diese eine Formel, und der Arzt stellt die Diagnose falsch.

Die Lösung: „Mixture of Concept Bottleneck Experts“ (M-CBEs)

Die Autoren schlagen ein neues Framework namens M-CBEs vor. Betrachten Sie dies als ein Upgrade von einem einzelnen Arzt zu einem spezialisierten medizinischen Team.

Anstatt einer starren Regel verfügt die KI nun über einen „Manager“ (einen Selektor), der die Situation betrachtet und den besten „Experten“ aus einem Team von Spezialisten auswählt, um die Aufgabe zu bewältigen.

Hier sind die zwei Haupt-Upgrades, die M-CBEs einführt:

1. Das Team von Experten (Mehrere Regeln)

Anstatt einer einzigen Regel kann die KI ein kleines Team aus verschiedenen Regeln (genannt „Experten“) haben.

Analogie: Stellen Sie sich eine Autowerkstatt vor.
- Der alte Weg: Ein Mechaniker versucht, jedes Auto mit demselben Schraubenschlüssel und demselben Handbuch zu reparieren. Wenn das Auto ein elektrisches Problem hat, hilft der Schraubenschlüssel nicht weiter.
- Der M-CBE-Weg: Der Manager schaut sich das Auto an. Wenn es ein elektrisches Problem ist, ruft er den Elektriker. Wenn es ein platter Reifen ist, ruft er den Reifenspezialisten.
Warum es hilft: Wenn sich die Beziehung zwischen „Konzepten“ (wie roter Schnabel) und „Aufgaben“ (Vogelart) je nach Situation ändert, kann die KI zu dem Experten wechseln, der diese spezifische Regel kennt.

2. Anpassbare Werkzeuge (Flexibles Rechnen)

Die Autoren haben erkannt, dass verschiedene Experten unterschiedliche „Sprachen“ oder mathematische Werkzeuge nutzen sollten, um ihre Argumentation zu erklären.

Analogie: Denken Sie an einen Werkzeugkasten.
- Der alte Weg: Jeder Mechaniker ist gezwungen, nur einen Hammer zu benutzen. Manchmal braucht man jedoch einen Schraubendreher, einen Schraubenschlüssel oder einen Taschenrechner.
- Der M-CBE-Weg: Der Nutzer (der Mensch) darf entscheiden, welche Werkzeuge im Kasten sind.
  - Wenn der Nutzer ein Mathematikstudent ist, könnte er sagen: „Verwende nur einfache Addition und Multiplikation.“
  - Wenn der Nutzer ein Physiker ist, könnte er sagen: „Du darfst Sinus, Kosinus und Exponenten verwenden.“
Der „Symbolische“ Experte: Die Arbeit führt einen speziellen Typ von Experten ein, der die richtige mathematische Formel selbstständig entdecken kann, aber nur unter Verwendung der Werkzeuge, die der Mensch erlaubt. Es ist, als würde man einem Detektiv eine Liste erlaubter Hinweise geben und ihn die Lösung des Rätsels unter Verwendung nur dieser Hinweise finden lassen.

Wie es in der Praxis funktioniert

Die Autoren haben dies auf zwei Arten von Problemen getestet:

Einfache mathematische Probleme: Wie das Addieren zweier Zahlen.
- Die KI lernte, den richtigen „Experten“ (die richtige mathematische Operation) bassierend auf der Eingabe auszuwählen.
Komplexe visuelle Probleme: Wie das Identifizieren von Vögeln oder Pendelbewegungen.
- Die Wahrheit finden: In einigen Tests hat der „Symbolische Experte“ tatsächlich die exakten physikalischen Formeln (wie die echten Bewegungsgesetze) wiederentdeckt, die die Daten bestimmen, indem er nur die Konzepte betrachtete.
- Umgang mit fehlenden Informationen: Wenn einige Konzepte fehlen (z. B. die KI kann den Schwanz des Vogels nicht sehen), kann das „Team von Experten“ zu einer anderen Regel wechseln, die nicht auf den Schwanz angewiesen ist, wodurch die Genauigkeit hoch bleibt.

Der Kompromiss: Genauigkeit vs. Verständnis

Die Arbeit behauptet, dass M-CBEs dem Menschen einen „Regler“ gibt, um das Gleichgewicht zwischen Genauigkeit (die richtige Antwort erhalten) und Interpretierbarkeit (verstehen, wie man dorthin gelangt ist) zu steuern.

Zu einfach: Wenn man die KI zwingt, nur eine sehr einfache Regel zu verwenden, ist sie leicht zu verstehen, macht aber bei komplexen Aufgaben Fehler.
Zu komplex: Wenn man die KI eine massive, chaotische Black-Box-Formel verwenden lässt, wird sie zwar genau sein, aber niemand wird sie verstehen.
Der M-CBE Sweet Spot: Indem man ein kleines Team von Experten (z. B. 3 oder 5) einsetzt und ihnen erlaubt, eine spezifische, für Menschen lesbare Mathematik zu verwenden, kann die KI sowohl hochgradig genau als auch vollkommen verständlich sein.

Zusammenfassung der Ergebnisse

Besser als „Black Boxes“: Die neuen Modelle waren oft genauso genau wie komplexe, unerklärliche KI-Modelle, aber sie waren viel einfacher zu lesen.
Besser als „Ein-Regel“-Modelle: Sie waren wesentlich genauer als ältere Konzeptmodelle, die gezwungen waren, eine einzige Regel anzuwenden.
Robustheit: Wenn die KI gezwungen war, mit fehlenden Informationen zu raten, konnte der „Team von Experten“-Ansatz dies viel besser handhaben als starre Modelle.
Nutzerkontrolle: Das System ermöglicht es einem Nutzer zu sagen: „Ich verstehe nur einfache Mathematik“, und die KI generiert Erklärungen unter Verwendung nur einfacher Mathematik, ohne dass sie von Grund auf neu trainiert werden muss.

Zusammenfassend lässt sich sagen: Die Arbeit schlägt einen klügeren Weg vor, transparente KI zu bauen. Anstatt die KI zu zwingen, auf eine einzige starre Weise zu denken, gibt sie der KI ein kleines Team von Spezialisten, von denen jeder eine spezifische, für Menschen verständliche Sprache nutzt, und lässt einen Manager den richtigen Spezialisten für die jeweilige Aufgabe auswählen. Dies macht die KI sowohl intelligenter als auch vertrauenswürdiger.

Technisches Resümee: Mixture of Concept Bottleneck Experts (M-CBEs)

Problemstellung

Concept Bottleneck Models (CBMs) haben sich als vielversprechender Ansatz erwiesen, um Deep-Learning-Modelle mit menschlichem Denken in Einklang zu bringen, indem sie Vorhersagen in zwei Stufen zerlegen: einen Konzept-Encoder, der Rohdaten auf menscheninterpretierbare Variablen (Konzepte) abbildet, und einen Aufgaben-Prädiktor, der diese Konzepte auf die endgültige Ausgabe abbildet. Bestehende CBMs beschränken den Aufgaben-Prädiktor jedoch typischerweise auf eine einzelne, globale Funktion mit einer a priori festgelegten Funktionsform (z. B. eine einzelne lineare Schicht oder ein fester boolescher Ausdruck).

Diese Starrheit führt zu zwei kritischen Einschränkungen:

Begrenzte Ausdrucksstärke: Eine einzige globale Funktion kann den tatsächlichen, potenziell komplexen Prozess der Konzept-zu-Aufgaben-Generierung oft nicht erfassen, was zu einer suboptimalen Vorhersagegenauigkeit führt.
Unflexible Interpretierbarkeit: Interpretierbarkeit ist inhärent nutzerabhängig. Das Festlegen der Funktionsform (z. B. das Erzwingen eines linearen Modells, wenn die Beziehung nichtlinear ist, oder eines booleschen Modells, wenn die Beziehung kontinuierlich ist) kann die Vorhersageleistung unnötig opfern oder die Übereinstimmung mit den spezifischen mentalen Modellen verschiedener Nutzer gefährden.

Aktuelle Ansätze leiten Eingaben oft an Mixture-of-Experts (MoE) weiter, um die Genauigkeit zu verbessern, nutzen jedoch typischerweise Black-Box-Prädiktoren oder fixieren die Funktionsform der Experten, wodurch sie die gemeinsame Optimierung von Genauigkeit und nutzerorientierter Interpretierbarkeit nicht adressieren.

Methodik

Die Autoren schlagen Mixture of Concept Bottleneck Experts (M-CBEs) vor, ein vereinheitlichtes Framework, das CBMs entlang zweier Dimensionen generalisiert:

Anzahl der Experten: Anstatt einer einzigen globalen Funktion wird der Aufgaben-Prädiktor als Mischung aus $M$ spezialisierten Funktionen (Experten) modelliert.
Funktionsform: Das Framework ermöglicht die explizite Kontrolle über die Funktionsform jedes Experten, die von einfachen linearen Ausdrücken bis hin zu komplexen symbolischen Ausdrücken, die auf benutzerdefinierten Operator-Vokabularen basieren, reicht.

Kern-Framework

M-CBEs repräsentieren den Aufgaben-Prädiktor als eine Zufallsvariable $T$ (einen Ausdrucksbaum), die vom Input $x$ abhängig ist. Die gemeinsame Verteilung faktorisiert als:
$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$
Wobei:

$p(c | x)$ der Konzept-Encoder ist.
$p(m | x)$ ein lernbarer Selektor (Router) ist, der den Input $x$ einem spezifischen Experten-Index $m$ zuordnet.
$t_m$ ein eindeutiger, fester Ausdrucksbaum ist, der mit dem Experten $m$ assoziiert ist.
$p(y | c, t_m)$ der Aufgaben-Prädiktor ist, der den ausgewählten Ausdruck $t_m$ auf den Konzepten $c$ ausführt.

Durch das Erzwingen einer endlichen Menge von Ausdrucksbäumen gewährleisten M-CBEs globale Interpretierbarkeit, da es den Nutzern ermöglicht, alle Denkpfade in endlicher Zeit zu inspizieren, im Gegensatz zu Modellen, die für jeden Input einen einzigartigen Ausdruck generieren (was zu unendlicher Komplexität führt).

Zwei neuartige Instanziierungen

Das Paper führt zwei spezifische Modelle ein, um diesen Designraum zu untersuchen:

Linear M-CBE (Lin-M-CBE):
- Struktur: Beschränkt die Ausdrucksbäume auf eine lineare Funktionsform ( $y = w^T c + b$ ).
- Mechanismus: Lernt eine endliche Menge von $M$ distinkten linearen Ausdrücken. Der Selektor routet Inputs zum am besten geeigneten linearen Experten.
- Ziel: Bietet ein robustes Gleichgewicht für hochdimensionale Klassifikationsaufgaben, bei denen lineare Kombinationen von Konzepten ausreichend sind, ein einzelnes globales lineares Modell jedoch unzurereichend wäre.
Symbolic M-CBE (Sym-M-CBE):
- Struktur: Nutzt Symbolische Regression (SR), um die Struktur der Ausdrucksbäume zu entdecken.
- Mechanismus: Nutzer definieren ein Vokabular interpretierbarer Operatoren $W$ (z. B. $\{+, -, \times, \sin, \exp\}$ ). Das Modell trainiert zuerst einen „Platzhalter“-Black-Box-Prädiktor (z. B. MLP) für jeden Experten. Anschließend wird die symbolische Regression auf die den Experten zugewiesenen Datensubsets angewendet, um den optimalen symbolischen Ausdrucksbaum $t_m$ unter Verwendung des benutzerdefinierten Vokabulars zu destillieren.
- Adaptivität: Unterstützt Post-hoc-Adaption. Sobald der Encoder und der Selektor trainiert sind, können Nutzer das Operator-Vokabular $W$ ändern, um neue symbolische Ausdrücke zu generieren, die mit ihrer Domänenexpertise übereinstimmen, ohne das gesamte Modell neu trainieren zu müssen.

Wichtigste Beiträge

Vereinheitlichtes Framework: M-CBEs subsumieren bestehende konzeptbasierte Methoden (wie Standard-CBM, CMR, DCR) als Spezialfälle und legen dabei einen weitgehend unerforschten zweidimensionalen Designraum offen (Anzahl der Experten $\times$ Funktionsform).
Theoretische Garantien: Die Autoren liefern Propositionen, die zeigen, dass:
- Ein einzelner nichtlinearer Experte jede kontinuierliche Funktion approximieren kann (Universelle Approximation).
- Eine Mischung aus linearen Experten jede kontinuierliche Funktion approximieren kann, wenn $M$ ausreichend groß ist, wobei die Approximationsfehlergrenzen mit steigendem $M$ sinken.
Globale Interpretierbarkeit: Durch das Lernen aus einer endlichen Menge von Ausdrücken vermeiden M-CBEs das „Infinite-Memory“-Problem von instanzspezifischen Prädiktoren (wie LICEM oder DCR) und ermöglichen eine vollständige Modellinspektion und -verifizierung.
Post-hoc-Adaptivität: Sym-M-CBE erlaubt es Nutzern, die Komplexität und Art der Ausdrücke (z. B. Wechsel von trigonometrischen zu polynomischen Formen) nach dem initialen Training zu modifizieren, um unterschiedliche Nutzer-Expertisestufen zu bedienen.

Experimentelle Ergebnisse

Das Framework wurde auf vier synthetischen und fünf realen Datensätzen (einschließlich MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200 und CIFAR-10) evaluiert, die sowohl Klassifikations- als auch Regressionsaufgaben abdecken.

Genauigkeits-Interpretierbarkeits-Trade-off: Die Untersuchung des Designraums ermöglicht das Finden der Pareto-Front:
- Symbolic M-CBE glänzt bei Regressionsaufgaben (z. B. Pendulum), indem es kompakte, hochgenaue Ausdrücke entdeckt, die die Pareto-Front dominieren.
- Linear M-CBE bietet ein robustes Gleichgewicht für hochdimensionale Klassifikationsaufgaben und übertrifft starre boolesche Logik (CMR, DCR), welche mit zunehmender Anzahl an Konzepten (z. B. bei CUB-200 und CIFAR-10) signifikant an Leistung verliert.
Skalierbarkeit: Boolesche Funktionsformen skalieren aufgrund der Sprödigkeit konjunktiver Regeln schlecht mit hochdimensionalen Konzepträumen. Algebraische Formen (Linear und Symbolic) behalten eine robuste Performance bei.
Intervenierbarkeit:
- Sym-M-CBE erreicht eine nahezu ideale Intervenierbarkeit bei Regressionsaufgaben, rekonstruiert die Ground-Truth-Mechanismen (z. B. $8.0 \sin(\theta) + 10.0$ ) und zeigt scharfe Fehlerabfälle bei Korrekturen der Konzepte.
- Lin-M-CBE reagiert hochsensibel auf Interventionen bei Klassifikationsaufgaben und übertrifft andere global interpretierbare Modelle.
Umgang mit unvollständigen Konzepten: Eine Erhöhung der Anzahl der Experten ( $M > 1$ ) kompensiert unvollständige Concept Bottlenecks oder variierende Aufgabenlogiken über den Eingangsraum hinweg und stellt die Vorhersageleistung dort wieder her, wo Single-Expert-Modelle versagen.
Komplexität: M-CBEs erreichen häufig die Genauigkeit von Black-Box-MLPs oder übertreffen diese sogar, während sie substanziell weniger komplex sind (weniger Knoten in den Ausdrucksbäumen).

Signifikanz und Ansprüche

Das Paper behauptet, dass M-CBEs einen prinzipienbasierten Ansatz zur Entwicklung interpretierbarer Modelle etablieren, die sowohl an Aufgabenanforderungen als auch an diverse Nutzerbedürfnisse angepasst werden können.

Demokratisierung der KI: Durch die Ermöglichung der Anpassung der prädiktiven Mechanismen an Computationen, die für den jeweiligen Nutzer interpretierbar sind (von komplexen mathematischen Ausdrücken für Domänenexperten bis hin zu vereinfachten Polynomen für Laien), demokratisiert das Framework den Zugang zu KI.
Verantwortungsbewusste KI: Es fördert den Einsatz verantwortungsbewusster KI, indem es sicherstellt, dass Vorhersagen in endlichen, inspizierbaren Mengen interpretierbarer Ausdrücke fundiert bleiben, was die Undurchsichtigkeit von Black-Box-Modellen in Hochrisikodomänen adressiert.
Optimaler Trade-off: Die Autoren behaupten, dass keine einzelne Architekturwahl universell überlegen ist; vielmehr ist die Fähigkeit, den Designraum von Experten-Kardinalität und Funktionsform zu navigieren, essenziell, um den optimalen Genauigkeits-Interpretierbarkeits-Trade-off für ein spezifisches Problem zu finden.

Anerkannte Limitationen:

Das Selektor-Netzwerk $p(m | x)$ operiert als Black-Box, was die Transparenz darüber einschränkt, warum ein spezifischer Experte gewählt wurde.
Symbolische Regression ist rechenintensiv, insbesondere bei großen Operator-Vokabularen.
Die Anzahl der Experten $M$ muss als Hyperparameter spezifiziert werden, was ein manuelles Abwägen zwischen Ausdrucksstärke und Interpretierbarkeit erfordert.