Causal Neural Probabilistic Circuits

Die Arbeit stellt das Causal Neural Probabilistic Circuit (CNPC) vor, ein Modell, das Concept Bottleneck Models um eine kausale probabilistische Schaltung erweitert, um Interventionen auf Attributen unter Berücksichtigung kausaler Abhängigkeiten durchzuführen und so die Vorhersagegenauigkeit im Vergleich zu bestehenden Methoden zu verbessern.

Das Wesentliche

Stell dir vor, du bist ein Arzt, der eine Diagnose stellt. Ein herkömmlicher KI-Modell ist wie ein Wunderkind, das zwar oft richtig liegt, aber nicht erklären kann, warum. Es sagt einfach: „Der Patient hat Krebs", ohne zu sagen, welche Symptome dazu geführt haben.

Um das zu ändern, haben Forscher Concept Bottleneck Models (CBMs) entwickelt. Das ist wie ein Assistent, der erst die Symptome (z. B. „Fieber", „Husten") benennt und dann erst die Diagnose stellt. Das Tolle daran: Wenn du als Experte merkst, dass der Assistent bei einem Symptom falsch liegt (z. B. „Der Patient hat gar kein Fieber"), kannst du es korrigieren. Die KI sollte dann ihre Diagnose anpassen.

Das Problem:
In den bisherigen Systemen war das wie ein starrer Roboter. Wenn du sagst: „Kein Fieber!", ändert die KI nur die Diagnose, ignoriert aber die Logik. Sie weiß nicht, dass „kein Fieber" vielleicht bedeutet, dass auch der „Husten" anders zu bewerten ist, weil beide Symptome zusammenhängen. Es fehlt der kausale Zusammenhang (die Ursache-Wirkung-Logik).

Die Lösung: CNPC (Causal Neural Probabilistic Circuits)
Die Autoren dieses Papiers haben eine neue Methode namens CNPC entwickelt. Man kann sich das wie ein Zweikopf-Team vorstellen, das zusammenarbeitet:

1. Der schnelle Detektiv (Neural Network):
   Das ist ein klassisches KI-Modell, das schnell aus dem Bild (z. B. einem Röntgenbild) die Symptome errät. Es ist gut, aber manchmal macht es Fehler, besonders wenn das Bild verwackelt ist oder anders aussieht als beim Training (z. B. gedreht oder mit Störungen).

2. Der logische Philosoph (Causal Probabilistic Circuit):
   Das ist eine Art „Logik-Bibel", die genau weiß, wie die Symptome zusammenhängen. Wenn Symptom A auftritt, ist die Wahrscheinlichkeit für Symptom B höher. Dieses Teil ist langsam, aber extrem zuverlässig in seiner Logik und kennt die Regeln der Welt.

Wie arbeiten sie zusammen? (Der „Experten-Mix")
Wenn du als Arzt einen Fehler korrigierst (z. B. „Kein Fieber"), passiert Folgendes im CNPC:

• Der schnelle Detektiv sagt: „Okay, ich habe das Bild gesehen, aber du sagst, kein Fieber. Ich passe meine Meinung an."
• Der logische Philosoph sagt: „Wenn kein Fieber da ist, dann ist die Wahrscheinlichkeit für Lungenkrebs auch anders, weil diese Dinge zusammenhängen."

Das CNPC mischt nun die Meinung des Detektivs und die Logik des Philosophen mit einem Regler (einem Schalter namens Alpha).

• Ist das Bild klar und gut? Dann vertrauen wir mehr dem Detektiv.
• Ist das Bild verrauscht, gedreht oder gestört (was oft passiert)? Dann drehen wir den Regler so, dass wir mehr auf die Logik des Philosophen hören.

Warum ist das so toll?
Die Forscher haben das in verschiedenen Tests ausprobiert:

• Im normalen Betrieb: Beide Systeme waren ähnlich gut.
• Im Chaos (z. B. wenn das Bild gedreht oder manipuliert wurde): Hier glänzte das CNPC. Während andere KIs komplett durchdrehten, konnte das CNPC dank der „Logik-Bibel" die Diagnose retten, indem es die Expertenkorrekturen intelligent weiterverarbeitete.

Zusammenfassung in einem Bild:
Stell dir vor, du fährst ein Auto.

• Die alte KI ist wie ein Autopilot, der nur auf die Kamera schaut. Wenn die Kamera blendet (Störung), stürzt er ab.
• Das CNPC ist wie ein Autopilot mit einem Co-Piloten. Der Co-Pilot kennt die Straßenregeln und die Physik. Wenn die Kamera blendet, hört der Autopilot auf den Co-Piloten, der sagt: „Achtung, wenn wir hier so fahren, müssen wir bremsen, weil die Straße nass ist", auch wenn die Kamera das nicht sieht.

Das Ergebnis:
CNPC macht KI-Systeme nicht nur erklärbarer, sondern auch robuster. Es nutzt menschliches Wissen (Korrekturen) viel besser aus, um auch in schwierigen Situationen die richtige Entscheidung zu treffen.

Technische Zusammenfassung

1. Problemstellung

Hintergrund: Concept Bottleneck Models (CBMs) wurden entwickelt, um die Interpretierbarkeit von neuronalen Netzen zu erhöhen, indem sie eine Zwischenschicht aus menschenlesbaren Konzepten (Attributen) einführen. Ein Hauptvorteil von CBMs ist die Möglichkeit von Interventionen: Ein Domänenexperte kann fehlerhafte Konzeptvorhersagen zur Testzeit korrigieren, um die endgültige Klassifizierung zu verbessern.

Das Defizit: Herkömmliche CBMs behandeln Interventionen jedoch naiv. Wenn ein Konzept korrigiert wird, wird dessen Wert einfach überschrieben, während die Vorhersagen für alle anderen Konzepte unverändert bleiben. Dies ignoriert kausale Abhängigkeiten zwischen den Konzepten. In der Realität führt eine Änderung eines Konzepts (z. B. „Raucht der Patient?") oft zu einer Änderung der Wahrscheinlichkeiten anderer abhängiger Konzepte (z. B. „Lungenkrebs?"). Das Ignorieren dieser Struktur führt zu suboptimalen Ergebnissen, insbesondere wenn die Eingabedaten von der Trainingsverteilung abweichen (Out-of-Distribution, OOD).

Die Herausforderung: Die exakte Modellierung der interventionalen Klassenverteilung ist schwierig, da die gemeinsame Verteilung der Attribute unter Intervention ($P_{do}(A|X)$) nicht direkt durch die Standardmodule eines CBMs berechnet werden kann, ohne komplexe generative Modelle für die Eingabe $X$ zu benötigen.

2. Methodik: Causal Neural Probabilistic Circuits (CNPC)

Die Autoren schlagen CNPC vor, eine Architektur, die ein neuronales Attribut-Prädiktor mit einem kausalen Probabilistischen Schaltkreis (Causal PC) kombiniert.

• Architektur-Komponenten:

  1. Neuraler Attribut-Prädiktor: Ein neuronales Netz (Multi-Head MLP), das aus der Eingabe $X$ Wahrscheinlichkeitsverteilungen für $K$ Attribute vorhersagt.
  2. Kausaler Probabilistischer Schaltkreis (Causal PC): Ein Summen-Produkt-Netzwerk, das aus einem bekannten kausalen Graphen (der die Beziehungen zwischen Attributen und Klassenlabel kompiliert) abgeleitet wurde. Dieser Schaltkreis ermöglicht eine exakte und effiziente (tractable) probabilistische und kausale Inferenz.

• Interventionsmechanismus (Product of Experts - PoE):
  Das Kernstück von CNPC ist die Approximation der interventionalen Attributverteilung unter einer Intervention $do_j$ (Korrektur von Attribut $A_j$). Da die exakte Verteilung schwer zu berechnen ist, verwendet CNPC einen Product of Experts (PoE)-Ansatz, der zwei Quellen kombiniert:

  1. Die vom neuronalen Netz vorhergesagte Verteilung (mit dem korrigierten Attribut $A_j$ auf den Ground-Truth-Wert „geclamppt").
  2. Die interventionalen Randverteilungen, die exakt vom kausalen PC berechnet werden (basierend auf dem „mutilated graph", also dem Graphen ohne eingehende Kanten zum intervenierten Knoten).

  Die kombinierte Verteilung $\tilde{P}$ wird wie folgt gewichtet:
  $$\tilde{P}_{\theta,w,\alpha}^{do_j}(A|X) \propto \left( P_{\theta}^{do_j}(A|X) \right)^{1-\alpha} \cdot \left( P_{w}^{do_j}(A) \right)^{\alpha}$$
  Dabei ist $\alpha \in [0,1]$ ein Balancing-Gewicht.

  • Bei $\alpha = 0$ reduziert sich das Modell auf ein Standard-NPC (ignoriert kausale Korrekturen für nicht-intervenierte Attribute).
  • Bei $\alpha > 0$ fließt die kausale Information des PC ein, um die Verteilung der nicht intervenierten Attribute basierend auf der Intervention anzupassen.

• Vorhersage: Die endgültige Klassenverteilung wird durch Kombination der PoE-gewichteten Attributverteilung mit der bedingten Klassenverteilung des PC berechnet.

3. Wichtige Beiträge

1. Neue Architektur (CNPC): Die Einführung eines Modells, das neuronale Vorhersagen mit kausaler Inferenz über einen Probabilistischen Schaltkreis verbindet, um Interventionen kausal konsistent zu propagieren.
2. Theoretische Analyse: Die Autoren leiten obere Schranken für den Vorhersagefehler (gemessen durch KL-Divergenz) her. Sie zeigen, dass der Fehler von CNPC eine gewichtete Summe der Fehler der einzelnen Module ist. Unter bestimmten Bedingungen (wenn der PC die kausale Struktur gut abbildet) nähert sich CNPC der wahren interventionalen Verteilung genauer an als herkömmliche NPC-Modelle.
3. Empirische Validierung: Umfassende Experimente auf fünf Datensätzen (einschließlich medizinischer Diagnosen, biologischer Signale und Bilderkennung) in verschiedenen Szenarien (in-distribution und OOD).

4. Ergebnisse

Die Experimente umfassen fünf Datensätze (Asia, Sachs, MNISTAdd, cMNISTAdd, CelebA) und vergleichen CNPC mit fünf Baseline-Modellen (Vanilla CBM, CEM, SCBM, C2BM, NPC).

• In-Distribution (Benign): In Szenarien, in denen die Testdaten der Trainingsverteilung entsprechen, performen alle Modelle ähnlich gut. CNPC zeigt hier einen leichten Vorteil, insbesondere bei MNISTAdd.

• Out-of-Distribution (OOD): Dies ist der Hauptgewinnbereich von CNPC. In Szenarien mit:

  • Unerwarteten Datentransformationen (z. B. 180°-Rotation),
  • Adversarial Perturbations (PGD-Angriffe),
  • Spurious Correlation Shifts (falsche Korrelationen zwischen Farbe und Ziffer),
    zeigt CNPC eine deutlich überlegene Leistung.
  • Während die Attribut-Genauigkeit der neuronalen Netze in OOD-Szenarien stark einbricht, nutzt CNPC die kausalen Abhängigkeiten im PC, um die Gesamtgenauigkeit (Task Accuracy) durch Interventionen effektiv wiederherzustellen.
  • CNPC übertrifft die besten Baselines in OOD-Szenarien oft um mehr als 20 % bei nur einer oder zwei intervenierten Attributen.

• Einfluss von $\alpha$: Eine Ablationsstudie zeigt, dass in OOD-Szenarien ein hohes $\alpha$ (stärkere Gewichtung des kausalen PC) vorteilhaft ist, während in benignen Szenarien ein niedrigeres $\alpha$ (stärkere Gewichtung des neuronalen Netzes) besser funktioniert.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass die Integration von kausaler Struktur in probabilistische Schaltkreise ein effektiver Weg ist, um die Robustheit von Concept Bottleneck Models zu erhöhen.

• Effizienz von Interventionen: CNPC macht menschliche Interventionen viel effizienter, da eine Korrektur eines einzigen Konzepts automatisch und korrekt auf abhängige Konzepte übertragen wird.
• Robustheit: Das Modell ist besonders wertvoll in sicherheitskritischen Anwendungen (z. B. Medizin), wo Datenverteilungen sich ändern können und Expertenkorrekturen notwendig sind.
• Theoretische Fundierung: Die Arbeit liefert nicht nur empirische Ergebnisse, sondern auch theoretische Garantien dafür, wann und warum die Kombination aus neuronalen Netzen und kausalen Schaltkreisen die Ground-Truth-Verteilung besser approximiert.

Zusammenfassend bietet CNPC einen praktischen Rahmen, um kausales Wissen in tiefes Lernen zu integrieren und die Lücke zwischen rein datengetriebenen Vorhersagen und kausal fundierter Entscheidungsfindung zu schließen.