Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis

Diese Arbeit stellt einen auf der Formalen Konzeptanalyse basierenden Rahmen namens „konzeptionelle Ansichten" vor, der es ermöglicht, neuronale Netze global zu erklären, Architekturen zu vergleichen und abduktiv für Menschen verständliche Regeln aus Neuronen abzuleiten.

Das Wesentliche

Stell dir vor, ein neuronales Netzwerk (eine Art künstliches Gehirn) ist wie ein geheimes Kochrezept, das ein Michelin-Sterne-Koch entwickelt hat. Das Rezept ist unglaublich gut: Es kann aus tausenden Zutaten das perfekte Gericht zaubern. Aber das Problem ist: Niemand versteht, warum der Koch genau diese Zutaten kombiniert. Er sagt nur: "Trau mir, es schmeckt."

In der Welt der KI nennen wir dieses Problem das "Black Box"-Problem. Wir wissen, dass die KI funktioniert, aber nicht, wie sie denkt.

Die Autoren dieses Papers, Johannes Hirth und Tom Hanika, haben eine neue Methode entwickelt, um in diese Black Box zu schauen. Sie nennen ihre Methode "Konzeptionelle Ansichten" (Conceptual Views). Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar kreativen Vergleichen:

1. Der erste Blick: Die "Fingerabdruck-Karte" (Many-Valued View)

Stell dir vor, du willst herausfinden, wie der Koch denkt, ohne das Rezept zu lesen. Du lässt ihn 100 verschiedene Gerichte kochen und notierst genau, wie stark er jede einzelne Zutat verwendet hat (z. B. "viel Salz", "wenig Pfeffer").

• Was die Forscher tun: Sie schauen sich an, wie die "Neuronen" (die kleinen Denker im Gehirn der KI) auf verschiedene Bilder reagieren. Sie erstellen zwei große Tabellen:

  1. Objekt-Ansicht: Wie stark aktivieren die Neuronen bei einem bestimmten Bild (z. B. einem Apfel)?
  2. Klassen-Ansicht: Wie stark sind die Neuronen mit den End-Ergebnissen (z. B. "Apfel", "Banane") verbunden?

• Der Vergleich: Es ist, als würdest du den Koch nicht nach dem Rezept fragen, sondern seine Fingerabdrücke auf den Zutaten messen. Die Forscher haben gezeigt, dass man mit diesen "Fingerabdrücken" fast genauso gut vorhersagen kann, was der Koch kocht, wie wenn man das Original-Rezept hätte. Das ist wie eine perfekte Kopie des Denkens, nur ohne den komplexen Code dahinter.

2. Der zweite Blick: Das "Rätsel-Spiel" (Symbolic View)

Die erste Tabelle ist noch sehr mathematisch und für Menschen schwer zu lesen (wie eine Liste mit Zahlen). Die Forscher wollen aber, dass wir die Regeln verstehen können. Also übersetzen sie die Zahlen in Ja/Nein-Aussagen.

• Die Analogie: Stell dir vor, du nimmst die komplexe Liste der Zutaten und machst daraus ein einfaches Kreuzworträtsel oder ein "Wahrheit/Falsch"-Spiel.

  • Statt "Salzmenge: 0,43" sagen wir: "Ist der Wert über 0? JA."
  • Statt "Gewicht: -0,12" sagen wir: "Ist der Wert negativ? NEIN."

• Das Ergebnis: Plötzlich haben wir eine Liste von klaren Regeln. Zum Beispiel: "Wenn Neuron 5 aktiv ist UND Neuron 12 inaktiv ist, dann ist es wahrscheinlich eine Banane."

  • Das ist wie der Unterschied zwischen einem komplexen chemischen Analysebericht (Original-KI) und einer einfachen Checkliste für einen Anfänger (Symbolische Ansicht). Die Forscher haben gefunden, dass diese Checklisten oft fast so gut funktionieren wie das Original, aber viel leichter zu verstehen sind.

3. Der Vergleich: Wie ähnlich sind sich die Köche?

Die Forscher nutzen diese Methoden auch, um verschiedene KI-Modelle zu vergleichen.

• Die Idee: Stell dir vor, du hast 24 verschiedene Köche. Wie ähnlich sind ihre Denkweisen?
• Die Methode: Sie nutzen einen mathematischen Maßstab (Gromov-Wasserstein-Distanz), der nicht schaut, welche Zutaten jeder Koch nimmt, sondern wie die Zutaten zueinander stehen.
• Das Ergebnis: Sie können sehen, welche Köche ähnlich denken (z. B. zwei Köche, die beide sehr auf "Knusprigkeit" achten) und welche völlig unterschiedliche Philosophien haben. Das hilft zu verstehen, ob zwei verschiedene KI-Modelle eigentlich das Gleiche gelernt haben oder nicht.

4. Der große Gewinn: Die "Übersetzung" für Menschen

Das Coolste an dieser Methode ist, dass sie die KI mit menschlichem Wissen verbinden kann.

• Das Szenario: Die KI erkennt eine Frucht. Die Forscher nutzen ihre Methode, um herauszufinden, welche Neuronen dafür verantwortlich sind. Dann fragen sie: "Was bedeutet das für uns Menschen?"
• Die Entdeckung: Sie finden heraus, dass ein bestimmtes Neuron immer dann feuert, wenn die Frucht "nicht braun" und "nicht sternförmig" ist.
• Der Nutzen: Plötzlich können wir der KI eine Regel geben: "Ah, dieses Neuron repräsentiert 'Orangen'!" Wir können also die "Geheimnisse" der KI in eine Sprache übersetzen, die wir verstehen.

Zusammenfassung in einem Satz

Die Autoren haben eine Brücke gebaut zwischen dem undurchsichtigen, mathematischen Denken einer KI und unserer menschlichen Logik. Sie nehmen die "Gedanken" der KI, drücken sie in eine einfache Ja/Nein-Sprache um und erstellen daraus eine Checkliste, die wir verstehen können, ohne die komplexe Mathematik dahinter zu kennen.

Warum ist das wichtig?
Weil wir KI nicht nur als Magie betrachten wollen, die Entscheidungen trifft, sondern als Werkzeug, das wir verstehen und vertrauen können – besonders wenn es um wichtige Dinge geht (wie Medizin oder Sicherheit). Diese Methode macht die KI endlich "sprechbar".

Technische Zusammenfassung

1. Problemstellung

Neuronale Netze (NN) erzielen zwar hervorragende Leistungen in verschiedenen Lernproblemen, leiden jedoch unter mangelnder Erklärbarkeit (Explainability). Die bestehende Literatur teilt sich oft in zwei Lager: Entweder wird auf NN für hochriskante Entscheidungen verzichtet, oder es werden Methoden zur Erklärung entwickelt.

• Lokale Erklärungen (z. B. Saliency Maps) sind für flache Daten wie Bilder effektiv, aber bei hochdimensionalen oder komplexen Daten oft unzureichend.
• Globale Erklärungen, die das Modell als Ganzes charakterisieren, sind schwieriger zu entwickeln, aber essenziell für ein umfassendes Verständnis.
• Bestehende konzeptbasierte Ansätze (z. B. Concept Bottleneck Models) erfordern oft manuell definierte Konzepte oder schränken die Architektur ein.

Das Ziel dieses Papers ist es, einen formalen Rahmen zu schaffen, der neuronale Netze global analysiert und dabei eine Brücke zwischen neuronalen Repräsentationen und menschlich verständlicher, symbolischer Logik schlägt, ohne die Architektur des Netzes zu verändern.

2. Methodik: Konzeptionelle Ansichten (Conceptual Views)

Die Autoren schlagen einen zweistufigen Ansatz vor, der auf der Formalen Konzeptanalyse (FCA) basiert. Das Ziel ist die Extraktion des in der letzten versteckten Schicht eines NN kodierten Wissens.

A. Viele-wertige Konzeptionelle Ansicht (Many-Valued Conceptual View)

Dies ist eine kontinuierliche Darstellung des NN-Zustands.

• Objekt-Ansicht ($O$): Eine Matrix, die die Aktivierungen der Neuronen der letzten versteckten Schicht für jeden Eingabeobjekt $g$ darstellt ($n_j(g)$).
• Klassen-Ansicht ($W$): Eine Matrix, die die Gewichte zwischen den Neuronen der letzten versteckten Schicht und den Ausgabeneuronen (Klassen) darstellt ($w_{i,j}$).
• Pseudo-Metrischer Raum: Diese Matrizen induzieren einen pseudo-metrischen Raum über Objekte und Klassen. Die Klassifikation kann durch Ähnlichkeitsmaße (z. B. Kosinus-Ähnlichkeit oder euklidischer Abstand) in diesem Raum erklärt werden.
• Vorteil: Diese Ansicht dient als hochgenaues Surrogat für das Originalmodell.

B. Symbolische Konzeptionelle Ansicht (Symbolic Conceptual View)

Hier wird die viele-wertige Ansicht durch Konzept-Skalierung (Conceptual Scaling) aus der FCA in eine binäre, relationale Darstellung übersetzt.

• Diskretisierung: Es werden Schwellenwerte $\delta_O$ (für Aktivierungen) und $\delta_W$ (für Gewichte) definiert.
• Symbole: Für jedes Neuron $n$ werden zwei symbolische Attribute eingeführt: $n_{\ge \delta}$ (Aktivierung/Gewicht über dem Schwellenwert) und $n_{\le \delta}$ (unter dem Schwellenwert).
• Formaler Kontext: Dies erzeugt einen formalen Kontext $(G, M, I)$, der als Eingabe für symbolische Reasoning-Verfahren (z. B. Ableitung von Implikationen, Subgruppen-Entdeckung) dient.
• Hintergrundwissen: Durch Integration von Hintergrundwissen (Ontologien) können die Neuronen mit menschlich verständlichen Merkmalen (z. B. „rot", „rund") verknüpft werden.

3. Wichtige Beiträge

1. Formaler Rahmen: Einführung von „Conceptual Views" als eine kompositionelle Methode zur globalen Analyse von NN, die auf algebraischen Grundlagen der FCA beruht.
2. Architektur-Vergleich: Nutzung der Gromov-Wasserstein-Distanz (GW-Distanz) auf den induzierten pseudo-metrischen Räumen, um Ähnlichkeiten zwischen verschiedenen NN-Architekturen zu messen. Dies ist invariant gegenüber Permutationen der Neuronen.
3. Abduktives Lernen: Möglichkeit, durch Subgruppen-Entdeckung (Subgroup Discovery) auf den symbolischen Ansichten Regeln abzuleiten, die Neuronen mit menschlichen Konzepten verknüpfen.
4. Neuro-symbolische Integration: Der Ansatz übersetzt neuronale Repräsentationen in formale Kontexte, die für klassische symbolische Reasoning-Methoden (z. B. Beschreibungslogiken) zugänglich sind.

4. Experimentelle Ergebnisse

Die Autoren führten Experimente mit 24 ImageNet-Modellen und dem Fruits-360-Datensatz durch.

• Fidelität der viele-wertigen Ansicht:

  • Die viele-wertige Ansicht erreicht eine sehr hohe Fidelität (bis zu 99,9 %) als Surrogat für das Originalmodell, wenn ein 1-NN-Klassifikator im induzierten Raum verwendet wird.
  • Der euklidische Abstand erwies sich als robuster als die Kosinus-Ähnlichkeit, insbesondere bei ResNet-Modellen.
  • MobileNetV1 war eine Ausnahme (niedrigere Fidelität), was auf die aggressive Dimensionsreduktion zurückgeführt wird.

• Ähnlichkeit von Architekturen:

  • Die GW-Distanz identifizierte Cluster von Modellen, die ähnlichen Architekturen entsprechen (z. B. VGG16/19, ResNet, EfficientNet).
  • Die Klassifizierung basierend auf der Klassen-Ansicht (Gewichte) zeigte feinere Cluster als die Objekt-Ansicht, was darauf hindeutet, dass die Gewichtsstruktur architekturenspezifische Muster besser einfängt.

• Symbolische Ansichten und Schwellenwerte:

  • Die Wahl der Aktivierungsfunktion ist kritisch. Tanh erwies sich als überlegen, da es positive und negative Werte symmetrisch trennt, was eine sinnvolle binäre Diskretisierung ($\delta = 0$) ermöglicht.
  • Modelle mit ReLU hatten Schwierigkeiten bei der symbolischen Übersetzung, da der positive Wertebereich die Definition negierter Attribute ($\bar{N}$) erschwert.
  • Bei Fruits-360 (mit Tanh) erreichten die symbolischen Ansichten eine hohe Fidelität (bis 99,8 %) und ermöglichten die Erstellung von Entscheidungsbäumen, die im viele-wertigen Raum nicht funktionierten.

• Reasoning und Ontologien:

  • Die Analyse der Konzeptgitter (Concept Lattices) zeigte, dass Modelle unterschiedliche Hierarchien lernen.
  • Durch Subgruppen-Entdeckung konnten Regeln abgeleitet werden (z. B.: „Wenn Neuronen X, Y, Z aktiv sind, dann ist die Frucht orange"). Dies demonstriert die Fähigkeit, neuronale Aktivitäten in logische, menschliche Aussagen zu übersetzen.

5. Bedeutung und Fazit

Das Paper liefert einen bedeutenden Beitrag zum Bereich der Neuro-symbolischen KI und der Interpretierbarkeit von KI.

• Global vs. Lokal: Im Gegensatz zu vielen lokalen Erklärungsmethoden bietet dieser Ansatz ein globales Verständnis des gelernten Wissens des Modells.
• Post-hoc-Analyse: Der Ansatz erfordert keine Änderung der Trainingsarchitektur (im Gegensatz zu Concept Bottleneck Models), sondern analysiert das gelernte Modell nachträglich.
• Formale Strenge: Durch die Nutzung der FCA wird eine mathematisch fundierte Basis für die Ableitung von Regeln und die Analyse von Ähnlichkeiten geschaffen.
• Praktische Implikation: Die Methode zeigt, wie man komplexe neuronale Netze in eine Form überführt, die für symbolisches Reasoning und die Generierung von menschenlesbaren Regeln nutzbar ist.

Einschränkungen: Der Ansatz ist derzeit auf feed-forward-Architekturen mit einer klar definierten letzten versteckten Schicht beschränkt (keine RNNs oder Transformer direkt). Die Qualität der symbolischen Ansicht hängt stark von der Aktivierungsfunktion ab (Tanh bevorzugt) und erfordert qualitativ hochwertiges Hintergrundwissen für die semantische Interpretation. Die Skalierbarkeit der Gitter ist bei vielen Attributen begrenzt, obwohl analytische Methoden ohne vollständige Materialisierung möglich sind.

Zusammenfassend etabliert das Paper „Conceptual Views" als eine robuste, formale Methode, um die „Black Box" neuronaler Netze durch algebraische Strukturen zu öffnen und in eine für Menschen verständliche, logische Repräsentation zu übersetzen.