ReasonX: Declarative Reasoning on Explanations

Das Paper stellt ReasonX vor, ein erklärbares KI-Werkzeug, das auf einer deklarativen Algebra von Operatoren über linearen Constraints basiert und mittels Mixed-Integer Linear Programming (MILP) interaktive, abstraktionsfähige Erklärungen für Entscheidungsbaum-Modelle ermöglicht.

Das Wesentliche

REASONX: Der „Übersetzer" für die Gedanken von Künstlicher Intelligenz

Stellen Sie sich vor, Sie haben einen sehr klugen, aber extrem verschlossenen Assistenten (eine Künstliche Intelligenz oder KI), der Ihnen sagt: „Nein, ich leih dir kein Geld." Wenn Sie fragen: „Warum?", antwortet er oft nur: „Weil ich das so berechnet habe." Das ist frustrierend. Wir wollen wissen, welche Regeln er befolgt hat und was wir tun müssten, damit er „Ja" sagt.

Das ist das Problem, das die Wissenschaftler Laura State, Salvatore Ruggieri und Franco Turini mit ihrer neuen Erfindung REASONX lösen wollen.

Hier ist eine einfache Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Der undurchsichtige „Black Box"-Koch

Die meisten KI-Modelle sind wie ein Koch in einer Black Box. Er kocht einen tollen Eintopf (die Entscheidung), aber Sie können nicht sehen, welche Zutaten er genau verwendet hat. Bisherige Werkzeuge, die versuchen, diese KI zu erklären, sind oft wie ein Koch, der Ihnen nur eine Liste der Zutaten gibt, aber nicht sagt, wie viel davon in den Topf kam oder was passiert, wenn Sie eine Zutat weglassen.

2. Die Lösung: REASONX als „Regel-Detektiv"

REASONX ist ein Werkzeug, das die KI nicht nur beobachtet, sondern mit ihr spricht. Es baut eine Brücke zwischen der undurchsichtigen KI und dem menschlichen Verstand.

Stellen Sie sich REASONX wie einen Übersetzer vor, der zwei Sprachen beherrscht:

• Sprache A (Die KI): Eine Welt aus Zahlen und strengen mathematischen Regeln.
• Sprache B (Der Mensch): Eine Welt aus Fragen wie „Was wäre, wenn...?" oder „Warum genau?".

3. Wie funktioniert das? (Die Magie der „Linearen Zäune")

Die Forscher nutzen eine spezielle Art von Mathematik, die man sich wie unsichtbare Zäune vorstellen kann.

• Die Entscheidung als Landkarte: Die KI trifft Entscheidungen basierend auf einem riesigen Land. REASONX zeichnet für jede Entscheidung der KI einen „Zaun" (eine mathematische Regel) auf.
  • Beispiel: Ein Zaun sagt: „Wenn dein Alter über 30 ist UND dein Einkommen über 50.000 €, dann ist die Seite 'Kredit genehmigt'."
• Das große Plus von REASONX: Andere Werkzeuge schauen nur auf eine ganz bestimmte Person (z. B. „Herr Müller, 35 Jahre, 55.000 €"). REASONX kann aber auch mit unvollständigen Informationen umgehen.
  • Die Analogie: Stellen Sie sich vor, Sie fragen nicht nur nach Herr Müller, sondern nach einer ganzen Gruppe: „Was passiert mit allen Menschen, die mindestens 30 Jahre alt sind?" REASONX kann diese ganze Gruppe als eine einzige Regel beschreiben. Es ist, als würde man nicht nur einen einzelnen Stein betrachten, sondern das ganze Muster im Mosaik sehen.

4. Was kann man damit machen? (Das „Was-wäre-wenn"-Spiel)

Mit REASONX können Sie nicht nur fragen, warum etwas passiert ist, sondern aktiv experimentieren:

• Der „Was-wäre-wenn"-Modus: Sie können sagen: „Okay, ich will einen Kredit bekommen. Was muss ich ändern?"
  • REASONX rechnet sofort aus: „Wenn Sie 2.000 € mehr verdienen ODER wenn Sie keine Autoleasing-Verpflichtung haben, dann ändern sich die Zäune und Sie bekommen den Kredit."
• Der „Zeit-Reisende"-Modus: KI-Modelle ändern sich oft, wenn sie mit neuen Daten trainiert werden. REASONX kann zwei verschiedene Versionen der KI vergleichen.
  • Die Analogie: Es ist wie ein Vergleich zwischen dem Koch von heute und dem Koch von letzter Woche. „Habe ich heute andere Regeln als letztes Jahr? Warum hat die KI mich damals abgelehnt und heute nicht?"
• Der „Regel-Prüfer": Sie können überprüfen, ob die KI diskriminiert. „Verwendet die KI das Geschlecht oder die Herkunft als Zaun, um Entscheidungen zu treffen?" REASONX kann diese versteckten Zäune aufdecken.

5. Warum ist das besonders? (Die „Dialog"-Funktion)

Die meisten Erklärungs-Tools sind wie ein One-Way-Postkasten: Sie schicken eine Frage, bekommen eine Antwort, fertig.

REASONX ist wie ein Gespräch.

• Sie fragen: „Warum wurde ich abgelehnt?"
• REASONX antwortet: „Weil Ihr Einkommen zu niedrig war."
• Sie sagen: „Aber ich habe gesagt, ich habe einen neuen Job!"
• REASONX passt die Regeln sofort an und sagt: „Ah, dann ändern sich die Zäune. Mit dem neuen Job sind Sie jetzt im grünen Bereich."

Das System erlaubt es, Antworten als neue Fragen zu verwenden. Das macht es sehr flexibel und interaktiv.

Zusammenfassung in einem Bild

Stellen Sie sich vor, Sie stehen in einem riesigen Labyrinth aus Wänden (den KI-Regeln).

• Alte Tools sagen Ihnen nur: „Sie stehen hier und die Wand ist hier."
• REASONX gibt Ihnen eine magische Karte. Sie können auf der Karte sagen: „Zeig mir alle Wege, die zu einem Ausgang führen, wenn ich meine Jacke ausziehe." Oder: „Zeig mir, wo die Wände anders sind als gestern."

Fazit:
REASONX ist ein Werkzeug, das KI-Entscheidungen nicht nur erklärt, sondern sie verstehbar und verhandelbar macht. Es hilft uns, die „Black Box" zu öffnen, Regeln zu verstehen und zu sehen, wie wir unsere Situation ändern können, um bessere Ergebnisse zu erzielen – alles basierend auf klaren, mathematischen Regeln, die aber für Menschen leicht zu lesen sind.

Technische Zusammenfassung

1. Problemstellung

Die Akzeptanz und das Vertrauen in Künstliche Intelligenz (KI) werden oft durch die Undurchsichtigkeit (Opazität) von Machine-Learning-Modellen (ML) behindert. Bestehende Methoden für erklärbares KI (XAI) leiden unter mehreren Mängeln:

• Fehlende Abstraktion: Die meisten Tools liefern Erklärungen nur für vollständig spezifizierte Instanzen (Extensional), nicht für unvollständig spezifizierte oder teilweise eingeschränkte Szenarien (Intensional).
• Eingeschränkte Interaktivität: Nutzer können ihre Erklärungen selten durch deklarative Anfragen (Queries) verfeinern oder Hintergrundwissen einbringen.
• Mangelnde Integration symbolischen Wissens: Hintergrundwissen oder Common Sense wird oft nicht in die Erklärung integriert.
• Fehlende Vergleichbarkeit über Modelle und Zeit: Es gibt kaum Ansätze, um Erklärungen für denselben Datensatz über verschiedene Modelle oder zu verschiedenen Zeitpunkten (z. B. nach Retraining) hinweg zu vergleichen.

2. Methodik: REASONX

Das Paper stellt REASONX vor, ein neurosymbolisches Werkzeug zur deklarativen Erklärung von ML-Modellen. Der Kernansatz basiert auf einer geschlossenen Algebra von Operatoren über Mengen linearer Constraints (lineare Ungleichungen).

Architektur:
REASONX besteht aus zwei Schichten:

1. Python-Schicht (Benutzerschnittstelle): Hier werden Daten (Pandas), Modelle (Scikit-Learn) und Benutzeranfragen (Constraints) verarbeitet. Sie übersetzt Entscheidungsbäume und Nutzeranfragen in eine formale Sprache und decodiert die Ergebnisse zurück.
2. CLP(R)-Schicht (Constraint Logic Programming over Reals): Diese Schicht implementiert einen Meta-Interpreter für die Query-Algebra. Sie nutzt Constraint-Logik-Programmierung (basierend auf SWI-Prolog), um über die Constraints zu reasoning.

Funktionsweise:

• Modellierung: ML-Modelle (oder deren Surrogate in Form von Entscheidungsbäumen) werden als Mengen linearer Constraints codiert. Jeder Pfad von der Wurzel zu einem Blatt entspricht einer Konjunktion von Constraints.
• Surrogate-Modelle: REASONX kann direkt mit Entscheidungsbäumen arbeiten (DT-M) oder diese als globale (DT-GS) oder lokale (DT-LS) Surrogate für Black-Box-Modelle (z. B. Random Forests, MLPs) nutzen.
• Query-Algebra: Nutzer können Anfragen durch Operatoren stellen, die Theorien (Mengen von Constraints) als Input nehmen und zurückgeben. Zu den Operatoren gehören:
  • inst: Extrahiert Pfade für eine Instanz und ein Modell.
  • cross: Bildet das kartesische Produkt von Constraints (z. B. für Vergleich zwischen zwei Instanzen).
  • sat: Prüft die Erfüllbarkeit.
  • π (Projektion): Projiziert Constraints auf eine Teilmenge von Features.
  • inf: Minimiert eine lineare Distanzfunktion (z. B. L1- oder L∞-Norm) zwischen Instanzen.
  • relax: Ersetzt strikte Ungleichungen durch nicht-strikte, um Unsicherheiten an Entscheidungsgrenzen zu behandeln.
• Unter-specifizierte Instanzen: Ein Schlüsselaspekt ist die Fähigkeit, über Instanzen zu reasoning, bei denen Features nicht festgelegt, sondern nur eingeschränkt sind (z. B. Alter >= 30). Dies ermöglicht die Analyse ganzer Subpopulationen.

3. Wichtige Beiträge

• Geschlossene Algebra für XAI: Einführung einer deklarativen Algebra über linearen Constraints, die es erlaubt, komplexe Erklärungsprobleme (faktisch, kontrastiv, minimal) als zusammengesetzte Ausdrücke zu modellieren. Die Algebra ist „geschlossen", d. h., die Ausgabe einer Query kann als Eingabe für eine weitere Query dienen.
• Neurosymbolischer Ansatz: Kombination von ML (als Black-Box oder Surrogate) mit symbolischer Logik (CLP), um Hintergrundwissen (z. B. „Geburtsort darf sich nicht ändern") direkt als Constraints in die Erklärung zu integrieren.
• Interaktivität und Zeitreihen: REASONX ermöglicht es, Erklärungen über verschiedene Modelle hinweg zu vergleichen (z. B. Modell A vs. Modell B) und über die Zeit hinweg zu analysieren (z. B. wie sich Erklärungen nach einem Retraining ändern).
• Implementierung: Ein öffentlich verfügbares Tool, das Python mit Constraint-Logic-Programming verbindet und Mixed-Integer Linear Programming (MILP) für die Optimierung nutzt.

4. Ergebnisse und Evaluation

Die Autoren demonstrieren REASONX durch qualitative Beispiele und quantitative Vergleiche mit anderen XAI-Tools (DiCE, ANCHORS, LIMEtree).

• Qualitative Demonstrationen:

  • Synthetische Daten: Zeigt, wie REASONX faktische Regeln und kontrastive Regionen (CR) visualisiert und wie Constraints (z. B. Unveränderlichkeit eines Features) die Lösungsräume einschränken.
  • Zeitliche Analyse: Bei Anwendung auf den Adult-Income-Datensatz (zwei Modelle zu verschiedenen Zeitpunkten) konnte REASONX zeigen, welche kontrastiven Regeln in beiden Modellen gültig sind (Schnittmenge) und welche sich geändert haben.
  • Modellvergleich: Beim Vergleich eines Entscheidungsbaums mit einem XGBoost-Modell zeigte sich, dass trotz ähnlicher Vorhersagegenauigkeit die zugrundeliegenden Erklärungsregeln und die Nutzung sensibler Attribute (z. B. Geschlecht) unterschiedlich sein können.
  • Diversitätsoptimierung: Ein Experiment zeigte, dass die Optimierung nach Diversität (neben der Nähe zur Originalinstanz) eine breitere Verteilung von kontrastiven Beispielen liefert als reine Distanzminimierung.

• Quantitative Evaluation:

  • Vergleich mit DiCE (Kontrastive Beispiele): REASONX liefert in den meisten Fällen kontrastive Beispiele, die näher an der Originalinstanz liegen (kleinere Distanz), insbesondere wenn Constraints angewendet werden.
  • Vergleich mit ANCHORS (Faktische Regeln): REASONX erzeugt Regeln, die vollständig den Entscheidungsbaum abdecken (keine Überlappung), während ANCHORS oft eine Trade-off zwischen Präzision und Abdeckung hat.
  • Laufzeit: REASONX ist aufgrund der Komplexität der Constraint-Programmierung und der Kommunikation zwischen Python und CLP langsamer als DiCE oder ANCHORS, bleibt aber in akzeptablen Bereichen für analytische Anwendungen.

5. Bedeutung und Fazit

REASONX stellt einen signifikanten Fortschritt im Bereich XAI dar, indem es:

1. Deklarative Interaktivität ermöglicht: Nutzer können ihre Fragen iterativ verfeinern, indem sie Constraints hinzufügen oder entfernen.
2. Abstraktionsebenen verbindet: Es kann von spezifischen Instanzen bis hin zu unvollständig spezifizierten Gruppen (Profiles) reasoning.
3. Symbolisches Wissen integriert: Hintergrundwissen wird nicht nur als Nachbearbeitung, sondern als integraler Bestandteil des Reasoning-Prozesses behandelt.
4. Robustheit über Zeit und Modelle: Es bietet Werkzeuge, um die Stabilität von Erklärungen bei Modelländerungen zu überprüfen, was für den Einsatz in kritischen Domänen (z. B. Kreditvergabe) essenziell ist.

Das Paper schließt mit der Vision, REASONX durch Integration von Large Language Models (LLMs) weiter zu erweitern, um die Schnittstelle zwischen natürlicher Sprache und der formalen Constraint-Sprache zu überbrücken, und betont die Notwendigkeit zukünftiger Arbeiten zur Benutzerstudie und Skalierbarkeit.