Synthesising Counterfactual Explanations via Label-Conditional Gaussian Mixture Variational Autoencoders

Die Arbeit stellt LAPACE vor, einen modellunabhängigen Algorithmus, der auf einem label-konditionalen Gaußschen Mischungs-VAE (L-GMVAE) basiert, um robuste, plausible und diverse kontrafaktische Erklärungen zu generieren, indem er Pfade von Eingabedaten zu latenten Klassen-Zentren interpoliert.

Das Wesentliche

Das Problem: Der "Warum wurde ich abgelehnt?"-Moment

Stell dir vor, du hast einen Kreditantrag gestellt und wurde abgelehnt. Du fragst: "Was müsste ich ändern, damit ich den Kredit bekomme?"
Ein kontrafaktischer Erklärungsalgorithmus (Counterfactual Explanation) ist wie ein digitaler Berater, der dir sagt: "Wenn dein Einkommen nur 500 Euro höher wäre, hättest du den Kredit bekommen."

Das Problem ist: Diese Berater sind oft unzuverlässig.

1. Unplausibel: Sie sagen vielleicht: "Verkauf dein Haus und kaufe ein Boot." Das ist technisch möglich, aber im echten Leben unmöglich (es liegt nicht auf dem "Daten-Manifold", also nicht im realistischen Bereich).
2. Unstabil: Wenn der Bankalgorithmus morgen leicht aktualisiert wird, könnte deine Lösung plötzlich wieder falsch sein. Oder: Wenn du nur einen Cent mehr verdienst, schlägt der Berater dir eine völlig andere, verrückte Lösung vor.
3. Eingeschränkt: Oft gibt es nur eine Lösung, aber vielleicht möchtest du lieber etwas anderes ändern (z. B. deine Schulden senken statt das Einkommen zu erhöhen).

Die Lösung: LAPACE und der "L-GMVAE"

Die Autoren dieses Papers (von Imperial College London und anderen) haben eine neue Methode namens LAPACE entwickelt. Um zu verstehen, wie sie funktioniert, nutzen wir eine Analogie:

1. Die Landkarte (Der L-GMVAE)

Stell dir vor, die Welt aller möglichen Kreditanträge ist eine riesige, komplexe Landkarte.

• Das alte Problem: Bisherige Methoden suchten auf dieser Karte nach dem nächsten Punkt, der funktioniert. Das war wie eine Schatzsuche mit einer ungenauen Karte – man landete oft in Sumpfgebieten (unplausiblen Daten) oder verirrte sich, wenn sich die Landkarte leicht verschob.
• Der neue Ansatz (L-GMVAE): Die Forscher haben eine perfekte Landkarte gezeichnet. Auf dieser Karte gibt es für jede erfolgreiche Kategorie (z. B. "Kredit genehmigt") mehrere zentrale Lagerplätze (sogenannte "Cluster-Zentren").
  • Diese Lagerplätze sind wie ideale, perfekte Beispiele für einen genehmigten Antrag. Sie liegen genau dort, wo die meisten erfolgreichen Anträge sind.
  • Wichtig: Es gibt nicht nur einen Lagerplatz, sondern mehrere verschiedene (z. B. einer für Leute mit hohem Einkommen, einer für Leute mit niedrigen Schulden). Das sorgt für Vielfalt.

2. Der Weg (LAPACE)

Wenn du jetzt einen Antrag hast, der abgelehnt wurde, schaut LAPACE nicht nur auf das Ziel, sondern zeichnet ganze Straßen zu diesen Lagerplätzen.

• Die Analogie: Stell dir vor, du stehst am Rand eines Waldes (dein aktueller Antrag). Die Lagerplätze sind sichere Häfen im Wald. LAPACE zeichnet nicht nur einen Pfad, sondern mehrere Pfade zu verschiedenen Häfen.
• Du kannst wählen:
  • Willst du den kürzesten Weg (wenig Änderungen, aber vielleicht riskanter)?
  • Oder den sichersten Weg zu einem der Lagerplätze (mehr Änderungen, aber garantiert stabil und realistisch)?

3. Warum ist das so cool? (Die Vorteile)

• Robustheit gegen Änderungen (Der "Sturmsichere Hafen"):
  Da alle Pfade zu denselben festen Lagerplätzen führen, ist es egal, ob sich der Bankalgorithmus morgen leicht ändert. Die Lagerplätze bleiben stabil. Wenn du einen dieser Lagerplätze erreichst, bist du sicher. Das ist wie ein Leuchtturm: Egal wie das Wetter (der Algorithmus) sich ändert, der Leuchtturm steht fest.
• Robustheit gegen kleine Fehler (Der "Stabiler Kompass"):
  Wenn du deinen Antrag nur minimal änderst (z. B. ein Tippfehler im Namen), führt der Weg immer noch zum selben Lagerplatz. Du bekommst also keine völlig verrückten neuen Ratschläge für fast identische Eingaben.
• Vielfalt (Die "Wahlmöglichkeiten"):
  Da es mehrere Lagerplätze gibt, hast du echte Optionen. Du kannst entscheiden: "Ich will lieber mein Alter ändern als mein Einkommen." Das System findet dafür einen passenden Pfad.
• Regeln einhalten (Die "Verkehrsregeln"):
  Manchmal willst du sagen: "Mein Alter darf nicht unter 18 sinken." LAPACE kann diese Regeln direkt in den Pfad einbauen. Es ist, als würde man einen GPS-Navigator nutzen, der sagt: "Ich finde den Weg zum Ziel, aber ich fahre nicht über die Autobahn, weil du das nicht willst."

Zusammenfassung in einem Satz

Statt dir nur einen zufälligen Ratschlag zu geben, der morgen vielleicht nicht mehr stimmt, baut LAPACE eine Landkarte mit mehreren sicheren Zielen und zeigt dir mehrere stabile Straßen, auf denen du sicher und realistisch zu deinem Ziel (dem Kredit) gelangst – egal, wie sich die Regeln der Bank leicht ändern oder wie du deine Eingaben minimierst.

Das Papier beweist durch viele Tests, dass diese Methode schneller, sicherer und vielseitiger ist als alles, was es bisher gab.

Technische Zusammenfassung

1. Problemstellung

Hintergrund:
Counterfactual Explanations (CEs, kontrafaktische Erklärungen) sind eine zentrale Methode im Bereich der erklärbaren Künstlichen Intelligenz (XAI). Sie zeigen minimale Änderungen an einem Eingabedatenpunkt auf, die notwendig wären, um eine andere, wünschenswerte Vorhersage eines maschinellen Lernmodells zu erzielen (z. B. eine Kreditgenehmigung statt einer Ablehnung).

Die Herausforderung:
Ein ideales CE-System muss mehrere, oft widersprüchliche Eigenschaften gleichzeitig erfüllen:

• Gültigkeit (Validity): Die Erklärung muss das gewünschte Ergebnis erzielen.
• Proximität (Proximity): Die Änderung sollte minimal sein (nahe am Original).
• Plausibilität (Plausibility): Die Erklärung muss innerhalb der Datenverteilung (Data Manifold) liegen und realistisch sein.
• Vielfalt (Diversity): Es sollten mehrere unterschiedliche Handlungsoptionen angeboten werden.
• Robustheit (Robustness): Dies ist der kritischste Punkt. CEs müssen robust gegenüber zwei Arten von Störungen sein:
  1. Modelländerungen: Die Erklärung bleibt gültig, wenn das Modell neu trainiert oder Parameter angepasst werden.
  2. Eingabeänderungen: Kleine Störungen (Perturbationen) im Eingabedatenpunkt führen nicht zu völlig unterschiedlichen Erklärungen (Stabilität).

Lücken in der aktuellen Forschung:
Bestehende Methoden adressieren diese Anforderungen meist isoliert oder sind nicht modellagnostisch. Viele generative Ansätze (wie Standard-VAEs) sind unkontrolliert (unconditional) und ignorieren die vom Klassifizierer vorhergesagten Labels, was zu ineffizienten Suchprozessen im latenten Raum führt, ohne die Gültigkeit der Ergebnisse zu garantieren.

---

2. Methodik

Die Autoren schlagen einen neuen generativen Rahmen vor, der aus zwei Hauptkomponenten besteht: dem L-GMVAE und dem LAPACE-Algorithmus.

A. Label-Conditional Gaussian Mixture VAE (L-GMVAE)

Dies ist ein neuartiges generatives Modell, das auf dem Gaussian Mixture Variational Autoencoder (GMVAE) basiert, jedoch um Label-Bedingungen erweitert wurde.

• Struktur des latenten Raums: Im Gegensatz zu Standard-VAEs, die einen einzigen Gaußschen Prior verwenden, lernt das L-GMVAE einen strukturierten latenten Raum, der durch eine Gaußsche Mischung definiert ist.
• Label-Conditioning: Der latente Raum wird explizit in Cluster unterteilt, die den Klassenlabels zugeordnet sind. Für jede Klasse $y$ gibt es eine dedizierte Menge von $K/L$ Gaußschen Komponenten (Cluster).
• Lernziel: Das Modell wird so trainiert, dass der Mittelwert (Centroid) jedes Gaußschen Components ein repräsentativer, plausibler Prototyp für seine Klasse im Eingaberaum ist.
  • Durch die Rekonstruktionsverluste und die KL-Divergenz-Regularisierung werden diese Centroids sowohl innerhalb des Daten-Manifolds als auch für den Klassifizierer als gültige Instanzen der Zielklasse gelernt.
  • Dies schafft eine diverse Menge an Prototypen für jede Klasse, die als stabile Ziele für kontrafaktische Erklärungen dienen.

B. LAPACE (LAtent PAth Counterfactual Explanations)

LAPACE ist ein modellagnostischer Algorithmus, der die gelernten Centroids des L-GMVAE nutzt, um ganze Pfade von Erklärungen zu synthetisieren.

• Funktionsweise:
  1. Für einen Eingabepunkt $x$ wird die latente Repräsentation $z_x$ durch den Encoder ermittelt.
  2. Es werden lineare Interpolationen im latenten Raum von $z_x$ zu den Centroids der Zielklasse ($z_{c_j}$) durchgeführt.
  3. Diese Pfade werden durch den Decoder in den Eingaberaum zurücktransformiert, wodurch eine Sequenz von Punkten entsteht, die vom Original zur kontrafaktischen Lösung führt.
• Vorteile:
  • Robustheit gegenüber Eingabeänderungen: Da alle Pfade für eine Zielklasse zu denselben festen Centroids konvergieren, ist die Ausgabe stabil, selbst wenn das Eingabe-Modell leicht gestört wird.
  • Robustheit gegenüber Modelländerungen: Da die Centroids tief im Daten-Manifold liegen und als Prototypen gelernt wurden, bleiben sie auch bei neu trainierten Klassifizierern wahrscheinlich gültig.
  • Handhabbarkeit (Actionability): Benutzerdefinierte Einschränkungen (z. B. „Feature X darf nicht erhöht werden") können durch leichte Gradienten-Optimierung im Decoder integriert werden, ohne die gesamte Pipeline neu zu trainieren.

---

3. Schlüsselbeiträge

1. L-GMVAE: Einführung eines neuen generativen Modells, das Label-Informationen nutzt, um einen strukturierten latenten Raum mit diversen, label-spezifischen Gaußschen Clustern zu lernen.
2. LAPACE: Entwicklung eines effizienten, modellagnostischen Algorithmus, der Pfade von kontrafaktischen Erklärungen generiert. Dieser Ansatz löst das Problem der Robustheit gegenüber Eingabe- und Modelländerungen durch die Konvergenz zu festen Prototypen.
3. Integration von Constraints: Demonstration, wie Benutzer-spezifische Handhabbarkeitsbedingungen (Actionability Constraints) effizient in den Generierungsprozess integriert werden können.
4. Umfassende Evaluation: Validierung der Methode an acht quantitativen Metriken über verschiedene Datensätze hinweg.

---

4. Ergebnisse

Die Autoren führten Experimente auf vier Datensätzen durch (Heloc, Wine Quality, Adult Income, Compas) unter Verwendung von Random Forests und neuronalen Netzen als Klassifizierer.

• Gültigkeit & Plausibilität: LAPACE erreicht konsistent hohe Werte bei der Plausibilität (gemessen durch den Local Outlier Factor - LOF), oft besser als alle Baselines. Die synthetischen Datenpunkte liegen klar innerhalb des Daten-Manifolds.
• Robustheit:
  • Modelländerungen: Die Variante „LAPACE-Last" (die Endpunkte der Pfade, also die Centroids) erreicht eine 100%ige Robustheit gegenüber Modelländerungen, da diese Punkte als stabile Prototypen fungieren.
  • Eingabeänderungen: Die Methode garantiert perfekte Stabilität gegenüber kleinen Eingabestörungen, da alle Pfade zu denselben Zielen führen.
• Vielfalt & Proximität: LAPACE bietet eine Bandbreite an Optionen (vom „First"-Punkt nahe am Original bis zum „Last"-Punkt mit höchster Robustheit). Dies ermöglicht Nutzern, den Trade-off zwischen Nähe zum Original und Stabilität zu wählen.
• Effizienz: LAPACE ist extrem schnell, da nach dem einmaligen Training des L-GMVAE keine aufwendige Gradientenoptimierung im latenten Raum für jede neue Erklärung notwendig ist (amortisierte Inferenz).
• Datenschutz: Da die Erklärungen synthetisch generiert werden, werden keine echten Trainingsdatenpunkte offengelegt (im Gegensatz zu Methoden, die auf Nachbarn basieren).

---

5. Bedeutung und Fazit

Das Paper adressiert eine kritische Lücke in der Forschung zu kontrafaktischen Erklärungen: die gleichzeitige Sicherstellung von Robustheit, Plausibilität und Vielfalt in einem einheitlichen Rahmen.

• Paradigmenwechsel: Statt nach einzelnen Punkten zu suchen, die die Entscheidungsgrenze überschreiten, nutzt LAPACE die Struktur des latenten Raums, um ganze Pfade zu Prototypen zu generieren. Dies wandelt das Problem der Stabilität von einer heuristischen Suche in eine geometrische Eigenschaft des Modells um.
• Praktische Relevanz: Die Methode ist besonders für hochriskante Anwendungen (wie Kreditvergabe oder Justiz) relevant, wo Erklärungen nicht nur korrekt, sondern auch stabil gegenüber Modell-Updates und Eingabefehlern sein müssen.
• Zukunftsperspektiven: Die Autoren sehen Potenzial für die Erweiterung auf kausale Constraints, nicht-lineare Interpolationsmethoden (z. B. Bures-Wasserstein) und die Generierung von bereichsbasierten Erklärungen für ganze Daten-Subgruppen.

Zusammenfassend stellt LAPACE einen leistungsfähigen, effizienten und robusten Ansatz dar, der die Zuverlässigkeit von kontrafaktischen Erklärungen für den algorithmischen Recourse (Recht auf Abhilfe) signifikant verbessert.