🤖 machine learning

A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Diese Arbeit zeigt auf, dass kontrafaktisches Verhalten – insbesondere die Durchführbarkeit und Distanz bedeutsamer Eingabeänderungen – eine eigenständige Dimension zur Vorhersageleistung darstellt, die durch das Zusammenspiel zwischen der Nähe zur Entscheidungsgrenze und der lokalen Datenunterstützung getrieben wird, was selbst unter Modellen mit identischer Genauigkeit erheblich variieren kann.

Ursprüngliche Autoren: Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Roboter, der Bilder betrachtet und errät, was darauf zu sehen ist. Sie möchten wissen: „Welche winzige Änderung würde den Roboter dazu bringen, seine Meinung zu ändern?“ Zum Beispiel: Wenn er denkt, ein Bild sei eine „Katze“, welche kleine Anpassung würde ihn dazu bringen, „Hund“ zu sagen? Dies wird als kontrafaktische Erklärung bezeichnet.

Dieser Text ist wie eine Detektivgeschichte, die untersucht, warum manche Roboter leicht zu überlisten sind, seine Meinung zu ändern, während andere hartnäckig bleiben, selbst wenn sie im ersten Zuge gleichermaßen gut darin sind, die richtige Antwort zu erraten.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Setup: Die Karte und der Zaun

Stellen Sie sich das Gehirn des Roboters als eine riesige Karte (genannt „Repräsentationsraum“) vor.

Der Encoder: Dies ist der Teil des Roboters, der ein Bild in einen Punkt auf der Karte verwandelt.
Der Klassifikator: Dies ist der Teil des Roboters, der Zäune (Entscheidungsgrenzen) auf der Karte zieht, um Katzen von Hunden zu trennen.

Die Arbeit stellt die Frage: Wenn zwei Roboter dieselbe Karte haben (sie sehen die Welt auf die gleiche Weise) und gleichermaßen genau beim Raten sind, warum ändert ein Roboter seine Meinung durch einen winzigen Stoß leicht, während der andere einen massiven Schubs benötigt?

2. Die zwei Geheimnisse: Der Zaun und die Menge

Die Autoren entdeckten, dass die Antwort davon abhängt, dass zwei Dinge zusammenwirken:

Geheimnis Nr. 1: Wie nah bist du am Zaun? (Grenzproximität)
Wenn dein Punkt direkt neben dem Zaun zwischen „Katze“ und „Hund“ liegt, braucht es nur einen winzigen Schritt, um darüber zu gehen. Wenn du tief in der Mitte der „Katzen-Zone“ bist, musst du einen langen Weg gehen, um die Grenze zu überqueren.
Geheimnis Nr. 2: Wartet eine Menge auf der anderen Seite? (Lokale Datenunterstützung)
Dies ist die Wendung. Den Zaun zu überqueren, reicht nicht aus. Stellen Sie sich vor, Sie überqueren den Zaun in die „Hund-Zone“, landen aber in einer kargen, leeren Wüste, in der keine echten Hunde leben. Das wäre eine schlechte Erklärung, weil es kein realistischer „Hund“ ist.
Eine gute Erklärung entsteht, wenn Sie den Zaun überqueren und direkt mitten in einer Menge echter Hunde landen.

Die große Behauptung des Papers: Man braucht beides, um sowohl nah am Zaun als auch nah an einer Menge des anderen Typs zu sein, um eine gute, realistische Antwort zu erhalten.

3. Die Überraschung: Gleiche Punktzahl, unterschiedliches Verhalten

Die Forscher testeten viele verschiedene Roboter (unter Verwendung von Bildern von Formen, handgeschriebenen Zahlen, medizinischen Röntgenbildern und Filmrezensionen).

Das Ergebnis: Sie fanden Paare von Robotern, die exakt dieselbe Testpunktzahl erreichten (z. B. 90 % Genauigkeit).
Die Wendung: Obwohl sie gleichermaßen klug waren, war ein Roboter sehr leicht zu überreden, seine Meinung zu ändern, während der andere sehr schwer zu überreden war.
Warum? Es lag nicht daran, dass die Roboter die Bilder unterschiedlich sahen. Es lag daran, dass die Zäune, die sie zeichneten, an unterschiedlichen Stellen relativ zu den Mengen standen. Ein Roboter zeichnete seinen Zaun direkt neben einer Menge; der andere zeichnete ihn weit weg in einem leeren Bereich.

4. Das „Zaunverschieber“-Experiment

Um dies zu beweisen, nahmen sie einen Roboter, frierten seine Karte ein (sodass er nicht ändern konnte, wie er die Welt sieht), und zeichneten lediglich die Zäune mit verschiedenen Methoden neu.

Ergebnis: Allein durch das Verschieben der Zäune konnten sie einen Roboter plötzlich „leicht zu überlisten“ oder „schwer zu überlisten“ machen, obwohl die Gesamtgenauigkeit des Roboters exakt gleich blieb.
Lektion: Die Art und Weise, wie der Roboter seine Linien zieht, ist genauso wichtig wie die Art und Weise, wie er sieht.

5. Warum das wichtig ist (Das „Warum sollte mich das interessieren?“)

Das Paper legt nahe, dass wir, wenn wir versuchen, die Entscheidungen einer KI zu erklären, nicht nur darauf schauen können, wie genau die KI ist. Wir müssen auch die Geometrie (die Form der Karte und der Zäune) betrachten.

Sie zeigten sogar, dass es der Suchalgorithmus des Roboters besser macht, wenn man ihm sagt, er solle „auf die Menge abzielen“ (nicht nur den Zaun überqueren), um bessere, realistischere Antworten zu finden. Es ist, als würde man einem verirrten Wanderer sagen: „Überquere nicht nur den Fluss; überquere ihn und laufe direkt zum Dorf.“

Zusammenfassung in einem Satz

Zwei Roboter können gleichermaßen klug sein, aber der eine lässt sich leicht überzeugen und der andere schwer, einfach weil einer seine Entscheidungslinien direkt neben einer Menge von Beispielen zeichnet, während der andere sie in einer leeren Wüste zeichnet. Um gute Erklärungen zu erhalten, muss man sowohl die Linien als auch die Mengen betrachten.

Technische Zusammenfassung: Eine geometrische Sicht auf kontrafaktisches Verhalten

Problemstellung
Kontrafaktische Erklärungen zielen darauf ab, kleine, semantisch bedeutsame Eingabeveränderungen zu identifizieren, die die Vorhersage eines Modells ändern. Während sie weit verbreitet zur Auditierung von maschinellen Lernsystemen eingesetzt werden, behandeln aktuelle Methoden die Generierung kontrafaktischer Erklärungen oft als ein lokales Optimierungsproblem, das durch aufgabenspezifische Machbarkeit beschränkt ist. Eine vorhersageändernde Störung kann jedoch innerhalb eines lokalen Budgets existieren und dennoch nicht einer realistischen Alternative entsprechen, wenn sie in eine Region mit schwacher Datendichte fällt. Zudem können Modelle mit nahezu identischer prädiktiver Leistung drastisch unterschiedliche kontrafaktische Verhaltensweisen aufweisen. Diese Arbeit untersucht, warum diese Diskrepanzen auftreten, und stellt die Hypothese auf, dass das kontrafaktische Verhalten nicht allein eine Funktion der Vorhersagegenauigkeit ist, sondern durch die geometrische Interaktion zwischen Entscheidungsgrenzen-Proximität und lokaler Datenunterstützung im Repräsentationsraum gesteuert wird.

Methodik
Die Autoren schlagen ein geometrisches Framework und eine standardisierte lokale Suchsonde vor, um das kontrafaktische Verhalten über verschiedene Domänen hinweg (Vision, Sprache, medizinische Bildgebung und multimodal) zu evaluieren.

Geometrisches Framework:
- Entscheidungsgrenzen-Proximität ($dbd(z)$): Definiert als die Distanz zur nächstgelegenen Entscheidungsgrenze, approximiert über eine erstordentliche Linearisierung der Logit-Differenz zwischen den zwei am besten vorhergesagten Klassen.
- Lokale Zielklassen-Unterstützung ( $r_k(z)$ ): Definiert als die euklidische Distanz eines Embeddings $z$ zu seinem $k$ -ten nächsten Nachbarn innerhalb des Referenzsatzes der Zielklasse im Embedding-Raum. Dies misst, ob die Zielregion dicht besiedelt ist.
- Hypothesen: Die Arbeit testet drei Hypothesen: (H1) Genauigkeitsgleiche Modelle unterscheiden sich im kontrafaktischen Verhalten; (H2) Das Variieren des Klassifikator-Heads bei festen Embeddings verändert das kontrafaktische Verhalten; und (H3) Die Interaktion von Grenznähe und lokaler Unterstützung sagt kontrafaktische Ergebnisse voraus.
Experimenteller Aufbau:
- Encoder: Die Studie evaluiert mehrere vortrainierte Encoder (z. B. ResNet-50, ViT, BERT, CLIP, SigLIP2) über Datensätze wie Shapes, MNIST, Chest X-ray, IMDb und MM-IMDb.
- Klassifikator-Heads: Lineare Klassifikatoren werden auf gefrorenen Embeddings trainiert. Um den Effekt der Grenzplatzierung zu isolieren, trainieren die Autoren mehrere Heads auf denselben Embeddings unter Verwendung unterschiedlicher Initialisierungen und Regularisierungsstärken (Weight Decay).
- Suchprotokoll: Ein standardisiertes Projected Gradient Descent wird im Embedding-Raum verwendet, um eine Vorhersageänderung innerhalb einer festen Vertrauensregion ( $\tau$ ) und eines Iterationsbudgets zu finden.
- Metriken: Kontrafaktischer Erfolg (CF-Suc), Kontrafaktische Distanz (CF-Dist) und Optimierungsaufwand (OptEff).

Zentrale Beiträge

Geometrisches Framework und Sonde: Einführung einer standardisierten Methode zur Evaluierung des kontrafaktischen Verhaltens basierend auf der Interaktion von Grenznähe und lokaler Datenunterstützung, was über einfache prädiktive Metriken hinausgeht.
Isolierung von Grenzeffekten: Demonstration, dass unter festen Repräsentationen die Variation lediglich des linearen Klassifikator-Heads (durch Initialisierung oder Regularisierung) das kontrafaktische Verhalten sowie den Erfolg und die Distanz erheblich verändern kann, während die prädiktive Genauigkeit weitgehend unverändert bleibt.
Gemeinsame prädiktive Kraft: Beleg dafür, dass die Entscheidungsgrenzen-Proximität allein unzureichend ist; die Kombination aus Grenznähe und lokaler Unterstützung ist erforderlich, um die Variation in der Durchführbarkeit und dem Aufwand kontrafaktischer Erklärungen zu erklären.

Ergebnisse

Divergenz in Genauigkeitsgleichen Modellen: Modelle mit minimalen Genauigkeitsunterschieden (z. B. < 0,02) zeigten große Diskrepanzen im kontrafaktischen Verhalten. Beispielsweise zeigten zwei Modelle auf MNIST mit einer Genauigkeitsdifferenz von 0,01 einen Unterschied von 65 Prozentpunkten in den Erfolgsraten der kontrafaktischen Erklärungen.
Sensitivität des Klassifikators: Wenn der Encoder eingefroren und nur der lineare Klassifikator-Head variiert wurde, schwankten die Erfolgsraten kontrafaktischer Erklärungen signifikant (z. B. CF-Suc-Gaps von 0,12 bis 0,32) trotz stabiler Genauigkeit. Eine Erhöhung der Regularisierung verschob die mittlere Grenzdistanz, was monoton mit einer geringeren kontrafaktischen Erfolgsrate korrelierte.
Prädiktive Modellierung des Verhaltens: Regressionsmodelle, die nur Genauigkeit oder Cross-Entropy-Loss verwendeten, erklärten kaum die Varianz der kontrafaktischen Ergebnisse. Modelle, die jedoch $dbd(z)$ und $r_k(z)$ einbezogen, erreichten signifikant höhere $R^2$ -Werte. Insbesondere verbesserte das Hinzufügen der lokalen Datenunterstützung zur Grenznähe die Vorhersagekraft konsistent über alle Datensätze hinweg.
Unterstützte vs. Ununterstützte Wechsel: Die Studie unterscheidet zwischen „unterstützten Wechseln“ (Erreichen einer Zielregion mit starker lokaler Datendichte) und „ununterstützten Wechseln“ (Überqueren einer Grenze in spärlich besiedelte Regionen). Effektives kontrafaktisches Verhalten hing stark davon ab, unterstützte Regionen zu erreichen, und nicht bloß eine Grenze zu überqueren.
Verbesserte Suche durch Geometrie: In einer Fallstudie zu MNIST gelang es, die kontrafaktische Suchzielsetzung durch geometrie-bewusste Priors (die die Distanz zu Nachbarn der Zielklasse bestrafen) zu ergänzen, was die Suchergebnisse dort verbesserte, wo Standard-Baselines scheiterten, was den praktischen Nutzen dieser geometrischen Signale demonstriert.

Bedeutung und Ansprüche
Das Paper behauptet, dass kontrafaktisches Verhalten eine eigenständige Dimension der Modellevaluierung darstellt, die von prädiktiver Leistung und margenbasierten Robustheit getrennt ist. Die Autoren argumentieren:

Die Durchführbarkeit kontrafaktischer Erklärungen ist nicht invariant über funktional ähnliche Modelle hinweg; sie hängt entscheidend davon ab, wie der Klassifikator Grenzen relativ zur lokalen Datenstruktur platziert.
Standardmäßige prädiktive Metriken (Genauigkeit, Loss) sind unzureichend, um kontrafaktische Erklärungen oder Recourse-Systeme zu auditieren.
Das Verständnis der Interaktion zwischen Grenznähe und lokaler Unterstützung ist essenziell für die Modellauswahl, Robustheitsanalyse und das Design zuverlässigerer kontrafaktischer Methoden.
Die Ergebnisse legen nahe, dass zukünftige kontrafaktische Methoden explizit die lokale Datenunterstützung berücksichtigen sollten, um sicherzustellen, dass generierte Erklärungen in Regionen liegen, die durch die Datenverteilung gestützt werden.

Die Arbeit kommt zu dem Schluss, dass diese geometrischen Faktoren zwar die Variation in aktuellen linearen-Head-Setups erklären, die Erweiterung dieser Perspektive auf End-to-End-nichtlineare Modelle und die Entwicklung geometrie-bewusster kontrafaktischer Zielsetzungen jedoch eine Richtung für zukünftige Forschung darstellt.