🤖 machine learning

Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Das Paper argumentiert, dass Zuverlässigkeit und Treue zwar notwendige Bedingungen für die Interpretation wissenschaftlicher Machine-Learning-Modelle sind, diese jedoch allein nicht ausreichen, um Behauptungen über die wahren strukturellen Mechanismen der zugrunde liegenden Phänomene ohne externe Bestätigung zu validieren.

Ursprüngliche Autoren: Nick Oh, Helen Jin

Veröffentlicht 2026-06-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nick Oh, Helen Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Black Box“-Detektiv

Stellen Sie sich vor, Wissenschaftler versuchen, ein komplexes Naturphänomen zu verstehen (wie etwa die Funktionsweise einer Krankheit oder wie ein Stern brennt). Sie bauen ein superintelligentes Computermodell (eine KI), um vorherzusagen, was passiert. Das Modell ist unglaublich genau – es liefert fast jedes Mal das richtige Ergebnis. Das ist Reliabilität (Zuverlässigkeit).

Aber das Modell ist eine „Black Box“. Wir wissen nicht, wie es zu diesen Antworten gekommen ist. Also nutzen Wissenschaftler spezielle Werkzeuge (wie SHAP oder LIME), um hineinzuschauen und zu fragen: „Welche Hinweise hast du benutzt, um diese Entscheidung zu treffen?“ Das Werkzeug gibt eine Antwort, wie zum Beispiel: „Das Modell hat auf das Alter des Patienten und die Hautfarbe geachtet.“ Das ist Faithfulness (Treue/Wahrhaftigkeit).

Das Hauptargument der Arbeit:
Die Autoren argumentieren, dass selbst wenn das Modell perfekt reliabel (immer richtig) und die Erklärung perfekt faithful (sie sagt die Wahrheit darüber, was das Modell getan hat) ist, man dennoch nicht schlussfolgern kann, dass das Modell tatsächlich versteht, wie die reale Welt funktioniert.

Man kann zwar wissen, was die Maschine getan hat, aber man weiß nicht, ob sie es aus den richtigen Gründen getan hat.

Die dreistufige Kette

Die Arbeit beschreibt eine logische Kette, die Wissenschaftler oft anzuwenden versuchen, und die so aussieht:

Die reale Welt (Das Phänomen): Das eigentliche Ding, das wir untersuchen (z. B. eine echte Krankheit).
Das Modell: Die KI, die die Krankheit vorhersagt.
Die Erklärung: Das Werkzeug, das uns sagt, was die KI „gedacht“ hat.

Der Fehler: Wissenschaftler nehmen oft an:

„Das Modell entspricht der realen Welt (Reliabilität).“
„Die Erklärung entspricht dem Modell (Faithfulness).“
Daraus folgt: „Die Erklärung entspricht der realen Welt.“

Die Arbeit sagt: Diese Logik ist fehlerhaft. In der Kette fehlt ein entscheidendes Glied.

Analogie 1: Der schummelnde Schüler vs. das Genie

Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt.

Reliabilität: Der Schüler beantwortet jede einzelne Frage korrekt. Er ist ein perfekter Vorhersager der richtigen Antworten.
Faithfulness: Ein Aufseher beobachtet den Schüler und berichtet exakt, was der Schüler getan hat. Der Bericht besagt: „Der Schüler hat die Probleme gelöst, indem er auf die letzte Ziffer der Aufgabenstellung geschaut und die Antwort basierend auf einem Muster im Testheft erraten hat.“

Die Falle:
Wenn man nur auf die Reliabilität (perfekte Punktzahl) und die Faithfulness (den ehrlichen Bericht des Aufsehers) schaut, könnte man denken: „Wow, der Schüler hat eine brillante neue Methode zur Problemlösung!“

In Wirklichkeit ist der Schüler aber nur am Schummeln durch einen Trick, der nur bei diesem speziellen Test funktioniert. Er hat die Mathematik (die Struktur des Phänomens) nicht gelernt, sondern er hat lediglich eine Abkürzung gefunden, die in diesem Fall zufällig funktioniert.

Die Arbeit argumentiert, dass KI-Modelle oft genau das tun. Sie finden „Abkürzungen“ (wie das Betrachten des Hintergrunds eines Fotos anstatt der Krankheit), die sie zwar präzise macht, aber diese Abkürzungen entsprechen nicht der Art und Weise, wie die reale Welt tatsächlich funktioniert.

Analogie 2: Die zwei Uhren

Stellen Sie sich vor, Sie haben zwei Uhren.

Uhr A ist eine echte, hochwertige Uhr mit Zahnrädern, die sich passend zur Bewegung der Sonne bewegen.
Uhr B ist eine kaputte Uhr, die zufällig genau auf die Zeit eingestellt ist, zu der die Sonne steht, aber nur, weil jemand sie so eingestellt hat.

Beide Uhren zeigen die richtige Zeit an (Reliabilität).
Wenn Sie ein Foto vom Inneren beider Uhren machen, erhalten Sie eine treue Beschreibung ihres Inneren (Faithfulness).

Das Innere von Uhr A zeigt rotierende Zahnräder.
Das Innere von Uhr B zeigt einen feststehenden Zeiger.

Wenn Sie nur wissen, dass beide Uhren die richtige Zeit anzeigen, und Sie eine treue Beschreibung ihres Inneren haben, können Sie immer noch nicht wissen, welche von beiden die Sonne tatsächlich korrekt verfolgt. Eine von beiden hat einfach nur Glück gehabt.

Die Arbeit sagt, dass Reliabilität und Faithfulness wie der Check sind, ob die Uhren die richtige Zeit anzeigen und ihr Inneres beschreiben. Keiner dieser Checks verrät Ihnen, ob die Uhr tatsächlich mit der Sonne verbunden ist (dem realen Mechanismus).

Das „perfekte“ Szenario hilft nicht weiter

Man könnte denken: „Was, wenn das Modell perfekt ist? Was, wenn es niemals einen Fehler macht?“

Die Arbeit sagt: Selbst dann spielt es keine Rolle.

Stellen Sie sich ein Modell vor, das eine Krankheit zu 100 % perfekt vorhersagt.

Szenario 1: Das Modell hat die reale biologische Ursache gelernt (die „richtige“ Struktur).
Szenario 2: Das Modell hat ein seltsames, unsichtbares Muster in den Daten gelernt (wie das Krankenhaus, in dem der Patient behandelt wurde), das zufällig mit der Krankheit korreliert, aber nicht die Ursache ist.

Beide Modelle sind 100 % reliabel.
Beide Modelle haben 100 % faithful Erklärungen (sie sagen Ihnen exakt, worauf sie geachtet haben).

Aber in Szenario 2 lügt die Erklärung Sie über die Ursache der Krankheit an, obwohl sie die Wahrheit über das Modell sagt. Das Modell liegt richtig bezüglich des Ergebnisses, aber falsch bezüglich des Grundes.

Das Fazit: Was können wir also tatsächlich tun?

Die Arbeit kommt zu dem Schluss, dass wir diese Erklärungen nicht nutzen können, um starke Behauptungen darüber aufzustellen, wie die Welt tatsächlich funktioniert (Mechanismen), indem wir uns nur das Modell und seine Erklärung ansehen.

Was die Kette LEISTEN kann: Sie kann uns Ideen oder Hypothesen liefern. Sie kann sagen: „Hey, das Modell hält dieses Merkmal für wichtig. Vielleicht sollten wir dieses Merkmal in der realen Welt untersuchen.“
Was die Kette NICHT LEISTEN kann: Sie kann nicht beweisen, dass dieses Merkmal tatsächlich die Ursache ist.

Um die Wahrheit zu erfahren, benötigen Wissenschaftler externe Hilfe. Sie müssen anderes Wissen hinzuziehen, reale Experimente durchführen oder bestehende Theorien nutzen, um zu verifizieren, ob die „Abkürzung“ des Modells tatsächlich ein realer Mechanismus ist. Das Modell und seine Erklärung allein reichen nicht aus, um die Lücke zwischen „der Computer hat recht“ und „wir verstehen das Universum“ zu schließen.

Technisches Resümee: Zuverlässigkeit, Treue und die Grenzen post-hoc Erklärungen opaker wissenschaftlicher Modelle

Problemstellung
Das Paper adressiert eine kritische epistemische Lücke in der wissenschaftlichen Anwendung von erklärbarer KI (Explainable AI, XAI). In wissenschaftlichen Domänen (z. B. Neurowissenschaften, Physik, Biochemie) werden opake maschinelle Lernmodelle zunehmend nicht nur als Prädiktoren, sondern als Quellen von Erkenntnissen über die zugrunde liegenden Phänomene eingesetzt. Die vorherrschende Annahme lautet, dass, wenn ein Modell ausreichend zuverlässig (seine Vorhersagen stimmen mit den Ergebnissen des Phänomens überein) und seine post-hoc Erklärung ausreichend treu (die Erklärung spiegelt die internen Berechnungen des Modells korrekt wider) ist, die Erklärung einen gerechtfertigten Anspruch auf die Struktur des Phänomens selbst darstellt.

Die Autoren argumentieren, dass diese Schlussfolgerung strukturell ungültig ist. Während Zuverlässigkeit und Treue notwendige Bedingungen sind, sind sie unzurereichend, um die Lücke zwischen dem „Verstehen des Modells“ und dem „Verstehen der Welt“ zu schließen. Speziell verifizieren weder diese Metriken, ob die interne Struktur des Modells der kausalen, mechanistischen oder kontrafaktischen Struktur des Phänomens entspricht.

Methodik und Formalismus
Das Paper verwendet eine formale epistemische Analyse anstelle empirischer Experimente. Es konstruiert eine Approximationskette, um die inferenzielle Beziehung zwischen dem Phänomen, dem Modell und der Erklärung zu analysieren:

Das Phänomen ( $f$ ): Die wahre Funktion, die das natürliche Phänomen repräsentiert.
Das Modell ( $h^*$ ): Eine Hypothese aus einem Raum $H$ (z. B. ein tiefes neuronales Netz), die $f$ approximiert.
Die Erklärung ( $g^*$ ): Eine durch eine post-hoc Methode $E$ (z. B. SHAP, LIME, Attention Maps) generierte Repräsentation, die $h^*$ approximiert.

Die Kette wird als $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$ bezeichnet, wobei:

$\phi$ (die Modell-Welt-Verbindung) die Zuverlässigkeit von $h^*$ bei der Verfolgung von $f$ darstellt.
$E$ (die Modell-des-Modells-Verbindung) die Treue von $g^*$ bei der Beschreibung von $h^*$ darstellt.

Die Autoren unterscheiden zwischen zwei Arten von epistemischen Urteilen:

Deskriptive Urteile: Bewertungen dessen, was das Modell berechnet (Treue).
Justifikatorische Urteile: Bewertungen der Fähigkeit des Modells, das Phänomen zu verfolgen (Zuverlässigkeit).

Das zentrale methodische Argument ist, dass ein Wissenschaftler nach einem dritten Typus von Urteil sucht: einem justifikatorischen Anspruch auf die Struktur des Phänomens. Das Paper zeigt auf, dass die Komposition eines deskriptiven Urteils (über $g^*$ ) und eines justifikatorischen Urteils (über $h^*$ ) logisch nicht zu einem justifikatorischen Urteil über die Struktur von $f$ führen kann.

Zentrale Beiträge und Argumente

Das strukturelle Versagen der Komposition:
Das Paper argumentiert, dass sich die Lücke zwischen Modell und Welt selbst im Grenzwert perfekter Zuverlässigkeit und perfekter Treue nicht schließt.
- Zuverlässigkeit prüft, ob Ausgaben mit Ergebnissen übereinstimmen, erfordert aber keine gemeinsame interne Struktur. Ein Modell kann ein Phänomen perfekt verfolgen, indem es auf spuriösen Korrelationen oder nicht-mechanistischen Abkürzungen basiert (z. B. die Nutzung von Bildrändern statt Pathologie).
- Treue prüft, ob die Erklärung mit der Berechnung des Modells übereinstimmt, bleibt aber vollständig intern auf das Modell bezogen. Sie kann nicht bestimmen, ob die Berechnung des Modells der Mechanik des Phänomens entspricht.
- Folglich lässt eine „perfekte“ Kette ( $f \approx h^* \approx g^*$ ) die Frage nach der strukturellen Übereinstimmung weiterhin unbeantwortet. Die Kette mangelt an der Prämisse der „gemeinsamen Struktur“, die erforderlich ist, um von Modell-Fakten auf Welt-Fakten zu schließen.
Drei Fälle irreführender Ketten (Anhang A):
Die Autoren illustrieren die Persistenz dieser Lücke durch drei Szenarien:
- Fall 1 (Distribution Shift): Ein Modell verlässt sich auf ein spurensicheres Merkmal (z. B. Lateralitätsmarker in Röntgenbildern), das im Training funktioniert, aber in neuen Populationen versagt. Die Treue berichtet korrekt über die Abhängigkeit, aber die Zuverlässigkeit versagt erst beim Distributionswechsel. Die Erklärung bleibt treu gegenüber dem falschen Mechanismus.
- Fall 2 (Invariante Konfundierung): Ein Modell verlässt sich auf ein spurensicheres Merkmal, das über alle testbaren Populationen hinweg mit dem Ziel korreliert ist (z. B. Patientenpositionierung). Hier ist die Zuverlässigkeit überall perfekt und die Treue ist perfekt, dennoch erfasst das Modell nicht den wahren Mechanismus. Keine Menge an Validierungsdaten kann das spurensichere Modell vom mechanistischen Modell unterscheiden, wenn beide identische Vorhersagen liefern.
- Fall 3 (Perfekte Verfolgung, divergente Struktur): Ein Modell verfolgt das Phänomen perfekt auf allen Inputs, nutzt aber eine interne Struktur, die sich völlig von der des Phänomens unterscheidet. Eine treue Erklärung dieses Modells beschreibt eine Struktur, die nicht die Struktur des Phänomens ist. Zuverlässigkeit und Treue sind sowohl für das „wahre Struktur“-Modell als auch für das „divergente Struktur“-Modell identisch, was die Metriken unfähig macht, zwischen Wahrheit und Glück zu unterscheiden.
Unterscheidung zwischen „starken“ und „schwachen“ Lesarten:
- Starke Lesart (Wie-tatsächlich): Behauptet, dass die Struktur des Modells die Struktur des Phänomens ist. Das Paper argumentiert, dass die Kette allein diese Behauptung nicht stützen kann.
- Schwache Lesart (Wie-möglich/Objektuelles Verständnis): Behauptet, dass das Modell eine Kandidatenhypothese oder ein Erfassen von Verbindungen innerhalb der Domäne bietet. Das Paper räumt ein, dass die Kette dies unterstützen kann, sofern das Ergebnis gegen externe Korrobation (vorherige Theorie, unabhängige Evidenz oder experimentelle Intervention) abgegrenzt wird.

Ergebnisse und Ansprüche
Das Paper präsentiert keine experimentellen Ergebnisse, sondern bietet einen philosophischen und logischen Beweis der Limitation:

Keine selbstständige Rechtfertigung: Ein zuverlässiges Modell gepaart mit einer treuen Erklärung rechtfertigt nicht allein durch Komposition einen Anspruch auf die kausale oder mechanistische Struktur des Phänomens.
Externe Korrobation ist erforderlich: Um von einer Beschreibung des Modells zu einem Anspruch über die Welt zu gelangen, müssen externe Prämissen (unabhängige Theorie, bekannte Mechanismen oder Interventionen) eingeführt werden. Diese Prämissen werden nicht durch die XAI-Kette selbst generiert.
Die Rolle der Idealisierung: Das Paper ordnet sich in die Literatur über wissenschaftliche Idealisierung (z. B. Sullivan, Elgin) ein und legt nahe, dass opake Modelle als idealisierte Werkzeuge fungieren. Sie können „objektuelles Verständnis“ (Erfassen von Verbindungen und Möglichkeiten) bieten, aber kein „erklärendes Verständnis“ (Identifizierung des tatsächlichen Mechanismus) ohne externe Validierung.

Signifikanz
Die Signifikanz des Papers liegt in der Klärung der epistemischen Grenzen post-hoc XAI in der Wissenschaft. Es fordert die routinemäßige Praxis heraus, die treuen Erklärungen zuverlässiger Modelle als direkte Fenster zur wissenschaftlichen Realität zu behandeln.

Es argumentiert, dass das Unvermögen, zwischen „wie das Modell arbeitet“ und „wie die Welt arbeitet“ zu unterscheiden, kein technischer Fehler ist, der durch bessere Algorithmen oder höhere Fidele gelöst werden kann, sondern eine strukturelle Limitation der inferentiellen Kette.
Es reorientiert den wissenschaftlichen Gebrauch von XAI: Anstatt Erklärungen als definitive Beweise für Mechanismen zu betrachten, sollten sie als Generatoren von Kandidatenhypothesen gesehen werden, die einer rigorosen externen Prüfung und theoretischen Integration bedürfen.
Das Paper schließt damit, dass die Kette zwar die Generierung von „Wie-möglich“-Behauptungen unterstützt, aber ohne externe Korrobation keine „Wie-tatsächlich“-Behauptungen legitimieren kann – eine Unterscheidung, die für die Integrität wissenschaftlicher Entdeckungen unter Verwendung opaker Modelle entscheidend ist.