🤖 AI

A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification

Dieses Paper schlägt ein formales Auditierungs-Framework vor, das die Robustheit und Treue von erklärbarer KI quantifiziert, um einen Trust Score zu generieren, wobei durch eine Fallstudie zur Mangelernährung in Madagaskar demonstriert wird, dass leistungsstarke Modelle uninformative Erklärungen liefern können und dass eine solche Auditierung für vertrauenswürdige Entscheidungsfindung in sensiblen Bereichen essenziell ist.

Ursprüngliche Autoren: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Veröffentlicht 2026-08-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Welt ist künstliche Intelligenz zu einem mächtigen Werkzeug geworden, um komplexe Daten zu verstehen, von der Vorhersage von Wetterlagen bis hin zur Diagnose von Krankheiten. Viele der leistungsfähigsten Systeme operieren jedoch als „Black Boxes“, was bedeutet, dass sie ein Ergebnis liefern können, ohne die Schritte offenzulegen, die sie zu diesem Ergebnis geführt haben. Um diese Lücke zu schließen, haben Wissenschaftler Werkzeuge entwickelt, die wie Übersetzer fungieren und aufzeigen, auf welche Informationen ein Computermodell sich bei seiner Entscheidung gestützt hat. Diese Werkzeuge sollen Vertrauen schaffen, indem sie es menschlichen Experten ermöglichen, die Logik der Maschine zu verstehen und zu überprüfen. Doch eine entscheidende Frage bleibt: Wenn sich die Argumentation des Computers drastisch ändert, wenn die Eingabedaten nur durch eine winzige Menge verändert werden, können wir der Erklärung dann wirklich vertrauen? Diese Unsicherheit ist die zentrale Herausforderung, die eine neue Studie adressiert, die sich darauf konzentriert, wie man die Zuverlässigkeit dieser KI-Erklärungen überprüft.

Forscher der Universität von Fianarantsoa in Madagaskar machten sich daran, dieses Problem zu lösen, indem sie eine formale Methode zur Prüfung dieser Erklärungen entwickelten. Sie konzentrierten sich auf zwei spezifische Qualitäten: Stabilität und Treue (Faithfulness). Stabilität fragt, ob die Erklärung konsistent bleibt, wenn die Daten leicht gestört werden, vergleichbar mit der Prüfung, ob ein Kompass immer noch nach Norden zeigt, wenn der Boden unter ihm bebt. Treue fragt, ob die Merkmale, die die Erklärung hervorhebt, tatsächlich diejenigen sind, die die Entscheidung des Modells vorantreiben, um sicherzustellen, dass das Werkzeug nicht nur Gründe erfindet, die plausibel klingen, aber tatsächlich falsch sind. Durch die Kombination von Messungen dieser beiden Qualitäten in einem einzigen Score schuf das Team eine Möglichkeit, zu bewerten, wie viel Vertrauen ein Nutzer in eine bestimmte KI-Erklärung setzen sollte.

Um dieses neue Auditsystem zu testen, wandten die Forscher es auf einen realen Datensatz zur Ernährungssicherung in Madagaskar an. Die Daten deckten dreiundzwanzig Regionen über dreizehn Jahre ab und verfolgten dreiundachtzig verschiedene Faktoren wie Niederschlag, Reisproduktion, Marktpreise und Kindergesundheitsraten. Das Ziel war es, die Schwere der Unterernährung in diesen Regionen vorherzusagen, die in vier Stufen von „akzeptabel“ bis „kritisch“ kategorisiert wurde. Das Team trainierte drei verschiedene Arten von Computermodellen mit diesen Daten und nutzte anschließend zwei populäre Erklärungswerkzeuge, um zu sehen, wie gut sie die Vorhersagen der Modelle erklären konnten. Sie führten ihr Audit an einem spezifischen Satz von Testfällen durch, um zu sehen, ob die Erklärungen einer Prüfung standhielten.

Die Ergebnisse offenbarten eine ernüchternde Realität: Ein Modell, das extrem genau bei der Erstellung von Vorhersagen ist, ist nicht zwangsläufig vertrauenswürdig, wenn es um die Erklärung dieser Vorhersagen geht. Einige der Modelle erreichten nahezu perfekte Werte bei der Vorhersage der Unterernährungsstufen, doch die Erklärungen, die sie lieferten, waren entweder numerisch fehlerhaft oder völlig uninformativ. In einem besonders markanten Fall führte ein Modell, das sehr sicher in seinen Antworten war, dazu, dass eines der Erklärungswerkzeuge eine Liste von Nullwerten für jeden einzelnen Faktor ausgab – was effektiv aussagte, dass nichts von Bedeutung sei, da die Antwort bereits offensichtlich war. Als die Forscher versuchten zu messen, wie stabil diese Erklärungen waren, wurden die Zahlen ohne eine kleine mathematische Korrektur unmöglich zu berechnen, was einen grundlegenden Fehler im Zusammenspiel des Erklärungswerkzeugs mit dem übermütigen (overconfident) Modell aufzeigte.

Die Studie fand auch heraus, dass die Qualität einer Erklärung stark davon abhängt, wie das Modell gebaut wurde. Als die Forscher die Modelle so anpassten, dass sie weniger anfällig für das Auswendiglernen spezifischer Datenpunkte waren – ein Prozess, der als Regularisierung bekannt ist –, wurden die Erklärungen wesentlich zuverlässiger. Beispielsweise begann ein Modelltyp, der anfangs flache, uninformative Erklärungen lieferte, ein klares Muster zu zeigen, bei dem das Entfernen der wichtigsten Faktoren die Vorhersage tatsächlich signifikant veränderte. Dieser Wandel demonstrierte, dass die Erklärung endlich die wahren inneren Abläufe des Modells widerspiegelte, anstatt nur dessen Selbstvertrauen zu widerspiegeln. Die Forscher beobachteten, dass das auf baumbasierten Modellen basierende Erklärungswerkzeug im Allgemeinen stabiler war als das andere, doch beide Werkzeuge hatten Schwierigkeiten, wenn das zugrunde liegende Modell zu sicher in seinen eigenen Antworten war.

Letztlich legt die Forschung nahe, dass eine hohe Genauigkeit in einem maschinellen Lernmodell nicht garantiert, dass seine Argumentation fundiert oder verständlich ist. Das Team demonstrierte, dass Nutzer ohne eine spezifische Prüfung auf Stabilität und Treue möglicherweise mit Erklärungen konfrontiert werden, die überzeugend aussehen, aber tatsächlich fragil oder irreführend sind. Durch die Einführung eines einzelnen Scores, der diese Prüfungen kombiniert, boten sie einen praktischen Weg für Entscheidungsträger, zu wissen, wann eine KI-Erklärung sicher zu verwenden ist und wann sie ignoriert werden sollte. Dies ist besonders wichtig in sensiblen Bereichen wie der Ernährungssicherung, in denen politische Maßnahmen und Hilfsgüter auf Basis dieser Vorhersagen verteilt werden. Die Studie kommt zu dem Schluss, dass die Prüfung dieser Erklärungen kein optionaler Zusatzschritt ist, sondern eine notwendige Anforderung, um sicherzustellen, dass die künstliche Intelligenz, die kritische menschliche Entscheidungen leitet, wirklich vertrauenswürdig ist.

Technisches Resümee: Ein formales methodologisches Framework zur Auditierung von Robustheit und Treue in der erklärbaren KI

1. Problemstellung

Die Arbeit adressiert eine kritische Lücke bei der Implementierung von erklärbarer KI (Explainable AI, XAI) in sensiblen Bereichen, konkret im Bereich der Ernährungssicherheit in Madagaskar. Während Post-hoc-Erklärer wie SHAP und LIME Standard für die Interpretation von Black-Box-Vorhersagen sind, erweisen sich deren Outputs oft als unzuverlässig. Die Autoren beobachteten, dass kleine Perturbationen in den Eingangsdaten zu substanziellen Variationen in den Erklärungs-Outputs führen können und es keinen inhärenten Mechanismus gibt, um zu verifizieren, ob die hervorgehobenen Merkmale tatsächlich die Vorhersagen des Modells steuern. Diese „Illusion der Transparenz“ birgt ein Risiko, wenn politische Entscheidungsträger sich auf diese Erklärungen verlassen. Das Kernproblem ist das Fehlen eines vereinheitlichten, quantitativen Protokolls, um sowohl die Stabilität (Robustheit) als auch die Treue (Fidelity) von XAI-Outputs gleichzeitig zu auditieren.

2. Methodologisches Framework

Die Autoren schlagen eine formale Auditierungspipeline vor, welche zwei distinkte Eigenschaften eines jeden Post-hoc-Erklärers quantifiziert und diese in einem einzigen Trust Score synthetisiert.

2.1 Robustheit (Lokale Stabilität)

Robustheit misst die Stabilität einer Erklärung unter Eingangs-Perturbation.

Mechanismus: Für einen gegebenen Input $x$ zieht der Auditor $N$ Rauschvektoren $\delta$ aus einer Gaußschen Verteilung $N(0, \sigma^2 I)$ .
Berechnung: Es werden die Erklärungsvektoren $E(x)$ und $E(x+\delta)$ berechnet, die auf eine Summe von 1 normiert werden, und deren Divergenz mittels der Jensen-Shannon-Divergenz (JSD) gemessen.
Metrik: $R(x) = 1 - \frac{1}{N} \sum D_{JS}(\tilde{E}(x) \parallel \tilde{E}(x+\delta_i))$ .
Umgang mit Grenzfällen: Ein spezifisches numerisches Problem wird adressiert, bei dem TreeSHAP auf überangepassten (overfitted) Modellen die Wichtigkeit für alle Merkmale als Null ausgibt, was die JSD undefiniert macht. Die Autoren lösen dies durch das Hinzufügen eines kleinen Epsilon ( $\epsilon = 10^{-10}$ ) zu jeder Komponente vor der Normalisierung.

2.2 Treue (Faithfulness)

Treue bewertet, ob die vom Erklärer als wichtig erachteten Merkmale tatsächlich die Vorhersage des Modells beeinflussen.

Mechanismus: Die Methode nutzt Feature-Ablation. Die vom Erklärer identifizierten Top- $k$ -Merkmale werden maskiert (durch die Mittelwerte der Merkmale ersetzt), um einen perturbierten Input $x \setminus F_k$ zu erzeugen.
Berechnung: Die Änderung in der Modellvorhersage $f(x)$ wird relativ zur ursprünglichen Vorhersage gemessen.
Metrik: $F_k(x) = 1 - \frac{|f(x) - f(x \setminus F_k)|}{|f(x)| + \epsilon}$ . Der gesamte Treue-Wert $F(x)$ ist der Mittelwert über eine Menge von Ablationsstufen $K$ .
Interpretation: Ein hoher Treue-Score zeigt an, dass das Entfernen der wichtigsten Merkmale die Vorhersage signifikant verändert, was die Relevanz des Erklärers bestätigt.

2.3 Trust Score

Das Framework kombiniert diese Metriken zu einer gewichteten Summe:
$T(x) = \alpha R(x) + \beta F(x)$
wobei $\alpha + \beta = 1$ . Standardmäßig ist $\alpha = \beta = 0,5$ , was Stabilität und Treue gleichermaßen gewichtet, wobei die Autoren anmerken, dass diese Gewichte je nach Domänenanforderungen angepasst werden können (z. B. Priorisierung der Stabilität für nicht-technische Stakeholder).

3. Experimenteller Aufbau und Fallstudie

Das Framework wurde anhand eines multisektoralen Datensatzes zur Ernährungssicherheit in Madagaskar validiert.

Daten: 253 Datensätze über 23 Regionen in 13 Jahren (2010–2023), bestehend aus 83 Variablen (Klima, Landwirtschaft, Sozioökonomie, Ernährung, Demografie). Die Zielvariable hat 4 ordinale Klassen (Akzeptabel, Prekär, Alarmierend, Kritisch), mit einem schweren Klassenungleichgewicht (nur 3 Instanzen in der Klasse „Akzeptabel“).
Modelle: Drei Klassifikatoren wurden getestet: Random Forest (RF), XGBoost und ein Neuronales Netz (NN). Regularisierte Varianten jedes Modells wurden ebenfalls trainiert, um den Einfluss von Overfitting zu untersuchen.
Erklärbarkeit: SHAP (TreeSHAP für Bäume, KernelSHAP für NN) und LIME wurden verwendet.
Protokoll: Das Audit wurde auf 30 Testinstanzen mit 10 Perturbationsversuchen ( $\sigma=0,1$ ) und Ablationsstufen $K = \{3, 5, 10, 41, 82\}$ durchgeführt.

4. Kernergebnisse

Die Experimente lieferten ernüchternde Erkenntnisse hinsichtlich der Beziehung zwischen prädiktiver Leistung und der Qualität der Erklärungen:

Hoher AUC $\neq$ Vertrauenswürdige Erklärungen: Modelle erreichten makro-gemittelte AUC-Scores von über 0,99. Diese hohe prädiktive Leistung garantierte jedoch keine stabilen oder informativen Erklärungen.
Numerische Degenerierung: Im XGBoost-Modell produzierte TreeSHAP aufgrund von nahezu sicheren Vorhersagen für einige Instanzen Null-Werte für die Wichtigkeit, was die JSD-Berechnung ohne die vorgeschlagene $\epsilon$ -Glättung scheitern ließ.
Fidelity-Kollaps in überangepassten Modellen: Das XGBoost-Modell zeigte „flache“ Fidelity-Scores (ca. 0,620) über alle Ablationsstufen hinweg, sowohl für SHAP als auch für LIME. Da das Modell so sicher war (Vorhersagen nahe 0 oder 1), änderte das Entfernen von Merkmalen die Ausgabe nur um einen konstanten Betrag, unabhängig davon, welche Merkmale entfernt wurden. Dies machte die Fidelity-Metrik uninformativ und unfähig, zwischen guten und schlechten Erklärungen zu unterscheiden.
Einfluss der Regularisierung: Regularisierte Modelle verbesserten im Allgemeinen die Trust Scores.
- RF und XGBoost: Regularisierung verbesserte die Robustheit leicht und verbesserte die Fidelity moderat, obwohl die Fidelity-Kurven von XGBoost relativ flach blieben.
- Neuronales Netz: Das regularisierte NN (NNreg) zeigte die signifikanteste Wiederherstellung der diskriminativen Kraft. Seine LIME-Fidelity sank von 0,977 (Top 3 Merkmale) auf 0,802 (Top 82 Merkmale), was darauf hindeutet, dass der Erklärer die Hierarchie der Merkmalswichtigkeit korrekt identifizierte.
Robustheitsvergleich: SHAP übertraf LIME konsistent in der Robustheit bei baumbasierten Modellen (z. B. XGBoost: 0,978 vs. 0,658), was auf den exakten Berechnungspfad von TreeSHAP im Gegensatz zur Sampling-Variabilität von LIME zurückzuführen ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Auditierung von XAI-Outputs nicht optional, sondern notwendig ist, insbesondere in sensiblen Domänen wie der Ernährungssicherheit. Die primären Beiträge sind:

Vereinheitlichtes Protokoll: Das Framework bietet eine einzige Pipeline, um Robustheit und Treue nebeneinander zu messen und so einen vergleichbaren Trust Score über verschiedene Modell-Erklärer-Paare hinweg zu erzeugen.
Detektion „uninformativer“ Erklärungen: Die Studie demonstriert, dass das Framework erkennen kann, wann Erklärungen aufgrund von Modell-Überkonfidenz oder Overfitting numerisch degeneriert oder trivial werden. Speziell hebt es hervor, dass ein Modell mit nahezu perfekter AUC Erklärungen erzeugen kann, die entweder instabil oder gänzlich uninformativ sind.
Notwendigkeit der Kalibrierung: Die Ergebnisse legen nahe, dass Praktiker vor dem Vertrauen in XAI-Outputs sicherstellen müssen, dass das zugrunde liegende Modell gut kalibriert und nicht schwerwiegend überangepasst ist. Wenn ein Modell überkonfident ist, verlieren Fidelity-Metriken ihre diskriminative Kraft.
Praktische Trade-offs: Der Trust Score macht den Trade-off zwischen Stabilität und Treue explizit, wodurch Domänenexperten die Gewichte ( $\alpha, \beta$ ) anpassen können, je nachdem, ob sie konsistente Erklärungen für die Kommunikation oder die strikte Einhaltung der Modell-Logik für regulatorische Compliance priorisieren.

Die Autoren kommen zu dem Schluss, dass das Framework zwar für gut kalibrierte Modelle informativ ist, seine Anwendung auf überangepasste Modelle jedoch Vorsicht erfordert, und dass zukünftige Arbeiten sich auf domänenspezifische Perturbationsstrategien und temporale Datenstrukturen konzentrieren sollten.