💻 computer science

I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

Das Papier stellt I-SAFE vor, ein nachgelagertes Auditierungsframework, das Wasserstein-Kohärenzmetriken nutzt, um die strukturelle Ausrichtung wissenschaftlicher KI-Modelle mit Domänenwissen durch Eingabe-Perturbationen zu bewerten und dabei Verteilungsinkonsistenzen aufdeckt, die von herkömmlichen, auf Genauigkeit basierenden Benchmarks nicht erkannt werden.

Ursprüngliche Autoren: Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Koch ein, um ein komplexes Gericht zuzubereiten. Sie probieren das fertige Essen, und es schmeckt köstlich. Sie geben ihm eine hohe Bewertung. Doch hier liegt das Problem: Hat er das Gericht tatsächlich mit den richtigen Zutaten und Techniken zubereitet, oder hat er einfach nur ein bestimmtes Rezept auswendig gelernt, das zufällig an diesem einen Abend gut schmeckt?

In der Welt des „Wissenschaftlichen KI" (Computer, die versuchen, reale wissenschaftliche Probleme wie die Wirkstoffentdeckung zu lösen), machen wir oft denselben Fehler. Wir betrachten die Testergebnisse eines Modells (wie gut es Dinge vorhersagt) und gehen davon aus, dass es die Wissenschaft versteht. Doch der Artikel argumentiert, dass eine hohe Punktzahl fragil ist. Die KI könnte „betrügen", indem sie winzige, irrelevante Muster in den Daten bemerkt (wie die Schriftgröße des Textes oder ein spezifisches Hintergrundrauschen), anstatt die tatsächliche biologische Struktur zu verstehen.

Die Autoren dieses Artikels, Barbara Tarantino, Gennaro Auricchio und Paolo Giudici, stellen eine neue Methode zur Prüfung dieser KI-Modelle vor, die I-SAFE heißt.

So funktioniert I-SAFE, erklärt durch einfache Analogien:

1. Das Problem: Der „Magic 8-Ball" vs. der „verstehende Koch"

Aktuelle KI-Modelle sind wie Magic 8-Bälle. Sie schütteln sie (geben ihnen Daten), und sie geben eine Antwort. Wenn die Antwort zu 90 % richtig ist, sind wir zufrieden. Aber wir wissen nicht, warum sie richtig ist.

Das Risiko: Die KI könnte richtig liegen, weil sie die Testfragen auswendig gelernt hat, nicht weil sie die Chemie versteht. Wenn Sie die Frage leicht ändern (wie das Ändern einer bestimmten Zutat in einem Medikament), sollte ein „kluges" Modell logisch reagieren. Ein „betrügendes" Modell könnte zufällig oder gar nicht reagieren.

2. Die Lösung: Die „Interventionsprüfung"

Anstatt die KI nur zu fragen: „Was ist die Antwort?", fragt I-SAFE: „Was passiert, wenn wir die Eingabe manipulieren?"

Stellen Sie sich das KI-Modell als eine Blackbox vor. Die Wissenschaftler haben eine Karte dessen, was wichtig sein sollte (eine sogenannte strukturelle Priorität). In ihrem Experiment war diese Karte eine Liste spezifischer „Bindungstaschen" auf einem Protein, an denen Medikamente tatsächlich anhaften.

Der Test: Sie nehmen ein Medikament und ein Protein. Sie erstellen zwei Versionen des Proteins:
1. Der „echte" Stich: Sie manipulieren die Teile, die laut Karte wichtig sind (die Bindungstaschen).
2. Der „gefälschte" Stich: Sie manipulieren die Teile, die laut Karte unwichtig sind (zufällige Teile des Proteins).
Das Ziel: Sie wollen sehen, ob die KI unterschiedlich auf den „echten" Stich reagiert als auf den „gefälschten". Wenn die KI wirklich wissenschaftlich arbeitet, sollte das Ändern der wichtigen Teile eine logische, geordnete Veränderung ihrer Vorhersage bewirken. Das Ändern der unwichtigen Teile sollte eine chaotischere, weniger geordnete Veränderung bewirken.

3. Die drei „Lineale" (Die Metriken)

Der Artikel stellt drei spezifische Methoden vor, um zu messen, wie „geordnet" die Reaktion der KI ist. Sie verwenden komplizierte mathematische Namen, aber stellen Sie sie sich als drei verschiedene Lineale vor:

Lineal 1: Das „Lage"-Lineal (QBM)
- Analogie: Stellen Sie sich eine Reihe von Menschen vor, die nach Größe sortiert sind. Wenn Sie die wichtigen Personen ändern, verschiebt sich dann die ganze Reihe auf eine glatte, vorhersehbare Weise nach oben oder unten?
- Was es prüft: Hat sich die durchschnittliche Vorhersage in eine logische Richtung verschoben?
Lineal 2: Das „Reihenfolge"-Lineal (WCM)
- Analogie: Stellen Sie sich ein Rennen vor. Wenn Sie die Schuhe der Läufer ändern, tauschen sich die Zielzeiten in einer sinnvollen Weise aus? Oder wird der Gewinner plötzlich ohne Grund zum Verlierer?
- Was es prüft: Hat die KI die Reihenfolge ihrer Vorhersagen konsistent gehalten? (z. B. Wenn Medikament A vorher besser war als Medikament B, ist es danach immer noch besser?)
Lineal 3: Das „Form"-Lineal (TI-WCM)
- Analogie: Stellen Sie sich einen Ballon vor. Wenn Sie ihn zusammendrücken, wird er einfach kleiner (Verschiebung), oder verändert er seine seltsame, klumpige Form?
- Was es prüft: Hat sich das Muster der Antworten geändert oder nur die Zahlen? Dieses Lineal ignoriert einfache Verschiebungen, um zu sehen, ob die zugrunde liegende „Form" der Daten kohärent geblieben ist.

4. Das Experiment: Prüfung von drei „Köchen"

Die Autoren testeten dies an drei verschiedenen KI-Modellen, die entwickelt wurden, um vorherzusagen, wie Medikamente mit Proteinen interagieren (speziell Kinasen).

Der Aufbau: Sie verwendeten einen Standard-Datensatz (Davis) und die „Bindungstaschen"-Karte (KLIFS) als Leitfaden.
Die Überraschung: Alle drei Modelle hatten ähnliche „Geschmacksbewertungen" (Genauigkeit) im Test. Sie schienen alle gute Köche zu sein.
Das Prüfungsergebnis:
- Modell A & B (DeepDTA, DeepConvDTI): Als die Wissenschaftler die „wichtigen" Teile manipulierten, reagierten diese Modelle fast genauso wie bei der Manipulation der „unwichtigen" Teile. Sie waren nicht geordnet. Sie haben wahrscheinlich nur geraten oder sich auf Abkürzungen verlassen.
- Modell C (TAPB): Dieses Modell reagierte anders! Als die „wichtigen" Teile geändert wurden, verschoben sich seine Antworten auf eine sehr geordnete, logische Weise. Als die „unwichtigen" Teile geändert wurden, waren die Antworten chaotisch.
- Fazit: Obwohl alle drei Modelle ähnliche Noten im Abschlussexamen erhielten, schien nur TAPB tatsächlich die Struktur des Problems zu verstehen.

5. Warum das wichtig ist

Der Artikel kommt zu dem Schluss, dass Genauigkeit nicht ausreicht. Sie können ein Modell haben, das zu 90 % richtig liegt, aber wissenschaftlich nutzlos ist, weil es „betrügt".

I-SAFE ist wie ein Lügendetektortest für KI. Es ist ihm egal, ob das Modell bei einer einzelnen Vorhersage richtig oder falsch liegt; es ist ihm wichtig, ob das Gehirn des Modells korrekt verdrahtet ist. Es prüft, ob die Logik des Modells standhält, wenn Sie es an den Stellen manipulieren, die laut Wissenschaft wichtig sind.

Kurz gesagt:

Der alte Weg: „Haben Sie die richtige Antwort?" (Ja/Nein)
Der I-SAFE-Weg: „Wenn ich diesen spezifischen Teil des Problems ändere, ändert sich Ihre Antwort in einer Weise, die wissenschaftlich Sinn ergibt?" (Kohärent/Inkohärent)

Dieser Rahmen ermöglicht es Wissenschaftlern, „Blackbox"-KI-Modelle zu prüfen, ohne ihren internen Code einsehen zu müssen, und stellt sicher, dass die KI tatsächlich die Wissenschaft lernt und nicht nur den Test auswendig gelernt hat.

Technisches Fazit: I-SAFE – Interventionell Sicher, Genau, Fair und Erklärbar

1. Problemstellung

Im wissenschaftlichen maschinellen Lernen werden Deep-Learning-Modelle häufig anhand von zurückgehaltenen Vorhersageleistungen (z. B. Genauigkeit, AUROC) bewertet. Eine hohe Benchmark-Leistung ist jedoch ein fragiler Indikator für wissenschaftlich sinnvolles Verhalten. Modelle können starke Vorhersagescores erreichen, indem sie „Shortcut"-Merkmale, datensatzspezifische Regularitäten oder Verteilungsverzerrungen (wie Zielverzerrungen oder Scaffold-Effekte) ausnutzen, anstatt die zugrunde liegenden strukturellen Eigenschaften des Domänen zu erlernen.

Standardbewertungsmethoden scheitern daran, zwischen einem Modell zu unterscheiden, das die relevante wissenschaftliche Struktur erlernt hat, und einem, das lediglich statistische Korrelationen auswendig gelernt hat. Darüber hinaus verlassen sich bestehende nachgelagerte Prüfverfahren oft auf skalare Zusammenfassungen (z. B. durchschnittliche Sensitivität oder Attribution an einem einzelnen Punkt), die möglicherweise übersehen, wie sich die gesamte Ausgabeverteilung neu organisiert, wenn wissenschaftlich relevante Eingabestrukturen gestört werden. Es besteht ein Bedarf an einem Rahmenwerk, das von einer beobachtenden Bewertung zu einer interventionellen Bewertung übergeht, die nicht nur prüft, ob ein Modell korrekt vorhersagt, sondern wie sich seine Vorhersagen unter kontrollierten, strukturell geleiteten Störungen verändern.

2. Methodik: Das I-SAFE-Rahmenwerk

Die Autoren stellen I-SAFE (Interventionell Sicher, Genau, Fair und Erklärbar) vor, ein nachgelagertes, modellagnostisches Prüfrahmenwerk für Black-Box-Wissenschaftsprädiktoren. Das Rahmenwerk bewertet die Kohärenz der Ausgabeverteilung eines Modells unter Interventionen, die von einem externen strukturellen Prior geleitet werden.

Kernkomponenten:

Black-Box-Prädiktor ( $f_{BB}$ ): Ein trainiertes Modell, das ausschließlich über seine Eingabe-Ausgabe-Karte zugänglich ist.
Struktureller Prior ( $P$ ): Eine externe Karte, die aus Domänenwissen abgeleitet wird (unabhängig vom Modell) und identifiziert, welche Eingabekomponenten für eine gegebene Aufgabe wissenschaftlich relevant sind. Beispielsweise identifiziert dieser Prior bei der Vorhersage von Wirkstoff-Ziel-Interaktionen (DTI) spezifische Aminosäurereste in einer Protein-Bindungstasche.
Interventionsdesign: Das Rahmenwerk konstruiert angepahte Störungspaare:
- Mechanistische Störungen ( $\phi_{mech}$ ): Modifikationen, die auf Komponenten angewendet werden, die vom strukturellen Prior ( $P(x)$ ) ausgewählt wurden.
- Scheinbare Störungen ( $\phi_{spur}$ ): Modifikationen, die auf Komponenten außerhalb des Priors ( $S_{spur} \subset P(x)^c$ ) angewendet werden, unter Verwendung desselben Störungsoperators und derselben Kardinalität.
Interventionelles Antwortprofil: Das Rahmenwerk vergleicht die rohen Ausgabeverteilungen des Modells vor und nach diesen Störungen auf einem festen Prüfdatensatz.

Die drei Kohärenzmetriken:
I-SAFE quantifiziert die „Rang-Kohärenz" der Ausgabeverteilung unter Verwendung von drei komplementären Metriken. Im Gegensatz zu skalaren Zusammenfassungen erfassen diese Metriken die Geometrie der Verteilungsverschiebung.

Quantilbasierte Metrik (QBM): Misst die Kohärenz auf Lageebene. Sie vergleicht die Verschiebung empirischer Quantile (z. B. Quartile) zwischen den ursprünglichen und den gestörten Ausgaben mit dem gesamten mittleren quadratischen Fehler. Niedrigere Werte deuten auf eine größere Verschiebung der Verteilungslage hin.
Wasserstein-Kohärenzmetrik (WCM): Misst die ordinale Kohärenz. Basierend auf der Theorie des optimalen Transports bewertet sie, wie gut die natürliche Paarung von Eingaben und Ausgaben nach der Störung erhalten bleibt. Sie vergleicht die Verschiebung unter der natürlichen Korrespondenz mit der optimalen Neuordnung (Permutation) der Ausgaben. Sie ist skaleninvariant und normalisiert.
Translationsinvariante WCM (TI-WCM): Misst die Formkohärenz. Diese Variante entfernt den Effekt globaler Mittelwertverschiebungen (Translation) und isoliert Änderungen in der Form der Verteilung (Varianz und Momente höherer Ordnung).

Prüflogik:
Die Prüfung berechnet einen prior-relativen Kontrast ( $\Delta M = M_{spur} - M_{mech}$ ) für jede Metrik. Ein positiver Kontrast zeigt an, dass Störungen der vom Prior ausgewählten Komponenten eine kohärentere (d. h. strukturiertere und vorhersagbarere) Neuorganisation der Ausgabeverteilung bewirken als Störungen von Nicht-Prior-Komponenten.

3. Hauptbeiträge

Einführung des Rahmenwerks: Der Vorschlag von I-SAFE als nachgelagertes Prüfwerkzeug, das den Bewertungsgegenstand von skalaren Zusammenfassungen auf vollständige Änderungen der Ausgabeverteilung unter Intervention verschiebt.
Definition von Metriken: Die Formalisierung von drei spezifischen Metriken (QBM, WCM, TI-WCM), die die Verteilungsantwort in Lage, ordinale Struktur und Form zerlegen. Diese Metriken basieren auf der Theorie des optimalen Transports und sind als modellagnostisch konzipiert.
Prior-Relativer Kontrast: Die Einführung einer kontrastiven Bewertungsstrategie, die den Effekt struktureller Priors isoliert, indem mechanistische Störungen mit angepassten scheinbaren Kontrollen verglichen werden, wobei Störungsregeln und Kardinalität kontrolliert werden.
Theoretische Eigenschaften: Beweise, die feststellen, dass die Metriken im Intervall $[0, 1]$ beschränkt sind, skaleninvariant sind (für WCM) und in der Lage sind, zwischen verschiedenen Arten der Verteilungsneuorganisation zu unterscheiden.

4. Experimentelle Ergebnisse

Das Rahmenwerk wurde am Davis-Kinase-Benchmark für die Vorhersage von Wirkstoff-Ziel-Interaktionen (DTI) instanziiert.

Aufbau: Drei sequenzbasierte DTI-Modelle wurden geprüft: DeepDTA, DeepConvDTI und TAPB. Der strukturelle Prior wurde aus Bindungstaschen-Annotationen von KLIFS (Kinase–Ligand Interaction Fingerprints and Structures) abgeleitet.
Vorhersage-Regime: Alle drei Modelle zeigten vergleichbare Vorhersageleistungen (AUROC) auf dem Davis-Testdatensatz und operierten innerhalb eines ähnlichen Vorhersageregimes.
Ergebnisse:
- TAPB: Zeigte signifikant positive prior-relative Kontraste sowohl für QBM als auch für WCM ( $\Delta QBM \approx +0,093$ , $\Delta WCM \approx +0,063$ ). Dies zeigt, dass sich die Ausgabeverteilung von TAPB, wenn KLIFS-Bindungstaschen-Reste gestört wurden, in hochkohärenter Weise neu organisierte (Erhaltung von Lage und Rang) im Vergleich zu Fällen, in denen Nicht-Taschen-Reste gestört wurden.
- DeepDTA & DeepConvDTI: Zeigten vernachlässigbare oder negative Kontraste. DeepDTA zeigte keinen prior-ausgerichteten Vorteil, und DeepConvDTI zeigte einen negativen ordinalen Kontrast, was darauf hindeutet, dass seine kohärenten Antworten nicht spezifisch mit der Bindungstaschen-Struktur verknüpft waren.
- Formanalyse: Die TI-WCM-Kontraste waren für alle Modelle negativ oder nahe null, was darauf hindeutet, dass die bei TAPB erkannten kohärenten Signale durch Lage- und Rangverschiebungen getrieben wurden und nicht durch eine erhaltene Restform.

Fazit der Experimente: Trotz ähnlicher Genauigkeit zeigten die Modelle grundlegend unterschiedliches interventionelles Verhalten. Nur TAPB demonstrierte, dass seine Vorhersagen um die wissenschaftlich relevante Bindungstaschen-Struktur organisiert waren – ein Unterschied, der für eine herkömmliche, auf Genauigkeit basierende Bewertung unsichtbar ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass I-SAFE einen statistisch fundierten, prior-relativen Test zur Bewertung liefert, wie trainierte wissenschaftliche Prädiktoren unter strukturell bedeutsamen Störungen operieren.

Unterscheidung von kausalen Behauptungen: Die Autoren stellen ausdrücklich fest, dass I-SAFE nicht die kausale Validität eines Modells feststellt und auch nicht beweist, dass das Modell den wahren kausalen Mechanismus wiederhergestellt hat. Stattdessen liefert es wiederverwendbare Metriken, um zu bewerten, ob die Ausgabeverteilung eines Modells in Bezug auf einen externen, domänenspezifischen Prior kohärent organisiert ist.
Über skalare Prüfungen hinaus: Das Rahmenwerk adressiert die Einschränkung skalärer Prüfungen, indem es die Geometrie von Verteilungsverschiebungen (Lage, Ordnung, Form) erfasst, die für aggregierte Leistungsmetriken unsichtbar sind.
Modellagnostische Nützlichkeit: Die Methode ist auf jede Domäne anwendbar, in der Eingaben eine strukturierte Zerlegung zulassen und ein externer struktureller Prior verfügbar ist, was sie zu einem allgemeinen Werkzeug für die strukturelle Prüfung von Black-Box-Wissenschafts-KI macht.
Bescheidener Umfang: Die Autoren betonen, dass die Prüfung ein Diagnosewerkzeug für bestehende Modelle ist, kein Trainingsverfahren. Es hilft zu identifizieren, ob der Erfolg eines Modells durch relevante strukturelle Merkmale oder scheinbare Korrelationen getrieben wird, und unterstützt präzisere evaluative Behauptungen in der wissenschaftlichen KI.