I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

Technische Samenvatting: I-SAFE – Interventieve Veilige, Nauwkeurige, Rechtvaardige en Verklaarbare

1. Probleemstelling

In wetenschappelijk machine learning worden deep learning-modellen frequent geëvalueerd op basis van voorspellende prestaties op een vastgehouden dataset (bijvoorbeeld nauwkeurigheid, AUROC). Echter, hoge prestaties op benchmarks zijn een broos indicator van wetenschappelijk zinvol gedrag. Modellen kunnen sterke voorspellende scores behalen door gebruik te maken van "shortcut"-kenmerken, dataset-specifieke regelmatigheden of distributieve vertekeningen (zoals target bias of scaffold-effecten), in plaats van de onderliggende structurele eigenschappen van het domein te leren.

Standaard evaluatiemethoden onderscheiden niet tussen een model dat de relevante wetenschappelijke structuur heeft geleerd en een model dat louter statistische correlaties heeft gememoriseerd. Bovendien vertrouwen bestaande post-hoc auditmethoden vaak op scalair samenvattingen (bijvoorbeeld gemiddelde sensitiviteit of attributie op één punt), die kunnen missen hoe de volledige outputdistributie zich herschikt wanneer wetenschappelijk relevante inputstructuren worden verstoord. Er is behoefte aan een raamwerk dat verschuift van observationele evaluatie naar interventieve evaluatie, waarbij niet alleen wordt beoordeeld of een model correct voorspelt, maar hoe zijn voorspellingen veranderen onder gecontroleerde, structureel geleide verstoringen.

2. Methodologie: Het I-SAFE-raamwerk

De auteurs introduceren I-SAFE (Interventional Secure, Accurate, Fair and Explainable), een post-hoc, model-onafhankelijk auditraamwerk voor black-box wetenschappelijke voorspellers. Het raamwerk evalueert de coherentie van de outputdistributie van een model onder interventies die worden geleid door een externe structurele prior.

Kerncomponenten:

• Black-Box Voorspeller ($f_{BB}$): Een getraind model dat uitsluitend toegankelijk is via zijn input-outputkaart.
• Structurele Prior ($P$): Een externe kaart afgeleid van domeinkennis (onafhankelijk van het model) die identificeert welke inputcomponenten wetenschappelijk relevant zijn voor een gegeven taak. Bijvoorbeeld, in drug-target interactie (DTI) identificeert deze prior specifieke aminozuurresiduen in een eiwitbindingszak.
• Interventieontwerp: Het raamwerk construeert gematchte verstoringparen:
  • Mechanistische Verstoringen ($\phi_{mech}$): Wijzigingen toegepast op componenten geselecteerd door de structurele prior ($P(x)$).
  • Schijnverstoringen ($\phi_{spur}$): Wijzigingen toegepast op componenten buiten de prior ($S_{spur} \subset P(x)^c$), met gebruik van dezelfde verstoringoperator en kardinaliteit.
• Interventief Responsprofiel: Het raamwerk vergelijkt de ruwe outputdistributies van het model voor en na deze verstoringen op een vast auditset.

De Drie Coherentiemetrics:
I-SAFE kwantificeert de "rangordecoherentie" van de outputdistributie met behulp van drie complementaire metrics. In tegenstelling tot scalair samenvattingen, vangen deze metrics de geometrie van de distributieve verschuiving.

1. Kwantil-gebaseerde Metric (QBM): Meet locatie-niveau coherentie. Het vergelijkt de verplaatsing van empirische quantielen (bijvoorbeeld quartielen) tussen de originele en verstoord outputs tegen de totale gemiddelde kwadratische fout. Lagere waarden duiden op een grotere verschuiving in de distributieve locatie.
2. Wasserstein Coherentie Metric (WCM): Meet ordinaal coherentie. Gebaseerd op theorie van optimaal transport, evalueert het hoe goed de natuurlijke koppeling van inputs en outputs behouden blijft na verstoring. Het vergelijkt de verplaatsing onder de natuurlijke correspondentie versus de optimale herschikking (permutatie) van outputs. Het is schaal-invariant en genormaliseerd.
3. Translatie-invariante WCM (TI-WCM): Meet vormcoherentie. Deze variant verwijdert het effect van globale gemiddelde verschuivingen (translatie), en isoleert veranderingen in de vorm van de distributie (variantie en hogere-orde momenten).

Auditlogica:
De audit berekent een prior-relatief contrast ($\Delta M = M_{spurious} - M_{mech}$) voor elke metric. Een positief contrast geeft aan dat verstoringen van de prior-geselecteerde componenten een coherentere (d.w.z. meer gestructureerde en voorspelbare) herschikking van de outputdistributie induceert dan verstoringen van non-prior componenten.

3. Belangrijkste Bijdragen

• Introductie van het Raamwerk: Het voorstellen van I-SAFE als een post-hoc audittool die het evaluatieobject verschuift van scalair samenvattingen naar volledige veranderingen in de outputdistributie onder interventie.
• Definitie van Metrics: De formalisering van drie specifieke metrics (QBM, WCM, TI-WCM) die de distributieve respons ontleden in locatie, ordinaal structuur en vorm. Deze metrics zijn geworteld in de theorie van optimaal transport en zijn ontworpen om model-onafhankelijk te zijn.
• Prior-Relatief Contrast: De introductie van een contrastieve evaluatiestrategie die het effect van structurele prioren isoleert door mechanistische verstoringen te vergelijken met gematchte schijncontroles, waarbij wordt gecontroleerd voor verstoringregels en kardinaliteit.
• Theoretische Eigenschappen: Bewijzen die aantonen dat de metrics begrensd zijn binnen $[0, 1]$, schaal-invariant zijn (voor WCM), en in staat zijn om onderscheid te maken tussen verschillende soorten distributieve herschikkingen.

4. Experimentele Resultaten

Het raamwerk is geïmplementeerd op de Davis-kinase benchmark voor voorspelling van Drug-Target Interactie (DTI).

• Opzet: Drie op sequentie gebaseerde DTI-modellen werden geaudit: DeepDTA, DeepConvDTI en TAPB. De structurele prior was afgeleid van KLIFS (Kinase–Ligand Interaction Fingerprints and Structures) annotaties van bindingszakken.
• Voorspellend Regime: Alle drie de modellen vertoonden vergelijkbare voorspellende prestaties (AUROC) op de Davis-testset, opererend binnen een vergelijkbaar voorspellend regime.
• Vondsten:
  • TAPB: Toonde significant positieve prior-relatieve contrasten voor zowel QBM als WCM ($\Delta QBM \approx +0.093$, $\Delta WCM \approx +0.063$). Dit geeft aan dat wanneer KLIFS bindingszak-residuen werden verstoord, de outputdistributie van TAPB op een zeer coherente manier zich herschikte (behoud van locatie en rangorde) in vergelijking met wanneer niet-zak-residuen werden verstoord.
  • DeepDTA & DeepConvDTI: Toonden verwaarloosbare of negatieve contrasten. DeepDTA toonde geen prior-uitgelijnd voordeel, en DeepConvDTI toonde een negatief ordinaal contrast, wat suggereert dat zijn coherente responsen niet specifiek verbonden waren met de structuur van de bindingszak.
  • Vormanalyse: De TI-WCM-contrasten waren negatief of dicht bij nul voor alle modellen, wat aangeeft dat de coherente signalen die in TAPB werden gedetecteerd, werden gedreven door locatie- en rangordeschuivingen in plaats van behoud van residuële vorm.

Conclusie van Experimenten: Ondanks vergelijkbare nauwkeurigheid vertoonden de modellen fundamenteel verschillende interventieve gedragingen. Alleen TAPB toonde aan dat zijn voorspellingen waren georganiseerd rond de wetenschappelijk relevante bindingszak-structuur, een onderscheid dat onzichtbaar is voor standaard op nauwkeurigheid gebaseerde evaluatie.

5. Betekenis en Claims

Het artikel claimt dat I-SAFE een statistisch onderbouwde, prior-relatieve test biedt voor het evalueren hoe getrainde wetenschappelijke voorspellers opereren onder structureel zinvolle verstoringen.

• Onderscheid van Causale Claims: De auteurs stellen expliciet dat I-SAFE niet de causale validiteit van een model vaststelt, noch bewijst dat het model het ware causale mechanisme heeft hersteld. In plaats daarvan biedt het herbruikbare metrics om te evalueren of de outputdistributie van een model coherently is georganiseerd met betrekking tot een externe, domeinspecifieke prior.
• Voorbij Scalair Auditing: Het raamwerk adresseert de beperking van scalair auditing door de geometrie van distributieve verschuivingen (locatie, orde, vorm) te vangen die onzichtbaar zijn voor geaggregeerde prestatiemetrics.
• Model-Agnostisch Nut: De methode is toepasbaar op elk domein waar inputs een gestructureerde decompositie toelaten en een externe structurele prior beschikbaar is, waardoor het een algemeen instrument wordt voor de structurele audit van black-box wetenschappelijke AI.
• Bescheiden Omvang: De auteurs benadrukken dat de audit een diagnostisch hulpmiddel is voor bestaande modellen, geen trainingsprocedure. Het helpt identificeren of het succes van een model wordt gedreven door relevante structurele kenmerken of schijn-correlaties, wat ondersteuning biedt voor meer precieze evaluatieve claims in wetenschappelijke AI.