ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

Technische Samenvatting: ISAAC – Audit van Causaal Redeneren in Diepe Modellen voor Voorspelling van Geneesmiddel-Doelwitinteracties

1. Probleemstelling

Diepe leermodellen bereiken vaak een hoge voorspellende nauwkeurigheid op wetenschappelijke benchmarks, maar deze prestatie impliceert niet noodzakelijkerwijs dat de modellen redeneren dat mechanistisch onderbouwd is. In plaats daarvan kunnen modellen vertrouwen op schijnbare correlaties, dataset-specifieke artefacten of "shortcut"-kenmerken die binnen de verdelingscontext correleren met het doel, maar geen causale geldigheid bezitten. Dit probleem is bijzonder kritiek in wetenschappelijke domeinen zoals de voorspelling van Geneesmiddel-Doelwitinteracties (DTI), waarbij geldige uitkomsten moeten afhangen van onderliggende moleculaire mechanismen (bijvoorbeeld gelokaliseerde eiwit-ligand-interacties) in plaats van oppervlakkige statistische patronen.

Huidige evaluatieparadigma's vertrouwen sterk op voorspellende nauwkeurigheid, een observationele metriek die overeenstemming met labels beoordeelt binnen een vaste data-verdeling. Nauwkeurigheid alleen kan niet onderscheid maken tussen causale afhankelijkheid en schijnbare associatie. Hoewel bestaande interpretabiliteitsmethoden (bijvoorbeeld salientie-kaarten) correlatieve verklaringen bieden, garanderen ze geen causale geldigheid, en benaderingen gebaseerd op robuustheid richten zich vaak op trainingsdoelen in plaats van het auditen van het redeneergedrag van bevroren, getrainde modellen. Bijgevolg ontbreekt er een standaardkader om expliciet te testen of voorspellingen worden gedreven door structureel betekenisvolle invoercomponenten.

2. Methodologie: Het ISAAC-kader

Om deze kloof te dichten, introduceren de auteurs ISAAC (Intervention-based Structural Auditing Approach for Causal Reasoning). ISAAC is een post-hoc structureel auditkader dat het redeneren van een model evalueert als een gedrags eigenschap die conditioneel is op zijn voorspellende regime, met behulp van gecontroleerde interventies op invoerniveau.

Kernconcepten:

• Interventiegedrag: Redeneren wordt onderzocht door deterministische operatoren $I$ toe te passen op invoeren $x$, waardoor geïnterveneerde invoeren $x^I$ ontstaan. Het model $f_\theta$ wordt behandeld als een vast systeem; variaties in de output worden uitsluitend veroorzaakt door de interventie.
• Gestructureerde Invoeren: Invoeren worden ontleed in identificeerbare componenten (bijvoorbeeld aminozuurresiduen in een eiwitsequentie).
• Gekoppelde Interventieklassen: Het kader definieert twee klassen van interventies op basis van een extern gespecificeerde structurele prior (bijvoorbeeld bekende bindingszakken):
  • Mechanistische Interventies ($I_{mech}$): Verstoringen toegepast op componenten die door de structurele prior als relevant zijn geïdentificeerd ($S \subseteq S_{prior}$).
  • Schijnbare Interventies ($I_{spur}$): Verstoringen toegepast op componenten buiten het door de prior gedefinieerde gebied ($S' \subseteq S_{comp}$), gekoppeld in kardinaliteit en operator aan de mechanistische set.
• Verschil in Interventierespons: Gedefinieerd als $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$, wat de relatieve verandering in modeloutput vastlegt.

Metrieken:
ISAAC kwantificeert consistentie in redeneren via drie metrieken:

1. Redeneerscore (RS): Een per-invoer maat gedefinieerd als $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$, waarbij $m$ de mediaan van getekende interventieresponsen vertegenwoordigt. RS kwantificeert de relatieve voorkeur voor mechanistisch uitgelijnde verstoringen ten opzichte van niet-uitgelijnde.
2. Scheidingscoëfficiënt ($C_{sep}$): Meet de geometrische scheiding tussen de verdelingen van mechanistische en schijnbare responsen, genormaliseerd door de intrinsieke variabiliteit van mechanistische effecten.
3. Overlappingspercentage: Het fractie van schijnbare responsen die binnen het interkwartielbereik van mechanistische responsen valt.

3. Experimentele Opzet

Het kader is geïmplementeerd in de context van Geneesmiddel-Doelwitinteractie (DTI)-voorspelling met behulp van de Davis-benchmark (kinase-remmer interacties).

• Modellen: Drie sequentie-gebaseerde architecturen met variërende inductieve bias werden geaudit: DeepDTA, DeepConvDTI en TAPB (Target-Aware Prediction Benchmark).
• Interventieontwerp: Interventies werden uitsluitend toegepast op de eiwitdoel-sequentie ($t$) terwijl het geneesmiddel ($d$) constant bleef.
  • Structurele Prior: Afgeleid van KLIFS-annotaties van bindingszakken om mechanistisch relevante residuen te identificeren.
  • Interventies: Omvatten masking en fysisch-chemisch beperkte substituties. Mechanistische scopes werden bemonsterd uit KLIFS-zakken; schijnbare scopes werden bemonsterd uit niet-zak-residuen met gekoppelde kardinaliteit.
• Protocol: Modellen werden getraind en gevalideerd volgens standaardprocedures. Voorspellende prestatie (AUROC) werd geverifieerd om ervoor te zorgen dat alle modellen binnen een vergelijkbaar regime opereerden. Audit werd post-hoc uitgevoerd op een structureel geldig subset van de testdata (208 doelen) zonder hertraining.

4. Belangrijkste Resultaten

De experimenten onthulden een significante dissociatie tussen voorspellende nauwkeurigheid en redeneergedrag:

• Voorspellende Prestatie: Alle drie de modellen behaalden bijna niet te onderscheiden AUROC-scores op het audit-subset (variërend van 0,876 tot 0,907), wat bevestigt dat ze in een vergelijkbaar voorspellend regime opereerden.
• Redeneerscores (RS): Ondanks vergelijkbare nauwkeurigheid vertoonden de modellen aanzienlijke en reproduceerbare verschillen in hun redeneerscores:
  • TAPB: Bereikte de hoogste RS (0,521) en een hoge Scheidingscoëfficiënt (0,458), wat wijst op een coherente scheiding tussen mechanistische en schijnbare responsen.
  • DeepDTA: Toonde een intermediaire RS (0,441) maar lage scheiding.
  • DeepConvDTI: Vertoonde de laagste RS (0,414) en een scheiding dicht bij nul (0,061), wat wijst op een zwakke gevoeligheid voor mechanistische verstoringen en een gebrek aan coherente voorkeur voor uitgelijnde structuren.
• Conclusie over Nauwkeurigheid: Het verschil van ~3% in AUROC correleerde niet met de omvang van de verschillen in redeneerscores (die varieerden van 0,414 tot 0,521). Dit demonstreert dat evaluatie gebaseerd op nauwkeurigheid faalt om verschillen in de structurele organisatie van modelresponsen te detecteren.

5. Betekenis en Claims

Het artikel stelt dat alleen voorspellende nauwkeurigheid ontoereikend is om modelredeneren in wetenschappelijk machine learning te karakteriseren. De primaire bijdragen zijn:

• ISAAC-kader: Een principieel, interventie-gebaseerd auditprotocol dat prior-relatieve structurele gevoeligheid beoordeelt, onafhankelijk van voorspellende nauwkeurigheid.
• Gedragsonderscheid: Het vermogen om systematische verschillen in redeneergedrag te onthullen (bijvoorbeeld afhankelijkheid van gelokaliseerde bindingsplaatsen versus globale sequentiestatistieken) die onzichtbaar blijven onder standaard evaluatie op basis van nauwkeurigheid.
• Modelonafhankelijke Audit: De methode werkt post-hoc op bevroren modellen, vereist geen hertraining, interne modeltoegang of supervisie op interventieniveau, waardoor het toepasbaar is op architecturen en domeinen met gestructureerde invoer.

De auteurs benadrukken dat hun bevindingen een onderscheid highlighten tussen "voorspellend succes" en de "organisatie van redeneren". Door responsen te vergelijken op structureel uitgelijnde versus niet-uitgelijnde verstoringen, biedt ISAAC een basis om modellen te onderscheiden die onder conventionele benchmarks niet te onderscheiden zijn, en biedt het een transparantere beoordeling voor wetenschappelijke toepassingen waar mechanistische geldigheid kritiek is.

Erkende Beperkingen:

• De structurele prior (KLIFS) kan niet alle affiniteitsbepalende residuen vastleggen; bijgevolg weerspiegelen metrieken prior-relatieve gevoeligheid in plaats van absolute causale geldigheid.
• Schijnbare controles waren gekoppeld in kardinaliteit maar niet in ruimtelijke continuïteit, wat een geometrische asymmetrie introduceerde.
• Het huidige onderzoek is beperkt tot interventies aan de doelzijde op een enkele dataset en drie specifieke architecturen.