ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

Résumé Technique : ISAAC – Audit du Raisonnement Causal dans les Modèles Profonds pour la Prédiction des Interactions Médicament–Cible

1. Énoncé du Problème

Les modèles d'apprentissage profond atteignent fréquemment une haute précision prédictive sur des benchmarks scientifiques, pourtant cette performance n'implique pas nécessairement que les modèles aient acquis un raisonnement ancré mécanistiquement. Au contraire, les modèles peuvent s'appuyer sur des corrélations fallacieuses, des artefacts spécifiques aux jeux de données, ou des caractéristiques « raccourcis » qui corrèlent avec la cible dans la distribution d'entraînement mais manquent de validité causale. Cette question est particulièrement critique dans des domaines scientifiques comme la prédiction des Interactions Médicament–Cible (DTI), où les sorties valides doivent dépendre de mécanismes moléculaires sous-jacents (par exemple, des interactions localisées protéine–ligand) plutôt que de motifs statistiques de surface.

Les paradigmes d'évaluation actuels reposent lourdement sur la précision prédictive, une métrique observationnelle qui évalue l'accord avec les étiquettes sur une distribution de données fixe. La précision seule ne peut distinguer entre une dépendance causale et une association fallacieuse. Bien que les méthodes d'interprétabilité existantes (par exemple, les cartes de saillance) offrent des explications corrélées, elles ne garantissent pas la validité causale, et les approches basées sur la robustesse se concentrent souvent sur les objectifs d'entraînement plutôt que sur l'audit du comportement de raisonnement de modèles figés et entraînés. Par conséquent, il manque un cadre standard pour tester explicitement si les prédictions sont pilotées par des composants d'entrée structurellement significatifs.

2. Méthodologie : Le Cadre ISAAC

Pour combler cette lacune, les auteurs introduisent ISAAC (Approche d'Audit Structurel Basée sur l'Intervention pour le Raisonnement Causal). ISAAC est un cadre d'audit structurel post-hoc qui évalue le raisonnement d'un modèle en tant que propriété comportementale conditionnelle à son régime prédictif, en utilisant des interventions contrôlées au niveau de l'entrée.

Concepts Clés :

• Comportement Interventionnel : Le raisonnement est sondé en appliquant des opérateurs déterministes $I$ aux entrées $x$, créant des entrées intervenues $x^I$. Le modèle $f_\theta$ est traité comme un système fixe ; les variations de sortie sont induites uniquement par l'intervention.
• Entrées Structurées : Les entrées sont décomposées en composants identifiables (par exemple, les résidus d'acides aminés dans une séquence protéique).
• Classes d'Interventions Appariées : Le cadre définit deux classes d'interventions basées sur une priorité structurelle spécifiée externement (par exemple, des poches de liaison connues) :
  • Interventions Mécanistiques ($I_{mech}$) : Perturbations appliquées aux composants identifiés comme pertinents par la priorité structurelle ($S \subseteq S_{prior}$).
  • Interventions Fallacieuses ($I_{spur}$) : Perturbations appliquées aux composants en dehors de la région définie par la priorité ($S' \subseteq S_{comp}$), appariées en cardinalité et en opérateur à l'ensemble mécanistique.
• Différence de Réponse Interventionnelle : Définie comme $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$, capturant le changement relatif de la sortie du modèle.

Métriques :
ISAAC quantifie la cohérence du raisonnement à travers trois métriques :

1. Score de Raisonnement (RS) : Une mesure par entrée définie comme $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$, où $m$ représente la médiane des réponses interventionnelles signées. Le RS quantifie la préférence relative pour les perturbations alignées mécanistiquement par rapport à celles qui ne le sont pas.
2. Coefficient de Séparation ($C_{sep}$) : Mesure la séparation géométrique entre les distributions des réponses mécanistiques et fallacieuses, normalisée par la variabilité intrinsèque des effets mécanistiques.
3. Taux de Chevauchement : La fraction des réponses fallacieuses tombant dans l'intervalle interquartile des réponses mécanistiques.

3. Configuration Expérimentale

Le cadre a été instancié dans le contexte de la prédiction des Interactions Médicament–Cible (DTI) en utilisant le benchmark Davis (interactions d'inhibiteurs de kinases).

• Modèles : Trois architectures basées sur les séquences avec des biais inductifs variables ont été auditées : DeepDTA, DeepConvDTI et TAPB (Target-Aware Prediction Benchmark).
• Conception des Interventions : Les interventions ont été appliquées exclusivement à la séquence de la cible protéique ($t$) tandis que le médicament ($d$) restait fixe.
  • Priorité Structurelle : Dérivée des annotations de poches de liaison KLIFS pour identifier les résidus mécanistiquement pertinents.
  • Interventions : Comportaient un masquage et des substitutions contraintes physico-chimiquement. Les portées mécanistiques ont été échantillonnées à partir des poches KLIFS ; les portées fallacieuses ont été échantillonnées à partir de résidus non-poches avec une cardinalité appariée.
• Protocole : Les modèles ont été entraînés et validés selon des procédures standard. La performance prédictive (AUROC) a été vérifiée pour s'assurer que tous les modèles opéraient dans un régime prédictif comparable. L'audit a été effectué post-hoc sur un sous-ensemble structurellement valide des données de test (208 cibles) sans réentraînement.

4. Résultats Clés

Les expériences ont révélé une dissociation significative entre la précision prédictive et le comportement de raisonnement :

• Performance Prédictive : Les trois modèles ont obtenu des scores AUROC presque indiscernables sur le sous-ensemble d'audit (variant de 0,876 à 0,907), confirmant qu'ils opéraient dans un régime prédictif comparable.
• Scores de Raisonnement (RS) : Malgré une précision similaire, les modèles ont présenté des différences substantielles et reproductibles dans leurs scores de raisonnement :
  • TAPB : A obtenu le RS le plus élevé (0,521) et un Coefficient de Séparation élevé (0,458), indiquant une séparation cohérente entre les réponses mécanistiques et fallacieuses.
  • DeepDTA : A montré un RS intermédiaire (0,441) mais une faible séparation.
  • DeepConvDTI : A présenté le RS le plus bas (0,414) et une séparation proche de zéro (0,061), indiquant une faible sensibilité aux perturbations mécanistiques et un manque de préférence cohérente pour les structures alignées.
• Conclusion sur la Précision : La différence d'environ 3 % dans l'AUROC ne corrélait pas avec l'ampleur des différences dans les scores de raisonnement (qui s'étendaient de 0,414 à 0,521). Cela démontre que l'évaluation basée sur la précision échoue à détecter les différences dans l'organisation structurelle des réponses du modèle.

5. Signification et Revendications

L'article revendique que la précision prédictive seule est insuffisante pour caractériser le raisonnement des modèles en apprentissage automatique scientifique. Les contributions principales sont :

• Cadre ISAAC : Un protocole d'audit principiel basé sur l'intervention qui évalue la sensibilité structurelle relative à une priorité indépendamment de la précision prédictive.
• Distinction Comportementale : La capacité à révéler des différences systématiques dans le comportement de raisonnement (par exemple, la dépendance aux sites de liaison localisés par rapport aux statistiques globales de séquence) qui restent invisibles sous une évaluation standard basée sur la précision.
• Audit Indépendant du Modèle : La méthode opère post-hoc sur des modèles figés, ne nécessitant ni réentraînement, ni accès interne au modèle, ni supervision au niveau de l'intervention, la rendant applicable à travers les architectures et les domaines avec des entrées structurées.

Les auteurs soulignent que leurs résultats mettent en évidence une distinction entre le « succès prédictif » et l'« organisation du raisonnement ». En contrastant les réponses aux perturbations structurellement alignées versus celles qui ne le sont pas, ISAAC fournit une base pour distinguer des modèles indiscernables sous des benchmarks conventionnels, offrant une évaluation plus transparente pour les applications scientifiques où la validité mécanistique est critique.

Limites Reconnues :

• La priorité structurelle (KLIFS) peut ne pas capturer tous les résidus déterminant l'affinité ; ainsi, les métriques reflètent une sensibilité relative à la priorité plutôt qu'une validité causale absolue.
• Les contrôles fallacieux sont appariés en cardinalité mais pas en contiguïté spatiale, introduisant une asymétrie géométrique.
• L'étude actuelle est restreinte aux interventions côté cible sur un seul jeu de données et trois architectures spécifiques.