💻 computer science

I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

L'article présente I-SAFE, un cadre d'audit a posteriori qui exploite des métriques de cohérence de Wasserstein pour évaluer l'alignement structurel des modèles d'IA scientifique avec les connaissances du domaine par le biais de perturbations d'entrée, révélant ainsi des incohérences distributionnelles que les benchmarks standard fondés sur la précision ne parviennent pas à détecter.

Auteurs originaux : Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchez un chef pour préparer un plat complexe. Vous goûtez le repas final, et il est délicieux. Vous lui attribuez une note élevée. Mais voici le problème : a-t-il réellement préparé le plat en utilisant les bons ingrédients et techniques, ou a-t-il simplement mémorisé une recette spécifique qui a le bon goût ce soir-là ?

Dans le monde de l'« IA scientifique » (des ordinateurs tentant de résoudre des problèmes scientifiques réels comme la découverte de médicaments), nous commettons souvent la même erreur. Nous regardons le score de test d'un modèle (sa capacité à prédire des choses) et supposons qu'il comprend la science. Mais l'article soutient qu'un score élevé est fragile. L'IA pourrait « tricher » en remarquant de minuscules motifs sans importance dans les données (comme la taille de la police du texte ou un bruit de fond spécifique) plutôt qu'en comprenant la structure biologique réelle.

Les auteurs de cet article, Barbara Tarantino, Gennaro Auricchio et Paolo Giudici, introduisent une nouvelle méthode pour auditer ces modèles d'IA appelée I-SAFE.

Voici comment I-SAFE fonctionne, expliqué par des analogies simples :

1. Le Problème : La « Boule Magique 8 » contre le « Chef Compréhensif »

Les modèles d'IA actuels sont comme des Boules Magiques 8. Vous les secouez (vous leur donnez des données), et ils donnent une réponse. Si la réponse est juste 90 % du temps, nous sommes satisfaits. Mais nous ne savons pas pourquoi ils ont raison.

Le Risque : L'IA pourrait avoir raison parce qu'elle a mémorisé les questions de test, et non parce qu'elle comprend la chimie. Si vous modifiez légèrement la question (comme changer un ingrédient spécifique dans un médicament), un modèle « intelligent » devrait réagir logiquement. Un modèle « tricheur » pourrait réagir de manière aléatoire ou pas du tout.

2. La Solution : L'« Audit Interventionnel »

Au lieu de simplement demander à l'IA : « Quelle est la réponse ? », I-SAFE demande : « Que se passe-t-il si nous piquons l'entrée ? »

Imaginez le modèle d'IA comme une boîte noire. Les scientifiques ont une carte de ce qui devrait être important (appelée un Prior Structurel). Dans leur expérience, cette carte était une liste de « poches de liaison » spécifiques sur une protéine où les médicaments s'attachent réellement.

Le Test : Ils prennent un médicament et une protéine. Ils créent deux versions de la protéine :
1. Le « Vrai » Piquage : Ils perturbent les parties que la carte indique comme importantes (les poches de liaison).
2. Le « Faux » Piquage : Ils perturbent les parties que la carte indique comme peu importantes (des parties aléatoires de la protéine).
L'Objectif : Ils veulent voir si l'IA réagit différemment au « Vrai » piquage qu'au « Faux » piquage. Si l'IA est véritablement scientifique, modifier les parties importantes devrait provoquer un changement logique et organisé dans sa prédiction. Modifier les parties peu importantes devrait provoquer un changement plus désordonné et moins structuré.

3. Les Trois « Règles » (Les Métriques)

L'article introduit trois façons spécifiques de mesurer à quel point la réaction de l'IA est « organisée ». Ils utilisent des noms mathématiques sophistiqués, mais imaginez-les comme trois règles différentes :

Règle 1 : La Règle de « Localisation » (QBM)
- Analogie : Imaginez une file de personnes classées par taille. Si vous changez les personnes importantes, toute la file se déplace-t-elle vers le haut ou le bas de manière fluide et prévisible ?
- Ce qu'elle vérifie : La prédiction moyenne s'est-elle déplacée dans une direction logique ?
Règle 2 : La Règle de « Ordre » (WCM)
- Analogie : Imaginez une course. Si vous changez les chaussures des coureurs, les temps d'arrivée se mélangent-ils d'une manière qui a du sens ? Ou le gagnant devient-il soudainement le perdant sans raison ?
- Ce qu'elle vérifie : L'IA a-t-elle maintenu le classement de ses prédictions cohérent ? (Par exemple, si le Médicament A était meilleur que le Médicament B avant, l'est-il toujours après le changement ?)
Règle 3 : La Règle de « Forme » (TI-WCM)
- Analogie : Imaginez un ballon. Si vous le serrez, devient-il simplement plus petit (déplacement), ou change-t-il de sa forme bizarre et bosselée ?
- Ce qu'elle vérifie : Le motif des réponses a-t-il changé, ou seulement les chiffres ? Cette règle ignore les simples déplacements pour voir si la « forme » sous-jacente des données est restée cohérente.

4. L'Expérience : Tester Trois « Chefs »

Les auteurs ont testé cette méthode sur trois modèles d'IA différents conçus pour prédire comment les médicaments interagissent avec les protéines (spécifiquement les kinases).

Le Dispositif : Ils ont utilisé un jeu de données standard (Davis) et la carte des « poches de liaison » (KLIFS) comme guide.
La Surprise : Les trois modèles avaient des scores de « goût » similaires (précision) sur le test. Ils semblaient tous être de bons chefs.
Le Résultat de l'Audit :
- Modèle A & B (DeepDTA, DeepConvDTI) : Lorsque les scientifiques ont piqué les parties « importantes », ces modèles ont réagi presque de la même manière que lorsqu'ils ont piqué les parties « peu importantes ». Ils n'étaient pas organisés. Ils faisaient probablement des suppositions ou s'appuyaient sur des raccourcis.
- Modèle C (TAPB) : Ce modèle a réagi différemment ! Lorsque les parties « importantes » ont été modifiées, ses réponses ont changé de manière très organisée et logique. Lorsque les parties « peu importantes » ont été modifiées, les réponses étaient désordonnées.
- Conclusion : Même si les trois modèles ont obtenu des notes similaires à l'examen final, seul TAPB semblait réellement comprendre la structure du problème.

5. Pourquoi Cela Compte

L'article conclut que la précision ne suffit pas. Vous pouvez avoir un modèle qui a raison 90 % du temps mais qui est scientifiquement inutile car il « triche ».

I-SAFE est comme un test de détecteur de mensonges pour l'IA. Il ne se soucie pas de savoir si le modèle a raison ou tort sur un seul pari ; il se soucie de savoir si le cerveau du modèle est câblé correctement. Il vérifie si la logique du modèle tient bon lorsque vous le piquez aux endroits que la science dit importants.

En résumé :

Ancienne Méthode : « Avez-vous obtenu la bonne réponse ? » (Oui/Non)
Méthode I-SAFE : « Si je change cette partie spécifique du problème, votre réponse change-t-elle d'une manière qui a du sens scientifiquement ? » (Cohérent/Incohérent)

Ce cadre permet aux scientifiques d'auditer les modèles d'IA « boîte noire » sans avoir besoin de voir leur code interne, garantissant que l'IA apprend réellement la science et ne fait pas que mémoriser le test.

Résumé Technique : I-SAFE – Interventionnel, Sûr, Précis, Équitable et Explicable

1. Énoncé du Problème

En apprentissage automatique scientifique, les modèles d'apprentissage profond sont fréquemment évalués sur la base de performances prédictives sur des données de test (par exemple, précision, AUROC). Cependant, une forte performance sur les benchmarks est un indicateur fragile d'un comportement scientifiquement significatif. Les modèles peuvent obtenir de bonnes scores prédictifs en exploitant des caractéristiques « raccourcis », des régularités spécifiques aux jeux de données ou des biais de distribution (tels que le biais de cible ou les effets de squelette) plutôt qu'en apprenant les propriétés structurelles sous-jacentes du domaine.

Les méthodes d'évaluation standard échouent à distinguer un modèle qui a appris la structure scientifique pertinente d'un modèle qui a simplement mémorisé des corrélations statistiques. De plus, les méthodes d'audit post-hoc existantes reposent souvent sur des résumés scalaires (par exemple, sensibilité moyenne ou attribution à un seul point), ce qui peut faire passer à côté de la manière dont la distribution complète de sortie se réorganise lorsque des structures d'entrée scientifiquement pertinentes sont perturbées. Il existe un besoin d'un cadre qui passe d'une évaluation observationnelle à une évaluation interventionnelle, évaluant non seulement si un modèle prédit correctement, mais comment ses prédictions changent sous des perturbations contrôlées et guidées structurellement.

2. Méthodologie : Le Cadre I-SAFE

Les auteurs introduisent I-SAFE (Interventionnel, Sûr, Précis, Équitable et Explicable), un cadre d'audit post-hoc et agnostique au modèle pour les prédicteurs scientifiques en boîte noire. Le cadre évalue la cohérence de la distribution de sortie d'un modèle sous des interventions guidées par un a priori structurel externe.

Composantes Principales :

Prédicteur en Boîte Noire ( $f_{BB}$ ) : Un modèle entraîné accessible uniquement via sa carte entrée-sortie.
A Priori Structurel ( $P$ ) : Une carte externe dérivée de connaissances du domaine (indépendante du modèle) qui identifie quelles composantes d'entrée sont scientifiquement pertinentes pour une tâche donnée. Par exemple, dans l'interaction médicament-cible (DTI), cet a priori identifie des résidus d'acides aminés spécifiques dans une poche de liaison protéique.
Conception de l'Intervention : Le cadre construit des paires de perturbations appariées :
- Perturbations Mécanistes ( $\phi_{mech}$ ) : Modifications appliquées aux composantes sélectionnées par l'a priori structurel ( $P(x)$ ).
- Perturbations Spurious ( $\phi_{spur}$ ) : Modifications appliquées aux composantes en dehors de l'a priori ( $S_{spur} \subset P(x)^c$ ), en utilisant le même opérateur de perturbation et la même cardinalité.
Profil de Réponse Interventionnelle : Le cadre compare les distributions de sortie brutes du modèle avant et après ces perturbations sur un ensemble d'audit fixe.

Les Trois Métriques de Cohérence :
I-SAFE quantifie la « cohérence de classement » de la distribution de sortie à l'aide de trois métriques complémentaires. Contrairement aux résumés scalaires, ces métriques capturent la géométrie du déplacement de distribution.

Métrique Basée sur les Quantiles (QBM) : Mesure la cohérence au niveau de la localisation. Elle compare le déplacement des quantiles empiriques (par exemple, les quartiles) entre les sorties originales et perturbées par rapport à l'erreur quadratique moyenne totale. Des valeurs plus faibles indiquent un déplacement plus important de la localisation de la distribution.
Métrique de Cohérence de Wasserstein (WCM) : Mesure la cohérence ordinale. Basée sur la théorie du transport optimal, elle évalue dans quelle mesure l'appariement naturel des entrées et des sorties est préservé après perturbation. Elle compare le déplacement sous la correspondance naturelle versus le réordonnancement optimal (permutation) des sorties. Elle est invariante d'échelle et normalisée.
WCM Invariant par Translation (TI-WCM) : Mesure la cohérence de forme. Cette variante élimine l'effet des déplacements globaux de moyenne (translation), isolant les changements dans la forme de la distribution (variance et moments d'ordre supérieur).

Logique d'Audit :
L'audit calcule un contraste relatif à l'a priori ( $\Delta M = M_{spurious} - M_{mech}$ ) pour chaque métrique. Un contraste positif indique que les perturbations des composantes sélectionnées par l'a priori induisent une réorganisation de la distribution de sortie plus cohérente (c'est-à-dire plus structurée et prévisible) que les perturbations des composantes non issues de l'a priori.

3. Contributions Clés

Introduction du Cadre : La proposition d'I-SAFE comme outil d'audit post-hoc qui déplace l'objet de l'évaluation des résumés scalaires vers les changements complets de la distribution de sortie sous intervention.
Définition des Métriques : La formalisation de trois métriques spécifiques (QBM, WCM, TI-WCM) qui décomposent la réponse de distribution en localisation, structure ordinale et forme. Ces métriques sont ancrées dans la théorie du transport optimal et conçues pour être agnostiques au modèle.
Contraste Relatif à l'A Priori : L'introduction d'une stratégie d'évaluation contrastive qui isole l'effet des a priori structurels en comparant les perturbations mécanistes à des contrôles spurious appariés, en contrôlant les règles de perturbation et la cardinalité.
Propriétés Théoriques : Des preuves établissant que les métriques sont bornées dans l'intervalle $[0, 1]$ , invariants d'échelle (pour WCM), et capables de distinguer différents types de réorganisation de distribution.

4. Résultats Expérimentaux

Le cadre a été instancié sur le benchmark des kinases Davis pour la prédiction d'interaction médicament-cible (DTI).

Configuration : Trois modèles de DTI basés sur les séquences ont été audités : DeepDTA, DeepConvDTI et TAPB. L'a priori structurel a été dérivé des annotations de poches de liaison de KLIFS (Kinase–Ligand Interaction Fingerprints and Structures).
Régime Prédictif : Les trois modèles ont démontré des performances prédictives comparables (AUROC) sur l'ensemble de test Davis, opérant dans un régime prédictif similaire.
Constats :
- TAPB : A montré des contrastes relatifs à l'a priori significativement positifs pour QBM et WCM ( $\Delta QBM \approx +0,093$ , $\Delta WCM \approx +0,063$ ). Cela indique que lorsque les résidus de la poche de liaison KLIFS étaient perturbés, la distribution de sortie de TAPB se réorganisait de manière hautement cohérente (préservant la localisation et le rang) par rapport à la perturbation de résidus hors poche.
- DeepDTA & DeepConvDTI : Ont montré des contrastes négligeables ou négatifs. DeepDTA n'a montré aucun avantage aligné sur l'a priori, et DeepConvDTI a montré un contraste ordinal négatif, suggérant que ses réponses cohérentes n'étaient pas spécifiquement liées à la structure de la poche de liaison.
- Analyse de Forme : Les contrastes TI-WCM étaient négatifs ou proches de zéro pour tous les modèles, indiquant que les signaux cohérents détectés chez TAPB étaient pilotés par des déplacements de localisation et de classement plutôt que par une préservation résiduelle de la forme.

Conclusion des Expériences : Malgré une précision similaire, les modèles ont exhibé des comportements interventionnels fondamentalement différents. Seul TAPB a démontré que ses prédictions étaient organisées autour de la structure de la poche de liaison scientifiquement pertinente, une distinction invisible pour l'évaluation standard basée sur la précision.

5. Signification et Revendications

L'article revendique qu'I-SAFE fournit un test statistiquement fondé et relatif à un a priori pour évaluer comment les prédicteurs scientifiques entraînés opèrent sous des perturbations structurellement significatives.

Distinction par rapport aux Revendications Causales : Les auteurs déclarent explicitement qu'I-SAFE n'établit pas la validité causale d'un modèle ni ne prouve que le modèle a récupéré le véritable mécanisme causal. Au lieu de cela, il fournit des métriques réutilisables pour évaluer si la distribution de sortie d'un modèle est organisée de manière cohérente par rapport à un a priori externe et spécifique au domaine.
Au-delà de l'Audit Scalaire : Le cadre adresse la limitation de l'audit scalaire en capturant la géométrie des déplacements de distribution (localisation, ordre, forme) qui sont invisibles pour les métriques de performance agrégées.
Utilité Agnostique au Modèle : La méthode est applicable à tout domaine où les entrées admettent une décomposition structurée et où un a priori structurel externe est disponible, en faisant un outil général pour l'audit structurel des IA scientifiques en boîte noire.
Portée Modeste : Les auteurs soulignent que l'audit est un outil de diagnostic pour les modèles existants, et non une procédure d'entraînement. Il aide à identifier si le succès d'un modèle est piloté par des caractéristiques structurelles pertinentes ou par des corrélations spurious, soutenant ainsi des revendications évaluatives plus précises en IA scientifique.