🤖 machine learning

Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

Ce papier soutient que les flux de travail de l'IA pour la science doivent traiter les pipelines de la mesure vers les ensembles de données comme des composantes d'inférence active plutôt que comme des sources de données fixes afin de répondre aux espaces d'hypothèses cachés, à la transférabilité non certifiée et à la multiplicité non régie, permettant ainsi une adéquation quantifiable des pipelines et des preuves scientifiques reproductibles.

Auteurs originaux : Ling Zhan, Xiaoyao Yu, Tao Jia

Publié 2026-05-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ling Zhan, Xiaoyao Yu, Tao Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le Problème de la « Lentille Gelée »

Imaginez que vous essayez de comprendre un objet mystérieux dans une pièce sombre. Vous ne pouvez pas voir l'objet directement ; vous ne pouvez voir que son ombre projetée sur le mur par une lampe spécifique.

Dans l'IA pour la science, les chercheurs agissent souvent comme s'ils étudiaient l'objet lui-même. Mais en réalité, ils étudient l'ombre.

Le papier soutient que dans de nombreux domaines scientifiques (comme l'imagerie cérébrale, l'astronomie ou la découverte de médicaments), les données utilisées par les scientifiques ne sont pas une « réalité brute ». C'est une version traitée, épurée et reconstruite de la réalité. Ce traitement s'effectue via une longue chaîne d'étapes appelée pipeline (filtrage du bruit, comblement des pièces manquantes, conversion des signaux).

Actuellement, les scientifiques traitent l'ensemble de données final comme s'il s'agissait d'un fait fixe et objectif. Ils disent : « Voici les données, construisons maintenant un modèle. » Les auteurs appellent cela la « Lentille Gelée ». Ils soutiennent que c'est une erreur. Le pipeline qui a créé les données est en réalité une partie énorme du raisonnement scientifique, et en le « gelant » (en l'ignorant), nous cachons le fait que nos conclusions dépendent entièrement de la façon dont nous avons choisi de projeter cette ombre.

Les Trois Façons Dont Cela Mal Tourne

Les auteurs identifient trois manières spécifiques dont cette « Lentille Gelée » fait échouer la science. Imaginez-les comme trois pièges :

1. Le Menu Caché (Espace d'Hypothèses Caché)

L'Analogie : Imaginez un restaurant qui vous sert un burger. Vous supposez que le burger est la « vérité » de ce que le chef a préparé. Mais le chef avait un menu de 50 façons différentes de faire ce burger (différents pains, différents temps de cuisson, différentes sauces). Le restaurant ne vous a servi qu'une version spécifique et ne vous a pas parlé des 49 autres.
Le Problème : Lorsque les scientifiques publient un ensemble de données, ils choisissent généralement une seule façon de traiter les mesures brutes. Ils ne vous disent pas que s'ils avaient choisi un filtre légèrement différent ou une méthode de nettoyage différente, le « burger » (les données) aurait pu avoir une apparence complètement différente.
Le Résultat : Le modèle d'IA apprend à prédire en se basant sur cette version spécifique du burger. Il pense avoir découvert une vérité universelle, mais il ne fait en réalité que mémoriser les particularités de cette seule recette spécifique. Le « menu » des autres réalités possibles est caché.

2. La Carte Cassée (Transportabilité Non Certifiée)

L'Analogie : Imaginez que vous avez une carte d'une ville dessinée parfaitement pour une journée ensoleillée. Vous utilisez cette carte pour vous orienter. Mais ensuite, il se met à pleuvoir et les rues s'inondent. La carte ne vous montre pas les flaques car elle n'a été dessinée que pour les journées ensoleillées. Vous essayez d'utiliser la carte sous la pluie, vous restez bloqué et vous blâmez vos compétences de conduite.
Le Problème : Un pipeline peut fonctionner parfaitement dans le laboratoire où les données ont été collectées (la « journée ensoleillée »). Mais si vous essayez d'utiliser cette même méthode de traitement des données sur des données provenant d'un hôpital différent, d'un pays différent ou d'une machine différente (la « journée de pluie »), le pipeline peut se briser ou déformer les données de manière étrange.
Le Résultat : Les scientifiques ignorent souvent quand leur méthode de traitement des données cesse de fonctionner. Lorsqu'un modèle d'IA échoue sur de nouvelles données, nous ne savons pas si l'IA est mauvaise, ou si la « carte » (le pipeline) était simplement invalide pour ce nouvel environnement.

3. La Foule d'Experts (Multiplicité Non Régulée)

L'Analogie : Imaginez un jury de 100 experts regardant la même photo d'une scène de crime. Ils sont tous d'accord sur les faits, mais ils utilisent tous des loupes légèrement différentes. 90 d'entre eux concluent que le suspect est coupable. 10 concluent que le suspect est innocent. Les nouvelles rapportent : « Les experts disent que le suspect est coupable », en ignorant les 10 qui étaient en désaccord.
Le Problème : En science, il existe souvent de nombreuses façons « défendables » de traiter les données. Vous pouvez choisir de filtrer le bruit de cinq façons valides différentes. Si vous en choisissez une, vous obtenez un résultat. Si vous en choisissez une autre, vous obtenez un résultat différent.
Le Résultat : Les scientifiques choisissent souvent la seule méthode qui leur donne le résultat le plus « cool » ou le plus significatif, et ignorent le fait que 99 autres méthodes valides auraient donné une réponse différente. Ils traitent leur choix unique comme la vérité absolue, au lieu d'admettre : « Nous avons essayé 100 façons, et la réponse est un peu incertaine. »

L'« Audit EEG » : Un Test de Réalité

Pour prouver que ce n'est pas juste de la théorie, les auteurs ont mené une expérience massive sur des données cérébrales (EEG) liées à la dépression.

Le Déroulement : Ils ont pris des données d'ondes cérébrales brutes et les ont fait passer à travers 245 376 combinaisons différentes de pipelines de traitement. (Imaginez essayer chaque combinaison possible de filtres, d'outils de nettoyage et de règles de mesure).
L'Objectif : Ils cherchaient un signal spécifique : une différence dans l'activité cérébrale entre les personnes souffrant de dépression et les personnes en bonne santé.
Le Résultat Choquant :
- Beaucoup des 245 000+ pipelines ont trouvé une différence « significative ».
- MAIS, lorsqu'ils ont vérifié si ces différences résistaient à travers différents groupes de personnes (différents ensembles de données), UN SEUL pipeline sur 245 376 a survécu.
- Cela représente un taux de survie de 0,0004 %.

Ce que cela signifie : Presque à chaque fois que les scientifiques ont fait une « découverte » dans ce domaine, il s'agissait probablement d'un hasard lié au pipeline spécifique qu'ils avaient choisi. La « vérité » était si fragile que changer légèrement les règles de traitement faisait disparaître la découverte.

La Solution : Le « Cadre d'Observation Calculable »

Les auteurs ne disent pas que nous devrions arrêter de faire de la science. Ils disent que nous devons changer notre façon de traiter les données.

Façon Actuelle :

Données Brutes $\rightarrow$ [Pipeline Boîte Noire] $\rightarrow$ « Données Propres » $\rightarrow$ Modèle d'IA.
Nous faisons semblant que les « Données Propres » sont la vérité.

Façon Proposée :

Données Brutes $\rightarrow$ Le Pipeline en tant que Variable $\rightarrow$ Modèle d'IA.
Nous traitons le pipeline comme une hypothèse scientifique. Nous demandons : « Cette conclusion tient-elle si nous changeons le pipeline ? »

Ils proposent de construire un système où :

Les Pipelines sont des « Objets Exécutables » : Au lieu d'un simple rapport PDF disant « nous avons utilisé la Méthode A », le code de la Méthode A (et toutes ses variations possibles) est enregistré comme un objet numérique qui peut être exécuté, testé et modifié.
La Stabilité est l'Objectif : Au lieu de simplement chercher le modèle qui prédit le mieux, nous cherchons le modèle qui donne la même réponse peu importe le pipeline valide que nous utilisons.
L'Incertitude est Partagée : Si 100 pipelines donnent 100 réponses différentes, nous rapportons cette incertitude. Nous ne la cachons pas.

Résumé

Le papier soutient que dans l'IA pour la science, l'outil utilisé pour mesurer la réalité est tout aussi important que la mesure elle-même. En ignorant l'outil (le pipeline), les scientifiques construisent souvent des modèles d'IA sur des fondations instables. Ils doivent cesser de traiter les données traitées comme un fait fixe et commencer à les traiter comme une partie variable de l'expérience scientifique.

Résumé technique : L'IA pour la science doit traiter les chaînes de traitement des mesures aux jeux de données comme des composants d'inférence

Énoncé du problème
Dans les flux de travail de « l'IA pour la science » (AI4Science), en particulier ceux reposant sur l'observation indirecte (par exemple, l'imagerie neurologique, la biologie structurale, l'astronomie radio), la cible scientifique est inférée à partir de mesures brutes de capteurs via des chaînes de traitement multi-étapes comprenant la mesure, la reconstruction et le prétraitement. Actuellement, ces flux de travail traitent le jeu de données publié comme une interface fixe, « gelant » efficacement le modèle d'observation ( $P_\phi$ ) qui mappe les mesures brutes ( $x$ ) vers une représentation dérivée ( $z$ ).

Les auteurs soutiennent que traiter ces chaînes comme des définitions de données statiques plutôt que comme des composants d'inférence actifs crée une « lentille gelée ». Cette approche obscurcit l'incertitude inhérente aux choix de la chaîne et conduit à trois modes de défaillance spécifiques :

Espace d'hypothèses caché (C1) : Le jeu de données publié ne spécifie pas la configuration de la chaîne ni ses conditions de validité. Par conséquent, l'espace d'hypothèses effectif est restreint aux explications compatibles uniquement avec la représentation gelée, masquant les modèles d'observation alternatifs qui pourraient produire des conclusions mécanistiques différentes.
Transportabilité non certifiée (C2) : Les chaînes documentées sont rarement accompagnées d'un régime de validité testé. Lorsque les protocoles d'acquisition, les capteurs ou les conditions de bruit changent, la chaîne peut échouer à transporter correctement la représentation. Comme le prétraitement est souvent irréversible et de plusieurs vers un, les apprenants en aval ne peuvent pas récupérer les distinctions supprimées en amont, conduisant à des affirmations mécanistiques fragiles qui ne généralisent pas à travers les régimes.
Multiplicité non gouvernée (C3) : Plusieurs chaînes défendables existent souvent pour une tâche donnée. Les pratiques actuelles propagent rarement la dispersion parmi ces chaînes dans des preuves qualifiées par l'incertitude. Au lieu de cela, une seule chaîne « par défaut » ou « de meilleure pratique » est sélectionnée, effondrant la variation valide en une estimation ponctuelle et gonflant la confiance dans les affirmations mécanistiques.

Méthodologie
Pour valider empiriquement ces affirmations, les auteurs ont mené un audit à grande échelle dans le domaine de la connectomique fonctionnelle par EEG, investiguant spécifiquement l'asymétrie hémisphérique comme biomarqueur du trouble dépressif majeur (MDD).

Conception expérimentale : L'audit a évalué un vaste espace de modèles d'observation admissibles. Ils ont combiné 864 chaînes de prétraitement distinctes (variant en filtrage, référence, débruitage, sous-échantillonnage et fenêtrage) avec 284 opérateurs d'interaction paire statistique (SPI) (règles pour convertir les séries temporelles de canaux en poids de liens de connectivité fonctionnelle).
Échelle : Cela a donné lieu à 245 376 configurations uniques de chaîne-opérateur testées sur deux jeux de données indépendants (MODMA et CISIR).
Critères d'évaluation :
- Significativité : Séparation intra-jeu de données entre les groupes MDD et Témoin sain (HC) utilisant un test U de Mann–Whitney.
- Stabilité : Accord inter-jeux de données sur la direction de l'effet et l'ordre relatif, évalué par rééchantillonnage par bootstrap.
Proposition de cadre : L'article propose un passage des listes de contrôle procédurales aux Cadres d'Observation Calculables (COF). Ce cadre se compose de trois couches :
1. Représentation : Spécifications versionnées et exécutables de la famille de chaînes admissibles ( $\Phi$ ), incluant les graphes d'opérateurs et les domaines de paramètres.
2. Optimisation : Procédures de recherche qui optimisent la stabilité et la transportabilité à travers les paramètres plutôt que simplement l'ajustement prédictif sur un artefact gelé.
3. Gouvernance : Plateformes pour des registres d'audit réutilisables qui accumulent des preuves sur l'espace des modèles d'observation, permettant la propagation de l'incertitude.

Résultats clés
L'audit empirique a produit un taux de survie marquant pour les preuves mécanistiques stables :

Bien que de nombreuses configurations aient atteint une significativité statistique au sein d'un seul jeu de données, la grande majorité a échoué à maintenir des conclusions cohérentes à travers les deux jeux de données indépendants.
Une seule configuration sur 245 376 a satisfait à la fois les critères de significativité intra-jeu de données et de stabilité inter-jeux de données.
Cela correspond à un taux de survie d'environ 0,0004 %.
Les résultats démontrent que la « lentille gelée » crée un paysage où les découvertes significatives sont hautement sensibles aux choix de la chaîne, et que les heuristiques de sélection standard choisissent souvent des chaînes qui ne généralisent pas, validant ainsi l'existence de C1, C2 et C3.

Signification et affirmations
L'article affirme que le paradigme actuel traitant les jeux de données comme des interfaces fixes est épistémiquement insuffisant pour l'AI4Science, où l'objectif est la découverte mécanistique plutôt que la simple prédiction.

Recadrage des chaînes : Les auteurs affirment que les chaînes ne sont pas de simples étapes de prétraitement mais sont des composants d'inférence. Leurs sorties doivent être traitées comme des preuves incertaines plutôt que comme des faits objectifs.
Adresser la « lentille gelée » : En rendant les chaînes des objets calculables, la communauté peut quantifier l'adéquation et la stabilité des chaînes. Cela convertit des choix d'implémentation implicites en preuves scientifiques auditables, reproductibles et cumulatives.
Rôle du ML : L'article postule que le rôle de l'apprentissage automatique doit s'étendre au-delà de l'optimisation des modèles prédictifs ( $\theta$ ) pour gouverner le modèle d'observation ( $\phi$ ). Cela implique de représenter les espaces de conception, de définir des objectifs alignés sur la stabilité, et d'effectuer une recherche budgétisée pour sélectionner ou agréger des chaînes admissibles tout en propageant l'incertitude résiduelle.
Appel à l'action : Les auteurs appellent au développement de Cadres d'Observation Calculables spécifiques au domaine pour remplacer les listes de contrôle statiques de « meilleures pratiques » par des couches dynamiques et interrogeables du flux de travail d'inférence. Ce changement est présenté comme nécessaire pour empêcher l'accumulation d'affirmations scientifiques fragiles et non reproductibles à mesure que l'AI4Science s'étend via les modèles de fondation et les laboratoires automatisés.