Large-Scale Reproduction of Alzheimer Research on aCommon Dataset Reveals an Information Ceiling on theField’s Evidence

Résumé Technique : Reproduction à Grande Échelle de la Recherche sur Alzheimer sur un Jeu de Données Commun

1. Le Problème

Les domaines scientifiques accumulent souvent un nombre immense d'allégations publiées qui sont difficiles à synthétiser ou à comparer directement. Dans la recherche sur la maladie d'Alzheimer (MA), des dizaines de milliers de publications proposent des hypothèses concurrentes (ex: amyloïde, tau, vasculaire, neuroinflammation) concernant les mécanismes de la maladie. Cependant, les efforts de réplication standards sont limités par l'échelle et la méthodologie :

• Scalabilité : La réplication manuelle ne peut pas suivre le rythme de domaines produisant des centaines de milliers d'allégations.
• Comparabilité : Les méta-analyses agrègent des estimations mais ne parviennent pas à rendre les hypothèses rivales directement comparables lorsque ces estimations proviennent de différents jeux de données, protocoles et conditions analytiques.
• Écart d'adjudication : Un domaine peut reproduire la performance prédictive d'un modèle (ex: l'AUC) sur un jeu de données commun, tout en échouant à déterminer si le substrat sous-jacent contient suffisamment d'informations pour distinguer les hypothèses concurrentes. L'article soutient que la « reproduction » (prédire le résultat) est distincte de l'« adjudication » (distinguer des revendications causales rivales).

2. Méthodologie : Agrégation d'Hypothèses par IA (AHA)

Les auteurs introduisent l'AHA, un instrument supervisé et gouverné par l'humain conçu pour transformer une littérature en un compte rendu testable de ce que ses preuves peuvent et ne peuvent pas distinguer. L'AHA opère en trois phases utilisant une architecture à deux couches strictement séparées :

• Couche 1 : Interprétative (Extraction par LLM)

  • Utilise un LLM hébergé (Llama-70B) strictement confiné à l'extraction de revendications mécanisme-résultat à partir de la littérature de revue.
  • Le LLM n'est pas autorisé à générer des conclusions numériques.
  • Les résultats sont harmonisés en « camps » (groupes d'hypothèses) et cartographiés vers des signatures exécutables.

• Couche 2 : Quantitative (IA/ML Déterministe)

  • Utilise cinq classes de modèles de base (gradient boosting, random forest, perceptron multicouche, régression logistique, XGBoost) et un modèle d'ensemble.
  • Réinstancie les revendications extraites sur un substrat commun (ADNI) sous un protocole apparié.
  • Calcule la discrimination, l'incertitude et les diagnostics de suffisance d'information.

Les Trois Phases d'Exécution :

1. Phase 1 (Reproduction) : Reconstruit les camps d'hypothèses, cartographie les signatures exécutables et reproduit les revendications de manière statique et dynamique sur le substrat commun pour vérifier si la performance prédictive rapportée peut être répliquée à grande échelle.
2. Phase 2 (Audit de Suffisance d'Information) : Applique des métriques non paramétriques pré-modèles pour déterminer si le substrat commun contient assez d'informations pour adjudiquer les hypothèses. Cela repose sur le lemme de Neyman-Pearson et les inégalités de traitement des données, qui dictent qu'aucun modèle ne peut extraire plus de discrimination que l'information présente dans le substrat lui-même.
3. Phase 3 (Analyse Comportementale) : Compare la preuve reproduite par rapport aux modèles de publication et de citation du domaine pour identifier un découplage entre l'attention et le soutien probatoire.

Métriques Clés Introduites :

• Indice de Fait Accompli (FAI) : Mesure si la discrimination est pilotée par l'état accumulé (niveau) plutôt que par la trajectoire vivante (pente). Un FAI élevé indique que le signal est observé après l'événement de transition.
• Non-Identifiabilité Locale (PBR) : Évalue si les convertisseurs et les non-convertisseurs sont localement séparables.
• Avantage Prédictif Résiduel (RPA) : Mesure la performance du modèle par rapport à une ligne de base locale du taux de résultat exempte de fuite (leakage).
• Information Mutuelle (I) : Quantifie la quantité d'entropie de résultat que le substrat résout.

3. Contributions Clés et Résultats

L'étude a été appliquée à 95 756 publications (2005–2025), isolant 10 884 articles porteurs de données et récupérant six camps d'hypothèses : Amyloïde, Tau, Vasculaire, Neuroinflammation, Métabolique, et LATE/Pathologie Mixte. Le jeu de données ADNI a été sélectionné comme le substrat mature le plus large capable de porter les six camps.

Résultats de la Phase 1 : Reproduction de la Performance

• L'AHA a instancié 204 signatures exécutables et a réalisé environ 1,23 million d'ajustements de modèles.
• Sans réglage spécifique à Alzheimer, l'AHA a reproduit la performance prédictive rapportée par le domaine. Le meilleur panel multivarié a atteint une AUC de 0,844, soit un écart de 0,016 par rapport à la médiane rapportée dans la littérature (0,860).
• Cependant, sous une comparabilité stricte (un seul marqueur canonique par camp), la discrimination s'est rétrécie (médiane de l'AUC entre 0,682 et 0,783).
• Le « meilleur » panel était identique pour quatre camps, et les distributions de discrimination se chevauchaient de manière significative (14 comparaisons par paires sur 15). Le signal se résolvait largement sur un seul axe d'intégrité cérébrale (la PC1 expliquant 51,0 % de la variance).

Résultats de la Phase 2 : Insuffisance d'Information

• Fait Accompli : Pour quatre camps calculables (Métabolique, Amyloïde, Tau, LATE), le FAI variait de 0,878 à 0,955. Cela indique que la discrimination est portée par les niveaux accumulés (états post-transition) plutôt que par les changements de trajectoire en direct.
• Faible Contenu d'Information : Le substrat fournissait une information mutuelle minimale sur la conversion :
  • Métabolique : 0,066 bit (8,3 % de l'entropie de résultat).
  • Tau : 0,095 bit (10,9 %).
  • LATE : 0,106 bit (12,2 %).
  • Amyloïde : 0,134 bit (15,5 %).
  • Tous les camps résolvaient moins de 16 % de l'entropie de résultat.
• Échecs des Portes de Soutien : Le camp Vasculaire a échoué à la porte de soutien (AUC de niveau de 0,408, en dessous du hasard), et la Neuroinflammation s'est effondrée en raison d'un manque d'échantillonnage longitudinal (n=3, 0 convertisseur).
• Conclusion : Selon la borne de Neyman-Pearson, aucun modèle ne peut excéder la discrimination disponible dans le substrat. Puisque le substrat est informationnellement insuffisant, le « plafond » pour distinguer ces hypothèses retombe au niveau du hasard.

Résultats de la Phase 3 : Découplage Citation–Preuve

• L'attention de la recherche a divergé nettement du soutien probatoire. Le camp Amyloïde représentait environ 52 706 articles et 1,49 million de citations (soit environ 21 fois plus de publications que le camp le moins recherché).
• Malgré l'absence de discrimination séparable sur le substrat commun, l'accumulation de citations a continué de favoriser l'Amyloïde, indiquant que l'attention est pilotée par d'autres facteurs que la supériorité probatoire sous protocole apparié (ex: croyances mécanistes, structures de financement).

4. Signification et Revendications

L'article énonce explicitement ce qu'il affirme et ce qu'il n'affirme pas :

• Ce qu'il affirme :

  • Reproduction vs Adjudication : La performance prédictive rapportée par le domaine peut être reproduite à grande échelle sur un substrat commun, mais cette reproduction ne constitue pas une adjudication. Le substrat ADNI est insuffisant en information pour distinguer les hypothèses concurrentes.
  • Nécessité Méthodologique : Les domaines nécessitent des instruments qui non seulement reproduisent les revendications, mais auditent également si la base de preuves soutient les comparaisons qui sont établies. L'AHA offre cette double capacité.
  • Généralisabilité : La méthode n'est pas limitée à Alzheimer ; une application préliminaire à la littérature de l'IA suggère qu'elle est généralisable.
  • Neutralité : L'AHA ne valide ni ne condamne une hypothèse spécifique d'Alzheimer. Il démontre que le substrat commun actuel ne peut pas les classer.

• Ce qu'il N'AFFIRME PAS :

  • Il ne s'agit pas d'une adjudication causale de toute hypothèse.
  • Il ne prouve pas que l'amyloïde, la protéine tau ou tout autre camp est faux.
  • Il ne prétend pas que l'ADNI est le jeu de données définitif pour Alzheimer ; c'est simplement le substrat mature le plus large permettant la commensurabilité.
  • Il ne prétend pas que le LLM a généré des résultats numériques ; tous les résultats quantitatifs étaient déterministes.

Conclusion :
L'étude conclut que le domaine de l'Alzheimer traite les hypothèses comme concurrentes alors que son substrat commun le plus large ne peut les distinguer. La divergence de l'attention de la recherche n'est pas expliquée par les données probantes sur l'ADNI, suggérant que la dynamique du domaine est pilotée par des facteurs sociologiques et historiques plutôt que par une hiérarchie claire de vérité basée sur les données. Le « plafond d'information » révélé par l'AHA suggère que sans un substrat contenant une information suffisante (ex: meilleur échantillonnage longitudinal, stades plus précoces ou marqueurs différents), aucune complexité de modèle ne pourra adjudiquer ces théories concurrentes.