🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

Cet article démontre que dans l'évaluation des actifs pharmaceutiques, bien que les structures de raisonnement améliorent le calibrage et la discipline d'un agent IA, la disponibilité de preuves propriétaires est le facteur limitant définitif qui fixe la limite supérieure de l'exactitude factuelle et de l'utilité décisionnelle.

Auteurs originaux : Yinan Wang

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yinan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez une équipe de détectives pour résoudre une affaire complexe : Une nouvelle idée de médicament vaut-elle la peine d'investir des millions de dollars ?

Pour répondre à cela, le détective doit connaître trois choses :

La Science : La biologie est-elle cohérente ?
La Concurrence : Qui d'autre essaie de faire cela ?
L'Histoire : Des médicaments similaires ont-ils réussi ou échoué auparavant ?

Le document que vous avez fourni est un « test de résistance » de trois types différents de détectives IA pour voir lequel est réellement le meilleur pour résoudre cette affaire. Les chercheurs voulaient savoir : L'intelligence du détective (le modèle d'IA) est-elle la chose la plus importante, ou la qualité des preuves qu'il est autorisé à lire est-elle le véritable goulot d'étranglement ?

Voici la décomposition de l'expérience et ce qu'ils ont trouvé, en utilisant des analogies simples.

Les Trois Détectives (L'Expérience)

Les chercheurs ont mis en place trois versions d'un agent IA, utilisant toutes le même « cerveau » (le même modèle d'IA sous-jacent). La seule différence résidait dans les outils et les informations qu'ils étaient autorisés à utiliser.

Détective A (Le « Surfeur du Web ») :
- Outils : Peut seulement utiliser une recherche web standard (comme Google) et n'a aucune formation particulière.
- Analogie : C'est un stagiaire intelligent qui se rend à la bibliothèque publique et lit les livres disponibles sur les étagères ouvertes. Il est intelligent, mais il ne peut trouver que ce que n'importe qui d'autre peut trouver.
Détective B (L'« Analyste Formé ») :
- Outils : Possède le même accès au web, mais on lui a donné un playbook strict (une liste de contrôle de règles), une « red team » (un critique pour vérifier son travail) et un accès à des bases de données publiques (comme les registres d'essais cliniques).
- Analogie : C'est le même stagiaire, mais il a maintenant un mentor senior qui lui donne une liste de contrôle, un manuel de règles sur la façon de rédiger des rapports, et un accès aux registres publics du gouvernement. Il est plus discipliné et organisé, mais il ne peut toujours pas voir les « dossiers secrets ».
Détective C (L'« Initié ») :
- Outils : Possède tout ce que possède le Détective B, PLUS l'accès à une base de données privée et payante massive (Noah AI) qui contient des dossiers curatés d'essais de médicaments, de transactions et de concurrents qui sont cachés du web public.
- Analogie : C'est l'enquêteur principal qui possède la clé du coffre-fort confidentiel. Il peut voir les e-mails privés, les résultats d'essais non publiés et les transactions de la « longue traîne » qui n'ont jamais fait la une des journaux.

Les Résultats : Qu'ont-ils trouvé ?

Les chercheurs ont testé ces détectives sur 13 cas de médicaments différents. Voici le verdict :

1. Le « Playbook » aide, mais seulement jusqu'à un certain point (Détective B vs A)

Lorsque le Détective B (l'analyste formé) a été comparé au Détective A (le surfeur du web), les résultats ont été intéressants :

Meilleure discipline : Le Détective B a rédigé de meilleurs rapports. Il était moins susceptible de faire des suppositions sauvages et suivait mieux les règles.
Le Problème : Le Détective B a tout de même manqué 60 % à 75 % des concurrents et des transactions importants.
L'Analogie : Imaginez que le Détective B est un bibliothécaire très poli et bien organisé qui suit toutes les règles. Mais si le livre qu'il doit trouver est verrouillé dans un coffre privé, aucune organisation, aussi bonne soit-elle, ne l'aidera à le trouver. Il est « calibré » (pense clairement) mais « aveugle » (manque de faits).

2. Le « Coffre-fort Privé » change tout (Détective C)

Lorsque le Détective C (l'initié) a été appelé, les résultats ont radicalement changé :

Complétude : Le Détective C a trouvé 96 % des informations critiques. Les Détectives A et B n'en ont trouvé que 25 % à 38 %.
L'effet « Longue Traîne » : Le plus grand écart concernait la découverte de données de la « longue traîne » — des essais de médicaments petits, obscurs ou régionaux qui n'apparaissent jamais sur le web ouvert. Le Détective C a presque tous les trouvé ; les autres n'en ont trouvé presque aucun.
L'Analogie : Le Détective C n'a pas seulement rédigé un meilleur rapport ; il a vu tout le plateau de jeu. Alors que les autres jouaient aux échecs avec seulement la moitié des pièces, le Détective C voyait l'intégralité de la partie.

3. Le score de « Décision Informée »

C'est la découverte la plus importante.

Qualité Brute : Si vous lisiez simplement le rapport final sans savoir quels faits manquaient, les Détectives A et B semblaient presque aussi bons que le Détective C. Ils semblaient confiants et logiques.
Qualité Réelle : Mais parce que A et B manquaient de nombreux faits, leurs décisions étaient basées sur des informations incomplètes.
Le Calcul : Les chercheurs ont créé un score appelé « Qualité de la Décision Informée ».
- Score du Détective A/B : ~2,0 (Ils semblaient bons, mais il leur manquait 75 % des faits).
- Score du Détective C : ~7,4 (Ils semblaient bons ET possédaient tous les faits).
Le Plafond : Le document soutient que même si vous donniez au Détective B un « cerveau parfait » et un rapport parfait, il serait toujours plafonné à un score bas car il ne pourrait physiquement pas accéder aux preuves manquantes. On ne peut pas raisonner pour atteindre une vérité que l'on ne peut pas voir.

La Grande Conclusion

Le document conclut par une leçon simple pour construire des scientifiques IA :

« Les compétences et les données sont toutes deux utiles, mais les données sont la limite. »

Compétences de Raisonnement (Le Playbook) : Elles sont nécessaires. Elles empêchent l'IA d'être imprudente, l'aident à organiser ses pensées et garantissent qu'elle suit les règles. Elles font de l'IA un meilleur rédacteur et un penseur plus discipliné.
Substrat de Preuves (Les Données) : C'est le facteur limitant. Si l'IA n'a pas accès aux données privées et curatées, elle est littéralement incapable de connaître la vérité complète. Aucun niveau de prompting ingénieux ou de technique de raisonnement ne pourra combler les lacunes d'information manquantes.

En bref : Vous pouvez avoir le détective le plus intelligent du monde avec le meilleur manuel de règles, mais s'il n'est pas autorisé à entrer dans la salle des preuves, il ne résoudra jamais l'affaire correctement. Pour que l'IA soit réellement utile dans des domaines à enjeux élevés comme la découverte de médicaments, elle doit avoir accès aux preuves privées et curatées, et non pas seulement à l'internet public.

Résumé Technique : Les Scientifiques IA ne sont aussi bons que leurs preuves

Énoncé du Problème
L'évaluation des agents Scientifiques IA dans des domaines spécialisés, tels que la valorisation d'actifs pharmaceutiques, confond souvent les capacités de raisonnement avec la qualité des preuves sous-jacentes. Alors que les agents sont fréquemment évalués sur la qualité du modèle, le prompting ou les structures de raisonnement, ce document postule que le facteur limitant dans les tâches à forte intensité de connaissances est le « substrat de preuves » — les données privées, curatées et de longue traîne disponibles pour l'agent. Dans la valorisation de médicaments, les décisions correctes de type « go/watch/no-go » nécessitent une synthèse de la biologie de la cible, des pipelines concurrentiels, des précédents cliniques et de l'intelligence en développement commercial (BD). Ce document examine si le goulot d'étranglement pour un agent IA est sa procédure de raisonnement ou l'exhaustivité factuelle des données auxquelles il peut accéder.

Méthodologie
Les auteurs ont mené une étude d'ablation contrôlée à trois bras sur un agent de valorisation de production utilisant l'environnement Claude Code avec le modèle Opus 4.8 MAX. La capacité du modèle ainsi que les budgets de temps et de portée ont été maintenus constants pour tous les bras ; les variables manipulées étaient l'accès aux outils/compétences non propriétaires et aux données propriétaires.

Bras A (Simple) : Un analyste généraliste compétent disposant uniquement d'une recherche web. Il lui était explicitement interdit d'utiliser les compétences, outils ou données propriétaires du projet et ne disposait d'aucun barème de notation.
Bras B (+Compétences +Outils Publics) : Le système complet incluant un playbook de valorisation à 14 dimensions, des API publiques (ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), un vérificateur de citations, une charte d'objectivité et une équipe rouge adverse. Crucialement, la source de données propriétaires a été affamée (pointée vers un répertoire vide).
Bras C (+Compétences +Outils Publics +Données) : Identique au Bras B, mais avec accès à la base de données propriétaire Noah AI, qui contient une intelligence curatée sur les pipelines, les essais et les transactions, dérivée de plus de 50 000 sources.

Benchmark et Métriques
L'étude a utilisé un benchmark de 13 actifs médicamenteux à cible unique, stratifiés en cinq archétypes de décision (S1–S5) conçus pour exposer des modes de défaillance spécifiques (ex: les « me-toos » validés mais encombrés, les opportunités de zones blanches, et les vides biologiques).

Les métriques ont été catégorisées en trois axes :

Couverture Factuelle : Mesurée par le rappel par rapport à un enregistrement concurrentiel « gold » curaté ( $R_{gold}$ ) et un sous-ensemble de longue traîne. Une méthode de « surensemble de capacités » a été utilisée, où les bras supérieurs se voient créditer de l'union cumulative des découvertes des bras inférieurs pour estimer la capacité factuelle.
Discipline Méthodologique/Objectivité : Évaluée par un panel de 3 juges en aveugle selon l'adhérence à huit lois d'objectivité (ex: verdict d'abord, hiérarchisation des preuves, preuves infirmantes).
Qualité de la Décision : Inclut la qualité de décision (DQ) brute du panel en aveugle et la « Qualité de Décision Informée », définie comme $DQ \times R_{gold}$ . Cette métrique tient compte du fait qu'un verdict fondé sur des preuves incomplètes est d'une utilité moindre, même s'il est cohérent.

Résultats Clés

Plafond Factuel : La pile non propriétaire (Bras B) n'a récupéré que 0,38 de l'enregistrement concurrentiel « gold » et 0,30 du sous-ensemble de longue traîne. En revanche, la pile dotée de données (Bras C) a récupéré 0,96 de l'enregistrement gold et 0,93 de la longue traîne. Le Bras A n'a récupéré que 0,25 et 0,26 respectivement.
Raisonnement vs Données :
- Calibration : Le Bras B a amélioré la précision « tier-in-range » de 0,80 (Bras A) à 0,89, corrigeant un échec systématique où l'agent simple (A) rejetait indistinctement les opportunités de zones blanches à mécanisme validé (S2).
- Objectivité : Le Bras B a légèrement amélioré les scores d'objectivité (de 3,16 à 3,30), mais le Bras C a obtenu le score le plus élevé (3,60), suggérant que des preuves plus riches permettent une argumentation plus ancrée.
- Qualité de la Décision : La qualité de décision brute du panel en aveugle était similaire entre A (7,01) et B (6,96), indiquant que les compétences/outils améliorent la calibration mais pas nécessairement la solidité de la prose d'un verdict sur des données limitées. Le Bras C a atteint une DQ brute plus élevée (7,65).
Qualité de Décision Informée : En intégrant l'exhaustivité des preuves, le Bras C a dominé avec un score de 7,43, comparé à 1,76 pour le Bras A et 2,57 pour le Bras B.
Analyse du Plafond : Même sous une hypothèse généreuse où le Bras B produirait un rapport parfait (DQ=10), sa « Qualité de Décision Informée » serait plafonnée à 3,83 en raison de sa couverture de seulement 0,383 des cellules évaluables en termes d'utilité. C'est nettement inférieur au score observé du Bras C de 7,43.

Signification et Revendications
L'article conclut que pour les agents Scientifiques IA à haute intensité de connaissances, les compétences de raisonnement et les outils structurés publics sont des couches de contrôle nécessaires, mais le substrat de preuves propriétaires est la ressource limitante.

Le Goulot d'Étranglement : Le principal goulot d'étranglement n'est pas la procédure de raisonnement mais le substrat de preuves. Les données propriétaires déterminent la limite supérieure de ce qu'un Scientifique IA peut savoir et, par conséquent, décider.
Rôles Complémentaires : Les outils non propriétaires et les structures de raisonnement améliorent la calibration (empêchant la sous-valorisation systématique des opportunités de zones blanches) et la discipline d'audit. Cependant, ils ne peuvent pas fabriquer des enregistrements manquants de longue traîne.
Implication pour l'Évaluation : Évaluer les agents IA uniquement sur la solidité de leur raisonnement ou la qualité de leur prose est insuffisant si la base de preuves sous-jacente est incomplète. Un rapport peut être méthodologiquement solide tout en étant scientifiquement sous-informé.
Leçon Pratique : L'architecture optimale est stratifiée : « des compétences sur les bonnes données ». Pour les domaines dotés de preuves propriétaires ou de longue traîne, la capacité décisive provient souvent de l'accès au corpus définissant l'espace du problème plutôt que d'ajouts de prompts de raisonnement.

Les auteurs notent que les clés « gold » utilisées pour l'évaluation ont été dérivées de la même famille d'intelligence propriétaire disponible pour le Bras C, ce qui signifie que les résultats mesurent spécifiquement la capacité à récupérer un enregistrement de diligence curaté et propriétaire plutôt qu'une vérité terrain indépendante de l'efficacité clinique. Cependant, l'écart de couverture (0,38 vs 0,96) reste robuste, même sous une comptabilité de surensemble de capacités généreuse.