What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation

La science ne progresse pas seulement par la possession de bonnes idées, mais par la possession d'idées qui peuvent être prouvées fausses. Dans le monde de la recherche, une proposition n'est véritablement utile que si le chercheur peut énoncer, à l'avance, l'observation exacte qui le contraindrait à rejeter sa propre théorie. Sans cet engagement, une idée peut paraître brillante et convaincante tout en restant impossible à tester. Elle flotte dans un espace où le succès est mesuré par la manière dont elle correspond à un résultat futur déjà survenu, ou par la fluidité de sa rédaction. Cela laisse un vide dans notre façon d'évaluer l'intelligence artificielle. Lorsque des modèles de langage de grande taille sont sollicités pour suggérer de nouvelles directions de recherche, les méthodes actuelles récompensent souvent le style au détriment de la substance, ou jugent le modèle selon qu'il a accidentellement deviné un article qui a été publié plus tard. Ni l'une ni l'autre de ces approches ne nous dit si le modèle est capable de concevoir un test capable de distinguer une véritable découverte d'un coup de chance.

Une équipe de chercheurs a conçu une nouvelle façon de mesurer cette capacité spécifique. Ils ont créé un système appelé Lit2Test, qui demande aux modèles de faire quelque chose de bien plus difficile que de simplement faire du brainstorming. Au lieu de générer un sujet de recherche vague, les modèles doivent remplir un contrat strict en six parties pour chaque idée qu'ils proposent. Ce contrat les oblige à identifier une lacune spécifique dans les connaissances existantes, à énoncer une hypothure claire, à concevoir une expérience minimale pour la tester et, surtout, à définir exactement quel résultat les infirmerait. En forçant le modèle à se préengager face à son propre échec potentiel, les chercheurs ont transformé l'évaluation des idées de recherche, passant d'une question d'opinion à une question de logique. L'étude a révélé que lorsque les modèles sont jugés sur leur capacité à créer ces tests falsifiables, un classement clair et cohérent émerge, dicté non par la fluidité de l'écriture, mais par la qualité de la conception expérimentale.

Les chercheurs ont commencé par rassembler 200 scénarios de recherche réels, chacun construit à partir d'un voisinage de quatre articles récemment publiés partageant un sujet mais divergeant sur un point clé. Il ne s'agissait pas de problèmes fictifs ; ils étaient tirés de la littérature scientifique réelle où les experts débattaient encore de la réponse. Pour chaque scénario, quatre modèles de langage avancés différents ont été invités à proposer une étape suivante. Les modèles n'avaient pas le droit de rédiger un essai libre. Au lieu de cela, ils devaient remplir les six champs du contrat : la lacune dans la littérature, l'hypothèse, le test minimal, la métrique décisive, le résultat qui soutiendrait l'idée, et le résultat qui la falsifierait. Cette structure garantissait que chaque proposition soit un plan complet et testable plutôt qu'une suggestion vague. Les chercheurs ont ensuite opposé ces propositions entre elles lors de comparaisons en aveugle, où un modèle juge, ignorant quel IA avait généré quelle idée, décidait quelle proposition était la meilleure en se basant sur le contrat.

Pour s'assurer que les résultats n'étaient pas biaisés par l'ordre de présentation des idées, les chercheurs ont jugé chaque paire de propositions deux fois : une fois dans l'ordre original et une fois avec l'ordre inversé. Ils ont constaté qu'environ 20 % du temps, le juge changeait d'avis lorsque l'ordre était inversé, indiquant que la comparaison était instable. En écartant ces cas instables et en se concentrant uniquement sur les 80 % où le juge était d'accord quel que soit l'ordre, ils ont établi un classement strict des quatre modèles. Les résultats ont montré une hiérarchie claire : un modèle produisait systématiquement les meilleures propositions, suivi d'un deuxième, puis d'un troisième, et enfin d'un quatrième. Ce classement s'est maintenu à travers des milliers de rééchantillonnages statistiques, ce qui signifie que l'ordre était robuste et n'était pas un coup de chance des données.

L'étude a également examiné ce qui déterminait réellement ces classements. Il s'est avéré que les modèles n'étaient pas séparés par la qualité de leur rédaction ou par leur assurance. Le facteur décisif était la qualité de la conception du test. Les modèles les plus performants étaient meilleurs pour créer des expériences suffisamment restreintes pour être pratiques, mais assez spécifiques pour isoler le mécanisme qu'ils testaient. Ils excellaient également à définir une métrique capable de distinguer clairement le succès de l'échec. L'exigence de stipuler ce qui prouverait l'idée fausse a servi de plancher ; tous les modèles devaient respecter cette norme pour être considérés comme valides, mais les meilleurs allaient au-delà du minimum pour concevoir des tests véritablement perspicaces. Les chercheurs ont confirmé cela en vérifiant si le juge était influencé par le style. Ils ont découvert que lorsque le contenu d'une proposition était identique mais que le formatage changeait, la décision du juge ne changeait pas. Le système mesurait véritablement la substance du plan de recherche, et non le polissage de la présentation.

Pour vérifier que leur juge automatisé ne passait pas à côté de quelque chose d'évident, les chercheurs ont fait appel à trois experts humains pour examiner un échantillon plus petit et représentatif des propositions. Ces humains, des étudiants de niveau avancé en informatique, ont été invités à juger les mêmes propositions sans savoir quel modèle les avait créées. Ces humains étaient en accord avec le juge automatisé dans près de 90 % des cas où le juge était confiant. Ce haut niveau d'accord suggérait que le système automatisé capturait quelque chose de réel concernant la qualité des idées. Cependant, les juges humains ont également montré que la tâche était difficile ; même parmi les experts, il y avait certains désaccords sur les points les plus subtils, ce qui renforçait la nécessité d'un contrat strict et structuré pour rendre l'évaluation possible.

L'article exclut explicitement l'idée que la capacité d'un modèle à prédire des articles futurs soit une bonne mesure de son potentiel de recherche. Les chercheurs ont montré que juger des idées sur la base de leur correspondance avec un article publié ultérieurement est erroné car cela récompense la capacité à deviner l'avenir plutôt qu'à concevoir un test. Cela pénalise également les idées valides qui prennent une voie différente de celle qui s'est finalement réalisée. En supprimant le « corrigé » d'un article futur et en se concentrant entièrement sur la logique du test lui-même, Lit2Test offre un type d'aperçu différent. Il montre que si les grands modèles de langage peuvent générer un texte fluide, leur véritable capacité en matière d'idéation scientifique réside dans leur aptitude à formuler une hypothèse qui puisse être rigoureusement remise en question. L'étude conclut que la façon la plus fiable d'évaluer ces modèles n'est pas de voir s'ils peuvent deviner l'avenir, mais de voir s'ils peuvent clairement énoncer ce qui pourrait prouver qu'ils ont tort aujourd'hui.