💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

Cet article présente ScienceMeter, un cadre d'évaluation des mises à jour des connaissances scientifiques dans les grands modèles de langage à travers trois métriques — la préservation, l'acquisition et la projection — révélant que les méthodes de mise à jour actuelles peinent à maintenir les connaissances existantes tout en apprenant efficacement de nouveaux faits et en anticipant les avancées scientifiques futures.

Auteurs originaux : Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Publié 2026-07-22✓ Author reviewed ⓘ

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot bibliothécaire super intelligent qui a lu presque tous les livres jamais écrits jusqu'à une certaine année. Ce bibliothécaire est incroyable pour répondre à des questions sur l'histoire, la science et la culture populaire de cette époque. Mais il y a un hic : le monde ne s'arrête pas de tourner. De nouveaux articles scientifiques sont publiés chaque jour, révélant de nouvelles découvertes que le bibliothécaire n'a pas encore vues. Si vous posez une question à ce robot sur une percée survenue hier, il pourrait vous dire quelque chose de faux avec assurance, ou il pourrait simplement dire : « Je ne sais pas », parce que son cerveau est figé dans le passé. C'est le problème de la « connaissance obsolète » pour l'intelligence artificielle. Les scientifiques essaient de comprendre comment donner ces nouvelles informations à ces robots sans qu'ils oublient ce qu'ils savaient déjà ou sans qu'ils n'inventent des faits sauvages et incorrects. C'est comme essayer d'enseigner un nouveau chapitre d'un manuel à un étudiant sans qu'il oublie les chapitres précédents ou qu'il n'invente ses propres faits fictifs pour combler les lacunes.

Entrez en scène ScienceMeter, un nouveau cadre créé par des chercheurs de l'Université de Washington pour tester précisément à quel point nous pouvons mettre à jour ces cerveaux d'IA avec des connaissances scientifiques fraîches. Considérez les chercheurs comme des « mécaniciens du savoir » essayant de régler un moteur de haute performance. Ils ne se sont pas contentés de demander : « Est-ce que le robot a appris les nouvelles choses ? ». Au lieu de cela, ils ont construit un test de résistance en trois parties pour voir si le robot pouvait :

Se souvenir des anciennes choses (Préservation) : A-t-il oublié les bases apprises il y a des années ?
Apprendre les nouvelles choses (Acquisition) : A-t-il réellement compris les nouveaux articles qu'on vient de lui montrer ?
Deviner les choses futures (Projection) : Pouvait-il utiliser ce qu'il vient d'apprendre pour faire une supposition intelligente sur une découverte qui n'a pas encore eu lieu ?

Pour mener ce test, ils ont créé un ensemble de données massif couvrant dix domaines scientifiques différents, de l'informatique à la médecine. Ils ont traité la connaissance scientifique comme une chronologie : les articles du « Passé » (ce que le robot connaissait déjà), les articles « Nouveaux » (ce qu'ils ont essayé de lui enseigner) et les articles du « Futur » (ce qu'ils espéraient qu'il puisse prédire). Ils ont ensuite essayé cinq méthodes différentes pour mettre à jour le cerveau du robot, allant de la simple lecture des nouveaux articles pendant une conversation (inférence) au réentraînement réel du cerveau du robot avec les nouvelles données (entraînement).

Les résultats ont été un rappel à la réalité. Même les meilleures méthodes peinaient à accomplir les trois tâches à la fois. La méthode de mise à jour la plus performante a réussi à garder 85,9 % de l'ancienne connaissance en sécurité, a appris avec succès 71,7 % de la nouvelle connaissance, mais ne pouvait projeter que 37,7 % de la connaissance future. En d'autres termes, le robot était plutôt bon pour se souvenir du passé, assez bon pour apprendre le présent, mais restait encore très hésitant pour prédire le futur.

L'étude a également révélé que la taille du robot importait. Les modèles plus grands, plus puissants, étaient étonnamment bons pour apprendre de nouvelles choses simplement en les lisant pendant une conversation (inférence), presque comme un étudiant de génie capable d'apprendre un nouveau sujet juste en lisant un manuel une seule fois. Cependant, les modèles plus petits avaient besoin d'être « réentraînés » à partir de zéro pour apprendre les nouvelles choses efficacement ; le simple fait de leur montrer les nouvelles informations ne suffisait pas.

La conclusion la plus intéressante est que le type de science comptait. Dans les domaines où les connaissances évoluent lentement, comme la science politique, les robots étaient excellents pour se souvenir et prédire. Mais dans les domaines à évolution rapide comme la science des matériaux, où les nouvelles découvertes se produisent constamment, les robots se confondaient beaucoup plus vite. Les chercheurs suggèrent que plus un domaine est volatil, plus il est difficile pour une IA de maintenir ses connaissances à jour sans tout mélanger.

En fin de compte, l'article conclut que bien que nous nous améliorions pour mettre à jour l'IA, nous n'avons pas encore trouvé la solution. Il n'existe pas de bouton magique qui permet à une IA d'apprendre instantanément de nouvelles sciences, de conserver tous ses anciens faits et de prédire l'avenir, tout cela en même temps. Les chercheurs soutiennent que développer une méthode capable de véritablement équilibrer ces trois objectifs est l'un des plus grands défis restant pour faire de l'IA un partenaire fiable pour la véritable découverte scientifique. Ils préviennent que si nous ne résolvons pas ce problème, nos outils d'IA pourraient devenir des experts confiants de la science d'hier tout en étant complètement déconnectés des percées de demain.

Résumé Technique : SCIENCEMETER

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour soutenir la recherche scientifique, pourtant leur nature statique de pré-entraînement rend leurs connaissances scientifiques rapidement obsolètes en raison du rythme rapide de l'avancement scientifique. Bien que des stratégies de mise à jour génériques existent (par exemple, le pré-entraînement continu, l'ajustement d'instructions, le RAG), il reste difficile de savoir si ces méthodes peuvent répondre efficacement aux exigences complexes de l'évolution des connaissances scientifiques. Plus précisément, une mise à jour efficace doit faire plus que simplement injecter de nouvelles informations ; elle doit préserver les connaissances existantes, incorporer de nouvelles découvertes sans distorsion et permettre la généralisation pour raisonner sur des affirmations scientifiques futures ou non découvertes. Les cadres d'évaluation actuels se concentrent souvent sur la rétention de faits génériques ou la simple injection de connaissances, échouant ainsi à capturer les nuances du raisonnement scientifique, de la confiance et de la capacité à projeter les avancées futures.

Méthodologie : Le Cadre SCIENCEMETER

Les auteurs introduisent SCIENCEMETER, un cadre complet conçu pour évaluer les mises à jour des connaissances scientifiques à travers trois dimensions temporelles : le Passé (préservation), le Présent (acquisition) et le Futur (projection).

1. Construction du Jeu de Données

Le cadre utilise un jeu de données organisé couvrant dix domaines scientifiques en évolution rapide (Informatique, Médecine, Biologie, Science des Matériaux, Psychologie, Affaires, Science Politique, Sciences de l'Environnement, Sciences Agricoles et Alimentaires, et Éducation).

Collecte de Documents : Pour chaque domaine, 1 000 articles sont récupérés via Semantic Scholar. Les articles sont classés chronologiquement en :
- Antérieur ( $P_{prior}$ ) : Publié avant la date de coupure de l'entraînement du modèle.
- Nouveau ( $P_{new}$ ) : Publié après la date de coupure mais avant une coupure "récente".
- Futur ( $P_{future}$ ) : Publié après la coupure "récente", servant de proxy pour les connaissances que le modèle n'a pas encore vues.
Génération de Revendications Synthétiques : Pour chaque article, le cadre génère des revendications scientifiques atomiques (énoncés vérifiables concernant un aspect unique d'une entité ou d'un processus). En utilisant GPT-4O, le système génère :
- Des revendications de SUPPORT : Uniquement soutenues par l'article spécifique.
- Des revendications de RÉFUTATION : Pertinentes pour le sujet mais non soutenues par l'article.
- L'évaluation par des experts composée d'étudiants en doctorat a confirmé qu'environ 90,2 % des revendications générées adhèrent strictement à ces règles.

2. Tâches d'Évaluation

La connaissance scientifique est évaluée à travers deux tâches, évaluant à la fois l'exactitude factuelle et la confiance du modèle :

Jugement de Revendication : Le modèle vérifie si une revendication est soutenue ou réfutée par un article donné (pour Prior/New) ou prédit la validité d'une revendication basée sur ses connaissances internes (pour Future).
Génération de Revendication : Le modèle génère une revendication de support à partir du titre d'un article (Prior/New) ou d'un sujet de recherche (Future).
Catégorisation de la Connaissance : Les réponses du modèle sont classées comme Correctes (exactes + confiantes), Incorrectes (inexactes + confiantes) ou Inconnues (faible confiance).

3. Métriques Clés

SCIENCEMETER définit trois métriques primaires pour quantifier la performance de la mise à jour :

Préservation de la Connaissance : Le pourcentage de revendications précédemment correctes dans $P_{prior}$ $P_{p r i or}$ qui restent correctes après la mise à jour.
- Distorsion : Revendications précédemment correctes devenant incorrectes (erreur à haute confiance).
- Perte : Revendications précédemment correctes devenant inconnues.
Acquisition de la Connaissance : La proportion de revendications inconnues dans $P_{new}$ $P_{n e w}$ qui deviennent correctes après la mise à jour.
- Distorsion : Revendications inconnues devenant incorrectes.
- Perte : Revendications inconnues restant inconnues.
Projection de la Connaissance : Le pourcentage de revendications inconnues dans $P_{future}$ $P_{f u t u r e}$ que le modèle prédit correctement après la mise à jour, démontrant sa capacité d'extrapolation.
- Perte : Revendications futures restant inconnues.

4. Configuration Expérimentale

Le cadre a évalué cinq méthodes de mise à jour de connaissances représentatives sur des modèles standards (LLaMA3.1-8B) et de pointe (OLMo2-32B) dans le domaine de l'informatique :

Pré-entraînement Continu (CNT PRETRAIN) : Entraînement autorégressif sur de nouvelles données.
Ajustement d'Instructions Standard (INST TUNE) : Fine-tuning sur des paires QA dérivées de nouvelles données.
Pré-ajustement d'Instructions (PRE INST TUNE) : Ajustement d'instructions avant le pré-entraînement continu.
Inférence (INFER) : Injection de contexte de type Génération Augmentée par Récupération (RAG) au moment de l'inférence.
Combiné (INST TUNE + INFER) : Une approche hybride.

La confiance a été estimée via un vote majoritaire de trois méthodes : le prompting "Plus d'informations", la cohérence de la réponse à travers les paraphrases, et l'analyse linguistique de la confiance via GPT-4O.

Résultats Clés

Les expériences révèlent qu'aucune méthode unique ne parvient à atteindre simultanément les trois objectifs (Préservation, Acquisition et Projection).

Plafond de Performance : La méthode la plus performante (Ajustement d'instructions standard) a atteint :
- 85,9 % de Préservation de la Connaissance.
- 71,7 % d'Acquisition de la Connaissance.
- 37,7 % de Projection de la Connaissance.
Disparité de Taille de Modèle : Les méthodes basées sur l'inférence (INFER) ont nettement surpassé les méthodes basées sur l'entraînement pour les modèles plus grands (OLMo2-32B), montrant un score de préservation supérieur de 10,9 %. Inversement, les modèles plus petits (LLaMA-8B) nécessitaient des approches basées sur l'entraînement pour atteindre une performance comparable, car ils peinaient à filtrer le bruit dans les contextes seuls.
Gravité de l'Erreur : Dans les tâches de génération plus difficiles, la distorsion (erreurs à haute confiance) était significativement plus élevée que la perte (incertitude), avec une moyenne trois fois supérieure. Cela suggère que les méthodes de mise à jour introduisent souvent des hallucinations confiantes plutôt que de simplement échouer à apprendre.
Corrélation Inter-Domaine : La performance variait selon le domaine. Les domaines à haute volatilité (mesurée par le nombre moyen de citations), tels que la Science des Matériaux et les Sciences de l'Environnement, affichaient des scores de préservation et de projection plus faibles. À l'inverse, les domaines stables comme la Science Politique montraient une performance plus élevée. La disponibilité du corpus de pré-entraînement avait un impact limité sur les capacités d'acquisition.
LLM Scientifiques : L'application du cadre à des modèles spécifiques au domaine (ex: HoneyBee pour la Science des Matériaux) n'a pas produit d'améliorations significatives par rapport aux modèles généralistes de taille similaire, indiquant que le pré-entraînement spécialisé seul ne résout pas le défi de la mise à jour.

Signification et Revendications

L'article soutient que le développement de mécanismes robustes de mise à jour des connaissances scientifiques est à la fois crucial et difficile. Les auteurs affirment que :

Nouveau Paradigme d'Évaluation : SCIENCEMETER est le premier cadre qui évalue explicitement la "projection" des connaissances scientifiques futures, allant au-delà de la simple rétention de faits statiques pour évaluer la capacité d'un modèle à anticiper les tendances émergentes et à raisonner sur des revendications non découvertes.
Limites des Méthodes Actuelles : Les stratégies de mise à jour existantes sont insuffisantes pour le domaine scientifique. Elles peinent à équilibrer la triade de la préservation des anciennes connaissances, l'acquisition de nouveaux faits et la généralisation aux concepts futurs.
Importance de la Confiance : Évaluer les connaissances scientifiques sans considérer la confiance du modèle est insuffisant. Les erreurs à haute confiance (distorsion) sont particulièrement dangereuses dans les contextes scientifiques, pouvant mener à la propagation d'hypothèses incorrectes.
Volatilité des Domaines : La difficulté de mettre à jour les LLM est intrinsèquement liée à la volatilité du domaine scientifique, suggérant qu'une stratégie de mise à jour "universelle" est peu probable de réussir à travers tous les champs scientifiques.

Les auteurs concluent que bien que les LLM montrent un potentiel pour aider à la découverte scientifique, leur intégration dans les flux de travail scientifiques nécessite de nouveaux mécanismes de mise à jour capables de gérer de manière fiable la nature dynamique, contradictoire et rapidement évolutive de la littérature scientifique.