Imaginez que vous essayez de résoudre un mystère, mais que les indices sont éparpillés dans une centaine de carnets différents, chacun écrit des années plus tard par différents détectives. Certains indices sont évidents, d'autres sont cachés au milieu d'une page désordonnée, et certains problèmes ne peuvent tout simplement pas être résolus parce que les carnets ne contiennent pas la réponse. C'est la réalité quotidienne des médecins traitant des patients ayant des antécédents de santé complexes et de longue durée. Ils doivent se souvenir de ce qui s'est passé lors d'une visite à l'hôpital il y a cinq ans pour comprendre un symptôme aujourd'hui, tout en sachant quand dire : « Je ne sais pas », si les dossiers sont muets.

Entrez en scène les Grands Modèles de Langage (LLM), ces agents conversationnels IA ultra-intelligents qui sont récemment devenus célèbres pour leur capacité à lire des livres entiers et à répondre à des questions à leur sujet. Les scientifiques sont impatients de voir si ces IA peuvent faire la même chose pour les médecins : lire toute l'histoire de la vie d'un patient, relier les points entre des visites survenues à des années d'intervalle, et donner des conseils médicaux précis. Mais il y a un piège. La plupart des tests d'IA actuels sont comme des quiz rapides : des questions courtes et simples basées sur un seul paragraphe. Ils ne testent pas si une IA peut gérer un véritable marathon médical où la réponse pourrait être enfouie dans une conversation d'il y a trois ans, ou si l'IA sait quand admettre qu'elle est déroutée.

C'est ici qu'intervient une nouvelle étude appelée MedLoCoMo. Les chercheurs ont construit un test géant et exigeant, spécifiquement conçu pour voir si l'IA peut gérer la réalité désordonnée et de longue durée des soins aux patients. Ils ne se sont pas contentés de demander à l'IA de lire une courte note ; ils lui ont fourni l'équivalent d'un roman de 74 000 mots pour chaque patient, couvrant des dizaines de visites hospitalières sur plusieurs années. Les résultats ont été un certain rappel à la réalité. Bien que les modèles d'IA aient été excellents pour répondre à des questions concernant une seule visite, ils ont eu beaucoup de mal lorsqu'il fallait relier les points entre différentes visites. Même les modèles les plus intelligents, et ceux dotés d'une formation médicale spéciale, ont éprouvé des difficultés à se souvenir des « anciens indices » nécessaires pour résoudre le « nouveau mystère ». L'étude suggère que rendre l'IA simplement plus intelligente ou lui donner une mémoire plus grande ne suffit pas encore ; elle doit encore apprendre à véritablement lier le passé d'un patient à son présent sans se perdre dans les détails.

L'histoire de MedLoCoMo : Un test de mémoire médicale

Considérez l'historique médical d'un patient non pas comme un journal unique, mais comme une immense série télévisée à plusieurs saisons. Chaque fois qu'un patient va à l'hôpital, c'est une nouvelle « saison » remplie de nouveaux épisodes (visites médicales), de rebondissements (diagnostics) et de développement de personnages (évolution des conditions de santé). Pour comprendre l'épisode actuel, il faut souvent se souvenir de ce qui s'est passé en Saison 1, Saison 3, ou même Saison 5.

Les chercheurs derrière MedLoCoMo (qui signifie Medical Long-Context Memory) voulaient voir si l'IA pouvait être le « super-fan » ultime de ces séries médicales. Ils ont construit un benchmark — un test standardisé — en utilisant des données réelles et anonymisées de la base de données MIMIC-IV. Ils n'ont pas seulement saisi des notes au hasard ; ils ont soigneusement construit 100 chronologies de patients uniques. Chaque chronologie est une longue conversation qui compte en moyenne 1 669,8 tours (échanges de questions-réponses), s'étend sur 29,7 sessions (visites hospitalières) et contient un impressionnant total de 74 512,2 tokens (blocs de texte) par conversation. Certaines de ces histoires sont si longues qu'elles dépassent les 150 000 tokens !

Les trois types de défis

Pour rendre le test équitable et complet, les chercheurs ont créé trois types de questions différents, comme des niveaux dans un jeu vidéo :

1. Le défi « Saison Unique » : Ces questions portent sur quelque chose qui s'est passé lors d'une seule visite hospitalière. C'est comme demander : « Qu'a dit le médecin dans l'épisode 5 de la saison 2 ? » Cela teste si l'IA peut trouver un fait spécifique dans un document long.
2. Le défi « Multi-Saisons » : Ce sont les plus difficiles. Ils demandent à l'IA de relier les points entre différentes visites. Par exemple : « Le patient a eu un problème cardiaque en 2014 et un problème pulmonaire en 2016 ; comment ces deux éléments sont-ils liés à son essoufflement actuel ? » Cela teste si l'IA peut se souvenir du passé et le lier au présent.
3. Le défi de la « Question Piège » : Parfois, une question semble porter sur une information qui devrait exister, mais les dossiers médicaux ne contiennent pas l'information. Ce sont des questions « adverses ». Une bonne IA devrait savoir dire « Je ne sais pas » plutôt que d'inventer une fausse réponse. C'est ce qu'on appelle l'« abstention ».

Ce que l'IA a réussi (et ce qu'elle a raté)

Les chercheurs ont testé de nombreux modèles d'IA, incluant des modèles à usage général (comme GPT-5.1 et Qwen) et des modèles spécifiquement entraînés sur des données médicales (comme MedGemma). Voici ce qu'ils ont découvert :

• L'expert « Local » : Lorsque les questions concernaient une seule visite hospitalière, l'IA s'en est très bien sortie. Elle pouvait trouver les bons faits dans la « saison actuelle » de l'histoire.
• La difficulté du « Long Terme » : Dès que les questions nécessitaient de relier des informations entre plusieurs visites (cross-admission), les performances de l'IA chutaient considérablement. Même les modèles les plus vastes et les plus intelligents peinaient à lier le passé au présent. C'est comme si l'IA pouvait se souvenir de l'intrigue de l'épisode actuel mais oubliait tout le contexte de la série.
• La spécialisation n'a pas sauvé la mise : On pourrait penser qu'un modèle entraîné spécifiquement sur des manuels médicaux serait meilleur. Étonnamment, les modèles spécialisés en médecine n'ont pas systématiquement surpassé les modèles généraux. Ils étaient tout aussi susceptibles de se perdre dans les chronologies de longue durée.
• Le facteur « Je ne sais pas » : Certains modèles étaient très doués pour dire « Je ne sais pas » lorsque la réponse n'était pas dans les dossiers. C'est une bonne chose ! Cependant, les chercheurs ont noté qu'un modèle pourrait obtenir un score élevé simplement en disant « Je ne sais pas » à tout, même s'il ne pouvait pas répondre aux questions qu'il savait traiter. Ils ont donc examiné à la fois le taux d'« abstention » et la qualité réelle des réponses.

L'expérience de la mémoire

Puisque les histoires étaient si longues, les chercheurs ont également testé si le fait de donner à l'IA une « mémoire externe » (comme un carnet dans lequel elle peut écrire et consulter) aiderait. Ils ont essayé différents outils de mémoire, comme un moteur de recherche simple (BM25) et des systèmes de mémoire plus complexes.

Les résultats ont été mitigés. Les outils de mémoire ont aidé l'IA à dire « Je ne sais pas » plus précisément lorsque la réponse était absente. Cependant, ils n'ont pas miraculeusement résolu le problème de la connexion entre les différentes visites hospitalières. Il s'avère qu'avoir une mémoire plus grande ou un meilleur outil de recherche n'est pas la même chose que posséder la capacité de raisonner à travers le temps. L'IA éprouvait toujours des difficultés pour déterminer quel ancien indice était pertinent pour le nouveau problème.

La conclusion

L'étude MedLoCoMo suggère que, bien que l'IA s'améliore dans la lecture de textes longs, elle a encore un long chemin à parcourir avant de pouvoir agir comme un médecin qui comprend véritablement l'histoire de vie d'un patient. Il ne s'agit pas seulement d'avoir un cerveau plus gros ou une mémoire plus longue ; il s'agit d'apprendre à tisser l'historique d'un patient pour en faire un récit cohérent.

Les chercheurs sont clairs : il s'agit d'un test pour la recherche, et non d'un outil pour des conseils médicaux réels pour le moment. Les conversations et les questions ont été créées par une IA à partir de dossiers médicaux réels, mais elles sont synthétiques. L'objectif est d'aider les scientifiques à construire de meilleurs systèmes qui pourront, un jour, aider les médecins à suivre l'historique complexe de leurs patients sans manquer une seule étape. Pour l'instant, l'IA est un étudiant très intelligent capable de lire un chapitre, mais qui doit encore apprendre à écrire le livre entier.