Do Language Models Consistently Encode the Current Year?

Les ordinateurs modernes capables de lire et d'écrire le langage sont devenus étonnamment doués pour imiter la conversation humaine. Ils peuvent résumer des actualités, écrire des histoires et répondre à des questions sur l'histoire. Pourtant, ces machines ont un angle mort difficile à corriger : elles ne savent pas vraiment quel temps il est. Bien qu'elles puissent réciter des faits du passé, leur sens interne du « présent » est souvent un écho confus des données qui les ont nourries lors de leur entraînement, plutôt qu'une conscience vivante du moment présent. Cette confusion est importante car si une machine croit que l'année actuelle se situe dix ans dans le passé, elle pourrait refuser de répondre à des questions sur des événements récents ou, pire encore, inventer avec assurance des faits sur un futur qui n'est pas encore arrivé. Les chercheurs se demandent depuis longtemps comment ces esprits numériques stockent le concept du temps, supposant que si un modèle connaît la date, il doit posséder une horloge unique et unifiée tournant à l'intérieur de son code.

Une nouvelle étude remet en question cette supposition, révélant que les modèles de langage ne possèdent pas une horloge unique et cohérente. Au lieu de cela, ils détiennent deux idées séparées et conflictuelles de l'année en cours. L'une est profonde et structurelle, tissée dans la grammaire même que le modèle a apprise en lisant Internet. L'autre est superficielle et de surface, un simple fait que le modèle a appris lorsqu'on lui a enseigné comment suivre des instructions. Les chercheurs ont découvert que, bien que ces deux idées s'accordent souvent sur la date, elles reposent sur des mécanismes internes totalement différents. Cette division crée un problème persistant : lorsque les scientifiques tentent de mettre à jour la connaissance du modèle pour refléter l'année actuelle, ils peuvent facilement corriger le fait superficiel, mais le sens temporel profond et grammatical refuse de bouger.

Pour découvrir cette dualité cachée, les chercheurs ont conçu deux manières distinctes de demander à un modèle quelle année il pense être. La première méthode, qu'ils appellent la tâche associative, ne demande pas la date directement. Au lieu de cela, elle présente au modèle un fragment de phrase comme « En 1960, il y eut... » et demande quel mot vient ensuite. Si le modèle prédit un verbe au passé comme « était », cela implique que le modèle pense que 1960 est dans le passé. S'il prédit un temps présent ou futur comme « est » ou « sera », cela suggère que cette année est toujours en cours ou qu'elle est à venir. Cette méthode exploite la compréhension intuitive de la grammaire du modèle, une compétence qu'il a absorbée en lisant des milliards de phrases lors de son entraînement initial. La seconde méthode, la tâche déclarative, est beaucoup plus directe. Elle demande simplement au modèle : « Quelle est l'année actuelle ? » ou l'incite à écrire une histoire commençant par l'année. Cela teste la capacité du modèle à énoncer un fait, une compétence généralement affinée lors d'une étape ultérieure de l'entraînement, où il apprend à suivre les instructions humaines.

Lorsque l'équipe a testé ces méthodes sur une grande variété de modèles, un schéma clair est apparu. Les deux méthodes produisaient des réponses étonnamment proches de la date à laquelle l'entraînement du modèle s'était arrêté. Pour le test grammatical profond, les modèles devinaient systématiquement une année qui n'était qu'à environ dix mois de leur date de fin d'entraînement. Cela suggère que le sens temporel interne du modèle est étroitement lié à la dernière date qu'il a vue dans ses données d'entraînement. Cependant, les deux méthodes ne mesuraient pas la même chose de deux manières différentes ; elles mesuraient deux choses différentes. Les chercheurs ont découvert que le sens temporel profond et grammatical repose sur un chemin spécifique et organisé à l'intérieur du cerveau du modèle, de la même manière qu'il se rappelle des faits sur le monde. En revanche, la capacité de simplement prononcer l'année à voix haute ne repose pas sur un chemin unique et cohérent. C'est un comportement flexible et de surface qui peut être déclenché par de nombreuses parties du modèle selon la façon dont la question est posée.

Cette différence dans la manière dont l'information est stockée a des conséquences profondes sur la tentative de correction des modèles. Les chercheurs ont tenté de mettre à jour le sens du temps des modèles en utilisant trois techniques courantes : donner un indice au modèle dans la conversation, le réentraîner sur de nouvelles données et modifier chirurgicalement ses poids internes. Lorsqu'ils ont tenté de mettre à jour l'année déclarative superficielle — celle que le modèle énonce lorsqu'on lui demande — les méthodes ont parfaitement fonctionné. En indiquant simplement au modèle via un prompt système que l'année est 2025, ou en lui montrant de nouvelles données de 2025, le modèle a immédiatement commencé à énoncer l'année correcte avec une grande précision. C'était comme s'ils changeaient l'étiquette sur un classeur.

Cependant, les mêmes techniques ont totalement échoué lorsqu'elles ont été appliquées à l'année associative profonde — celle qui correspond au sens grammatical. Même lorsqu'on disait explicitement au modèle que l'année était 2025, sa grammaire interne restait ancrée dans le passé. Lorsqu'on lui demandait de compléter la phrase « En 2025, il y eut... », le modèle prédisait toujours des verbes au passé, comme si 2025 était un événement historique. Le réentraînement du modèle sur de nouvelles données n'a aidé que très peu, et seulement pour les années très proches de sa date de fin d'entraînement initiale. La seule méthode capable de déplacer le sens temporel profond était une édition chirurgicale complexe des connexions internes du modèle. Mais voici le dernier rebondissement : lorsque les chercheurs ont utilisé cette méthode chirurgicale pour corriger l'année grammaticale profonde, la capacité du modèle à énoncer l'année à voix haute est restée inchangée. Les deux horloges ne pouvaient pas être synchronisées.

L'étude conclut que l'année actuelle n'est pas un concept unique à l'intérieur de ces machines. La compréhension temporelle profonde et grammaticale est une partie fondamentale de la structure du langage que le modèle a apprise lors de son entraînement initial, et elle est incroyablement résistante au changement. Elle est tissée dans la façon dont le modèle connecte les années aux verbes, un motif si ancré que les mises à jour standards ne peuvent l'effacer. La compréhension déclarative superficielle est une couche séparée, apprise plus tard lorsque le modèle a appris à parler aux humains, et elle est facilement écrasable. Cela signifie que simplement dire la date à un modèle ou le réentraîner sur un nouveau texte ne suffit pas pour lui donner un sens véritable et cohérent du présent. La machine peut dire la bonne année, mais elle pense toujours que le monde est plus vieux qu'il ne l'est réellement. Ce décalage suggère que rafraîchir ces modèles pour qu'ils suivent le monde réel est bien plus difficile qu'on ne le pensait, car corriger une version de la vérité laisse l'autre version obstinément derrière.