Résumé Technique : La Géométrie de l'Oubli

Énoncé du Problème

Les grands modèles de langage (LLM) produisent fréquemment des réponses obsolètes avec la même fluidité et la même confiance que des réponses correctes. Lorsqu'on les interroge sur des faits ayant changé depuis la date de coupure de l'entraînement du modèle (par exemple, les dirigeants gouvernementaux actuels ou les entraîneurs sportifs), les modèles peuvent récupérer un fait périmé, nommer un détenteur antérieur à l'entraînement, ou en fabriquer un nouveau. Les méthodes de détection existantes, qui reposent sur des statistiques au niveau de la sortie (par exemple, l'entropie des tokens, l'entropie sémantique) ou sur des sondes d'états cachés entraînées pour la justesse générale ou l'incertitude, échouent à distinguer ces modes de défaillance. Plus précisément, elles ne peuvent pas différencier le Rappel Périmé (récupération d'un fait qui était correct au moment de l'entraînement mais est désormais obsolète) de la Confabulation (fabrication d'un fait qui n'a jamais existé). Cette opacité laisse les déploiements incapables de distinguer les erreurs récupérables liées à l'entraînement des hallucinations.

Les auteurs soutiennent qu'il ne s'agit pas d'un échec technique mais d'un échec structurel : la dérive temporelle (qu'un fait stocké ait changé depuis l'entraînement) est encodée dans le flux résiduel du modèle comme un axe représentatif géométriquement orthogonal à la fois à la justesse et à l'incertitude. Par conséquent, toute méthode opérant uniquement sur des signaux de justesse ou d'incertitude est structurellement aveugle à la dérive par construction.

Méthodologie

Construction du Jeu de Données

Les auteurs ont construit un jeu de données de 3 511 requêtes couvrant 1 342 faits uniques répartis sur quatre relations (chef_gouvernement, entraîneur_principal, président_de, appartenant_à) avec une précision de tenure au niveau du jour, dérivée d'un instantané figé de Wikidata (avril 2026).

• États de Connaissance Temporelle : Chaque paire (échantillon, modèle) est classée dans l'un des cinq états suivants, basée sur la sortie du modèle par rapport à la chronologie du fait et à la date de coupure de l'entraînement du modèle ($\tau_\theta$) :
  1. Stable-Correct : Réponse correcte, pas de dérive.
  2. Anachronisme : Réponse incorrecte (détenteur passé), pas de dérive (le fait n'a jamais changé).
  3. Rappel-Périmé : Réponse incorrecte (détenteur passé), dérivé (le fait a changé après l'entraînement).
  4. Obsolète-Actuel : Réponse incorrecte (détenteur actuel au moment de l'entraînement, remplacé plus tard), dérivé.
  5. Confabulation : Réponse incorrecte (fabriquée), dérivé.
• Évaluation Contrôlée : Pour empêcher les modèles de simplement détecter l'année de la requête (un facteur confondant), l'évaluation est restreinte aux années de requête $\ge \tau_\theta + 1$.

Sondage et Analyse

L'étude évalue six modèles ajustés par instruction (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) à travers quatre familles d'architectures.

1. Sondes Linéaires : Des sondes linéaires regularisées L1 sont entraînées sur les activations du flux résiduel ($h^{(\ell)}$) pour prédire l'étiquette is_drifted. Les auteurs parcourent toutes les couches pour identifier la couche de performance maximale.
2. Tests d'Indépendance Géométrique : Pour vérifier que l'axe de dérive est indépendant de la justesse et de l'incertitude, cinq mesures complémentaires sont employées :
   • Cosinus des Poids : Mesure de l'angle entre les vecteurs de poids des sondes de dérive, de justesse et d'incertitude.
   • Corrélations des Scores : Corrélations de Pearson entre les scores des sondes.
   • Projection Bidirectionnelle sur l'Espace Null : Projection du flux résiduel sur le sous-espace orthogonal aux directions de nuisance (justesse/incertitude) et réentraînement de la sonde cible.
   • Projection Itérative sur l'Espace Null (INLP) : Suppression itérative des directions associées aux variables de nuisance pour tester une dépendance distribuée.
   • Dissociation par Déplacement de Moyenne : Comparaison des sondes entraînées avec des directions de différence de moyennes (DoM) non entraînées pour écarter les artefacts d'optimisation.
3. Interventions Mécanistiques :
   • Patchage d'Activation : Remplacement des états cachés corrompus par des états propres pour localiser le traitement temporel.
   • Attribution Directe des Logits (DLA) : Décomposition des logits de sortie pour comparer les trajectoires des MLP pour le Rappel-Périmé par rapport à la Confabulation.
   • Pilotage Causal : Amplification ou suppression de la direction de dérive pour observer les changements dans les logits des détenteurs.

Résultats Clés

1. Décodabilité Linéaire de la Dérive

Une sonde linéaire entraînée directement sur les étiquettes de dérive atteint un AUROC de 0,83 à 0,95 sur les six modèles. En revanche, les références existantes (Entropie des Tokens, Entropie Sémantique, SEP, SAPLMA, CCS) restent proches du hasard (0,49 à 0,57). Cela confirme que la dérive est un signal décodable linéairement dans le flux résiduel, mais qu'elle est invisible pour les méthodes non explicitement entraînées sur la dérive.

2. Orthogonalité Géométrique

Cinq tests confirment que l'axe de dérive est géométriquement indépendant du sous-espace justesse-incertitude :

• Cosinus des Poids : $|\cos| \le 0,14$ entre la dérive et les vecteurs de justesse/incertitude.
• Corrélations des Scores : $|r| \le 0,20$ entre les scores de dérive et les scores de justesse/incertitude.
• Projection sur l'Espace Null : La suppression des directions de justesse et d'incertitude entraîne une dégradation négligeable de l'AUROC ($|\Delta| \le 0,008$), confirmant que la dérive ne réside pas dans leur enveloppe.
• INLP : La suppression de 10 directions pour chaque variable de nuisance laisse encore la dérive détectable.
• Dissociation par Déplacement de Moyenne : Les sondes entraînées sont quasi-orthogonales même lorsque les directions de déplacement de moyenne non entraînées sont fortement corrélées, indiquant que l'indépendance est structurelle et non un artefact de la parcimonie.

3. Spécificité du Modèle et Indépendance de l'Entrée

Dans une expérience de coupure croisée utilisant des entrées identiques au niveau des octets, la sonde de dérive se déclenche sur le modèle dont la date de coupure d'entraînement précède la transition du fait et reste silencieuse sur le modèle à coupure ultérieure. La probabilité $P(A > B)$ varie de 0,975 à 0,998 entre les paires de modèles. Cela prouve que la sonde détecte l'état de connaissance interne du modèle, et non les propriétés de l'entrée comme la familiarité de l'entité ou l'année de la requête.

4. Explication Mécanistique

• Dynamiques de Récupération Identiques : L'Attribution Directe des Logits révèle que le circuit de récupération des MLP produit des trajectoires quasi identiques pour le Rappel-Périmé et la Confabulation ($r > 0,81$). Les deux modes de défaillance atteignent leur pic à la même couche, expliquant pourquoi la confiance de sortie (qui reflète la force de récupération) ne peut pas les séparer.
• Latent mais Activable : Le pilotage causal montre que la direction de dérive est latente lors de l'inférence normale (sa suppression ne cause aucun changement de sortie) mais, lorsqu'elle est amplifiée, elle restructure les logits des détenteurs, engageant sélectivement le circuit de récupération temporelle.

Signification et Revendications

L'article revendique que la dérive temporelle est une propriété représentative distincte des LLM, structurellement orthogonale à la justesse et à l'incertitude. Cette indépendance géométrique explique pourquoi :

1. Les méthodes existantes de détection d'hallucinations échouent sur les faits périmés.
2. Les modèles peuvent être sûrement erronés (confiance élevée, faible incertitude) sur des faits dérivés car ils effectuent une véritable récupération de données d'entraînement obsolètes.
3. La détection de la dérive temporelle nécessite des sondes entraînées directement sur des étiquettes de dérive ; le détournement de sondes de justesse ou d'incertitude est insuffisant.

Les auteurs concluent que les systèmes déployés devraient lire cet axe spécifique de dérive pour identifier les connaissances obsolètes, plutôt que d'attendre des erreurs de surface ou de s'appuyer sur des estimations d'incertitude. Ce travail fournit un compte rendu mécanistique de la façon dont les modèles encodent la validité temporelle et démontre que ce signal est accessible via des sondes linéaires, offrant une voie vers un fact-checking temporel plus robuste dans les applications de LLM.