Résumé Technique : Connaissance Juste, Réponse Erronée : Pilotage au Temps de l'Inférence pour les Conflits Factuels Temporels dans les Modèles de Langage à Poids Ouverts

1. Définition du Problème : Conflit Temporel Paramétrique (PTC)

Les grands modèles de langage (LLM) entraînés sur des corpus couvrant plusieurs années encodent souvent des faits obsolètes et leurs contreparties plus récentes au sein de leur mémoire paramétrique. Un mode de défaillance distinct apparaît lorsqu'un modèle possède le fait actualisé en interne (récupérable via des indices temporels) mais revient par défaut à la réponse obsolète sous un prompting standard. Les auteurs formalisent cela comme un Conflit Temporel Paramétrique (PTC).

Contrairement à une simple absence de connaissance (où le modèle ne possède pas le fait) ou à une dégradation générique du rappel temporel, le PTC est défini par deux conditions :

1. Préférence pour l'obsolète : $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ sous un prompting standard.
2. Récupérabilité : $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$ lorsqu'un indice temporel (ex: « En date de 2024... ») est fourni.

Les approches existantes, telles que l'apprentissage continu (mises à jour des poids) ou la génération augmentée par récupération (RAG), ne traitent pas ce cas spécifique de sélection entre des versions coexistantes d'un fait au moment de l'inférence sans modifier les poids ou utiliser une récupération externe.

2. Méthodologie : Pilotage par Attracteur Temporel (TAS)

Le papier introduit le Temporal Attractor Steering (TAS), un cadre d'inférence en trois étapes, sans récupération et sans entraînement, conçu pour détecter, localiser et résoudre le PTC en manipulant les activations du flux résiduel (residual-stream).

Étape 1 : Détection

Une sonde linéaire légère évalue si une requête est susceptible de présenter un PTC. La sonde est entraînée sur des cas positifs de PTC vérifiés et des cas négatifs de non-conflit appariés. Si le score dépasse un seuil $\tau$, la requête passe à l'étape de pilotage ; sinon, elle est traitée normalement pour préserver le comportement sur les requêtes sans conflit.

Étape 2 : Localisation du Conflit

En utilisant le causal activation patching, la méthode identifie une couche critique du conflit ($\ell^*$). En injectant les états cachés d'une passe directe avec un « prompt temporel » dans une passe directe avec un « prompt standard », les auteurs déterminent quelle couche, lorsqu'elle est intervenue, maximise le Taux d'Inversion de Réponse (AFR). Les résultats empiriques montrent que, pour tous les modèles testés, cette couche critique réside dans la moitié supérieure du réseau (ex: couches 23–31 pour des modèles de 28–32 couches).

Étape 3 : Pilotage (Steering)

À la couche identifiée $\ell^*$, l'état caché est perturbé vers la représentation du fait plus récent à l'aide d'un vecteur de pilotage précalculé $\Delta$ :
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
où $\alpha$ contrôle la force de l'intervention et $c$ est le score du détecteur. Le vecteur de pilotage $\Delta$ est construit en faisant la moyenne de la différence entre les états cachés sous indices temporels et sous prompts standards ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$). Les auteurs proposent trois variantes de granularité de moyenne : globale (V1), par relation (V2) et par domaine (V3). La variante V2 (par relation) est jugée la plus efficace, car elle empêche la dilution des signaux forts de relations spécifiques (comme « Chef d'État ») par des relations plus volumineuses et plus bruitées.

3. Contributions Clés

1. Formalisation et Filtrage : Le papier définit le PTC et introduit un filtre de récupération de connaissance pour distinguer les vrais conflits de l'absence de connaissance. Cela garantit que l'évaluation se concentre uniquement sur les cas où le modèle peut récupérer le nouveau fait mais échoue à le faire par défaut.
2. Temporal Attractor Steering (TAS) : Un nouveau cadre qui opère sur les activations du flux résiduel pour remplacer sélectivement la connaissance paramétrique obsolète sans réentraînement ni récupération externe. L'analyse théorique fournit des conditions suffisantes (Séparabilité Locale, Pilotage Borné) sous lesquelles le TAS parvient à inverser l'inégalité de préférence.
3. Évaluation Multi-Modèle Vérifiée : Les auteurs ont construit un benchmark vérifié de 8 746 enregistrements couvrant cinq relations Wikidata (ex: PDG, Chef d'État) et évalué quatre modèles à poids ouverts (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Résultats Expérimentaux

L'évaluation a été menée sur le benchmark de 8 746 enregistrements à travers trois familles de modèles.

• Prévalence du PTC : Les taux de PTC filtrés augmentent de manière monotone avec la capacité du modèle, allant de 4,1 % (Qwen-1.5B) à 10,3 % (Llama-3.1-8B). Le taux de préférence pour l'obsolète (OPR) est relativement invariant selon la famille (~53–54 %).
• Localisation : Le patching d'activation sur une seule couche atteint des Taux d'Inversion de Réponse (AFR) de 0,72–0,85 sur tous les modèles, confirmant que les circuits de résolution de conflit sont localisés dans des couches supérieures spécifiques.
• Performance de Bout en Bout : Le TAS récupère 29–57 % des cas de PTC vérifiés tout en maintenant une précision de 85–99 % sur les requêtes sans conflit (Précision de Préservation).
  • Meilleure Performance : Qwen-2.5-7B a atteint un taux de récupération de 56,9 % avec 94,8 % de préservation.
  • Comparaison avec la Baseline : Le TAS surpasse l'ITI (Inference-Time Intervention) de référence sur trois des quatre modèles. Plus précisément, le TAS gagne +0,142 à +0,152 en récupération sur les modèles Qwen par rapport à l'ITI, grâce à la construction du vecteur de pilotage à partir d'instances de conflits vérifiées plutôt que de contrastes comportementaux généraux.
• Analyse Trans-Modèles : Les instances de PTC ne sont pas parfaitement alignées entre les modèles. Curieusement, le chevauchement entre Mistral et Llama (familles différentes) est plus important que celui entre les deux modèles Qwen (même famille), suggérant que la récence des données d'entraînement est un prédicteur de l'alignement du PTC plus fort que la lignée architecturale.

5. Signification et Revendications

Le papier affirme fournir un compte rendu axé sur les mécanismes et sans récupération de la manière dont la connaissance paramétrique obsolète peut être sélectivement remplacée lors de l'inférence.

• Utilité Diagnostique : Le filtre de récupération de connaissance offre un diagnostic peu coûteux pour déterminer si un modèle détient des faits nouveaux récupérables avant de tenter une intervention.
• Stabilité : La couche critique du conflit est spécifique à la famille mais stable, permettant de la réutiliser une fois identifiée pour une famille de modèles donnée.
• Efficacité de l'Intervention : Les résultats démontent que les conflits temporels sont mesurables, localisés et résolvables. Le papier affirme modestement que, bien que le pilotage par conflit vérifié (TAS) surpasse généralement le pilotage par contraste comportemental (ITI), la construction optimale du vecteur de pilotage peut varier selon l'architecture du modèle (ex: l'ITI a mieux performé sur Mistral-7B-v0.3).

Ce travail établit que le PTC est un mode de défaillance distinct, séparable de l'absence de connaissance, et qu'un pilotage ciblé des activations peut résoudre efficacement ces conflits sans le coût de réentraînement ou la latence d'une récupération externe.