💻 computer science

Intertemporal Preference Steering in Qwen3 via Contrastive Activation Addition

Cet article démontre que les représentations linéaires de l'horizon temporel dans le modèle Qwen3-32B peuvent être identifiées via des sondes linéaires contrastives et utilisées à travers l'ajout d'activations pour orienter efficacement les préférences intertemporelles et les capacités de planification du modèle, tant dans des directions à court qu'à long terme.

Auteurs originaux : Michal Mráz, Justin Shenk

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michal Mráz, Justin Shenk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot très intelligent, très rapide, qui a lu presque tous les livres d'Internet. Vous pourriez penser que ce robot ne fait que recracher des faits, mais c'est en réalité plus proche d'une personne dotée d'une personnalité. Il a des préférences, des habitudes, et même un sens du « moment opportun » pour faire les choses. Parfois, il veut attraper un cookie tout de suite (court terme), et d'autres fois, il est prêt à attendre un gros gâteau plus tard (long terme). Ce document traite d'une nouvelle façon de jeter un coup d'œil à l'intérieur du cerveau du robot pour trouver l'« interrupteur » spécifique qui contrôle ce sens du temps. Les scientifiques appellent cela la « préférence intertemporelle », ce qui est juste une façon sophistiquée de demander : « Est-ce que tu le veux maintenant, ou plus tard ? » Comprendre cela est crucial car si nous ne pouvons pas contrôler la manière dont un robot évalue les récompenses immédiates par rapport aux bénéfices futurs, il pourrait nous donner de mauvais conseils sur l'épargne, la planification d'un voyage ou même sur de grandes décisions de vie.

Les chercheurs de cette étude ont décidé de tester cela sur un cerveau de robot spécifique et puissant nommé Qwen3-32B. Ils ne se sont pas contentés de poser des questions au robot ; ils ont essayé de « diriger » physiquement ses pensées pendant qu'il réfléchissait. Imaginez le cerveau du robot comme un immense fleuve d'électricité coulant à travers des couches de tuyaux. L'équipe a découvert une direction spécifique dans ce fleuve qui représente la « pensée à long terme ». En poussant doucement l'électricité dans cette direction (ou en la tirant en arrière), ils ont pu faire changer soudainement d'avis au robot. Ils ont prouvé qu'ils pouvaient rendre le robot beaucoup plus patient, prêt à attendre des années pour une énorme récompense, ou beaucoup plus impatient, désespéré d'obtenir une petite récompense à la seconde même. C'est comme avoir une télécommande pour la patience du robot.

Le secret du « cadran temporel » dans le cerveau du robot

L'équipe a commencé par apprendre au robot à répondre à des questions sur le temps. Ils lui ont donné des paires de questions où l'une des réponses concernait « ce qu'il faut faire dans les 30 prochains jours » et l'autre « où être dans 10 ans ». À mesure que le robot traitait ces réponses, les chercheurs observaient l'électricité circuler dans son cerveau. Ils ont découvert que la différence entre une réponse à « court terme » et une réponse à « long terme » n'était pas désordonnée ou aléatoire ; c'était une ligne droite et propre. Ils pouvaient tracer un vecteur (une flèche mathématique) qui pointait de « maintenant » vers « plus tard ».

Pour tester si cette flèche était réelle, ils ont utilisé une technique appelée Addition d'Activation Contrastive (CAA). Imaginez le cerveau du robot comme une voiture roulant sur une route. Les chercheurs ont trouvé un « volant » spécifique caché dans le moteur. Lorsqu'ils tournaient ce volant légèrement vers la gauche (en ajoutant une poussée négative), la voiture déviait vers une « action immédiate ». Lorsqu'ils le tournaient vers la droite (en ajoutant une poussée positive), la voiture déviait vers une « planification future ». Ils n'ont pas seulement deviné cela ; ils l'ont mesuré. Ils ont découvert qu'en ajoutant un tout petit peu de ce « vecteur temporel » au cerveau du robot pendant qu'il répondait, ils pouvaient le forcer à changer d'avis sur des choix binaires (A contre B) avec une fiabilité très élevée, modifiant significativement les préférences du modèle dans les deux sens.

Le test de l'argent : Pouvons-nous changer son portefeuille ?

La véritable magie s'est produite lorsqu'ils ont testé cela sur un type de question complètement différent : l'argent. Ils n'ont pas enseigné la notion d'argent au robot ; ils lui ont seulement enseigné les cadres temporels « court vs long ». Ensuite, ils lui ont posé un dilemme classique de l'être humain : « Préféreriez-vous avoir 100 $ aujourd'hui ou 1 000 $ dans un an ? »

Sans aucune direction, le robot avait un « point d'indifférence » spécifique — un montant futur précis qui le faisait dire : « Bof, je vais attendre ». Mais lorsque les chercheurs ont appliqué leur « direction de long terme », la patience du robot a grimpé en flèche. Soudain, il était prêt à attendre une récompense future même si le montant supplémentaire qu'il gagnait en attendant était relativement faible. En d'autres termes, la « prime » qu'il exigeait pour attendre a considérablement chuté. Inversement, lorsqu'ils ont appliqué une « direction de court terme », le robot est devenu avide, exigeant une récompense massive juste pour attendre un seul jour.

Les chiffres étaient incroyables. Au niveau de direction le plus fort, la préférence du robot a changé de manière si drastique qu'à un horizon de 10 ans, il exigeait plus de 56 fois la récompense future pour être prêt à attendre lorsqu'il était orienté vers le court terme, comparé à lorsqu'il était orienté vers le long terme. Cela suggère que le sens du temps du robot n'est pas un réglage fixe ; c'est un cadran que l'on peut tourner vers le haut ou vers le bas, même sur des tâches pour lesquelles il n'a pas été explicitement entraîné.

Planification de voyages : La patience fait-elle un meilleur agent de voyage ?

Enfin, l'équipe s'est demandé si rendre le robot plus patient le rendrait meilleur pour des tâches complexes. Ils ont utilisé un benchmark appelé TravelPlanner, où le robot doit créer un itinéraire de voyage de plusieurs jours comprenant des hôtels, des vols et des restaurants. C'est difficile car vous devez penser à toute la semaine, et pas seulement à la prochaine heure.

Ils ont trouvé un point d'équilibre. Lorsqu'ils donnaient au robot une poussée de « long terme » modérée, ses plans de voyage devenaient plus sensés et réalistes. Il cessait de commettre des erreurs stupides qu'un planificateur à courte vue ferait. Cependant, s'ils poussaient le « cadran de long terme » trop fort (le réglage le plus élevé), le robot devenait confus et commençait à dire des absurdités. Il semble que si un peu de réflexion sur le futur aide, trop de réflexion peut briser la capacité du robot à se concentrer sur les détails.

Ce que cela signifie pour nous

La grande conclusion est que les modèles d'IA ont un « horizon temporel » mesurable, et que nous pouvons le modifier. Ce n'est pas seulement un tour de magie amusant ; c'est un problème de sécurité. Si une IA vous donne des conseils sur l'investissement, la santé ou le changement climatique, ses conseils dépendent fortement de savoir si elle se soucie de la semaine prochaine ou du siècle prochain. Les chercheurs ont montré que nous pouvons mesurer cette préférence et la diriger.

Cependant, ils précisent bien que ce n'est pas une baguette magique qui règle tout. Le « cadran temporel » peut aussi être entremêlé avec d'autres éléments, comme le degré d'abstraction ou d'urgence que le robot ressent. Et si l'on tourne le cadran trop loin, le robot peut cesser de dire des choses cohérentes. Mais le fait que nous puissions trouver cet interrupteur et l'actionner suggère que la façon dont l'IA perçoit le futur n'est pas un mystère inaccessible. C'est une caractéristique que nous pouvons comprendre, mesurer et potentiellement contrôler, ce qui est un pas de géant pour garantir que l'IA reste utile et alignée sur nos objectifs à long terme.

Résumé technique : Pilotage des préférences intertemporelles dans Qwen3 via l'ajout d'activations contrastives

Énoncé du problème

L'article étudie si les préférences intertemporelles (le compromis entre les récompenses immédiates et différées) sont représentées sous forme de caractéristiques linéaires au sein du flux résiduel du modèle et si ces caractéristiques peuvent être manipulées causalement pour modifier le comportement du modèle. Plus précisément, les auteurs se demandent si l'« horizon temporel » d'un modèle — sa tendance à privilégier les résultats à court terme par rapport à ceux à long terme — peut être identifié via des sondes linéaires et piloté à l'aide de l'ajout d'activations contrastives (Contrastive Activation Addition - CAA) pour induire des changements bidirectionnels significatifs dans les préférences et les capacités de planification.

Méthodologie

Modèle et données

Modèle : Les expériences utilisent Qwen3-32B avec les traces de pensée (thinking traces) désactivées.
Jeux de données :
- Jeu de données explicite : 500 questions de choix temporel avec des marqueurs temporels explicites (ex : « les 30 prochains jours » vs « 10 ans »). Répartis en 400 exemples d'entraînement et 100 exemples de test.
- Jeu de données implicite : 300 questions codant des horizons temporels par des contrastes sémantiques (ex : « contenant des dommages » vs « redéfinir l'architecture ») sans mots temporels explicites. Utilisé pour l'évaluation trans-domaine.
- Entraînement par force du professeur (Teacher-Forced) : Pour chaque question, le modèle est contraint de générer à la fois une continuation à court terme et une continuation à long terme afin de créer des exemples d'entraînement appariés.

Construction de la direction (Entraînement de la sonde)

Les auteurs construisent une direction de différence de moyennes pondérée par signe ( $d_{MM}$ ) pour représenter l'horizon temporel.

Regroupement (Pooling) : Ils utilisent le regroupement Mean-Mass (MM), qui fait la moyenne des états cachés sur tous les jetons de la continuation de la réponse, plutôt que d'utiliser uniquement le dernier jeton. Ce choix est fait pour mieux s'aligner avec les interventions appliquées lors de la génération.
Définition du vecteur : À des couches spécifiques ( $l \in \{24, 28, \dots, 48\}$ ), la direction est définie comme :
$d_{MM} = \mu_{long} - \mu_{imm}$
où $\mu$ représente la moyenne des activations des continuations à long terme et immédiates (court terme), respectivement.
Diagnostics : Les auteurs comparent la direction MM aux sondes de régression logistique (LR), de régression logistique blanchie (WLR) et de MM blanchie (WMM). Bien que les variantes blanchies atteignent une précision de classification légèrement supérieure sur les données non vues, la direction MM non blanchie est sélectionnée pour le pilotage afin de préserver la nature signée du contraste.

Intervention de pilotage (CAA)

La direction identifiée est utilisée pour l'ajout d'activations contrastives (CAA) pendant l'inférence :

Mécanisme : Un vecteur normalisé $\hat{d}_l$ est ajouté au flux résiduel à une couche $l$ sélectionnée et à chaque étape de décodage.
Formule : L'intervention ajoute $\alpha \hat{d}_l$ $α \hat{d}_{l}$ au flux résiduel, où $\alpha$ $α$ est un paramètre de force signé.
- $\alpha$ positif : Oriente le modèle vers la classe long terme.
- $\alpha$ négatif : Oriente le modèle vers la classe court terme/immédiat.
Contrôle : Un contrôle de norme correspondante utilisant un vecteur unité aléatoire orthogonal à la direction MM est employé pour s'assurer que les effets ne sont pas dus à une perturbation générique.

Expériences clés et résultats

1. Pilotage temporel binaire (Évaluation sur données non vues)

Tâche : Le modèle est confronté à des questions de choix binaire (options à court terme vs long terme) issues du jeu de test explicite tenu à l'écart et du jeu implicite complet.
Résultat : Le pilotage par CAA produit des décalages systématiques et bidirectionnels dans les choix du modèle.
- Le pilotage positif augmente significativement la proportion de choix à long terme.
- Le pilotage négatif augmente significativement les choix à court terme.
- L'effet est observé sur une large gamme de couches intermédiaires à tardives (24–48), la couche 44 montrant le plus grand contraste de choix analysé sur les deux jeux d'évaluation.
- Les contrôles orthogonaux aléatoires produisent des décalages négligeables et incohérents, confirmant le rôle causal de la direction temporelle spécifique.

2. Pilotage Utilité-Temps (Généralisation hors distribution)

Tâche : On demande au modèle des questions de choix intertemporel monétaire (ex : « Prenez X \ $maintenant ou Y \$ dans $t$ jours ? »). Cette tâche n'a pas été utilisée pour entraîner la direction de la sonde.
Métrique : Multiplicateur d'indifférence équivalent à l'aire (AEIM), qui estime le ratio de récompense ( $Y/X$ ) pour lequel le modèle est indifférent entre les récompenses immédiates et différées.
Résultat : Le pilotage modifie considérablement le seuil d'indifférence du modèle :
- Pilotage négatif : Augmente l'AEIM, ce qui signifie que le modèle exige une récompense différée beaucoup plus grande pour attendre (devient plus impatient).
- Pilotage positif : Diminue l'AEIM, ce qui signifie que le modèle accepte des récompenses différées plus petites (devient plus patient).
- Magnitude : À un horizon de 10 ans (3650 jours) et une force maximale ( $|\alpha|=128$ ), le ratio d'AEIM entre le pilotage négatif et positif dépasse 56x. Cela démontre qu'une direction entraînée sur des choix binaires sémantiques se généralise aux compromis monétaires quantitatifs.

3. Benchmark de capacité TravelPlanner

Tâche : Un benchmark de planification de voyage en conditions réelles nécessitant des itinéraires de plusieurs jours respectant des contraintes (transport, budget, etc.).
Métrique : Taux de réussite micro des contraintes de bon sens (la fraction de vérifications de bon sens individuelles réussies).
Résultat : Le pilotage temporel affecte la capacité de planification, mais la relation est non monotone :
- Pilotage positif modéré : Améliore le taux de réussite du bon sens.
- Pilotage négatif : Dégrade la performance.
- Fort pilotage positif ( $|\alpha|=128$ ) : Dégrade la performance, probablement parce qu'il pousse le modèle trop loin hors de sa distribution, causant des problèmes de cohérence.
- Cela suggère que, bien que la direction temporelle influence la planification, il existe un « point idéal » (sweet spot) pour la force du pilotage. Les auteurs ont sélectionné la couche 40 comme une couche représentative soumise à des contraintes de calcul dans la bande de sondage intermédiaire à tardive pour cette expérience spécifique, plutôt que comme un optimum lié à la tâche.

Contributions clés

Identification de représentations linéaires : Démontre que les préférences intertemporelles dans Qwen3-32B sont linéairement séparables dans le flux résiduel et peuvent être capturées via de simples sondes linéaires contrastives.
Pilotage causal : Prouve que l'ajout de ces vecteurs linéaires déplace causalement le comportement du modèle sur des choix binaires non vus et, surtout, sur des tâches monétaires hors distribution.
Généralisation : Montre qu'une direction entraînée sur des contrastes sémantiques court terme/long terme pilote efficacement les métriques de préférence temporelle quantitative (AEIM) sur une tâche structurellement distincte.
Impact sur les capacités : Fournit la preuve que le pilotage des préférences temporelles peut moduler les capacités liées à la planification, bien qu'avec des rendements décroissants à des forces d'intervention extrêmes.

Signification et revendications

L'article affirme que les préférences intertemporelles des modèles sont mesurables et pilotables, remettant en question la vision selon laquelle de telles préférences ne sont que des effets secondaires opaques du pré-entraînement ou de l'ajustement par instructions.

Sécurité et Alignement : La capacité de piloter les horizons temporels est pertinente pour les systèmes d'IA fournissant des conseils en finance, santé et politique, où les coûts et bénéfices différés sont critiques. Cela souligne un problème de sécurité : un modèle pourrait optimiser en interne un horizon différent de celui qu'il présente aux utilisateurs, ce qui le rend difficile à évaluer sur la seule base de ses sorties.
Risque de double usage : Les auteurs notent explicitement que la capacité de piloter les préférences temporelles pourrait être exploitée par des acteurs malveillants pour pousser les modèles vers des décisions mal alignées avec les valeurs de l'utilisateur (ex : forcer l'immédiateté ou le long terme de manière inappropriée).
Aperçu mécaniste : Les résultats soutiennent le paradigme de l'interprétabilité mécaniste selon lequel des concepts de haut niveau (comme l'horizon temporel) correspondent à des directions spécifiques et manipulables dans l'espace d'activation du modèle.

Limites reconnues par les auteurs

Validité de construit : La direction entraînée peut capturer des caractéristiques sémantiques corrélées (abstraction, urgence, portée stratégique) plutôt que l'« horizon temporel » de manière isolée.
Échelle d'intervention : Des forces de pilotage importantes peuvent dégrader d'autres capacités (facticité, cohérence) parallèlement au changement des préférences.
Portée : Les expériences sont limitées à une famille de modèles (Qwen3-32B), à des modèles de prompts spécifiques et à des traces de pensée désactivées. Les résultats peuvent ne pas se transférer à d'autres architectures ou à des contextes de raisonnement activés.
Spécificité du benchmark : Les résultats de TravelPlanner sont basés sur des métriques agrégées et n'identifient pas exactement quelles contraintes spécifiques sont affectées par le pilotage.