Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Résumé Technique : Contrôler le comportement à long terme des agents de modèles de langage par une dynamique d'état explicite

Énoncé du problème
Les agents basés sur les grands modèles de langage (LLM) présentent fréquemment des changements de ton et de persona abrupts et non coordonnés lors d'interactions multi-tours prolongées. Ce phénomène, nommé « inversion affective instantanée », compromet la cohérence sociale et la confiance de l'utilisateur. Bien que des recherches antérieures aient abordé ce point via des mécanismes de mémoire (par exemple, la mémoire augmentée par la récupération) ou des prompts basés sur le persona, ces méthodes se concentrent sur le stockage de l'information plutôt que sur la gouvernance de l'évolution temporelle des états internes. Par conséquent, les agents peuvent posséder un contexte étendu tout en affichant des transitions émotionnelles discontinues. Le problème central identifié est l'absence d'inertie : les états émotionnels humains changent graduellement en raison de la quantité de mouvement et de la résistance aux changements soudains, une propriété absente de l'inférence standard des LLM sans état (stateless).

Méthodologie
Les auteurs proposent un cadre qui impose une structure dynamique explicite sur un état affectif externe de faible dimension, opérant comme une superposition au moment de l'inférence sans modifier les paramètres sous-jacents du LLM.

• Représentation latente : L'état de l'agent est représenté par un vecteur continu de Valence-Arousal-Dominance (VAD), $\mathbf{a}_t \in \mathbb{R}^3$, maintenu de manière externe. L'analyse se concentre principalement sur la composante de valence ($v_t$).
• Extraction de signal : Un signal affectif instantané et sans mémoire ($\hat{\mathbf{a}}_t$) est extrait du contexte du dialogue à chaque tour en utilisant un analyseur de sentiment à base de lexique fixe (VADER).
• Régimes dynamiques : L'étude compare quatre conditions pour évaluer l'impact de la persistance de l'état et de l'inertie :
  1. Contrôle sans état (Stateless) : Aucun état n'est maintenu ; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. Dynamique de premier ordre : Persistance de l'état sans quantité de mouvement ($\mu=0$), modélisée par un lissage exponentiel : $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Dynamique de second ordre (Inertie modérée) : Introduit une vitesse affective ($\mathbf{u}_t$) et une quantité de mouvement ($\mu=0.8$) pour simuler des systèmes physiques amortis.
  4. Dynamique de second ordre (Inertie élevée) : Forte quantité de mouvement ($\mu=0.95$) pour tester une persistance excessive.
• Boucle de rétroaction : L'état affectif mis à jour est réinjecté dans le contexte de génération via un prompt de langage naturel structuré, modulant le ton et le style de discours du LLM.
• Protocole expérimental : Les expériences utilisent un protocole de dialogue fixe de 25 tours comprenant une phase adversaire (tours 6–13) suivie d'une phase de réconciliation (tours 14–25). Cinq exécutions indépendantes par condition (utilisant différentes graines d'échantillonnage) ont été menées sur un LLM quantifié de 7 milliards de paramètres.

Principales contributions

1. Dynamique d'état explicite : Le papier introduit une méthode pour réguler le comportement des agents à long terme en modélisant l'état affectif comme une variable continue régie par des règles de mise à jour de premier et second ordre, plutôt que de compter uniquement sur la récupération de la mémoire.
2. L'inertie comme mécanisme de contrôle : Il démontre que l'inertie affective (modélisée par la quantité de mouvement) peut être ajustée pour induire une cohérence temporelle, des réponses retardées et de l'hystérésis, des propriétés impossibles à atteindre avec des modèles sans état ou purement réactifs.
3. Superposition au moment de l'inférence : Le cadre ne nécessite aucun réentraînement ou ajustement fin (fine-tuning) du modèle, fonctionnant comme un sous-système plug-in compatible avec n'importe quel LLM pré-entraîné.

Résultats

• Structure temporelle : Les agents sans état ont montré un comportement localement réactif mais temporellement non structuré, sans motifs cohérents de descente-récupération. En revanche, les agents dotés d'un état (premier ordre et second ordre) ont affiché des réponses affectives retardées aux entrées adverses.
• Dynamique de récupération :
  • Les agents sans état et à inertie élevée ($\mu=0.95$) n'ont pas réussi à récupérer (retour à une valence positive) au cours de l'horizon de 25 tours.
  • Les agents de premier ordre et à inertie modérée ($\mu=0.8$) ont systématiquement récupéré au début de la phase de réconciliation (tour 14).
  • Le moment de la récupération était régi par le forçage externe (le protocole de dialogue) plutôt que par la quantité de mouvement interne ; l'inertie affectait la profondeur et la courbure de la trajectoire, mais pas le moment de la récupération.
• Hystérésis et dépendance au chemin : L'hystérésis affective (l'aire entre les trajectoires de descente et de récupération) augmentait de manière monotone avec l'inertie. La condition sans état présentait une hystérésis nulle, tandis que la condition à inertie élevée produisait la plus grande hystérésis (AUC = 21.19), confirmant que les dynamiques de second ordre introduisent une dépendance au chemin distincte.
• Compromis Stabilité-Réactivité : L'inertie modérée équilibrait stabilité et réactivité, permettant des transitions et une récupération fluides. Une inertie excessive ($\mu=0.95$) entraînait un « blocage » dans des états affectifs négatifs, empêant une récupération opportune malgré la réconciliation externe.

Signification et affirmations
Le papier affirme qu'incorporer l'inertie affective fournit un mécanisme systématique pour créer des agents qui sont non seulement compétents, mais aussi temporellement cohérents. En ancrant les dynamiques dans des principes physiques explicites, les auteurs soutiennent que le comportement des agents peut être stabilisé contre les changements d'humeur spécieux tout en maintenant une sensibilité aux changements contextuels légitimes.

Le travail suggère que la stabilité d'un agent ne dépend pas uniquement de la capacité de mémoire ou de modifications architecturales, mais peut être obtenue via des sous-systèmes dynamiques externes de faible dimension. Cette approche offre un contrôle interprétable sur les propriétés temporelles telles que la persistance, le décalage et l'hystérésis, qui sont difficiles à imposer par le seul ingénierie de prompt (prompt engineering). Les auteurs positionnent cela comme une approche complémentaire aux méthodes existantes basées sur la mémoire, particulièrement précieuse pour les domaines nécessitant un engagement social soutenu et une fiabilité émotionnelle, tels que l'interaction homme-robot et les interventions de santé mentale numérique.

Limites
Les auteurs reconnaissent que l'extraction de l'affect repose sur un estimateur grossier à base de lexique et que les expériences étaient limitées à un seul protocole de dialogue. Ils notent que l'horizon d'évaluation était fini, et que des interactions plus longues pourraient révéler des régimes dynamiques différents, tels qu'une récupération éventuelle dans les scénarios à inertie élevée. Des travaux futurs sont suggérés pour explorer l'inertie adaptative et l'analyse multidimensionnelle au-delà de la valence.