Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Technische Samenvatting: Controle van Langetermijngedrag in Taalmodel-agenten met Expliciete Toestandsdynamiek

Probleemstelling
Large Language Model (LLM) agenten vertonen vaak abrupte, ongecoördineerde verschuivingen in toon en persona tijdens uitgebreide interacties met meerdere beurten. Dit fenomeen, getiteld "instantane affectieve omkering", ondermijnt sociale consistentie en het vertrouwen van de gebruiker. Hoewel eerder onderzoek dit heeft aangepakt via geheugenmechanismen (bijv. retrieval-augmented memory) of persona-gebaseerde prompting, richten deze methoden zich op informatieopslag in plaats van op het beheersen van de temporele evolutie van interne toestanden. Bijgevolg kunnen agenten over een uitgebreide context beschikken, maar nog steeds discontinue emotionele transities vertonen. Het kernprobleem dat wordt geïdentificeerd, is een gebrek aan traagheid (inertia): menselijke emotionele toestanden veranderen geleidelijk door momentum en weerstand tegen plotselinge verschuivingen, een eigenschap die afwezig is in standaard stateless LLM-inferentie.

Methodologie
De auteurs stellen een framework voor dat een expliciete dynamische structuur oplegt aan een externe, laagdimensionale affectieve toestand, opererend als een overlay tijdens de inferentie zonder de onderliggende LLM-parameters te wijzigen.

• Latente Representatie: De toestand van de agent wordt gerepresenteerd door een continue Valence-Arousal-Dominance (VAD) vector, $\mathbf{a}_t \in \mathbb{R}^3$, die extern wordt bijgehouden. De analyse richt zich primair op de valentiecomponent ($v_t$).
• Signaalextractie: Een instantane, geheugenloze affectieve signaal ($\hat{\mathbf{a}}_t$) wordt bij elke beurt uit de dialoogcontext geëxtraheerd met behulp van een vaste, lexicon-gebaseerde sentimentanalyser (VADER).
• Dynamische Regimes: De studie vergelijkt vier condities om de impact van toestandspersistentie en traagheid te evalueren:
  1. Stateless Control: Geen toestand wordt bijgehouden; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. First-Order Dynamics: Toestandspersistentie zonder momentum ($\mu=0$), gemodelleerd als exponentiële smoothing: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Second-Order Dynamics (Matige Traagheid): Introduceert affectieve snelheid ($\mathbf{u}_t$) en momentum ($\mu=0.8$) om gedempte fysieke systemen te simuleren.
  4. Second-Order Dynamics (Hoge Traagheid): Sterk momentum ($\mu=0.95$) om excessieve persistentie te testen.
• Feedbackloop: De bijgewerkte affectieve toestand wordt teruggeïnjecteerd in de generatiecontext via een gestructureerde natuurlijke taalprompt, die de toon en de discoursestijl van de LLM moduleert.
• Experimenteel Protocol: Experimenten maken gebruik van een vast 25-beurten dialoogprotocol met een adversariële fase (beurten 6–13) gevolgd door een reconciliatiefase (beurten 14–25). Vijf onafhankelijke runs per conditie (met verschillende sampling seeds) werden uitgevoerd op een 7B-parameter gekwantiseerde LLM.

Kernbijdragen

1. Expliciete Toestandsdynamiek: Het artikel introduceert een methode om het langetermijngedrag van agenten te reguleren door de affectieve toestand te modelleren als een continue variabele die wordt beheerst door first- en second-order update-regels, in plaats van enkel te vertrouwen op geheugenretrieval.
2. Traagheid als Controlemechanisme: Het demonstreert dat affectieve traagheid (gemodelleerd via momentum) kan worden afgestemd om temporele coherentie, vertraagde reacties en hysteresis te induceren, eigenschappen die niet bereikbaar zijn met stateless of puur reactieve modellen.
3. Inference-Time Overlay: Het framework vereist geen modeltraining of fine-tuning en functioneert als een plug-in subsysteem compatibel met elke pre-trained LLM.

Resultaten

• Temporele Structuur: Stateless agenten vertoonden lokaal reactief maar temporeel ongestructureerd gedrag zonder coherent descent-recovery patroon. In tegenstelling hiertoe vertoonden stateful agenten (first-order en second-order) vertraagde affectieve reacties op adversariële inputs.
• Recovery Dynamics:
  • Stateless en High-Inertia ($\mu=0.95$) agenten slaagden er niet in om te herstellen (terug te keren naar positieve valentie) binnen de 25-beurten horizon.
  • First-Order en Moderate-Inertia ($\mu=0.8$) agenten herstelden consistent aan het begin van de reconciliatiefase (beurt 14).
  • Het timing van herstel werd bepaald door externe forcering (het dialoogprotocol) in plaats van intern momentum; traagheid beïnvloedde de diepte en kromming van de trajectorie, maar niet de timing van het herstel.
• Hysteresis en Padafhankelijkheid: Affectieve hysteresis (het gebied tussen de descent- en recovery-trajectorieën) nam monotoon toe met traagheid. De stateless conditie had nul hysteresis, terwijl de high-inertia conditie de grootste hysteresis produceerde (AUC = 21.19), wat bevestigt dat second-order dynamiek onderscheidende padafhankelijkheid introduceert.
• Stabiliteit-Responsiviteit Afweging: Matige traagheid balanceerde stabiliteit en responsiviteit, wat zorgde voor vloeiende transities en herstel. Excessieve traagheid ($\mu=0.95$) leidde tot "locking" in negatieve affectieve toestanden, waardoor tijdig herstel ondanks externe reconciliatie werd voorkomen.

Betekenis en Claims
Het artikel claimt dat het incorporeren van affectieve traagheid een systematisch mechanisme biedt voor het creëren van agenten die niet alleen competent, maar ook temporeel coherent zijn. Door dynamiek te verankeren in expliciete fysieke principes, betogen de auteurs dat het gedrag van agenten kan worden gestabiliseerd tegen spookmatige stemmingveranderingen, terwijl de gevoeligheid voor legitieme contextuele verschuivingen behouden blijft.

Het werk suggereert dat agentstabiliteit niet uitsluitend afhangt van geheugencapaciteit of architecturale wijzigingen, maar kan worden bereikt door externe, laagdimensionale dynamische subsystemen. Deze benadering biedt interpreteerbare controle over temporele eigenschappen zoals persistentie, lag en hysteresis, die moeilijk af te dwingen zijn via prompt engineering alleen. De auteurs positioneren dit als een complementaire aanpak voor bestaande geheugen-gebaseerde methoden, met name waardevol voor domeinen die een duurzame sociale betrokkenheid en emotionele betrouwbaarheid vereisen, zoals mens-robot interactie en digitale mentale gezondheidsinterventies.

Beperkingen
De auteurs erkennen dat de extractie van affect afhankelijk is van een grove, lexicon-gebaseerde estimator en dat experimenten beperkt waren tot een enkel dialoogprotocol. Zij merken op dat de evaluatiehorizon eindig was, en dat langere interacties andere dynamische regimes zouden kunnen onthullen, zoals uiteindelijk herstel in high-inertia scenario's. Toekomstig werk wordt gesuggereerd om adaptieve traagheid en multidimensionale analyse voorbij valentie te verkennen.