Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Technische Zusammenfassung: Steuerung des langfristigen Verhaltens von Sprachmodell-Agenten durch explizite Zustandsdynamik

Problemstellung
Large Language Model (LLM) Agenten zeigen häufig abrupte, unkoordinierte Wechsel in Tonfall und Persona während ausgedehnter Multi-Turn-Interaktionen. Dieses Phänomen, bezeichnet als „instantaneous affective reversal“ (instantaner affektiver Umschlag), untergräbt die soziale Konsistenz und das Nutzervertrauen. Während vorangegangene Forschungen dies durch Gedächtnismechanismen (z. B. Retrieval-Augmented Memory) oder Persona-basiertes Prompting adressiert haben, konzentrieren sich diese Methoden auf die Informationsspeicherung statt auf die Steuerung der zeitlichen Entwicklung interner Zustände. Folglich können Agenten über einen umfangreichen Kontext verfügen und dennoch diskontinuierliche emotionale Übergänge zeigen. Das identifizierte Kernproblem ist ein Mangel an Trägheit (Inertia): Menschliche emotionale Zustände ändern sich aufgrund von Impuls und Widerstand gegen plötzliche Wechsel graduell – eine Eigenschaft, die der standardmäßigen zustandslosen LLM-Inferenz fehlt.

Methodik
Die Autoren schlagen ein Framework vor, das eine explizite dynamische Struktur auf einen externen, niedrigdimensionalen affektiven Zustand auferlegt, der als Overlay zur Inferenzzeit operiert, ohne die zugrunde liegenden LLM-Parameter zu modifizieren.

• Latente Repräsentation: Der Zustand des Agenten wird durch einen kontinuierlichen Valence-Arousal-Dominance (VAD)-Vektor, $\mathbf{a}_t \in \mathbb{R}^3$, repräsentiert, der extern aufrechterhalten wird. Die Analyse konzentriert sich primtär auf die Valenz-Komponente ($v_t$).
• Signalextraktion: Ein instantanes, gedächtnisloses affektives Signal ($\hat{\mathbf{a}}_t$) wird in jedem Turn aus dem Dialogkontext unter Verwendung eines festen, lexikonbasierten Sentiment-Analysators (VADER) extrahiert.
• Dynamische Regime: Die Studie vergleicht vier Bedingungen, um die Auswirkungen von Zustandspersistenz und Trägheit zu evaluieren:
  1. Stateless Control (Zustandslos): Kein Zustand wird aufrechterhalten; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. First-Order Dynamics (Dynamik erster Ordnung): Zustandspersistenz ohne Impuls ($\mu=0$), modelliert als exponentielle Glättung: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Second-Order Dynamics (Moderate Trägheit): Führt affektive Geschwindigkeit ($\mathbf{u}_t$) und Impuls ($\mu=0.8$) ein, um gedämpfte physikalische Systeme zu simulieren.
  4. Second-Order Dynamics (Hohe Trägheit): Starker Impuls ($\mu=0.95$), um übermäßige Persistenz zu testen.
• Feedback-Schleife: Der aktualisierte affektive Zustand wird via eines strukturierten natürlichen Sprachprompts in den Generierungskontext injiziert, um den Tonfall und den Diskursstil des LLM zu modulieren.
• Experimentelles Protokoll: Die Experimente nutzen ein festes 25-Turn-Dialogprotokoll, bestehend aus einer adversen Phase (Turns 6–13) gefolgt von einer Versöhnungsphase (Turns 14–25). Pro Bedingung wurden fünf unabhängige Durchläufe (mit unterschiedlichen Sampling-Seeds) auf einem quantisierten 7B-Parameter-LLM durchgeführt.

Wesentliche Beiträge

1. Explizite Zustandsdynamik: Die Arbeit führt eine Methode ein, um das langfristige Verhalten von Agenten zu regulieren, indem der affektive Zustand als kontinuierliche Variable modelliert wird, die durch erst- und zweitordnungige Update-Regeln gesteuert wird, anstatt sich allein auf die Gedächtnisabfrage zu verlassen.
2. Trägheit als Kontrollmechanismus: Es wird demonstriert, dass affektive Trägheit (modelliert über Impuls) feinjustiert werden kann, um zeitliche Kohärenz, verzögerte Reaktionen und Hysterese zu induzieren – Eigenschaften, die mit zustandslosen oder rein reaktiven Modellen nicht erreichbar sind.
3. Inference-Time Overlay: Das Framework erfordert kein Retraining oder Fine-Tuning des Modells und fungiert als Plug-in-Subsystem, das mit jedem vortrainierten LLM kompatibel ist.

Ergebnisse

• Temporale Struktur: Zustandlose Agenten zeigten lokal reaktives, aber zeitlich unstrukturiertes Verhalten ohne kohärente Abstieg-Erholungs-Muster. Im Gegensatz dazu zeigten zustandsbehaftete Agenten (erster und zweiter Ordnung) verzögerte affektive Reaktionen auf adversen Input.
• Erungsdynamik:
  • Zustandslose und hoch-träge ($\mu=0.95$) Agenten konnten innerhalb des 25-Turn-Horizonts nicht regenerieren (zu positiver Valenz zurückkehren).
  • Erster Ordnung und moderate Trägheit ($\mu=0.8$) zeigten eine konsistente Erholung zu Beginn der Versöhnungsphase (Turn 14).
  • Der Zeitpunkt der Erholung wurde durch externe Forcierung (das Dialogprotokoll) bestimmt und nicht durch internen Impuls; die Trägheit beeinflusste die Tiefe und Krümmung der Trajektorie, aber nicht den Zeitpunkt der Erholung.
• Hysterese und Pfadabhängigkeit: Die affektive Hysterese (die Fläche zwischen Abstiegs- und Erholungskurve) nahm monoton mit der Trägheit zu. Die zustandslose Bedingung wies eine Hysterese von Null auf, während die hoch-träge Bedingung die größte Hysterese (AUC = 21.19) produzierte, was bestätigt, dass Dynamiken zweiter Ordnung eine distinkte Pfadabhängigkeit einführen.
• Stabilitäts-Reaktions-Trade-off: Moderate Trägheit balancierte Stabilität und Reaktionsfähigkeit, was glatte Übergänge und Erholung ermöglichte. Übermäßige Trägheit ($\mu=0.95$) führte zu einem „Einfrieren“ in negativen affektiven Zuständen, was eine rechtzeitige Erholung trotz externer Versöhnung verhinderte.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Einbindung affektiver Trägheit einen systematischen Mechanismus bietet, um Agenten zu erschaffen, die nicht nur kompetent, sondern auch zeitlich kohärent sind. Durch die Verankerung der Dynamik in expliziten physikalischen Prinzipien argumentieren die Autoren, dass das Verhalten von Agenten gegen spurelle Stimmungsschwankungen stabilisiert werden kann, während gleichzeitig die Sensitivität für legitime kontextuelle Veränderungen erhalten bleibt.

Die Arbeit legt nahe, dass die Stabilität von Agenten nicht allein von der Gedächtniskapazität oder architektonischen Modifikationen abhängt, sondern durch externe, niedrigdimensionale dynamische Subsysteme erreicht werden kann. Dieser Ansatz bietet eine interpretierbare Kontrolle über temporale Eigenschaften wie Persistenz, Latenz und Hysterese, die durch reines Prompt Engineering schwer durchsetzbar sind. Die Autoren positionieren dies als komplementären Ansatz zu bestehenden gedächtnisbasierten Methoden, insbesondere wertvoll für Domänen, die eine dauerhafte soziale Interaktion und emotionale Verlässlichkeit erfordern, wie etwa die Mensch-Roboter-Interaktion und digitale psychologische Interventionen.

Limitierungen
Die Autoren räumen ein, dass die Affektextraktion auf einem groben, lexikonbasierten Schätzer beruht und die Experimente auf ein einzelnes Dialogprotokoll beschränkt waren. Sie merken an, dass der Evaluationshorizont endlich war und längere Interaktionen unterschiedliche dynamische Regime offenbaren könnten, wie etwa eine letztliche Erholung in Szenarien mit hoher Trägheit. Zukünftige Arbeiten werden vorgeschlagen, um adaptive Trägheit und multidimensionale Analysen jenseits der Valenz zu untersuchen.