Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Resumen Técnico: Control de Comportamiento de Largo Alcance en Agentes de Modelos de Lenguaje mediante Dinámicas de Estado Explícitas

Declaración del Problema
Los agentes de Modelos de Lenguaje Extensos (LLM) exhiben con frecuencia cambios abruptos y descoordinados en el tono y la personalidad durante interacciones prolongadas de múltiples turnos. Este fenómeno, denominado "reversión afectiva instantánea", socava la consistencia social y la confianza del usuario. Si bien investigaciones previas han abordado esto mediante mecanismos de memoria (p. ej., memoria de recuperación aumentada) o prompts basados en la personalidad, estos métodos se centran en el almacenamiento de información en lugar de gobernar la evolución temporal de los estados internos. En consecuencia, los agentes pueden poseer un contexto extenso y, aun así, mostrar transiciones emocionales discontinuas. El problema central identificado es la falta de inercia: los estados emocionales humanos cambian gradualmente debido al impulso y la resistencia a los cambios repentinos, una propiedad ausente en la inferencia estándar de los LLM sin estado.

Metodología
Los autores proponen un marco que impone una estructura dinámica explícita sobre un estado afectivo externo de baja dimensión, que opera como una capa de superposición (overlay) en el tiempo de inferencia sin modificar los parámetros subyacentes del LLM.

• Representación Latente: El estado del agente se representa mediante un vector continuo de Valencia-Activación-Dominancia (VAD), $\mathbf{a}_t \in \mathbb{R}^3$, mantenido externamente. El análisis se centra principalmente en el componente de valencia ($v_t$).
• Extracción de Señal: En cada turno, se extrae una señal afectiva instantánea y sin memoria ($\hat{\mathbf{a}}_t$) del contexto del diálogo utilizando un analizador de sentimiento basado en léxico fijo (VADER).
• Regímenes Dinámicos: El estudio compara cuatro condiciones para evaluar el impacto de la persistencia del estado y la inercia:
  1. Control Sin Estado (Stateless): No se mantiene ningún estado; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. Dinámica de Primer Orden: Persistencia del estado sin impulso ($\mu=0$), modelada como suavizado exponencial: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Dinámica de Segundo Orden (Inercia Moderada): Introduce velocidad afectiva ($\mathbf{u}_t$) e impulso ($\mu=0.8$) para simular sistemas físicos amortiguados.
  4. Dinámica de Segundo Orden (Alta Inercia): Impulso fuerte ($\mu=0.95$) para probar la persistencia excesiva.
• Bucle de Retroalimentación: El estado afectivo actualizado se inyecta de nuevo en el contexto de generación mediante un prompt de lenguaje natural estructurado, modulando el tono y el estilo discursivo del LLM.
• Protocolo Experimental: Los experimentos utilizan un protocolo de diálogo fijo de 25 turnos que incluye una fase adversarial (turnos 6–13) seguida de una fase de reconciliación (turnos 14–25). Se realizaron cinco ejecuciones independientes por condición (usando diferentes semillas de muestreo) en un LLM cuantizado de 7 mil millones de parámetros.

Contribuciones Clave

1. Dinámicas de Estado Explícitas: El artículo introduce un método para regular el comportamiento de agentes de largo alcance modelando el estado afectivo como una variable continua gobernada por reglas de actualización de primer y segundo orden, en lugar de depender únicamente de la recuperación de memoria.
2. La Inercia como Mecanismo de Control: Demuestra que la inercia afectiva (modelada mediante el impulso) puede ajustarse para inducir coherencia temporal, respuestas retardadas e histéresis, propiedades que no son alcanzables con modelos puramente reactivos o sin estado.
3. Superposición en Tiempo de Inferencia: El marco no requiere reentrenamiento ni ajuste fino (fine-tuning) del modelo, funcionando como un subsistema complementario (plug-in) compatible con cualquier LLM preentrenado.

Resultados

• Estructura Temporal: Los agentes sin estado exhibieron un comportamiento localmente reactivo pero temporalmente no estructurado, sin patrones coherentes de descenso-recuperación. En contraste, los agentes con estado (primer orden y segundo orden) mostraron respuestas afectivas retardadas ante entradas adversariales.
• Dinámicas de Recuperación:
  • Los agentes sin estado y de Alta Inercia ($\mu=0.95$) no lograron recuperarse (regresar a una valencia positiva) dentro del horizonte de 25 turnos.
  • Los agentes de Primer Orden y de Inercia Moderada ($\mu=0.8$) se recuperaron consistentemente al inicio de la fase de reconciliación (turno 14).
  • El tiempo de recuperación estuvo gobernado por el forzamiento externo (el protocolo de diálogo) en lugar del impulso interno; la inercia afectó la profundidad y la curvatura de la trayectoria, pero no el tiempo de recuperación.
• Histéresis y Dependencia de la Trayectoria: La histéresis afectiva (el área entre las trayectorias de descenso y recuperación) aumentó monótonamente con la inercia. La condición sin estado tuvo cero histéresis, mientras que la condición de alta inercia produjo la mayor histéresis (AUC = 21.19), confirmando que las dinámicas de segundo orden introducen una clara dependencia de la trayectoria.
• Compromiso entre Estabilidad y Capacidad de Respuesta: La inercia moderada equilibró la estabilidad y la capacidad de respuesta, permitiendo transiciones y recuperaciones fluidas. La inercia excesiva ($\mu=0.95$) provocó un "bloqueo" en estados afectivos negativos, impidiendo una recuperación oportuna a pesar de la reconciliación externa.

Significancia y Reivindicaciones
El artículo sostiene que la incorporación de la inercia afectiva proporciona un mecanismo sistemático para crear agentes que no solo son competentes, sino también temporalmente coherentes. Al anclar las dinámicas en principios físicos explícitos, los autores argumentan que el comportamiento del agente puede estabilizarse contra cambios de humor espurios, manteniendo la sensibilidad ante cambios contextuales legítimos.

El trabajo sugiere que la estabilidad del agente no depende únicamente de la capacidad de memoria o de modificaciones arquitectónicas, sino que puede lograrse mediante subsistemas dinámicos externos de baja dimensión. Este enfoque ofrece un control interpretable sobre propiedades temporales como la persistencia, el retardo y la histéresis, que son difíciles de imponer mediante la ingeniería de prompts por sí sola. Los autores posicionan esto como un enfoque complementario a los métodos actuales basados en memoria, siendo particularmente valioso para dominios que requieren un compromiso social sostenido y fiabilidad emocional, como la interacción humano-robot y las intervenciones de salud mental digital.

Limitaciones
Los autores reconocen que la extracción de afecto depende de un estimador basado en léxico que es grueso/simplificado, y que los experimentos se limitaron a un único protocolo de diálogo. Señalan que el horizonte de evaluación fue finito y que interacciones más largas podrían revelar diferentes regímenes dinámicos, como una recuperación eventual en escenarios de alta inercia. Se sugiere como trabajo futuro explorar la inercia adaptativa y el análisis multidimensional más allá de la valencia.