Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Resumo Técnico: Controlando o Comportamento de Longo Horizonte em Agentes de Modelos de Linguagem com Dinâmica de Estado Explícita

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) frequentemente exibem mudanças abruptas e descoordenadas de tom e persona durante interações multi-turno estendidas. Este fenômeno, termo denominado "reversão afetiva instantânea", compromete a consistência social e a confiança do usuário. Embora pesquisas anteriores tenham abordado isso por meio de mecanismos de memória (ex: memória de recuperação aumentada) ou prompts baseados em persona, esses métodos focam no armazenamento de informações em vez de governar a evolução temporal dos estados internos. Consequentemente, os agentes podem possuir um contexto extenso, mas ainda assim exibir transições emocionais descontínuas. O problema central identificado é a falta de inércia: estados emocionais humanos mudam gradualmente devido ao momento e à resistência a mudanças súbitas, uma propriedade ausente na inferência padrão de LLMs sem estado (stateless).

Metodologia
Os autores propõem um framework que impõe uma estrutura dinâmica explícita a um estado afetivo externo de baixa dimensão, operando como uma sobreposição de tempo de inferência sem modificar os parâmetros subjacentes do LLM.

• Representação Latente: O estado do agente é representado por um vetor contínuo de Valência-Arousal-Dominância (VAD), $\mathbf{a}_t \in \mathbb{R}^3$, mantido externamente. A análise foca primariamente no componente de valência ($v_t$).
• Extração de Sinal: Um sinal afetivo instantâneo e sem memória ($\hat{\mathbf{a}}_t$) é extraído do contexto do diálogo em cada turno usando um analisador de sentimento baseado em léxico fixo (VADER).
• Regimes Dinâmicos: O estudo compara quatro condições para avaliar o impacto da persistência de estado e da inércia:
  1. Controle Sem Estado (Stateless): Nenhum estado é mantido; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. Dinâmica de Primeira Ordem: Persistência de estado sem momento ($\mu=0$), modelada como suavização exponencial: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Dinâmica de Segunda Ordem (Inércia Moderada): Introduz velocidade afetiva ($\mathbf{u}_t$) e momento ($\mu=0.8$) para simular sistemas físicos amortecidos.
  4. Dinâmica de Segunda Ordem (Alta Inércia): Forte momento ($\mu=0.95$) para testar a persistência excessiva.
• Loop de Feedback: O estado afetivo atualizado é injetado de volta no contexto de geração via um prompt de linguagem natural estruturado, modulando o tom e o estilo de discurso do LLM.
• Protocolo Experimental: Experimentos utilizam um protocolo de diálogo fixo de 25 turnos, envolvendo uma fase adversarial (turnos 6–13) seguida por uma fase de reconciliação (turnos 14–25). Cinco execuções independentes por condição (usando diferentes sementes de amostragem) foram conduzidas em um LLM quantizado de 7 bilhões de parâmetros.

Principais Contribuições

1. Dinâmica de Estado Explícita: O artigo introduz um método para regular o comportamento de agentes de longo horizonte ao modelar o estado afetivo como uma variável contínua governada por regras de atualização de primeira e segunda ordem, em vez de depender apenas da recuperação de memória.
2. Inércia como Mecanismo de Controle: Demonstra que a inércia afetiva (modelada via momento) pode ser ajustada para induzir coerência temporal, respostas atrasadas e histerese, propriedades não alcançáveis com modelos puramente reativos ou sem estado.
3. Sobreposição de Tempo de Inferência: O framework não requer retreinamento ou ajuste fino do modelo, funcionando como um subsistema plug-in compatível com qualquer LLM pré-treinado.

Resultados

• Estrutura Temporal: Agentes sem estado exibiram comportamento localmente reativo, mas temporalmente desestruturado, sem padrões coerentes de descida-recuperação. Em contraste, agentes com estado (primeira e segunda ordem) exibiram respostas afetivas atrasadas a inputs adversariais.
• Dinâmicas de Recuperação:
  • Agentes sem estado e de Alta Inércia ($\mu=0.95$) falharam em recuperar (retornar à valência positiva) dentro do horizonte de 25 turnos.
  • Agentes de Primeira Ordem e de Inércia Moderada ($\mu=0.8$) recuperaram-se consistentemente no início da fase de reconciliação (turno 14).
  • O tempo de recuperação foi governado pelo forçamento externo (o protocolo de diálogo) e não pelo momento interno; a inércia afetou a profundidade e a curvatura da trajetória, mas não o tempo da recuperação.
• Histerese e Dependência de Caminho: A histerese afetiva (a área entre as trajetórias de descida e recuperação) aumentou monotonicamente com a inércia. A condição sem estado apresentou zero de histerese, enquanto a condição de alta inércia produziu a maior histerese (AUC = 21.19), confirmando que a dinâmica de segunda ordem introduz uma distinta dependência de caminho.
• Compromisso entre Estabilidade e Responsividade: A inércia moderada equilibrou estabilidade e responsividade, permitindo transições suaves e recuperação. A inércia excessiva ($\mu=0.95$) levou ao "travamento" em estados afetivos negativos, impedindo a recuperação oportuna apesar da reconciliação externa.

Significância e Alegações
O artigo alega que a incorporação de inércia afetiva fornece um mecanismo sistemático para criar agentes que são não apenas competentes, mas temporalmente coerentes. Ao ancorar as dinâmicas em princípios físicos explícitos, os autores argumentam que o comportamento do agente pode ser estabilizado contra mudanças de humor espúrias, mantendo a sensibilidade a mudanças contextuais legítimas.

O trabalho sugere que a estabilidade do agente não depende apenas da capacidade de memória ou modificações arquiteturais, mas pode ser alcançada através de subsistemas dinâmicos externos de baixa dimensão. Esta abordagem oferece controle interpretável sobre propriedades temporais como persistência, atraso e histerese, que são difíceis de impor apenas via engenharia de prompt. Os autores posicionam isso como uma abordagem complementar aos métodos existentes baseados em memória, particularmente valiosa para domínios que exigem engajamento social sustentado e dependabilidade emocional, como interação humano-robô e intervenções de saúde mental digital.

Limitações
Os autores reconhecem que a extração de afeto depende de um estimador baseado em léxico grosseiro e que os experimentos foram limitados a um único protocolo de diálogo. Eles observam que o horizonte de avaliação foi finito e que interações mais longas poderiam revelar regimes dinâmicos diferentes, como a recuperação eventual em cenários de alta inércia. Sugere-se que trabalhos futuros explorem inércia adaptativa e análise multidimensional além da valência.