Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

Sintesi Tecnica: Controllo del Comportamento a Lungo Orizzonte negli Agenti basati su Modelli Linguistici tramite Dinamiche di Stato Esplicite

Definizione del Problema
Gli agenti basati su Large Language Model (LLM) mostrano frequentemente cambiamenti bruschi e non coordinati nel tono e nella persona durante interazioni prolungate a più turni. Questo fenomeno, definito "inversione affettiva istantanea", mina la coerenza sociale e la fiducia dell'utente. Sebbene la ricerca precedente abbia affrontato questo aspetto attraverso meccanismi di memoria (ad esempio, la memoria aumentata dal recupero) o il prompting basato sulla persona, tali metodi si concentrano sullo stoccaggio delle informazioni piuttosto che sul governo dell'evoluzione temporale degli stati interni. Di conseguenza, gli agenti possono possedere un contesto esteso ma mostrare comunque transizioni emotive discontinue. Il problema centrale identificato è la mancanza di inerzia: gli stati emotivi umani cambiano gradualmente a causa della quantità di moto e della resistenza ai cambiamenti improvvisi, una proprietà assente nella standard inferenza stateless degli LLM.

Metodologia
Gli autori propongono un framework che impone una struttura dinamica esplicita su uno stato affettivo esterno a bassa dimensionalità, operando come un overlay durante l'inferenza senza modificare i parametri sottostanti dell'LLM.

• Rappresentazione Latente: Lo stato dell'agente è rappresentato da un vettore continuo Valenza-Arousal-Dominanza (VAD), $\mathbf{a}_t \in \mathbb{R}^3$, mantenuto esternamente. L'analisi si concentra principalmente sulla componente della valenza ($v_t$).
• Estrazione del Segnale: Un segnale affettivo istantaneo e privo di memoria ($\hat{\mathbf{a}}_t$) viene estratto dal contesto del dialogo ad ogni turno utilizzando un analizzatore di sentiment a lessico fisso (VADER).
• Regimi Dinamici: Lo studio confronta quattro condizioni per valutare l'impatto della persistenza dello stato e dell'inerzia:
  1. Controllo Stateless: Nessuno stato viene mantenuto; $\mathbf{a}_t = \hat{\mathbf{a}}_t$.
  2. Dinamiche del Primo Ordine: Persistenza dello stato senza quantità di moto ($\mu=0$), modellata come smoothing esponenziale: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. Dinamiche del Secondo Ordine (Inerzia Moderata): Introduce velocità affettiva ($\mathbf{u}_t$) e quantità di moto ($\mu=0.8$) per simulare sistemi fisici smorzati.
  4. Dinamiche del Secondo Ordine (Alta Inerzia): Forte quantità di moto ($\mu=0.95$) per testare l'eccessiva persistenza.
• Ciclo di Feedback: Lo stato affettivo aggiornato viene iniettato nuovamente nel contesto di generazione tramite un prompt in linguaggio naturale strutturato, modulando il tono e lo stile del discorso dell'LLM.
• Protocollo Sperimentale: Gli esperimenti utilizzano un protocollo di dialogo fisso di 25 turni, con una fase avversaria (turni 6–13) seguita da una fase di riconciliazione (turni 14–25). Sono state condotte cinque sessioni indipendenti per condizione (utilizzando diversi seed di campionamento) su un LLM quantizzato da 7 miliardi di parametri.

Contributi Chiave

1. Dinamiche di Stato Esplicite: Il documento introduce un metodo per regolare il comportamento di un agente a lungo orizzonte modellando lo stato affettivo come una variabile continua governata da regole di aggiornamento del primo e secondo ordine, piuttosto che fare affidamento esclusivamente sul recupero della memoria.
2. L'Inerzia come Meccanismo di Controllo: Dimostra che l'inerzia affettiva (modellata tramite la quantità di moto) può essere calibrata per indurre coerenza temporale, risposte ritardate e isteresi, proprietà non raggiungibili con modelli stateless o puramente reattivi.
3. Overlay al Tempo di Inferenza: Il framework non richiede il riaddestramento o il fine-tuning del modello, funzionando come un sottosistema plug-in compatibile con qualsiasi LLM pre-addestrato.

Risultati

• Struttura Temporale: Gli agenti stateless hanno mostrato comportamenti localmente reattivi ma temporalmente non strutturati, senza schemi coerenti di discesa-recupero. Al contrario, gli agenti con stato (primo ordine e secondo ordine) hanno mostrato risposte affettive ritardate agli input avversari.
• Dinamiche di Recupero:
  • Gli agenti Stateless e ad Alta Inerzia ($\mu=0.95$) non sono riusciti a recuperare (ritornare a una valenza positiva) entro l'orizzonte dei 25 turni.
  • Gli agenti del Primo Ordine e a Inerzia Moderata ($\mu=0.8$) si sono costantemente recuperati all'inizio della fase di riconciliazione (turno 14).
  • Il tempo di recupero era governato dal forcing esterno (il protocollo del dialogo) piuttosto che dalla quantità di moto interna; l'inerzia ha influenzato la profondità e la curvatura della traiettoria, ma non il tempo del recupero.
• Isteresi e Dipendenza dal Percorso: L'isteresi affettiva (l'area tra le traiettorie di discesa e recupero) è aumentata monotonicamente con l'inerzia. La condizione stateless presentava isteresi nulla, mentre la condizione ad alta inerzia ha prodotto la maggiore isteresi (AUC = 21.19), confermando che le dinamiche del secondo ordine introducono una distinta dipendenza dal percorso.
• Trade-off tra Stabilità e Reattività: L'inerzia moderata ha bilanciato stabilità e reattività, permettendo transizioni fluide e recupero. L'inerzia eccessiva ($\mu=0.95$) ha portato al "blocco" in stati affettivi negativi, impedendo un recupero tempestivo nonostante la riconciliazione esterna.

Significatività e Rivendicazioni
Il documento sostiene che l'incorporazione dell'inerzia affettiva fornisce un meccanismo sistematico per creare agenti che siano non solo competenti, ma anche temporalmente coerenti. Ancorando le dinamiche a espliciti principi fisici, gli autori sostengono che il comportamento dell'agente possa essere stabilizzato contro cambiamenti d'umore spurii, mantenendo al contempo la sensibilità ai legittimi cambiamenti contestuali.

Il lavoro suggerisce che la stabilità dell'agente non dipende esclusivamente dalla capacità di memoria o da modifiche architettoniche, ma può essere ottenuta attraverso sottosistemi dinamici esterni a bassa dimensionalità. Questo approccio offre un controllo interpretabile sulle proprietà temporali come persistenza, ritardo e isteresi, che sono difficili da imporre tramite il solo prompt engineering. Gli autori posizionano questa ricerca come un approccio complementare ai metodi esistenti basati sulla memoria, particolarmente prezioso per domini che richiedono un impegno sociale sostenuto e affidabilità emotiva, come l'interazione uomo-robot e gli interventi di salute mentale digitale.

Limitazioni
Gli autori riconoscono che l'estrazione dell'affetto si basa su un estimatore a lessico grossolano e che gli esperimenti sono stati limitati a un singolo protocollo di dialogo. Notano che l'orizzonte di valutazione era finito e che interazioni più lunghe potrebbero rivelare regimi dinamici differenti, come un eventuale recupero negli scenari ad alta inerzia. Il lavoro futuro suggerisce di esplorare l'inerzia adattiva e l'analisi multidimensionale oltre la valenza.