Sintesi Tecnica: Modelli di Mondo Cognitivo per la Valutazione dell'Influenza Sociale a Livello di Processo

1. Definizione del Problema

I sistemi di Dialogo di Influenza Sociale (SID) mirano ad alterare gli stati cognitivi interni di un utente — specificamente credenze, desideri, intenzioni ed emozioni — piuttosto che limitarsi a completare compiti esterni. Mentre i Dialoghi Orientati al Compito si concentrano sul completamento degli obiettivi e i Dialoghi Non Cooperativi sulla risoluzione dei conflitti, il SID richiede la misurazione del processo di cambiamento cognitivo.

Le attuali metodologie di valutazione non riescono a catturare questo criterio orientato al processo:

• Metriche Testuali Superficiali (BLEU/ROUGE): Ignorano completamente l'obiettivo dell'influenza sociale.
• LLM-as-Judge: Forniscono punteggi terminali, "black-box", che non rivelano nulla sulla traiettoria dell'evoluzione dello stato cognitivo.
• Valutazione Umana: Costosa, non scalabile e incapace di tracciare spostamenti cognitivi granulari a livello di singolo turno.
• Esistenti Simulatori di Utente: Predicono le espressioni dell'utente ma falliscono nel modellare il "perché" sottostante (stati BDI/E interni), lasciando credenze, desideri, intenzioni ed emozioni non osservati.

La sfida centrale è sviluppare un framework di valutazione che passi dal giudizio terminale al tracciamento del processo, quantificando come un agente modifichi in modo misurabile lo stato cognitivo interno di un utente nel corso di una conversazione.

2. Metodologia: Il Modello di Mondo Cognitivo (CogWM)

Gli autori propongono CogWM, un modello utente basato su LLM che inquadra la valutazione del dialogo da "cosa ha detto l'utente" a "come si è evoluto lo stato cognitivo interno dell'utente".

2.1 Framework Core

CogWM opera come un predittore congiunto di Espressioni dell'Utente ($U_t$) e Stati Cognitivi BDI/E ($S_t$).

• Dimensioni BDI/E:
  • Credenza (Belief): Ciò che l'utente crede, conosce o giudica.
  • Desiderio (Desire): Ciò che l'utente vuole, ha bisogno o preferisce.
  • Intenzione (Intention): Ciò che l'utente pianifica, decide o si impegna a fare.
  • Emozione (Emotion): Lo stato affettivo attuale dell'utente e la sua intensità.
• Input/Output: Dato un profilo utente ($P$), un contesto di task ($C$) e una cronologia di dialogo ($H_{<t}$), CogWM predice il successivo stato $S_t$ e l'espressione $U_t$.
• Doppio Ruolo: Funziona sia come Simulatore di Utente (generando risposte e stati realistici) sia come Piattaforma di Valutazione (quantificando l'influenza di un agente su un utente simulato).

2.2 Costruzione dei Dati: Summarize-and-Allocate (SaA)

Per addestrare CogWM, gli autori hanno costruito un dataset di 150.454 campioni di turno utente attraverso quattro scenari: Supporto Emotivo (ESConv), Persuasione per Donazioni Caritative (P4G), Raccomandazione Conversazionale (DuRecDial) e Dominio Aperto (DailyDialog).

• Pipeline di Annotazione: È stato sviluppato un metodo a due stadi:
  1. Riassunto Globale (Global Summarization): Estrae elementi BDI globali e punteggi dal dialogo completo.
  2. Allocazione Temporale (Temporal Allocation): Assegna stati BDI/E per ogni turno con evidenza di fondamento e li collega al riassunto globale.
• Qualità: La validazione umana ha mostrato un recall BDI globale di 0,79 e un coefficiente $\kappa$ di Cohen per le emozioni di 0,69.

2.3 Framework di Valutazione: Sistema a Tre Livelli

La valutazione è strutturata in tre livelli gerarchici:

1. Fedeltà a Livello di Turno (Turn-Level Fidelity): Valuta la qualità della singola risposta utilizzando 8 metriche automatiche (es. somiglianza semantica, MAE) e 5 metriche semantiche LLM-as-Judge.
2. Dinamiche di Stato a Livello di Traiettoria (Trajectory-Level State Dynamics): Modella l'evoluzione multi-turno utilizzando quattro indicatori adattati dall'analisi delle serie temporali finanziarie:
   • AUC: Performance cumulativa (Area Under Curve).
   • $\Delta$: Cambiamento netto tra lo stato iniziale e finale.
   • PSR: Frequenza di miglioramento (Positive Step Ratio).
   • Mono: Coerenza direzionale.
3. Punteggio Composto a Livello di Task (Task-Level Composite Scoring): Aggrega le metriche di traiettoria in due punteggi:
   • CTS (Composite Trajectory Score): Una somma pesata ($0,40 \cdot AUC + 0,30 \cdot PSR + 0,30 \cdot \Delta$) che misura l'influenza cognitiva globale.
   • GO (GoodOutcome): Un indicatore binario se il dialogo ha raggiunto un obiettivo comportamentale specifico (es. donazione, accettazione).

3. Contributi Chiave

1. Framework di Valutazione BDI/E a Tre Livelli: Adatta il classico modello BDI all'era degli LLM, consentendo una valutazione decomponibile dalla fedeltà a livello di turno all'impatto della traiettoria globale.
2. Pipeline di Annotazione SaA: Un metodo scalabile per generare oltre 150.000 campioni annotati con stati BDI/E espliciti e interpretabili attraverso quattro distinti scenari di influenza sociale.
3. Modello CogWM: Un modello addestrato congiuntamente (basato su Qwen3-14B) che predice sia gli stati cognitivi che il testo. Raggiunge una accuratezza emotiva del 77,6%, un miglioramento di 2,1 volte rispetto a GPT-5.5, e supera significativamente i baseline nel tracciare credenze, desideri e intenzioni.
4. Validazione Empirica di Processo vs Risultato: Attraverso 3.600 prove di discriminazione multi-agente, lo studio dimostra che il miglioramento della traiettoria cognitiva (CTS) e gli esiti comportamentali (GO) non sono equivalenti. Un agente può raggiungere un esito comportamentale positivo (GO=true) pur fallendo nel produrre un cambiamento cognitivo significativo (traiettoria piatta), e viceversa.

4. Risultati Sperimentali

4.1 Fedeltà della Simulazione

• Predizione dello Stato: CogWM-14B ha raggiunto il 77,6% di accuratezza emotiva, superando GPT-5.5 (36,4%) e DeepSeek-V4-Pro (31,0%). Ha inoltre guidato la somiglianza semantica BDI e l'accuratezza del punteggio quantitativo (MAE).
• Generazione delle Espressioni: CogWM ha ottenuto un Rapporto di Lunghezza (LenR) di 1,01 (corrispondenza quasi perfetta con la verità di base), mentre i baseline API tendevano a generare risposte eccessivamente lunghe (LenR > 1,8).
• Necessità di Addestramento Congiunto: Gli studi di ablazione hanno confermato che il tracciamento dello stato cognitivo non può essere acquisito solo tramite la distribuzione di input condivisa; è richiesta l'ottimizzazione congiunta esplicita della predizione dello stato e della generazione del testo.

4.2 Discriminazione degli Agenti

Nei test di confronto tra sei agenti commerciali (GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro, ecc.):

• Classifica: Llama-4-Scout è arrivato primo con un CTS di +0,233, dimostrando una capacità superiore di guidare traiettorie cognitive positive.
• Tipologia: Gli agenti sono stati categorizzati in "All-round" (Llama), "Sprint" (Qwen: alto cambiamento netto ma guadagno cumulativo inferiore), "Steady" (Claude) e "Hollow" (Gemini: basse performance in tutti i parametri).
• Impatto del CoT: Il prompting Chain-of-Thought ha influenzato asimmetricamente gli agenti, migliorando significativamente la traiettoria emotiva di GPT-5.5, ma offrendo guadagni marginali per agenti già forti.
• Divergenza CTS vs. GO: Lo studio ha evidenziato che gli alti punteggi GO (successo del task) non garantiscono alti punteggi CTS (miglioramento cognitivo). Ad esempio, nel supporto emotivo, alcuni agenti hanno ottenuto GO=true tramite una chiusura cortese senza però guidare reali cambiamenti cognitivi, una sfumatura catturata solo dal CTS.

5. Significato e Rivendicazioni

Il documento sostiene che si sta spostando il paradigma della valutazione del Dialogo di Influenza Sociale dalla giudizio terminale al tracciamento del processo. Rendendo esplicito e verificabile lo stato cognitivo interno dell'utente, CogWM fornisce:

• Interpretabilità: Le conclusioni della valutazione possono essere tracciate fino a turni specifici e dimensioni BDI/E.
• Granularità: Cattura sottili spostamenti cognitivi che le metriche superficiali perdono.
• Scalabilità: Permette una valutazione automatizzata a basso costo di complessi scenari di influenza sociale.

Gli autori posizionano CogWM non solo come una metrica, ma come un'infrastruttura per l'IA sociale (analogamente alle gallerie del vento per gli aeroplani) che consente agli sviluppatori di osservare l'impatto cognitivo degli agenti prima del dispiegamento, offrendo così uno strumento concreto per prevenire l'IA manipolatoria e garantire un'influenza sociale responsabile. Il lavoro sottolinea che la vera influenza sociale richiede cambiamenti misurabili nello stato interno dell'utente, non solo il completamento di una transazione.