Affect-Aware Human-Agent Conversations: Towards Empathic LLM Interaction

Sintesi Tecnica: Conversazioni Uomo-Agente Sensibili all'Affetto

Definizione del Problema
I Large Language Models (LLM) possiedono capacità conversazionali ma mancano di un'autentica esperienza emotiva, affidandosi invece al riconoscimento probabilistico di pattern per simulare l'empatia. Ciò crea una "illusione di compassione", in cui il riconoscimento algoritmico di segnali affettivi viene scambiato per una genuina risonanza. Le attuali interazioni uomo-IA sono prevalentemente basate sul testo, escludendo i segnali affettivi non verbali che sono centrali nell'interpretazione umana. Di conseguenza, le risposte degli LLM spesso mancano di "fondamento relazionale", dipendendo esclusivamente dall'input testuale esplicito piuttosto che dal ricco contesto situato della comunicazione umana. Sebbene lavori precedenti abbiano introdotto l' "Empathic Prompting" come prova di concetto, esso è rimasto esplorativo e limitato a implementazioni pilota rapide, prive di un'integrazione robusta in tempo reale o di una validazione completa da parte dell'utente.

Metodologia
Lo studio propone e valuta l' Empathic Extended Prompting, un framework di prompting esteso empatico in tempo reale, progettato per arricchire le conversazioni uomo-LLM con descrittori affettivi facciali.

• Architettura del Sistema: Il sistema utilizza un'architettura client-middleware-server.

  • Client: Cattura le espressioni facciali dell'utente tramite uno stream video.
  • Middleware: Elabora il video utilizzando Noldus FaceReader per estrarre descrittori affettivi di alto livello (emozione dominante, intensità, valenza, arousal) piuttosto che raw Action Units. Un middleware personalizzato filtra, sincronizza e serializza questi descrittori in un formato compatto simile a JSON, memorizzandoli in una Emotional Parameters Queue (EPQ) per mantenere la memoria a breve termine dello stato dell'utente.
  • Server: Al momento della sottomissione del testo da parte dell'utente, il server recupera i campioni affettivi più recenti. Una finestra temporale di 3 secondi applica il voto di maggioranza per l'emozione dominante e media intensità, valenza e arousal. Questi valori numerici vengono mappati in etichette linguistiche discrete (ad es., intensità "ALTA", valenza "POSITIVA") per garantire l'interpretabilità da parte dell'LLM.
  • Costruzione del Prompt: Il sistema costruisce un turno utente aumentato ($\tilde{M}_t$) premettendo lo stato affettivo in tempo reale ($F^t_e$) e un prior affettivo a livello di sessione ($P^t_e$, derivato da un istogramma temporale della fase di priming) al testo dell'utente ($M_t$). Questo contesto aumentato viene combinato con un prompt di sistema persistente che definisce le regole di interazione empatica prima di essere inviato all'LLM.

• Disegno Sperimentale: È stato condotto uno studio entro i soggetti con N = 20 partecipanti.

  • Condizioni: I partecipanti hanno interagito con l'LLM in due condizioni: una condizione Sperimentale (consapevole dell'affetto) e una condizione di Controllo (baseline di sola empatia testuale).
  • Procedura: La sessione iniziava con una fase di priming emotivo utilizzando clip video validate (Il Re Leone per la tristezza, Wall-E per la gioia) per indurre stati affettivi specifici. I partecipanti partecipavano poi a una conversazione semi-strutturata di 5 minuti sulla loro esperienza emotiva. L'ordine delle condizioni e degli stimoli video era controbilanciato.
  • Modello: Il modello deepseek-r1:32b, ospitato localmente tramite OLLAMA, fungeva da spina dorsale conversazionale per garantire privacy e coerenza.
  • Misure: La valutazione ha incluso la System Usability Scale (SUS), la Perceived Empathy of Technology Scale (PETS), la Networked Minds Measure of Social Presence e la serie di questionari Godspeed (focalizzandosi su Simpatia, Competenza e Sicurezza). Un ranking a scelta forzata ha valutato la preferenza esplicita.

Contributi Chiave

1. Integrazione Affettiva in Tempo Reale: Lo studio implementa una pipeline funzionale che estrae, elabora e inietta continuamente descrittori affettivi facciali nel contesto dell'LLM senza esporre dati biometrici grezzi al modello.
2. Strategia di Prompting Raffinata: A differenza degli approcci precedenti che si limitavano ad appendere dei segnali, questo framework ancora il prompt di sistema in un esplicito modello di interazione empatica. I segnali affettivi informano la postura conversazionale del modello (ad es., il ritmo basato sull'arousal, la gestione delle discrepanze tra testo e volto) piuttosto che agire come semplici metadati.
3. Validazione Empirica: Il documento fornisce uno studio di validazione con l'utente finale che confronta il sistema consapevole dell'affetto con una baseline di solo testo, investigando specificamente se il contesto affettivo in tempo reale migliori le qualità dell'interazione percepita senza indurre effetti negativi come l'effetto "uncanny valley" o una riduzione della usabilità.

Risultati

• Qualità Percepita: La condizione consapevole dell'affetto ha mostrato punteggi descrittivi più elevati nelle dimensioni chiave dell'interazione. Miglioramenti degni di nota sono stati osservati in Godspeed Competence ($\Delta = +0,31$), PETS Understanding and Trust ($\Delta = +0,21$), PETS Emotional Responsiveness ($\Delta = +0,16$) e Godspeed Likability ($\Delta = +0,13$).
• Usabilità e Sicurezza: I punteggi di usabilità (SUS) sono rimasti alti e accettabili in entrambe le condizioni (Controllo: 81,25, Sperimentale: 79,38), indicando che l'aggiunta dell'elaborazione affettiva non ha degradato l'esperienza dell'interfaccia. Le percezioni di sicurezza sono rimaste stabili tra le condizioni.
• Significatività Statistica: A livello di macro-costrutto, i test di Wilcoxon signed-rank accoppiati non hanno rivelato differenze statisticamente significative tra le condizioni, probabilmente a causa degli effetti soffitto (ceiling effects) degli LLM moderni, già istruiti per produrre risposte di supporto. Tuttavia, i trend descrittivi hanno favorito costantemente la condizione consapevole dell'affetto in termini di intelligenza emotiva e risposta all'umore.
• Effetti Negativi: Lo studio non ha trovato prove che l'iniezione di segnali facciali in tempo reale abbia elicitato effetti interattivi negativi, ridotto la sicurezza percepita o creato percezioni di tipo "uncanny".

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione del contesto affettivo in tempo reale possa aggiungere un fondamento relazionale alle conversazioni con l'LLM, spostando il paradigma da "IA-come-strumento" a "IA-come-collaboratore". Gli autori sottolineano che l'obiettivo non è rendere gli LLM genuinamente empatici (il che è impossibile data la loro natura probabilistica) ma migliorare la percezione dell'utente di sintonizzazione empatica. Adattando la postura conversazionale al feedback affettivo continuo, il sistema supporta un'interazione più situata. I risultati suggeriscono che il fondamento affettivo multimodale migliora la percezione dell'intelligenza emotiva e della reattività senza compromettere la usabilità o innescare reazioni psicologiche negative, offrendo una via percorribile per una collaborazione uomo-agente più naturalistica.