⚡ electrical engineering

Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning

Il documento introduce Sympatheia, un framework per assistenti vocali emotivamente adattivi che sfrutta il condizionamento continuo di valenza e arousal derivante sia dal parlato che da sensori multimodali per generare risposte semanticamente e prosodicamente appropriate, validato da un nuovo dataset sintetico e da risultati empirici che mostrano un allineamento emotivo superiore rispetto ai baseline esistenti.

Autori originali: Sukru Samet Dindar, Riki Shimizu, Xilin Jiang, Nima Mesgarani

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sukru Samet Dindar, Riki Shimizu, Xilin Jiang, Nima Mesgarani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un assistente vocale molto intelligente, ma leggermente robotico. Di solito, questi assistenti sono bravissimi a rispondere a domande come "Che tempo fa?" o "Imposta un timer". Ma se dici: "Sono così frustrato per la mia giornata", un assistente standard potrebbe solo dire: "Mi dispiace sentirlo. Ecco un elenco di consigli per alleviare lo stress". È educato, ma sembra un po' fuori luogo. È come un medico che legge un libro di testo medico a un paziente che piange invece di sentire davvero la situazione.

Il documento presenta SYMPATHEIA, un nuovo tipo di assistente vocale progettato per risolvere questo problema. Pensa a SYMPATHEIA non solo come a una macchina che risponde alle domande, ma come a un camaleonte conversazionale. Il suo superpotere è quello di adattare il proprio tono, l'energia e le parole al tuo stato emotivo, che tu stia gridando per la rabbia, sussurrando per la tristezza o vibrando per l'entusiasmo.

Ecco come funziona, suddiviso in concetti semplici:

1. La "Bussola delle Emozioni" (Valenza-Arousal)

La maggior parte dei sistemi emotivi cerca di classificare i sentimenti in scatole rigide come "Felice", "Triste" o "Arrabbiato". Ma i sentimenti umani sono disordinati. Puoi essere "ansioso ma entusiasta" o "stanco ma soddisfatto".

SYMPATHEIA utilizza una mappa diversa chiamata Valenza-Arousal. Immagina un grafico con due assi:

Valenza (da Sinistra a Destra): Quanto ti senti bene o male (Negativo rispetto a Positivo).
Arousal (dal Basso verso l'Alto): Quanta energia hai (Calmo rispetto a Eccitato).

Invece di scegliere una scatola, SYMPATHEIA posiziona il tuo sentimento come un punto su questo grafico. Questo le permette di comprendere la sfumatura della tua emozione. Se sei "frustrato" (alta energia, sentimento negativo), sa di dover essere calmo e costante. Se sei "entusiasta" (alta energia, sentimento positivo), sa di dover essere vivace e allegro.

2. L'approccio a "Due Occhi"

SYMPATHEIA osserva le tue emozioni in due modi, come se avesse due occhi per vedere la profondità:

Occhio 1: Ascoltare la tua voce. Analizza come parli. La tua voce è tremante? È alta? È veloce? Cerca di indovinare i tuoi sentimenti solo dal suono delle tue parole.
Ocolo 2: Leggere la stanza. A volte, la tua voce non racconta tutta la storia. Magari stai cercando di nascondere la tua tristezza, o forse stai parlando con un tono piatto perché sei stanco. SYMPATHEIA può anche accettare "indizi extra" da altre fonti, come una telecamera che vede la tua espressione facciale, uno smartwatch che legge il tuo battito cardiaco o persino un messaggio di testo in cui dici esplicitamente: "Mi sento ansioso".

Combina questi indizi in quel singolo punto della "Bussola delle Emozioni" per decidere come rispondere.

3. La "Palestra di Allenamento" (SYMPATHEIA-18k)

Per insegnare questo sistema, i ricercatori non potevano usare semplicemente i dati esistenti perché le persone reali non registrano di solito la stessa domanda provando ogni diversa emozione.

Così, hanno costruito una massiccia palestra di allenamento sintetica chiamata SYMPATHEIA-18k.

L'allenamento "Emotivo": Hanno creato 12.000 esempi in cui un utente pone una domanda con una forte emozione (come una query arrabbiata) e l'assistente impara a rispondere con il giusto tono emotivo.
L'allenamento "Neutro": Hanno creato 6.000 esempi in cui un utente pone una domanda noiosa e neutra (come "Qual è la capitale della Francia?") ma al sistema viene detto di rispondere come se l'utente fosse triste, felice o arrabbiato. Questo insegna all'assistente: "Anche se l'utente sembra neutro, se so che si sente triste, devo rispondere con dolcezza".

Questo addestramento assicura che l'assistente impari a separare cosa stai chiedendo da come ti senti.

4. I Risultati: Funziona?

I ricercatori hanno testato SYMPATHEIA contro altri assistenti vocali di alto livello.

Il "Punteggio di Empatia": Quando gli esseri umani hanno ascoltato le risposte, SYMPATHEIA ha ottenuto i punteggi più alti per il sembrare emotivamente appropriato.
Il "Match della Voce": Quando al sistema è stato ordinato di essere "arrabbiato", ha effettivamente parlato con un ritmo più veloce e un tono più alto. Quando gli è stato ordinato di essere "rilassato", ha rallentato. Altri sistemi spesso suonavano uguali indipendentemente dall'emozione.
La correzione del "Punto Cieco": Quando la voce dell'utente era neutra ma il sistema sapeva (tramite una telecamera o un sensore) che l'utente era in realtà agitato, SYMPATHEIA ha adattato il suo tono per essere confortante. Altri sistemi hanno mancato l'occasione e sono sembrati robotici.

Cosa NON è (Basandosi strettamente sul documento)

Non è un terapeuta. Il documento non afferma che possa diagnosticare problemi di salute mentale o fornire consigli medici.
Non è ancora perfetto. I dati di addestramento sono stati creati principalmente da computer (sintetici), non da esseri umani reali in conversazioni lunghe e disordinate. Il documento nota che è necessario un prossimo test con dati umani spontanei nel mondo reale.
Non è un lettore del pensiero. Si affida a sensori (telecamere, monitor del battito cardiaco) o alla tua voce. Se questi sensori sbagliano, l'assistente potrebbe sbagliare l'emozione.

In sintesi

SYMPATHEIA è un passo verso assistenti vocali che non sentono solo le tue parole, ma sentono il tuo umore. Utilizzando una flessibile "bussola delle emozioni" e addestrandosi su un enorme dataset di scenari emotivi, impara a parlare in un modo che sembra più umano, più di supporto e meno simile a un robot che legge un copione.

Riepilogo Tecnico: SYMPATHEIA – Assistente Vocale Emotivamente Adattivo con Condizionamento Affettivo Continuo

Problematica

I sistemi di dialogo parlato empatici richiedono la capacità di inferire lo stato emotivo di un utente per generare risposte appropriate. Tuttavia, il parlato quotidiano contiene spesso segnali affettivi deboli, neutri o ambigui, che sono difficili da inferire in modo affidabile solo attraverso segnali lessicali o acustici. Gli attuali sistemi affrontano due limitazioni primarie:

Ambiguità del parlato: Molti metodi sono ottimizzati per segnali emotivi ad alta intensità, fallendo nel gestire gli stati affettivi sottili o misti comuni nella conversazione naturale. Mancano di meccanismi per combinare segnali del parlato ambigui con segnali emotivi esterni (ad esempio, espressioni facciali o segnali biologici).
Rappresentazione Discreta: L'emozione è spesso modellata utilizzando categorie discrete e fisse (ad esempio, "felice", "triste"). Ciò limita l'interazione naturale, poiché l'espressione emotiva varia tra i diversi parlanti e le diverse culture. Le rappresentazioni continue, come il valenza-attivazione (VA), sono più adatte a catturare questa sfumatura ma sono sottoutilizzate nella generazione speech-to-speech.

Metodologia

Gli autori introducono SYMPATHEIA, un framework di dialogo speech-to-speech progettato per generare risposte semanticamente appropriate ed emotivamente allineate. Il sistema integra l'inferenza dell'affetto implicito dal parlato dell'utente con il controllo dell'affetto esplicito opzionale tramite un'interfaccia VA continua.

Architettura del Sistema

Backbone: Il modello si basa su GLM-4-Voice-9B, un modello linguistico-vocale end-to-end.
Tokenizzazione: L'audio in ingresso viene codificato in token discreti del parlato utilizzando un tokenizer WhisperVQ (12,5 Hz).
Condizionamento: Una coppia valenza-attivazione continua ( $z = (v, a)$ $z = (v, a)$ ) viene inserita nel prompt di sistema come User emotion (valence=v, arousal=a).
- Interfaccia VA: Le coordinate VA ( $v, a \in [-1, 1]$ ) fungono da interfaccia condivisa per moduli esterni di rilevamento dell'emozione (espressione facciale, segnali biologici come EEG/ECG o descrizioni testuali).
- Agnosticità rispetto alla Modalità: I sensori esterni mappano i propri output nativi sul piano VA utilizzando una mappatura pesata sulla probabilità verso una coordinata attesa, consentendo al modello di dialogo di rimanere agnostico rispetto alla specifica modalità di rilevamento.
Strategia di Addestramento: Il modello viene perfezionato tramite Low-Rank Adaptation (LoRA) sul dataset SYMPATHEIA-18k.
- Ancore VA: L'addestramento utilizza 12 ancore emotive nominate (ad esempio, felice, triste, arrabbiato) mappate su specifiche coordinate VA. Ciò incoraggia il modello a apprendere uno spazio affettivo continuo piuttosto che etichette di classe isolate.
- Dropout: Per garantire la robustezza, il condizionamento VA viene rimosso casualmente per un terzo dei campioni di addestramento non neutri, costringendo il modello a inferire l'affetto dai segnali del parlato in assenza di segnali esterni.

Dataset: SYMPATHEIA-18k

Per affrontare la mancanza di dati speech-to-speech condizionati dall'emozione, gli autori hanno costruito SYMPATHEIA-18k, un corpus sintetico di 18.000 coppie query-risposta:

Split Emotivo (~12k): Coppie che associano query dell'utente ricche di affetto a risposte emotivamente appropriate per insegnare l'allineamento semantico e acustico.
Split Neutro (6k): Coppie che associano 500 query emotivamente neutre a 12 risposte diverse (una per ciascun target di emozione). Questo isola il controllo dell'affetto esplicito, addestrando il modello a fare affidamento sulla condizione VA quando il parlato non fornisce evidenza emotiva.
Generazione: Il testo è stato generato utilizzando Qwen3-32B con specifiche strategie empatiche, e l'audio è stato sintetizzato utilizzando Qwen3-TTS per garantire una prosodia e un ritmo coerenti con l'emozione.

Contributi Chiave

Framework SYMPATHEIA: Un modello nativo vocale che combina l'inferenza dell'affetto implicito basata sul parlato con il condizionamento VA continuo ed esplicito proveniente da sensori esterni o interfacce utente.
Dataset SYMPATHEIA-18k: Un dataset sintetico su larga scala caratterizzato da interazioni sia espressive che neutre, specificamente progettato per addestrare i modelli a distinguere tra stati affettivi e a utilizzare segnali affettivi esterni.
Interfaccia Multimodale Modulare: Un design di sistema che consente a diverse fonti di affetto esterne (viso, segnali biologici, testo) di guidare la generazione della risposta attraverso un'interfaccia VA unificata senza richiedere cambiamenti architettonici al backbone del dialogo.

Risultati

Il documento valuta SYMPATHEIA rispetto a forti baseline di dialogo parlato (inclusi GLM-4-Voice, Qwen3-Omni e OpenS2S) attraverso diverse metriche:

Qualità della Risposta Empatica: SYMPATHEIA ha ottenuto i punteggi più alti nelle valutazioni automatizzate dell'empatia e negli studi umani sul Mean Opinion Score (MOS) dell'emozione. Ha superato significativamente le baseline, in particolare in contesti che richiedono il controllo dell'affetto esplicito (query neutre con prompt VA).
Variabilità della Risposta: A differenza delle baseline che spesso producevano risposte identiche indipendentemente dall'emozione target, SYMPATHEIA ha dimostrato una minore somiglianza semantica e lessicale tra le diverse condizioni emotive, indicando che riesce ad adattare con successo contenuto e tono in base al segnale di affetto.
Allineamento Prosodico: L'analisi delle caratteristiche prosodiche (F0, energia, velocità di eloquio) ha mostrato che il parlato generato da SYMPATHEIA correla significativamente con le coordinate VA target. I target di attivazione (arousal) più elevati hanno prodotto una maggiore variabilità del pitch e velocità di eloquio più rapide, mentre la valenza ha influenzato l'energia e il contenuto spettrale.
Integrazione Multimodale: L'integrazione di segnali esterni (viso, EEG, ECG, testo) ha migliorato i punteggi di empatia rispetto alla condizione "senza segnale". Le espressioni facciali e le descrizioni testuali hanno prodotto i maggiori guadagni, mentre i segnali fisiologici hanno fornito miglioramenti nonostante fossero più rumorosi.
Studi di Ablazione:
- Il fine-tuning non ha degradato le capacità conversazionali generali del modello (misurate tramite UTMOS, BERTScore e ASR-WER).
- Il modello è rimasto efficace quando le coordinate VA venivano perturbate con rumore Gaussiano, dimostrando tolleranza agli errori di rilevamento a monte e la capacità di gestire valori fuori ancora.

Significato e Rivendicazioni

Il documento sostiene che il condizionamento affettivo continuo è un meccanismo pratico ed efficace per costruire assistenti vocali emotivamente adattivi. Decoupling (disaccoppiando) il rilevamento dalla generazione tramite un'interfaccia VA condivisa, SYMPATHEIA può integrare diversi sistemi di riconoscimento dell'emozione mantenendo un robusto backbone di dialogo.

Gli autori affermano che il loro approccio affronta la lacuna critica della gestione del parlato ambiguo o neutro, permettendo ai segnali esterni di guidare il tono emotivo della risposta. Enfatizzano che, sebbene la valutazione attuale si basi pesantemente su giudici automatizzati e dati sintetici, i risultati suggeriscono che il controllo VA esplicito aiuta a organizzare sia le strategie di risposta semantica che quelle acustiche, portando a interazioni più empatiche.

Limitazioni Riconosciute:

I dati di addestramento sono sintetici e potrebbero non catturare completamente la disfluenza e la dinamica a lungo termine della conversazione spontanea reale.
Il piano VA è una rappresentazione compatta; un singolo punto non può catturare completamente le emozioni miste o i rapidi cambiamenti intra-turno.
Non esiste una mappatura universale dalle etichette emotive discrete alle coordinate VA attraverso le culture o gli individui.
Le valutazioni attuali sono principalmente automatizzate; il lavoro futuro richiede una valutazione umana su conversazioni spontanee e di lunga durata per validare l'empatia percepita e la fiducia nei veri impieghi.