Affect Decoding in Phonated and Silent Speech Production from Surface EMG

Questo studio introduce un nuovo dataset e dimostra che l'analisi dell'attività muscolare facciale tramite elettromiografia di superficie (sEMG) permette di decodificare con affidabilità stati emotivi come la frustrazione, generalizzando efficacemente sia nel parlato fonato che in quello silenzioso.

L'essenziale

Immagina di avere una "pelle parlante". Di solito, quando parliamo, pensiamo che le nostre emozioni viaggino solo attraverso la voce: un tono arrabbiato, un sorriso nella voce, un sospiro di frustrazione. Ma questo studio ci dice che c'è un altro canale, nascosto sotto la superficie, che racconta la stessa storia: i nostri muscoli.

Ecco di cosa parla la ricerca, spiegata in modo semplice:

1. Il Problema: Cosa succede quando non possiamo parlare?

Immagina di essere in una stanza silenziosa dove non puoi fare rumore, oppure di avere un problema alla gola che ti impedisce di usare la voce. Come fai a dire a qualcuno che sei frustrato o gentile? Di solito, ci affidiamo al testo scritto, ma il testo è "freddo". Manca l'anima, l'emozione.

I ricercatori si sono chiesti: Se non possiamo ascoltare la voce, possiamo "ascoltare" i muscoli del viso e del collo per capire come ci sentiamo?

2. La Soluzione: L'Elettromiografia (sEMG)

Per rispondere a questa domanda, hanno usato una tecnologia chiamata sEMG (elettromiografia superficiale).

• L'analogia: Immagina di mettere dei piccoli adesivi sensibili (come dei microfoni per la pelle) sul viso e sul collo di una persona. Questi adesivi non sentono i suoni, ma sentono i piccoli tremori elettrici che i muscoli fanno quando si contraggono. È come se i muscoli avessero un "sussurro elettrico" che rivela cosa stanno facendo, anche se non producono suono.

3. L'Esperimento: La "Prova del Fuoco"

Hanno invitato 12 persone a fare tre cose diverse:

1. Leggere ad alta voce frasi neutre, gentili o arrabbiate.
2. Sussurrare mentalmente (senza emettere suoni) le stesse frasi.
3. Conversare spontaneamente con un "agente" (in realtà un umano nascosto) per creare situazioni di frustrazione o gentilezza reale.

Mentre parlavano (o "pensavano" di parlare), gli adesivi registravano l'attività muscolare.

4. Le Scoperte Sorprendenti

Ecco cosa hanno scoperto, usando metafore semplici:

• I muscoli non mentono: Anche quando le persone non facevano alcun suono (parlato silenzioso), i loro muscoli del viso e del collo mostravano chiaramente se stavano provando frustrazione o gentilezza. È come se il corpo avesse un "interruttore segreto" che si accende quando proviamo un'emozione, indipendentemente dal fatto che la voce esca o meno.
• La Frustrazione è facile da leggere: Il sistema è stato molto bravo a capire quando una persona era frustrata (con un'accuratezza dell'84,5%). È come se la frustrazione fosse un "colore acceso" che i muscoli illuminano, mentre la gentilezza è un po' più sfumata.
• Il "Silenzio" è potente: La cosa più incredibile è che i muscoli hanno mantenuto le stesse "impronte digitali" emotive anche quando le persone non parlavano ad alta voce. Quindi, se un robot o un computer potesse leggere questi segnali muscolari, potrebbe capire che sei arrabbiato anche se stai solo muovendo le labbra senza fare rumore.
• Il viso è la chiave: Hanno scoperto che i muscoli intorno alla fronte e alla bocca (il viso) sono i migliori "messaggeri" delle emozioni. Quando si passa dal parlare al silenzio, il corpo sembra affidarsi ancora di più a questi muscoli facciali per esprimere ciò che sente.

5. Perché è importante? (Il Futuro)

Immagina un futuro in cui:

• Una persona che ha perso la voce può comunicare non solo cosa vuole dire, ma anche come si sente (se è arrabbiata, felice, ansiosa).
• I sistemi di assistenza per disabili possano capire le emozioni senza bisogno di microfoni, funzionando anche in ambienti rumorosi o silenziosi.
• I computer possano leggere le nostre emozioni mentre scriviamo o pensiamo ad alta voce, rendendo le interazioni uomo-macchina molto più naturali ed empatiche.

In sintesi

Questo studio ci dice che le nostre emozioni sono incorporate nel nostro corpo, non solo nella nostra voce. Anche quando il silenzio cala, i nostri muscoli continuano a "parlare" con un linguaggio elettrico che, se sappiamo come ascoltarlo, può rivelare tutto ciò che proviamo. È come se avessimo un secondo canale di comunicazione, sempre attivo, che non richiede la voce per funzionare.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Affect Decoding in Phonated and Silent Speech Production from Surface EMG", presentato in italiano.

1. Problema e Contesto

L'espressione dell'affettività è una componente fondamentale della comunicazione parlata, ma il suo legame con l'esecuzione articolatoria sottostante rimane poco chiaro. Tradizionalmente, l'analisi acustica è stata utilizzata per studiare l'affetto nel parlato, poiché il segnale acustico riflette le conseguenze a valle del controllo motorio. Tuttavia, in contesti dove l'informazione acustica è limitata, distorta o assente (es. interfacce di parlato silenzioso, protesi vocali, condizioni di disturbi del parlato), l'analisi acustica fallisce nel catturare le sfumature emotive.

Il problema centrale affrontato dallo studio è: è possibile decodificare lo stato affettivo (frustrazione, cortesia, neutralità) direttamente dall'attività muscolare periferica (EMG superficiale) durante la produzione del parlato, sia esso vocalizzato o silenzioso? Inoltre, quanto queste firme affettive sono robuste tra diversi parlanti e contesti (parlato controllato vs. spontaneo)?

2. Metodologia

Dataset: ST-Case

Gli autori hanno introdotto un nuovo dataset multimodale chiamato ST-Case (SAIL-TUM Corpus on Affective Speech & EMG):

• Partecipanti: 12 soggetti (9 femmine, età media 26.2 anni).
• Dati: 2.780 utterance totali (1.588 vocalizzate, 1.192 silenziose).
• Condizioni: Tre compiti sperimentali:
  1. Lettura guidata (Task 1 & 3): Lettura di frasi in tre stati affettivi (neutro, cortese, frustrato) e due modalità (vocalizzata e silenziosa).
  2. Conversazione spontanea (Task 2): Interazione con un agente "Wizard-of-Oz" progettato per indurre frustrazione o cortesia in un contesto assicurativo.
• Raccolta Dati: Registrazione sincronizzata di audio e segnali sEMG (elettromiografia superficiale) da 8 canali posizionati su muscoli facciali e del collo (es. zygomaticus major, orbicularis oris, infrahyoid).

Pre-elaborazione ed Estrazione delle Feature

• Segnali EMG: Filtraggio (high-pass 100Hz, notch 50Hz), downsampling a 1 kHz, rimozione outlier.
• Feature Estratte:
  • Feature Strutturali: Valori medi, deviazione standard, picchi, RMS, densità spettrale di potenza (PSD), entropia spettrale e correlazione incrociata.
  • Feature TD-0: Componenti a bassa e alta frequenza, zero-crossing rate (ZCR), calcolati su finestre temporali.
  • Embedding Deep Learning: Utilizzo del modello BioCodec (pre-addestrato su segnali EMG del polso) per estrarre rappresentazioni latenti (128D).
  • Feature Vocali: eGeMAPSv02 (prosodia) e Vox-Profile (embedding da modello di emozioni vocali) per confronto.

Modelli e Valutazione

• Classificatori: SVM con kernel RBF (per feature manuali) e classificatore lineare con regolarizzazione L2 (per embedding).
• Protocolli di Validazione:
  • Intra-soggetto: Cross-validazione a 5 fold.
  • Inter-soggetto: Leave-One-Subject-Out (LOSO) per testare la generalizzazione su nuovi parlanti.
  • Cross-Modalità: Addestramento su parlato vocalizzato e test su silenzioso (e viceversa).

3. Risultati Chiave

RQ1: Decodifica dell'affetto da EMG

• Performance Intra-soggetto: I modelli basati su EMG hanno superato significativamente quelli basati sull'audio. La migliore performance è stata ottenuta con le feature TD-0 (AUC = 0.845), seguite dalle feature strutturali (AUC = 0.820).
• Performance Inter-soggetto: La generalizzazione tra parlanti è stata più difficile (AUC ~0.57 per EMG), riflettendo l'eterogeneità nell'espressione affettiva. Tuttavia, le performance sono rimaste superiori al caso casuale.
• Robustezza Lessicale: Analizzando frasi ripetute con diverse etichette affettive, i modelli EMG hanno mantenuto una buona discriminabilità (AUC > 0.7), mentre i modelli audio sono crollati (AUC ~0.47), dimostrando che l'EMG cattura l'espressione emotiva indipendentemente dal contenuto lessicale.

RQ2: Parlato Vocalizzato vs. Silenzioso

• Trasferibilità: Le firme affettive persistono anche in assenza di fonazione. L'addestramento su parlato vocalizzato e il test su parlato silenzioso hanno mostrato una generalizzazione robusta (specialmente per le feature BioCodec).
• Adattamento: I partecipanti hanno mostrato un miglioramento nelle prestazioni di decodifica EMG per il parlato silenzioso nel secondo compito (Task 3), suggerendo che l'articolazione silenziosa è un comportamento motorio meno automatizzato che richiede apprendimento.
• Localizzazione: L'analisi per canale ha rivelato che i canali facciali superiori (in particolare E6, Depressor Supercilii) sono i più discriminativi, ma la loro efficacia diminuisce nel setting inter-soggetto, mentre i canali submentali mantengono una certa stabilità.

RQ3: Generalizzazione al Parlato Spontaneo

• Nel Task 2 (conversazione spontanea), i modelli basati sull'audio (Vox-Profile) hanno ottenuto le performance migliori (AUC = 0.743), superando l'EMG.
• Tuttavia, i modelli EMG hanno dimostrato una capacità di generalizzazione parziale, raggiungendo performance comparabili alle feature prosodiche manuali (eGeMAPS), indicando che le firme motorie affettive sono presenti anche nel parlato naturale, sebbene i segnali acustici offrano più informazioni in questo contesto specifico.

4. Contributi Principali

1. Nuovo Dataset (ST-Case): Il primo corpus multimodale che combina EMG facciale/cervicale, audio e annotazioni affettive per compiti di lettura guidata e conversazione spontanea, coprendo sia la modalità vocalizzata che quella silenziosa.
2. Evidenza di "Firme Affettive" Motorie: Dimostrazione empirica che lo stato emotivo modula l'esecuzione motoria del parlato in modo rilevabile, anche quando l'output acustico è assente (parlato silenzioso).
3. Robustezza Cross-Modalità: Conferma che le interfacce di parlato silenzioso possono essere addestrate su dati vocalizzati e comunque decodificare l'affetto, un risultato cruciale per l'applicabilità pratica.
4. Analisi di Generalizzazione: Valutazione sistematica della capacità di trasferimento tra parlanti e tra contesti controllati/spontanei, evidenziando le sfide dell'eterogeneità individuale.

5. Significato e Implicazioni

Questo studio ha un impatto significativo per lo sviluppo di interfacce di parlato silenzioso (SSI) e protesi vocali affettive. Dimostra che l'EMG non è utile solo per il riconoscimento del contenuto lessicale (cosa si dice), ma anche per la decodifica dell'intento affettivo (come viene detto), anche senza produzione di voce.

Le implicazioni principali includono:

• Accessibilità: Miglioramento della comunicazione naturale per utenti con disturbi del parlato o in ambienti rumorosi/silenziosi, permettendo al sistema di trasmettere non solo le parole ma anche l'emozione.
• Interazione Uomo-Macchina: Sistemi più empatici che possono reagire alla frustrazione o alla cortesia dell'utente basandosi su segnali fisiologici diretti, bypassando i limiti dell'analisi audio.
• Scienza Cognitiva: Conferma che l'affetto è "incorporato" (embodied) nei processi neuromuscolari della produzione del parlato, non solo un fenomeno acustico.

Limiti: Lo studio ha un campione limitato (N=12) e gli stati affettivi sono stati indotti sperimentalmente piuttosto che essere puramente spontanei. Inoltre, la distinzione tra modulazione articolatoria e espressioni facciali concomitanti rimane una sfida.