LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
Questo articolo propone una tassonomia per i mismatch tra verbale e non verbale basata sul framework di Ekman, investiga l'uso di modelli linguistici di grandi dimensioni per selezionare comportamenti incongruenti contestualmente appropriati per gli esseri umani virtuali, e ne valida l'efficacia nel produrre gli effetti osservatore previsti attraverso uno studio su soggetti umani.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Negli spazi silenziosi tra le parole pronunciate, la comunicazione umana compie spesso il suo lavoro più complesso. Quando parliamo, non trasmettiamo solo informazioni; proiettiamo i nostri sentimenti, il nostro status sociale e le nostre intenzioni nascoste attraverso il volto, gli occhi e la postura. Questi segnali silenziosi, noti come comportamenti non verbali, possono rafforzare ciò che diciamo, ma possono anche contraddirlo. Una persona potrebbe dire "Sto bene" mentre il suo volto si contrae per l'apprensione, o offrire un complimento con un tono che suggerisce sarcasmo. Questa capacità di lasciare che il corpo tradisca la bocca, o di mascherare i veri sentimenti dietro un sorriso cortese, è una parte fondamentale del modo in cui gli esseri umani gestiscono le relazioni, affrontano i conflitti e segnalano la fiducia. Per decenni, i ricercatori hanno cercato di insegnare ai computer a imitare questa complessità, costruendo agenti virtuali che possano muoversi e gesticolare come le persone. Tuttavia, la maggior parte di questi personaggi digitali è stata limitata a una regola semplice: se le parole sono felici, il volto deve essere felice. Essi faticano a comprendere che, a volte, la cosa più onesta che una persona possa fare è dire una cosa mentre il suo corpo ne dice un'altra.
Un team di ricercatori della Northeastern University si è posto l'obiettivo di cambiare questo limite. Volevano vedere se potevano insegnare a un essere umano virtuale come generare automaticamente questi comportamenti sottili e contraddittori, utilizzando un tipo di intelligenza artificiale nota come modello linguistico di grandi dimensioni (large language model). Questi modelli sono sistemi potenti addestrati su enormi quantità di testo, capaci di comprendere il contesto e le sfumature. I ricercatori si sono posti una domanda specifica: se avessero fornito al computer una conversazione e una descrizione della situazione, sarebbe stato in grado di capire quando il parlante dovrebbe sembrare infelice mentre dice qualcosa di gentile, o apparire amichevole mentre comunica brutte notizie? Non volevano solo che il computer indovinasse; volevano vedere se il computer potesse compiere queste scelte in un modo che risultasse reale agli osservatori umani.
Per testare questo, il team ha prima creato una mappa dei diversi modi in cui le persone disallineano le parole e le loro azioni. Hanno identificato quattro ragioni principali per cui una persona potrebbe farlo. A volte si tratta di ironia, dove un parlante usa un elogio per insultare qualcuno o una critica per mostrare affetto. Altre volte, si tratta di salvare la faccia, dove una persona addolcisce una dura critica con un sorriso caloroso per evitare di ferire i sentimenti, o forza un sorriso cortese per nascondere la propria rabbia. C'è anche l'inganno, dove una persona cerca di nascondere un'emozione segreta, e la regolazione emotiva, dove qualcuno cerca di reprimere un sentimento che sta emergendo. Utilizzando queste categorie, i ricercatori hanno progettato otto scenari specifici, come un dipendente junior che parla con un capo che ha appena aumentato il suo carico di lavoro, o una madre che dà un feedback al suo figlio adolescente.
I ricercatori hanno poi testato tre modi diversi di chiedere al computer di generare il comportamento. Nel primo metodo, hanno dato al computer solo la frase pronunciata. Nel secondo, hanno aggiunto la cronologia della conversazione che ha portato a quella frase. Nel terzo metodo, il più dettagliato, hanno fornito la cronologia della conversazione insieme a una descrizione scritta della relazione tra i parlanti e del contesto sociale. Il computer, alimentato da un modello chiamato Claude, è stato chiamato a decidere cosa dovessero fare il volto e gli occhi del personaggio per ogni frase. I risultati sono stati chiari: quando il computer riceveva solo le parole, faceva apparire il personaggio prevalentemente felice quando le parole erano felici e triste quando le parole erano tristi. Ma quando i ricercatori fornivano il contesto completo — le dinamiche di potere, la cronologia e la pressione sociale — il computer iniziava a scegliere comportamenti che contraddicevano le parole. Nello scenario in cui un dipendente junior doveva accettare un aumento del lavoro da parte di un capo esigente, il computer ha selezionato un sorriso piccolo e trattenuto, accompagnato da uno sguardo breve e distolto e da un irrigidimento delle labbra. Aveva compreso che il dipendente stava dicendo "sì" mentre provava un "no".
Per vedere se queste scelte generate dal computer funzionassero effettivamente, i ricercatori hanno trasformato le istruzioni digitali in clip video di un essere umano virtuale e le hanno mostrate alle persone. Nel primo studio, hanno chiesto ai partecipanti di guardare coppie di video e decidere quale parlante avesse un atteggiamento più positivo. Quando l'essere umano virtuale diceva qualcosa di positivo ma appariva negativo, le persone valutavano l'atteggiamento come meno positivo rispetto a quando l'umano appariva felice. Quando l'umano diceva qualcosa di negativo ma sorrideva calorosamente, le persone valutavano l'atteggiamento come più positivo rispetto a quando l'umano appariva arrabbiato. Il secondo studio è andato più a fondo, chiedendo alle persone di valutare le emozioni specifiche che vedevano. I risultati hanno mostrato che i segnali non verbali scelti dal computer erano abbastanza potenti da spostare il modo in cui le persone percepivano le emozioni del parlante. Se il computer sceglieva un accigliamento per accompagnare una frase felice, le persone riferivano di sentire che il parlante era in realtà arrabbiato o sarcastico. Se il computer sceglieva un sorriso caloroso per accompagnare una frase triste, le persone percepivano compassione invece di rabbia.
Lo studio conferma che fornire a un'intelligenza artificiale il pieno contesto sociale di una conversazione le permette di generare comportamenti non verbali che sono molto più simili a quelli umani rispetto a quelli basati solo sulle parole. Il computer non si è limitato a ripetere l'emozione della frase; ha interpretato la situazione e ha deciso che un disallineamento era la risposta più onesta. Sebbene i ricercatori abbiano notato che il loro sistema debba ancora migliorare per gestire i gesti e il tono della voce, e che i video fossero brevi, il risultato centrale è significativo. Suggerisce che, affinché gli esseri umani virtuali siano davvero convincenti, specialmente in ruoli come l'addestramento di terapeuti o la negoziazione, devono essere in grado di lasciare che i loro corpi raccontino una storia diversa da quella della loro bocca. Il computer ha imparato che, a volte, la verità non risiede nelle parole, ma nel silenzio che sta tra di esse.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.