Detection != Reliable Control: Decodable Empathy Directions Yield at Most Partial Shifts in Automated Empathy Scores
Questo articolo dimostra che, sebbene le direzioni di empatia decodificabili nei modelli linguistici di grandi dimensioni istruiti tramite istruzioni possano rilevare in modo affidabile e spostare parzialmente i punteggi di empatia automatizzati, esse non costituiscono leve causali affidabili per un controllo completo, fallendo in particolare nel produrre cambiamenti misurabili nella percezione umana o effetti coerenti tra diversi aspetti dell'empatia e diversi modelli.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori sono sempre più interessati a capire se le macchine possano comprendere davvero l'emozione umana. Un'idea popolare suggerisce che, se riuscissimo a trovare un pattern specifico all'interno del cervello di un computer che corrisponda a un sentimento come l'empatia, dovremmo essere in grado di girare una manopola per far sì che la macchina ne esprima di più. Questo concetto si basa sulla convinzione che, se un computer può essere "letto" per mostrare di possedere un certo tratto, può anche essere "guidato" per cambiare quel tratto a piacimento. Ciò è particolarmente importante poiché questi sistemi vengono impiegati per offrire supporto emotivo alle persone in difficoltà, dove la differenza tra una risposta utile e una fredda può essere significativa. Tuttavia, l'assunto che rilevare un sentimento all'interno di una macchina sia la stessa cosa che essere in grado di controllarla in modo affidabile non è mai stato testato rigorosamente nel complesso contesto del mondo reale dell'empatia.
Un nuovo studio dell'Università della Southern California mette in discussione questo assunto esaminando tre diversi modelli linguistici di grandi dimensioni, ovvero i potenti sistemi di IA che stanno alla base di molti chatbot moderni. I ricercatori si sono concentrati su due parti distinte dell'empatia che gli psicologi riconoscono da tempo: la capacità di comprendere la prospettiva di un'altra persona, nota come empatia cognitiva, e la capacità di condividere o risuonare con i loro sentimenti, nota come empatia affettiva. Il team ha prima confermato che era effettivamente possibile rilevare segnali per entrambi questi tratti all'interno del funzionamento interno dei modelli di IA. Hanno trovato direzioni specifiche nei dati del computer che separavano chiaramente le risposte che mostravano alta empatia da quelle che mostravano bassa empatia. Questo rilevamento funzionava bene, suggerendo che i modelli possiedono effettivamente rappresentazioni interne di questi concetti.
Il test critico, tuttavia, era se aggiungere una piccola spinta nella direzione di questi segnali rilevati avrebbe effettivamente cambiato il comportamento dell'IA in modo significativo. I ricercatori hanno applicato queste spinte, cercando di fatto di spingere i modelli verso una maggiore empatia, e hanno poi misurato i risultati utilizzando molteplici giudici automatizzati e un classificatore specializzato. I risultati hanno rivelato una netta divisione tra i due tipi di empatia. Quando il team ha cercato di aumentare la risonanza affettiva, o emotiva, ha osservato un cambiamento misurabile, ma solo parziale. Nel modello con le prestazioni migliori, l'intervento ha aumentato il punteggio di empatia di circa un quarto del divario naturale tra una risposta neutra e una pienamente empatica. L'IA non è diventata pienamente empatica; si è semplicemente spostata leggermente in quella direzione. Negli altri modelli testati, l'effetto era ancora minore, a volte quasi impercettibile.
La storia era diversa per l'empatia cognitiva, ovvero la capacità di comprendere e articolare la situazione di un'altra persona. Qui, i ricercatori hanno scoperto che, indipendentemente da come cercassero di guidare i modelli, i punteggi automatizzati non cambiavano. Tuttavia, lo studio offre una sfumatura cruciale: questa mancanza di cambiamento non era necessariamente la prova che l'IA non potesse essere resa più empatica. Al contrario, gli strumenti utilizzati per misurare l'empatia cognitiva sono stati trovati troppo grossolani per rilevare le sottili differenze che l'intervento avrebbe potuto creare. Gli strumenti di misura potevano distinguere tra un messaggio completamente neutro e uno altamente emotivo, ma non potevano distinguere in modo affidabile tra due diversi livelli di comprensione nell'ambito del supporto emotivo. Poiché lo strumento di misura stesso non era abbastanza sensibile, i ricercatori hanno concluso che l'effetto della guida era in misurabile piuttosto che dimostrato essere pari a zero.
Forse più significativamente, lo studio ha scoperto che anche quando i punteggi automatizzati si spostavano, non c'era prova che i lettori umani percepissero il cambiamento. Un panel di volontari umani è stato chiesto di giudicare le risposte guidate, ma non è riuscito a identificare in modo coerente quali risposte fossero più empatiche. Ciò suggerisce che i cambiamenti apportati dall'IA non erano del tipo di spostamenti che un essere umano noterebbe o apprezzerebbe. I ricercatori hanno anche testato se rimuovere completamente questi segnali di empatia rendesse l'IA meno empatica. In un modello specifico, la rimozione del segnale di comprensione cognitiva ha effettivamente abbassato i punteggi, ma questo effetto era legato al fatto che l'IA scriveva risposte più brevi, cosa che lo strumento di misura finiva per penalizzare. Quando i ricercatori hanno tenuto conto della lunghezza del testo, l'effetto sul punteggio cognitivo rimaneva, ma non era comunque un interruttore pulito e affidabile che potesse essere usato per controllare il comportamento dell'IA.
In definitiva, lo studio dimostra che trovare un segnale per l'empatia all'interno di un'IA non è la stessa cosa che avere un controllo affidabile per produrla. Sebbene i modelli possano essere stimolati a mostrare una leggera risonanza emotiva, l'effetto è limitato e non si traduce in un miglioramento percepito dall'uomo. La capacità di rilevare un tratto non garantisce la capacità di guidarlo, specialmente quando gli strumenti usati per misurare il risultato non sono abbastanza raffinati da vedere i cambiamenti. Questo risultato funge da avvertimento per coloro che sperano di impiegare l'IA per il supporto emotivo, indicando che semplicemente alzare una "manopola" per l'empatia potrebbe non produrre la genuina connessione, di stampo umano, di cui si ha bisogno. La ricerca evidenzia il divario tra ciò che una macchina può essere portata a dire e ciò che un essere umano sperimenta effettivamente come empatia, esortando a un approccio più attento su come misurare e controllare questi comportamenti complessi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.