Sintesi Tecnica: Correggiti, Mantieni la Mia Fiducia

Definizione del Problema

I chatbot sociali sono sempre più integrati nella vita quotidiana, instaurando connessioni sociali significative attraverso l'auto-rivelazione e l'impegno personalizzato. Tuttavia, questi agenti rimangono soggetti alla generazione di informazioni convincenti ma imprecise. Il legame sociale che stabiliscono rende tali errori particolarmente consequenziali, poiché gli utenti possono diventare più suscettibili alla disinformazione. Mentre la ricerca esistente affronta separatamente la correzione delle credenze e il ripristino della fiducia, rimane una lacuna critica: non si sa come i chatbot sociali debbano recuperare dagli errori per mantenere la credibilità, come la auto-correzione si confronti con le fonti di correzione esterne e se la preesistente connessione sociale influenzi l'efficacia di tali correzioni. Nello specifico, la letteratura non ha ancora determinato se l'auto-correzione possa simultaneamente ottenere la correzione delle credenze e preservare la credibilità dell'agente, o se la relazione sociale agisca come un meccanismo funzionale che amplifica l'efficacia della correzione.

Metodologia

Gli autori hanno condotto un esperimento randomizzato tra soggetti (between-subjects) con 120 partecipanti (60 maschi, 60 femmine, età media 31,2) reclutati tramite Prolific. Lo studio ha utilizzato un disegno a tre gruppi per confrontare le strategie di correzione dell'errore per un chatbot sociale chiamato "Drew":

1. Gruppo di Correzione tramite Webpage: L'affermazione errata veniva corretta tramite una tradizionale ritrattazione su una pagina web.
2. Gruppo di Auto-correzione: Il chatbot sociale (Drew) stesso riconosceva e correggeva l'errore.
3. Gruppo di Correzione da parte di un Esperto: Un chatbot esperto ("Dr. Kerry") correggeva l'affermazione.

Procedura:
I partecipanti hanno partecipato a un'interazione in quattro fasi della durata di circa 15 minuti:

1. Costruzione del Rapport Sociale: Conversazione informale e auto-rivelazione per stabilire una connessione sociale.
2. Esposizione alla Disinformazione: Il chatbot faceva un'affermazione errata riguardante salute/nutrizione (es. "Gli spinaci sono una fonte eccezionale di ferro"). I partecipanti valutavano la loro convinzione nell'affermazione su una scala Likert a 7 punti.
3. Interazione Continua: Un secondo round di conversazione informale.
4. Correzione: L'errore veniva corretto secondo la condizione assegnata utilizzando un formato "truth-sandwich" (presentazione dell'affermazione, elicitazione del ragionamento, sfida con prove e richiesta di riflessione).

Misure:

• Connessione Sociale: Valutata tramite Attrazione Sociale, Intimità, Qualità dell'Interazione, Competenza Comunicativa, Sentimenti di Amicizia e Auto-rivelazione.
• Credibilità: Misurata come Affidabilità (Trustworthiness) e Percezione di Competenza (Expertise).
• Cambiamento della Credenza: Calcolato come la differenza aritmetica tra le valutazioni della credenza pre- e post-correzione.
• Dati Qualitativi: Domande aperte riguardanti la fiducia, le percezioni della fonte di correzione e la fiducia futura, codificate in modo induttivo.

L'analisi statistica ha incluso ANOVA a una via, test post-hoc di Dunnett, intervalli di confidenza bootstrap, test di permutazione e regressione OLS per esaminare gli effetti di moderazione.

Risultati Chiave

1. Preservazione della Credibilità (RQ1)

Sebbene tutte e tre le strategie fossero ugualmente efficaci nel ridurre la credenza nella disinformazione, solo l'auto-correzione ha preservato la credibilità del chatbot.

• Affidabilità e Competenza: I partecipanti hanno valutato il chatbot che si auto-correggeva significativamente più alto sia in affidabilità ($M=5,59$) che in competenza ($M=5,52$) rispetto sia al gruppo di correzione dell'esperto ($M=4,79$, $M=4,72$) che al gruppo del webpage ($M=4,76$, $M=4,78$).
• Fonti Esterne: I gruppi dell'esperto e del webpage non differivano significativamente tra loro, indicando che l'esternalizzazione della correzione non offriva un vantaggio di credibilità rispetto a una semplice ritrattazione; entrambi hanno causato danni collaterali alla reputazione del chatbot originale.
• Approfondimento Qualitativo: Nel gruppo di auto-correzione, i partecipanti hanno interpretato la correzione come un segno di onestà e apprendimento continuo, riformulando l'errore come un "errore in buona fede" piuttosto che come incompetenza. Al contrario, i gruppi di non auto-correzione spesso vedevano la precedente connessione sociale come manipolatoria o provavano un senso di tradimento, portando a un danno duraturo alla fiducia.

2. Efficacia della Correzione delle Credenze (RQ2)

Tutte e tre le strategie di correzione sono state ugualmente efficaci nel ridurre la credenza nelle informazioni errate ($p=.638$). I punteggi medi di cambiamento della credenza erano comparabili tra i gruppi (Auto-correzione: $2,79$; Esperto: $3,00$; Webpage: $2,61$). Ciò indica che il vantaggio principale dell'auto-correzione non è generare un maggiore cambiamento di credenza, ma raggiungere lo stesso risultato di correzione senza erodere la credibilità dell'agente.

3. La Connessione Sociale come Moderatore (RQ3)

La forza della connessione sociale dell'utente (specificamente Auto-rivelazione e Attrazione Sociale) ha predetto significativamente l'entità del cambiamento di credenza, ma solo nel gruppo di auto-correzione.

• Effetto di Moderazione: Nella condizione di auto-correzione, una maggiore auto-rivelazione e attrazione sociale hanno predetto fortemente un maggiore cambiamento di credenza ($R^2 = .825$).
• Nessun Effetto nei Gruppi Esterni: Nei gruppi dell'esperto e del webpage, le metriche di connessione sociale non hanno predetto il cambiamento di credenza (correlazioni vicine allo zero).
• Meccanismo: I dati qualitativi suggeriscono che quando l'agente con cui esiste un legame corregge se stesso, gli utenti impegnano un processo di elaborazione più profondo (elaborazione della via centrale) della correzione, vedendola come uno scambio reciproco e onesto. Quando una fonte esterna corregge l'errore, il legame sociale viene reciso e gli utenti tendono a scartare la correzione al livello della fonte.

Contributi Chiave

Il documento apporta tre contributi specifici alla comunità HCI:

1. Dissociazione degli Esiti: Dimostra che la correzione delle credenze e la preservazione della credibilità sono esiti distinti. L'auto-correzione è l'unica strategia identificata che ottiene un'efficace correzione delle credenze senza danneggiare l'affidabilità o la competenza dell'agente.
2. Ruolo Funzionale della Connessione Sociale: Stabilisce che la relazione sociale non è solo una caratteristica di design per il coinvolgimento, ma un meccanismo funzionale che amplifica l'efficacia della correzione, a condizione che la correzione sia consegnata dall'agente con cui esiste il legame.
3. Implicazioni di Design: Offre linee guida azionabili secondo cui i chatbot sociali dovrebbero correggere i propri errori piuttosto che esternalizzare le correzioni, e che investire nella connessione sociale prima di un errore crea un "canale relazionale" che facilita una correzione più efficace.

Significato e Rivendicazioni

Gli autori affermano che, per i chatbot sociali, la correzione dell'errore è fondamentalmente relazionale, non solo informativa. Lo studio sfida l'idea che esternalizzare le correzioni a esperti o pagine web sia un'alterna sicura per mantenere la fiducia. Inveve, i risultati suggeriscono che:

• L'auto-correzione è la strategia di riparazione ottimale per mantenere la credibilità a lungo termine negli agenti sociali.
• La connessione sociale agisce come un amplificatore condizionale: Potenzia l'efficacia delle correzioni solo quando la correzione viaggia attraverso lo stesso canale relazionale che ha costruito la connessione.
• Obbligo di Design: Man mano che i chatbot diventano più socialmente coinvolgenti e personali, l'obbligo di riparare i propri errori in modo convincente aumenta. La capacità di rilevare, riconoscere e riparare visibilmente gli errori è presentata come un requisito di design critico per mantenere il "contratto sociale" con gli utenti, piuttosto che come una funzione opzionale.

Il documento conclude che il modo più efficace per riparare l'errore di un chatbot sociale è il chatbot stesso, poiché ciò preserva la relazione e sfrutta il legame sociale per facilitare l'aggiornamento delle credenze.