AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

Nel mondo moderno, una registrazione video è spesso trattata come una registrazione immutabile della verità. Se una telecamera cattura una persona che parla, l'assunto è che quella persona fosse lì, a dire quelle parole, in quel momento. Questa convinzione costituisce l'ossatura delle indagini criminali e dei giudizi legali. Tuttavia, una nuova tecnologia chiamata generazione di deepfake ha sconvolto questa certezza. Questi sistemi possono creare video in cui il volto e la voce di una persona sono sostituiti o alterati in modo così convincente che l'evento non è mai accaduto realmente. Il problema per gli investigatori non è solo individuare questi falsi; è capire come utilizzare gli strumenti informatici che pretendono di rilevarli. Quando un giudice o un agente di polizia si trova davanti a un video insieme all'opinione di un computer che dice "questo è falso", come cambia il loro modo di pensare? Il computer li aiuta a vedere la verità o li inganna portandoli a commettere errori che non avrebbero fatto da soli?

Questa domanda è al centro di una recente revisione sistematica condotta dal ricercatore Hardianto Djanggih. Lo studio non ha testato un nuovo programma informatico né ha condotto un singolo esperimento. Al contrario, ha raccolto e analizzato sette studi esistenti che esaminavano specificamente come gli esseri umani reagiscono quando ricevono aiuto dall'intelligenza artificiale nel giudicare se un video o un'immagine sia reale. Il ricercatore voleva sapere se questa assistenza migliori l'accuratezza del giudizio umano, come conti il modo in cui il consiglio viene presentato e se questi risultati possano essere considerati affidabili in un'aula di tribunale. La revisione ha rilevato che la risposta non è un semplice "sì" o "no". Il valore dell'IA dipende interamente dal fatto che il consiglio sia corretto e da come viene mostrato all'essere umano.

La revisione ha esaminato esperimenti in cui le persone guardavano video o osservavano volti e decidevano se fossero autentici o manipolati. In alcuni casi, ai partecipanti veniva fornita una previsione da un modello informatico prima di prendere la decisione finale. In altri, vedevano indizi visivi, come aree evidenziate dove il computer pensava che un falso si nascondesse, oppure venivano informati su quanto il computer fosse solitamente affidabile. I risultati hanno mostrato che quando il computer dava consigli corretti, spesso aiutava le persone a ottenere la risposta giusta più frequentemente. Ad esempio, in uno studio riguardante clip video, mostrare la previsione del computer ha fatto salire il tasso di identificazione corretta dal 66 al 73 percento. Tuttavia, lo studio ha anche rivelato un effetto collaterale pericoloso: quando il computer dava il consiglio sbagliato, le persone tendevano a seguirlo, anche quando ciò le portava a una conclusione errata. L'assistenza non ha solo reso le persone più intelligenti; le ha anche rese più propense a commettere errori specifici se lo strumento stesso era difettoso.

Il modo in cui l'informazione veniva presentata contava tanto quanto l'informazione stessa. Uno studio ha confrontato semplici etichette testuali con display visivi che amplificavano i minuscoli e innaturali artefatti spesso lasciati dietro dalla creazione di deepfake. I display visivi rendevano le persone più sicure nei loro giudizi e più propense ad accettare la valutazione del computer. Eppure, questa fiducia non significava sempre che avessero ragione. In un altro esperimento, i ricercatori hanno detto ai partecipanti che un computer era molto accurato, ma le prestazioni reali del computer non corrispondevano a tale affermazione. I partecipanti si fidavano di più del computer quando venivano informati che era migliore, anche se la tecnologia sottostante era la stessa. Ciò suggerisce che il modo in cui viene comunicato un tasso di errore può cambiare quanto una persona si affida allo strumento, indipendentemente dal fatto che lo strumento stia effettivamente performando come promesso.

La revisione ha anche esaminato se la fonte del consiglio importasse. In un esperimento, i partecipanti ricevevano la stessa identica guida, ma questa era talvolta etichettata come proveniente da un'intelligenza artificiale e altre volte da un essere umano. L'accuratezza delle decisioni finali non cambiava in base a chi i partecipanti pensavano stesse dando il consiglio. Questa scoperta sfida l'idea che le persone si fidino automaticamente delle macchine più che degli esseri umani, o che siano naturalmente sospettose verso i computer. Invece, la qualità del consiglio e la correttezza dei dati sottostanti erano i veri motori del successo o del fallimento. I ricercatori hanno osservato che in molti di questi studi, il consiglio dato ai partecipanti era perfetto o simulato, il che significa che gli esperimenti non hanno testato pienamente cosa accade quando un rilevatore del mondo reale commette un errore.

Una limitazione critica di questa ricerca è che nessuno degli studi inclusi ha testato come questi strumenti funzionino in un vero processo penale. Gli esperimenti coinvolgevano persone comuni che prendevano decisioni rapide in un laboratorio o online, non giudici o avvocati che decidevano il destino di un imputato. La revisione non ha trovato prove che l'uso di questi strumenti porti a verdetti più accurati in veri casi legali. Gli studi non hanno nemmeno misurato se le persone potessero identificare correttamente chi avesse creato un video falso o se la persona nel video avesse effettivamente commesso un crimine. La ricerca ha affrontato solo la domanda più ristretta se un video sembri reale o falso. Questa lacuna è significativa perché un video può essere tecnicamente autentico ma può comunque essere usato per raccontare una storia fuorviante, o un video falso potrebbe essere usato per uno scopo innocuo.

L'autore conclude che la relazione tra esseri umani e IA in questo campo è complessa. Assistenza, fiducia e giudizio accurato sono tre cose diverse. Una persona può fidarsi di uno strumento e concordare con esso, ma può comunque sbagliare. La revisione suggerisce che, affinché questi strumenti siano utili come prova criminale, la comunicazione su di essi debba essere molto precisa. Gli esperti devono spiegare esattamente sotto quali condizioni lo strumento è stato testato e cosa non può fare. Dovrebbero evitare affermazioni generiche come "questa registrazione è falsa" e invece attenersi a dichiarazioni specifiche e verificabili come "questo file contiene caratteristiche associate a un tipo specifico di manipolazione". Lo studio sottolinea anche la necessità di trasparenza. Se uno strumento evidenzia un'area sospetta in un video, il video originale deve rimanere disponibile affinché altri possano controllare se lo strumento di evidenziazione stesso stia funzionando correttamente.

In definitiva, questa revisione funge da guida cautelativa piuttosto che da celebrazione della tecnologia. Mostra che, sebbene l'assistenza dell'IA possa migliorare il rilevamento umano dei deepfake, introduce anche nuovi rischi se il consiglio è errato o se l'essere umano diventa troppo dipendente dalla macchina. I risultati suggeriscono che, in un contesto legale, l'attenzione non dovrebbe essere su quanto uno strumento aumenti la fiducia, ma su se aiuti le persone a distinguere tra un consiglio utile e un errore fuorviante. Finché questi strumenti non saranno testati in veri scenari legali con conseguenze reali, la loro capacità di garantire la giustizia rimane una questione aperta. La strada da seguire richiede test accurati, una chiara comunicazione dei limiti e un essere umano che rimanga capace di controllare il lavoro, piuttosto che limitarsi ad accettare la parola del computer.