AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

Dans le monde moderne, un enregistrement vidéo est souvent traité comme une preuve de vérité immuable. Si une caméra capture une personne en train de parler, l'hypothèse est que la personne était bien là, en train de prononcer ces mots, à ce moment précis. Cette croyance constitue l'épine dorsale des enquêtes criminelles et des jugements juridiques. Cependant, une nouvelle technologie appelée génération de deepfakes a bouleversé cette certitude. Ces systèmes peuvent créer des vidéos où le visage et la voix d'une personne sont remplacés ou modifiés de manière si convaincante que l'événement n'a jamais réellement eu lieu. Le problème pour les enquêteurs n'est pas seulement de repérer ces faux ; c'est de savoir comment utiliser les outils informatiques qui prétendent les détecter. Lorsqu'un juge ou un officier de police est confronté à une vidéo accompagnée de l'opinion d'un ordinateur affirmant « ceci est un faux », comment ce conseil modifie-t-il sa pensée ? L'ordinateur l'aide-t-il à voir la vérité, ou le trompe-t-il en le poussant à commettre des erreurs qu'il n'aurait pas commises seul ?

Cette question est au cœur d'une récente revue systématique réalisée par le chercheur Hardianto Djanggih. L'étude n'a pas testé un nouveau programme informatique ni mené une expérience unique. Au lieu de cela, elle a rassemblé et analysé sept études existantes qui examinaient spécifiquement la façon dont les humains réagissent lorsqu'ils reçoivent l'aide de l'intelligence artificielle pour juger si une vidéo ou une image est réelle. Le chercheur voulait savoir si cette assistance améliore la précision du jugement humain, si la manière dont le conseil est présenté importe, et si ces conclusions peuvent être fiables dans un cadre judiciaire. La revue a conclu que la réponse n'est pas un simple « oui » ou « non ». La valeur de l'IA dépend entièrement de la justesse du conseil et de la manière dont il est présenté à l'humain.

La revue a examiné des expériences où des personnes regardaient des vidéos ou observaient des visages pour décider s'ils étaient authentiques ou manipulés. Dans certains cas, les participants recevaient une prédiction d'un modèle informatique avant de prendre leur décision finale. Dans d'autres, ils voyaient des indices visuels, tels que des zones mises en évidence là où l'ordinateur pensait qu'un faux se cachait, ou on leur disait à quel point l'ordinateur est habituellement fiable. Les résultats ont montré que lorsque l'ordinateur donnait un conseil correct, il aidait souvent les gens à obtenir la bonne réponse. Par exemple, dans une étude impliquant des clips vidéo, le fait de montrer la prédiction de l'ordinateur a fait passer le taux d'identification correct de 66 pour cent à 73 pour cent. Cependant, l'étude a également révélé un effet secondaire dangereux : lorsque l'ordinateur donnait un mauvais conseil, les gens avaient tendance à le suivre, même si cela les menait à une conclusion erronée. L'assistance ne les a pas seulement rendus plus intelligents ; elle les a aussi rendus plus susceptibles de commettre des erreurs spécifiques si l'outil lui-même était défaillant.

La manière dont l'information était présentée importait tout autant que l'information elle-même. Une étude a comparé des étiquettes textuelles simples avec des affichages visuels qui amplifiaient les minuscules artefacts non naturels souvent laissés par la création de deepfakes. Les affichages visuels ont rendu les gens plus confiants dans leurs jugements et plus enclins à accepter l'évaluation de l'ordinateur. Pourtant, cette confiance ne signifiait pas toujours qu'ils avaient raison. Dans une autre expérience, les chercheurs ont dit aux participants qu'un ordinateur était très précis, alors que la performance réelle de l'ordinateur ne correspondait pas à cette affirmation. Les participants faisaient davantage confiance à l'ordinateur lorsqu'on leur disait qu'il était meilleur, même si la technologie sous-jacente était la même. Cela suggère que la façon dont un taux d'erreur est communiqué peut changer la dépendance d'une personne envers l'outil, indépendamment de la performance réelle de celui-ci.

La revue a également examiné si la source du conseil importait. Dans une expérience, les participants recevaient exactement le même conseil, mais celui-ci était parfois étiqueté comme provenant d'une intelligence artificielle et d'autres fois d'un humain. L'exactitude des décisions finales ne changeait pas selon la personne que les participants pensaient être à l'origine du conseil. Cette conclusion remet en question l'idée que les gens font automatiquement plus confiance aux machines qu'aux humains, ou qu'ils sont naturellement méfiants envers les ordinateurs. Au contraire, la qualité du conseil et l'exactitude des données sous-jacentes étaient les véritables moteurs de la réussite ou de l'échec. Les chercheurs ont noté que dans beaucoup de ces études, le conseil donné aux participants était parfait ou simulé, ce qui signifie que les expériences n'ont pas pleinement testé ce qui se passe lorsqu'un détecteur réel commet une erreur.

Une limite critique de cette recherche est qu'aucune des études incluses n'a testé le fonctionnement de ces outils lors d'un véritable procès criminel. Les expériences impliquaient des citoyens ordinaires prenant des décisions rapides dans un laboratoire ou en ligne, et non des juges ou des avocats décidant du sort d'un accusé. La revue n'a trouvé aucune preuve que l'utilisation de ces outils mène à des verdicts plus précis dans les affaires juridiques réelles. Les études n'ont pas non plus mesuré si les gens pouvaient identifier correctement qui avait créé une fausse vidéo ou si la personne dans la vidéo avait réellement commis un crime. La recherche n'a abordé que la question plus étroite de savoir si une vidéo semble réelle ou fausse. Cette lacune est significative car une vidéo peut être techniquement authentique tout en étant utilisée pour raconter une histoire trompeuse, ou une vidéo truquée peut être utilisée à des fins inoffensives.

L'auteur conclut que la relation entre l'humain et l'IA dans ce domaine est complexe. Assistance, confiance et jugement précis sont trois choses différentes. Une personne peut faire confiance à un outil et être d'accord avec lui, tout en se trompant. La revue suggère que pour que ces outils soient utiles en tant que preuves criminelles, la communication à leur sujet doit être très précise. Les experts doivent expliquer exactement les conditions dans lesquelles l'outil a été testé et ce qu'il ne peut pas faire. Ils devraient éviter les affirmations générales comme « cet enregistrement est faux » et privilégier des déclarations spécifiques et testables telles que « ce fichier contient des caractéristiques associées à un type spécifique de manipulation ». L'étude souligne également la nécessité de la transparence. Si un outil met en évidence une zone suspecte dans une vidéo, la vidéo originale doit rester disponible afin que d'autres puissent vérifier si l'outil de mise en évidence fonctionne correctement.

En fin de compte, cette revue sert de guide de prudence plutôt que de célébration de la technologie. Elle montre que, bien que l'assistance de l'IA puisse améliorer la détection des deepfakes par l'humain, elle introduit également de nouveaux risques si le conseil est incorrect ou si l'humain devient trop dépendant de la machine. Les conclusions suggèrent que, dans un cadre juridique, l'accent ne doit pas être mis sur la mesure de l'augmentation de la confiance, mais sur la capacité des gens à distinguer les conseils utiles des erreurs trompeuses. Tant que ces outils ne sont pas testés dans des scénarios juridiques réels avec des conséquences réelles, leur capacité à garantir la justice reste une question ouverte. La voie à suivre exige des tests rigoureux, une communication claire des limites et un humain capable de vérifier le travail, plutôt que de simplement accepter la parole de l'ordinateur.