AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

In der modernen Welt wird eine Videoaufnahme oft als unveränderliches Zeugnis der Wahrheit behandelt. Wenn eine Kamera eine Person beim Sprechen aufnimmt, ist die Annahme, dass die Person an diesem Ort war und diese Worte zu diesem Zeitpunkt sagte. Dieser Glaube bildet das Rückgrat kriminalistischer Untersuchungen und juristischer Urteile. Doch eine neue Technologie namens Deepfake-Generierung hat diese Gewissheit erschüttert. Diese Systeme können Videos erstellen, in denen das Gesicht und die Stimme einer Person so überzeugend ersetzt oder verändert werden, dass das Ereignis in der Realität nie stattgefunden hat. Das Problem für Ermittler besteht nicht nur darin, diese Fälschungen zu erkennen, sondern herauszufinden, wie sie Computertools nutzen können, die behaupten, sie zu detektieren. Wenn ein menschlicher Richter oder Polizeibeamter ein Video zusammen mit der Meinung eines Computers sieht, der sagt: „Dies ist eine Fälschung“, wie verändert dieser Rat seine Meinung? Hilft der Computer ihm, die Wahrheit zu sehen, oder führt er ihn dazu, Fehler zu begehen, die er allein nicht gemacht hätte?

Diese Frage steht im Mittelpunkt einer aktuellen systematischen Übersichtsarbeit des Forschers Hardianto Djanggih. Die Studie testete kein neues Computerprogramm und führte kein einzelnes Experiment durch. Stattdessen sammelte und analysierte sie sieben bestehende Studien, die sich spezifisch damit beschäftigten, wie Menschen reagieren, wenn sie Unterstützung durch künstliche Intelligenz erhalten, während sie beurteilen, ob ein Video oder ein Bild echt ist. Der Forscher wollte wissen, ob diese Unterstützung die Genauigkeit des menschlichen Urteils verbessert, wie die Art und Weise der Präsentation des Rats entscheidend ist und ob diese Erkenntnisse in einem Gerichtssaal vertrauenswürdig sind. Die Übersichtsarbeit ergab, dass die Antwort nicht ein einfaches „Ja“ oder „Nein“ ist. Der Wert der KI hängt vollständig davon ab, ob der Rat korrekt ist und wie er dem Menschen präsentiert wird.

Die Übersicht untersuchte Experimente, bei denen Menschen Videos ansahen oder Gesichter betrachteten und entschieden, ob sie authentisch oder manipuliert waren. In einigen Fällen erhielten die Teilnehmer eine Vorhersage eines Computermodells, bevor sie ihre endgültige Entscheidung trafen. In anderen Fällen sahen sie visuelle Hinweise, wie etwa hervorgehobene Bereiche, in denen der Computer eine Fälschung vermutete, oder sie wurden darüber informiert, wie zuverlässig der Computer normalerweise ist. Die Ergebnisse zeigten, dass Menschen häufiger die richtige Antwort fanden, wenn der Computer korrekten Rat gab. Beispielsweise steigerte die Anzeige der Vorhersage des Computers in einer Studie mit Videoclips die korrekte Identifikationsrate von 66 Prozent auf 73 Prozent. Die Studie offenbarte jedoch auch einen gefährlichen Nebeneffekt: Wenn der Computer den falschen Rat gab, neigten die Menschen dazu, ihm zu folgen, selbst wenn dies sie zu einem falschen Schluss führte. Die Unterstützung machte die Menschen nicht nur klüger, sondern erhöhte auch die Wahrscheinlichkeit, dass sie spezifische Fehler machten, falls das Werkzeug selbst fehlerhaft war.

Wie die Information präsentiert wurde, war ebenso wichtig wie die Information selbst. Eine Studie verglich einfache Textbeschriftungen mit visuellen Darstellungen, die winzige, unnatürliche Artefakte, die oft bei der Erstellung von Deepfakes zurückbleiben, verstärkten. Die visuellen Darstellungen machten die Menschen sicherer in ihren Urteilen und erhöhten die Wahrscheinlichkeit, dass sie die Einschätzung des Computers akzeptierten. Dennoch bedeutete dieses Vertrauen nicht immer, dass sie richtig lagen. In einem anderen Experiment teilten die Forscher den Teilnehmern mit, dass ein Computer sehr genau sei, obwohl die tatsächliche Leistung des Computers nicht mit dieser Behauptung übereinstimmte. Die Teilnehmer vertrauten dem Computer mehr, wenn ihnen gesagt wurde, dass er besser sei, obwohl die zugrunde liegende Technologie dieselbe war. Dies deutet darauf darauf hin, dass die Art und Weise, wie eine Fehlerrate kommuniziert wird, beeinflussen kann, wie sehr eine Person auf das Werkzeug vertraut, unabhängig davon, ob das Werkzeug tatsächlich so leistet, wie es versprochen wurde.

Die Übersicht untersuchte auch, ob die Quelle des Rats entscheidend war. In einem Experiment erhielten die Teilnehmer exakt dieselbe Anleitung, die jedoch manchmal als von einer künstlichen Intelligenz stammend und andere Male als von einem Menschen kommend gekennzeichnet war. Die Genauigkeit der endgültigen Entscheidungen änderte sich nicht basierend darauf, wer die Teilnehmer glaubten, dass die Information gab. Dieser Befund stellt die Vorstellung infrage, dass Menschen Maschinen automatisch mehr vertrauen als Menschen oder gegenüber Computern von Natur aus misstrauisch sind. Stattdessen waren die Qualität des Rats und die Korrektheit der zugrunde liegenden Daten die wahren Treiber für Erfolg oder Misserfolg. Die Forscher merkten an, dass in vielen dieser Studien der den Teilnehmern gegebene Rat perfekt oder simuliert war, was bedeutete, dass die Experimente nicht vollständig testeten, was passiert, wenn ein realer Detektor einen Fehler macht.

Eine kritische Einschränkung dieser Forschung ist, dass keine der einbezogenen Studien getestet hat, wie diese Tools in einem echten Strafprozess funktionieren. Die Experimente beinhalteten gewöhnliche Menschen, die schnelle Urteile in einem Labor oder online fällten, nicht Richter oder Anwälte, die über das Schicksal eines Angeklagten entscheiden. Die Übersicht fand keine Belege dafür, dass die Verwendung dieser Tools zu genaueren Urteilen in tatsächlichen Gerichtsverfahren führt. Die Studien untersuchten auch nicht, ob Menschen korrekt identifizieren konnten, wer ein gefälschtes Video erstellt hatte oder ob die Person im Video tatsächlich ein Verbrechen begangen hatte. Die Forschung befasste sich nur mit der enger gefassten Frage, ob ein Video echt oder gefälscht aussieht. Diese Lücke ist signifikant, da ein Video technisch authentisch sein kann, aber dennoch verwendet werden kann, um eine irreführende Geschichte zu erzählen, oder ein gefälschtes Video für einen harmlosen Zweck genutzt werden könnte.

Der Autor kommt zu dem Schluss, dass die Beziehung zwischen Mensch und KI in diesem Bereich komplex ist. Unterstützung, Vertrauen und ein genaues Urteil sind drei verschiedene Dinge. Eine Person kann einem Werkzeug vertrauen und ihm zustimmen, aber dennoch falsch liegen. Die Übersicht legt nahe, dass für diese Tools, um in der Strafrechtspflege nützlich zu sein, die Kommunikation über sie sehr präzise sein muss. Experten müssen genau erklären, unter welchen Bedingungen das Werkzeug getestet wurde und was es nicht leisten kann. Sie sollten allgemeine Behauptungen wie „Diese Aufnahme ist gefälscht“ vermeiden und stattdessen spezifische, testbare Aussagen wie „Diese Datei enthält Merkmale, die mit einer bestimmten Art der Manipulation assoziiert sind“ verwenden. Die Studie hebt auch die Notwendigkeit von Transparenz hervor. Wenn ein Werkzeug einen verdächtigen Bereich in einem Video hervorhebt, muss das Originalvideo weiterhin verfügbar sein, damit andere überprüfen können, ob das Hervorhebungs-Werkzeug selbst korrekt arbeitet.

Letztendlich dient diese Übersicht eher als ein warnender Leitfaden denn als eine Feier der Technologie. Sie zeigt, dass die KI-Unterstützung zwar die menschliche Erkennung von Deepfakes verbessern kann, aber auch neue Risiken einführt, wenn der Rat falsch ist oder wenn der Mensch zu abhängig von der Maschine wird. Die Ergebnisse legen nahe, dass es in einem rechtlichen Kontext nicht darauf ankommen sollte, wie sehr ein Werkzeug das Vertrauen erhöht, sondern darauf, ob es Menschen hilft, zwischen hilfreichem Rat und irreführenden Fehlern zu unterscheiden. Bis diese Tools in realen rechtlichen Szenarien mit realen Konsequenzen getestet werden, bleibt ihre Fähigkeit, Gerechtigkeit zu gewährleisten, eine offene Frage. Der Weg nach vorn erfordert sorgfältige Tests, eine klare Kommunikation der Grenzen und einen Menschen, der weiterhin in der Lage ist, die Arbeit zu prüfen, anstatt einfach nur das Wort des Computers zu akzeptieren.