AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

In de moderne wereld wordt een video-opname vaak beschouwd als een onveranderlijk verslag van de waarheid. Als een camera een persoon ziet spreken, is de aanname dat die persoon daar was en die woorden uitsprak op dat specifieke moment. Dit geloof vormt de ruggengraat van strafrechtelijke onderzoeken en juridische oordelen. Echter, een nieuwe technologie genaamd deepfake-generatie heeft deze zekerheid verstoord. Deze systemen kunnen video's creëren waarin iemands gezicht en stem worden vervangen of gewijzigd op een zodanig overtuigende manier dat de gebeurtenis nooit daadwerkelijk heeft plaatsgevonden. Het probleem voor onderzoekers is niet alleen het opsporen van deze vervalsingen; het is het uitzoeken hoe zij computerhulpmiddelen kunnen gebruiken die beweren deze te detecteren. Wanneer een menselijke rechter of politieagent een video te zien krijgt samen met een mening van een computer die zegt "dit is nep", hoe verandert dat advies dan hun mening? Helpt de computer hen de waarheid te zien, of misleidt het hen om fouten te maken die ze alleen niet zouden hebben gemaakt?

Deze vraag staat centraal in een recente systematische review door onderzoeker Hardianto Djanggih. De studie testte geen nieuw computerprogramma en voerde geen enkel experiment uit. In plaats daarvan verzamelde en analyseerde het zeven bestaande studies die specifiek keken naar hoe mensen reageren wanneer zij hulp krijgen van kunstmatige intelligentie bij het beoordelen of een video of afbeelding echt is. De onderzoeker wilde weten of deze assistentie de nauwkeurigheid van het menselijk oordeel verbetert, hoe de manier waarop het advies wordt gepresenteerd ertoe doet, en of deze bevindingen betrouwbaar kunnen worden gebruikt in een rechtszaal. De review concludeerde dat het antwoord geen simpel "ja" of "nee" is. De waarde van de AI hangt volledig af van de vraag of het advies correct is en hoe het aan de mens wordt getoond.

De review onderzocht experimenten waarbij mensen video's bekeken of naar gezichten keken en beslisten of ze authentiek of gemanipuleerd waren. In sommige gevallen kregen de deelnemers een voorspelling van een computermodel voordat ze hun definitieve beslissing namen. In andere gevallen zagen ze visuele aanwijzingen, zoals geaccentueerde gebieden waar de computer dacht dat een vervalsing zich verborg, of werd hen verteld hoe betrouwbaar de computer gewoonlijk is. De resultaten toonden aan dat wanneer de computer correct advies gaf, dit mensen er vaak in hielp om het juiste antwoord te geven. Bijvoorbeeld, in een studie met betrekking tot videoclips, zorgde het tonen van de voorspelling van de computer ervoor dat het percentage correcte identificaties steeg van 66 procent naar 73 procent. Echter, de studie onthulde ook een gevaarlijk bijeffect: wanneer de computer het verkeerde advies gaf, hadden mensen de neiging dit te volgen, zelfs wanneer het hen tot de verkeerde conclusie leidde. De assistentie maakte mensen niet alleen slimmer; het maakte hen ook eerder geneigd om specifieke fouten te maken als het hulpmiddel zelf gebrekkig was.

Hoe de informatie werd gepresenteerd, was net zo belangrijk als de informatie zelf. Eén studie vergeleken eenvoudige tekstlabels met visuele weergaven die de minuscule, onnatuurlijke artefacten die vaak achterblijven bij de creatie van deepfakes, versterkten. De visuele weergaven maakten mensen zelfverzekerder in hun oordelen en maakten hen eerder geneigd de beoordeling van de computer te accepteren. Toch betekende dit zelfvertrouwen niet altijd dat ze het bij het rechte eind hadden. In een ander experiment vertelden onderzoekers de deelnemers dat een computer zeer accuraat was, terwijl de werkelijke prestaties van de computer niet overeenkwamen met die bewering. De deelnemers vertrouwden de computer meer wanneer hen werd verteld dat deze beter was, zelfs wanneer de onderliggende technologie hetzelfde was. Dit suggereert dat de manier waarop een foutpercentage wordt gecommuniceerd, de mate kan veranderen waarop een persoon op het hulpmiddel vertrouwt, ongeacht of het hulpmiddel daadwerkelijk presteert zoals beloofd.

De review bekeek ook of de bron van het advies uitmaakte. In één experiment ontvingen deelnemers exact dezelfde begeleiding, maar werd deze soms gelabeld als afkomstig van een kunstmatige intelligentie en op andere tijden van een mens. De nauwkeurigheid van de uiteindelijke beslissingen veranderde niet op basis van wie de deelnemers dachten dat het advies gaf. Deze bevinding daagt het idee uit dat mensen automatisch meer vertrouwen in machines dan in mensen, of dat ze van nature wantrouwig zijn tegenover computers. In plaats daarvan waren de kwaliteit van het advies en de juistheid van de onderliggende gegevens de werkelijke drijfveren van succes of falen. De onderzoekers merkten op dat in veel van deze studies het advies dat aan de deelnemers werd gegeven perfect of gesimuleerd was, wat betekent dat de experimenten niet volledig testten wat er gebeurt wanneer een echte detector een fout maakt.

Een kritieke beperking van dit onderzoek is dat geen van de geïncludeerde studies heeft getest hoe deze tools werken in een echte strafrechtelijke procedure. De experimenten betroffen gewone mensen die snelle oordelen velden in een laboratorium of online, niet rechters of advocaten die het lot van een verdachte bepalen. De review vond geen bewijs dat het gebruik van deze tools leidt tot nauwkeurigere vonnissen in werkelijke rechtszaken. De studies maten ook niet of mensen correct konden identificeren wie een nepvideo had gemaakt of of de persoon in de video daadwerkelijk een misdaad had gepleegd. Het onderzoek richtte zich slechts op de nauwere vraag of een video echt of nep oogt. Deze kloof is significant, omdat een video technisch authentiek kan zijn maar nog steeds gebruikt kan worden om een misleidend verhaal te vertellen, of dat een nepvideo voor een onschuldig doel gebruikt kan worden.

De auteur concludeert dat de relatie tussen mensen en AI op dit gebied complex is. Assistentie, vertrouwen en nauwkeurig oordeelsvermogen zijn drie verschillende zaken. Een persoon kan een hulpmiddel vertrouwen en ermee instemmen, maar nog steeds ongelijk hebben. De review suggereert dat voor deze tools bruikbaar te zijn in strafrechtelijk bewijsmateriaal, de communicatie erover zeer precies moet zijn. Experts moeten exact uitleggen onder welke omstandigheden het hulpmiddel is getest en wat het niet kan. Ze moeten algemene claims zoals "deze opname is nep" vermijden en in plaats daarvan vasthouden aan specifieieve, toetsbare verklaringen zoals "dit bestand bevat kenmerken die geassocieerd worden met een specifiek type manipulatie". De studie benadrukt ook de noodzaak van transparantie. Als een tool een verdacht gebied in een video markeert, moet de originele video beschikbaar blijven zodat anderen kunnen controleren of het markeringstool zelf correct werkt.

Uiteindelijk dient deze review als een waarschuwingsgids in plaats van een viering van technologie. Het laat zien dat hoewel AI-assistentie de menselijke detectie van deepfakes kan verbeteren, het ook nieuwe risico's introduceert als het advies onjuist is of als de mens te afhankelijk wordt van de machine. De bevindingen suggereren dat in een juridische setting de focus niet moet liggen op hoeveel een tool het zelfvertrouwen vergroot, maar op of het mensen helpt om onderscheid te maken tussen nuttig advies en misleidende fouten. Totdat deze tools zijn getest in echte juridische scenario's met echte consequenties, blijft hun vermogen om rechtvaardigheid te waarborgen een open vraag. De weg vooruit vereist zorgvuldige testen, duidelijke communicatie van grenzen, en een mens die in staat blijft om het werk te controleren, in plaats van simpelweg het woord van de computer te accepteren.