💻 computer science

Generative AI Literacy Training Improves Intelligence Analysts' Discrimination of Real and AI-Generated Images

Een studie uit 2024 onder Amerikaanse inlichtingenanalisten toont aan dat een korte, gestructureerde trainingsinterventie van 30 minuten hun vermogen aanzienlijk verbetert om door AI gegenereerde afbeeldingen van authentieke te onderscheiden, met name door de nauwkeurigheid bij het identificeren van echte afbeeldingen te vergroten.

Oorspronkelijke auteurs: Negar Kamali, Candice Rockell Gerstner, Jessica Hullman, Matthew Groh

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Negar Kamali, Candice Rockell Gerstner, Jessica Hullman, Matthew Groh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die probeert een nep schilderij in een museum op te sporen. Jarenlang ben je verteld waar je op moet letten, zoals vreemde handen of wazige achtergronden. Maar naarmate AI beter wordt in het maken van kunst, werken die oude trucjes niet meer zo goed, en begin je soms zelfs te twijfelen aan echte schilderijen omdat ze er net iets te perfect uitzien.

Dit artikel gaat over een korte "rechercheurstraining" van 30 minuten die werd gegeven aan 32 professionele inlichtingenanalisten (mensen die voor de Amerikaanse overheid werken en informatie analyseren). Het doel was om te zien of een korte les hen kon helpen het verschil te zien tussen echte foto's en door AI gegenereerde foto's, zonder hen paranoïde te maken over echte foto's.

Hier is de uitsplitsing van wat ze deden en wat ze vonden, met gebruik van alledaagse analogieën:

De Opzet: De "Voor en Na" Test

De onderzoekers lieten de analisten niet zomaar een stapel foto's één keer zien. Ze gebruikten een slimme "wipwap"-methode (een gecounterbalanceerd ontwerp):

Groep A keek naar 40 foto's, kreeg de training, en keek daarna naar 40 andere foto's.
Groep B keek eerst naar de tweede set van 40 foto's, kreeg de training, en keek daarna naar de eerste set.

Dit is als het geven van twee wiskundetoetsen aan twee groepen studenten, waarbij je halverwege een nieuwe truc leert, en ze dan de andere toets laat maken. Door de volgorde om te draaien, konden de onderzoekers er zeker van zijn dat elke verbetering daadwerkelijk kwam door de training, en niet omdat de tweede set foto's makkelijker was.

De Training: Een "Spot de Glitch" Workshop

De 30 minuten durende les was geen saaie lezing. Het was een visuele gids die de analisten 50 AI-afbeeldingen en 7 echte afbeeldingen liet zien. De instructeur wees vijf specifieke soorten "glitches" of "tells" aan die AI vaak achterlaat, zoals:

Anatomie: Handen met te veel vingers of vreemde tanden.
Stijl: Huid die eruitziet als plastic of was.
Functie: Stoelen die zweven of tekst die nergens op slaat.
Natuurkunde: Schaduwen die niet overeenkomen met de lichtbron.
Maatschappij: Mensen die kleding dragen die niet past bij de cultuur of de tijdperiode.

Cruciaal was dat de training hen ook leerde: "Alleen omdat je een glitch ziet (zoals een veeg of een vreemde schaduw), betekent dat niet dat het AI is. Echte foto's kunnen die ook hebben." Dit was de sleutel om te voorkomen dat ze echte afbeeldingen in twijfel zouden trekken.

De Resultaten: Scherpere ogen, minder paranoia

Voordat de training begon, waren de analisten al behoorlijk goed (ongeveer 72% nauwkeurig), wat beter is dan een muntje opgooien, maar niet goed genoeg voor hoogwaardig overheidswerk.

Na de sessie van 30 minuten steeg hun prestatie met 9 procentpunten (naar ongeveer 81% nauwkeurigheid). Maar het meest interessante deel was hoe ze verbeterden:

Ze werden veel beter in het herkennen van ÉCHTE foto's. Hun nauwkeurigheid bij echte afbeeldingen steeg met 14,2%.
Ze werden niet simpelweg sceptischer. In eerdere studies zorgde training er vaak voor dat mensen dachten dat alles nep was. Hier leerde de training hen juist meer te vertrouwen op hun ogen. Ze stopten met het onterecht als nep labelen van echte foto's.
Ze werden ook iets beter in het herkennen van AI, maar de grootste winst was het besef van wat er daadwerkelijk echt was.

Wie profiteerde ervan?

De training werkte voor iedereen, maar was een gamechanger voor twee specifieke groepen:

De beginners: Analisten zonder voorafgaande ervaring in digitale forensica zagen de grootste sprong. Het is alsoals een nieuwe bestuurder een snelle les geeft over bandensporen; zij leerden meer dan de experts die de basis al kenden.
De AI-gebruikers: Verrassend genoeg verbeterden ook de mensen die regelmatig AI-tools gebruiken het meest. Het lijkt erop dat het zien van de "achter de schermen"-kant van hoe AI faalt, hen hielp om de nepperds beter te herkennen.

De "Portret" Verrassing

De training werkte het beste bij portretten (close-ups van gezichten).

Waarom? Vóór de training keken analisten vooral naar "lichaamskenmerken" (zoals vreemde handen). Maar in een close-up portret kun je de handen niet zien!
De verschuiving: De training leerde hen om te kijken naar textuur en stijl (zoals een wasachtige huid of vreemde belichting), wat in close-ups heel duidelijk is. Zodra ze leerden om naar deze "stijlkenmerken" te kijken, werden ze veel beter in het herkennen van nepperds in portretten.

De Kern van het Verhaal

Deze studie bewijst dat je geen computerwetenschapper hoeft te zijn of maandenlang hoeft te studeren om beter te worden in het herkennen van AI-afbeeldingen. Een korte, gestructureerde les die je laat zien waar je op moet letten (en wat je niet moet overanalyseren) kan je oordeelsvermogen aanzienlijk verbeteren.

Het is als het leren aan iemand om een vals bankbiljet te herkennen: je hoeft niet te weten hoe de drukpers werkt; je moet alleen precies weten waar de watermerken zitten en hoe het papier aan moet voelen. In dit geval is de "textuur van het papier" de visuele consistentie van een echte foto, en zijn de "watermerken" de subtiele glitches die AI achterlaat.

Technische Samenvatting: Generatieve AI-geletterdheidstraining verbetert het onderscheidingsvermogen van inlichtingenanalisten tussen echte en door AI gegenereerde afbeeldingen

Probleemstelling
De proliferatie van fotorealistische, door AI gegenereerde afbeeldingen (specifiek die geproduceerd door diffusiemodellen zoals Stable Diffusion, Midjourney en Adobe Firefly) vormt een kritieke uitdaging voor informatie-ecosystemen. Misclassificatie van synthetische media kan doorwerken in sociotechnische systemen, wat de operationele besluitvorming in sectoren zoals nationale veiligheid en infrastructuur verstoort. Hoewel geautomatiseerde detectoren bestaan, missen deze vaak robuustheid tegen veelvoorkomende transformaties (bijv. compressie, cropping) en falen ze in het generaliseren over evoluerende generatieve paradigma's. Bijgevolg blijven menselijke analisten de laatste verdedigingslinie. Bovendien wijst eerder onderzoek uit dat de menselijke nauwkeurigheid bij het onderscheiden van echte versus door AI gegenereerde afbeeldingen inconsistent en vaak onvoldoende is voor operationele behoeften. Verder hebben eerdere trainingsinterventies aangetoond dat er een trade-off bestaat: hoewel ze de detectie van AI-gegenereerde inhoud kunnen verbeteren, verhogen ze vaak de fout-positieven op echte afbeeldingen (dat wil zeggen: analisten worden te sceptisch over authentieke inhoud). Er is een gebrek aan bewijs over de vraag of een korte, gestructureerde training de algehele discriminatienauwkeurigheid kan verbeteren voor professionele populaties, zoals inlichtingenanalisten, zonder een dergelijke conservatieve bias te induceren.

Methodologie
De auteurs voerden een gebalanceerd, binnen-onderwerp gerandomiseerd experiment uit met 32 inlichtingenanalisten in dienst van de Amerikaanse overheid. De studie maakte gebruik van een 90-minuten protocol verdeeld in drie fasen van 30 minuten:

Pre-training fase: Deelnemers beoordeelden 40 afbeeldingen (20 echt, 20 door AI gegenereerd) als ofwel "Echt" of "Door AI gegenereerd".
Interventie: Een 30-minuten durende, door experts geleide trainingssessie gericht op het identificeren van artefacten in door AI gegenereerde afbeeldingen. De training was gebaseerd op een gids die artefacten categoriseerde in vijf domeinen: anatomische onwaarschijnlijkheden, stilistische artefacten, functionele onwaarschijnlijkheden, schendingen van fysieke beperkingen en sociaal-culturele onwaarschijnlijkheden. De sessie bevatte 50 door AI gegenereerde afbeeldingen en 7 echte afbeeldingen om te illustreren dat de aanwezigheid van een artefact niet automatisch impliceert dat een afbeelding synthetisch is.
Post-training fase: Deelnemers beoordeelden een andere set van 40 afbeeldingen.

Het experimentele ontwerp splitste de stimulusset (97 totaal: 50 AI, 47 echt) in twee disjuncte pools (Set A en Set B). Deelnemers werden willekeurig toegewezen aan Groep AB (Set A pre-training, Set B post-training) of Groep BA (Set B pre-training, Set A post-training). Dit ontwerp stelde de onderzoekers in staat om het trainingseffect te isoleren door de prestaties op dezelfde beeldsets te vergelijken vóór en na de interventie over verschillende groepen heen, waarbij rekening werd gehouden met de moeilijkheidsgraad van de afbeeldingen en volgorde-effecten.

De stimulusset was gebalanceerd qua authenticiteit, scènecomplexiteit (portretten, volledige lichaamsopnames, geposeerde groepen, spontane opnames) en afbeelding-naar-tekst beschrijvingen. De gegevensverzameling leverde 2.544 beeldniveau-oordelen op. De primaire uitkomstmaat was de algehele nauwkeurigheid, aangevuld met paar-nauwkeurigheid (het correct classificeren van beide leden van een gekoppeld echt-nep paar) en de fout-positieve ratio op echte afbeeldingen. De analyse werd uitgevoerd met behulp van vooraf geregistreerde Ordinary Least Squares (OLS) regressie en logistische regressie, met standaardfouten geclusterd op deelnemersniveau.

Belangrijkste Resultaten

Verbetering van de algehele nauwkeurigheid: De trainingsinterventie verhoogde de algehele discriminatienauwkeurigheid met 9 procentpunt, van een baseline van 72% naar 81% (95% CI: [2,7, 15,4]).
Reductie in fout-positieven: In tegen tegenstelling tot eerdere studies waar training de scepsis jegens echte afbeeldingen vergrootde, verbeterde deze interventie de nauwkeurigheid bij het identificeren van echte afbeeldingen aanzienlijk. De nauwkeurigheid op echte afbeeldingen steeg met 14,2 procentpunt (95% CI: [0,7, 27,7]), wat overeenkomt met een reductie in fout-positieve fouten.
Detectie van door AI gegenereerde afbeeldingen: De toename in nauwkeurigheid voor door AI gegenereerde afbeeldingen was 4 procentpunt, wat positief was maar niet statistisch significant.
Signaaldetectie: Analyse van de discriminatiesensitiviteit ( $d'$ ) toonde een substantiële verbetering ( $\Delta d' = +0,36$ ), terwijl het responscriterium ( $c$ ) slechts licht en niet-significant verschoof, wat aangeeft dat de verbetering werd gedreven door betere discriminatie in plaats van een bias-verschuiving.
Heterogeniteit:
- Expertise: Trainingsvoordelen werden waargenomen bij alle niveaus van digitale forensische ervaring, waarbij de grootste winsten (9,2 procentpunt) optraden bij analisten zonder voorafgaande forensische ervaring.
- AI-vertrouwdheid: Analisten met frequent voorafgaand gebruik van generatieve AI-tools vertoonden de grootste winsten (7,2 procentpunt).
- Type afbeelding: De meest significante verbeteringen werden waargenomen in portretfoto's (een toename van 39,8 procentpunt), terwijl volledige lichaamsopnames en geposeerde groepen kleinere of niet-significante veranderingen lieten zien.
Robuustheid: De resultaten bleven consistent wanneer de vijf stimuli werden uitgesloten die in zowel de training als de post-test fase voorkwamen. Kwalitatieve analyse van de redenering van analisten wees op een verschuiving van vage indrukken naar specifieke verwijzingen naar de tijdens de sessie onderrichte functionele en stilistische artefacten.

Belangrijkste Bijdragen

Causaal Bewijs voor Professionele Populaties: Deze studie levert het eerste causale bewijs dat een korte, gestructureerde training het vermogen van inlichtingenanalisten — een professionele populatie met operationele belangen — verbetert om onderscheid te maken tussen echte en door AI gegenereerde afbeeldingen.
Overwinnen van de Scepsis-Trade-off: Het artikel toont aan dat training de algehele nauwkeurigheid kan verbeteren zonder de fout-positieven op echte afbeeldingen te verhogen, waarmee een kritieke beperking van eerdere perceptuele trainingsstudies (bijv. Chen et al., 2025) wordt geadresseerd.
Generaliseerbaarheid op Stimulusniveau: Door een diverse stimulusset te gebruiken die varieert in pose-complexiteit en scènecontext, tonen de auteurs aan dat de trainingseffecten verspreid zijn over de beeldset in plaats van gedreven te worden door een kleine subset van gemakkelijke of extreme gevallen.
Methodologische Rigor: Het gebruik van een gebalanceerd binnen-onderwerp ontwerp met gematchte echt-nep paren maakt een rigoureuze isolatie van het trainingseffect van stimulus-moeilijkheidsgraad en volgorde-effecten mogelijk.

Betekenis en Claims
De auteurs stellen dat hun resultaten causaal bewijs leveren dat een korte, gestructureerde training het menselijk oordeel kan verbeteren over een breed scala aan echte en door AI gegenereerde afbeeldingen. Ze argumenteren dat deze bevinding de organisatorische reacties op door AI gegenereerde visuele desinformatie informeert, waarbij zij suggereren dat lichtgewicht, gerichte interventies een praktische aanvulling kunnen vormen op geautomatiseerde detectietools. De studie stelt dat het versterken van het menselijk oordeel geen uitgebreide hertraining of diepe domeinkennis vereist, maar bereikt kan worden door analisten te begeleiden bij het letten op specifieke visuele inconsistenties terwijl zij rekening houden met onzekerheid. De auteurs concluderen dat dergelijke interventies bijzonder waardevol zijn in omgevingen waar visuele authenticiteit ambigu blijft en geautomatiseerde tools kunnen falen door transformaties of modelevolutie. Zij verklaren expliciet dat deze resultaten de directe verbeteringen na training karakteriseren en niet beweren de langetermijnretentie of transfer naar operationele workflows te beoordelen zonder verder onderzoek.