🤖 AI

When Eyes Betray AI: Social Gaze Consistency as a Semantic Cue for AI-Generated Image Detection

Dit artikel introduceert "Social Gaze Consistency" als een nieuwe, semantische aanwijzing op hoog niveau voor het detecteren van door AI gegenereerde afbeeldingen door de wederzijdse coherentie van blik, hoofd-ooguitlijning en pupilverplaatsing tussen interacterende individuen te analyseren, en toont aan via gecontroleerde datasets en cross-architectuurvalidatie dat deze aanpak de beperkingen van bestaande methoden voor het detecteren van lage-niveau artefacten effectief overwint.

Oorspronkelijke auteurs: Kim Jihyeon, Sohee Kim, Soosan Lee, Souhwan Jung, James Matthew Rehg, Hyesong Choi

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kim Jihyeon, Sohee Kim, Soosan Lee, Souhwan Jung, James Matthew Rehg, Hyesong Choi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Perfecte" Vervalsing

Stel je een wereld voor waar vervalser zo goed zijn geworden in schilderen dat je een nep schilderij niet meer van een echt kunt onderscheiden door te kijken naar de penseelstreken, de textuur van het canvas of de manier waarop het licht op de verf valt.

Lange tijd werkten computers die AI-afbeeldingen detecteerden als kunstinspecteurs die op deze "penseelstreken" joegen. Ze zochten naar kleine digitale glitches, vreemde pixelpatronen of rare frequenties (de "laagwaardige" aanwijzingen). Maar moderne AI-generatoren (zoals FLUX.1 of DALL·E 3) hebben geleerd zo perfect te schilderen dat deze kleine glitches verdwenen zijn. De "penseelstreken" zijn nu onzichtbaar.

Het Nieuwe Idee: De "Sociale Oogcontact"-Test

De auteurs van dit artikel zeggen: "Als we niet naar de verf kunnen kijken, laten we dan naar het verhaal kijken."

Ze introduceren een nieuwe manier om vervalsingen op te sporen, genaamd Sociale Blikconsistentie. Denk er als volgt over na:

De Reële Wereld: Wanneer twee mensen praten, richten hun ogen zich van nature op elkaar. Als Persoon A naar Persoon B kijkt, kijken de ogen van Persoon B meestal direct terug. Hun hoofden en ogen zijn zo uitgelijnd dat het geometrisch logisch is.
De AI-Wereld: Huidige AI is geweldig in het maken van één gezicht dat er echt uitziet. Maar wanneer het een afbeelding genereert van twee mensen die interageren, gaat het vaak mis met de verbinding. De ene persoon kijkt misschien naar de ander, maar de ogen van de andere persoon staren misschien net iets langs hen, of hun pupillen bevinden zich op de verkeerde plek ten opzichte van hun hoofd.

De AI is zo gefocust op het maken van elk individueel gezicht "fotorealistisch" dat het de sociale geometrie vergeet van hoe twee mensen eigenlijk naar elkaar kijken. Het artikel stelt dat deze "sociale disconnectie" een nieuwe, hoogwaardige aanwijzing is die AI-detectoren tot nu toe hebben gemist.

Hoe Ze De Detector Bouwden (De "Trainingsgym")

Om een computer dit te leren opsporen, moesten de onderzoekers een speciale trainingsgym bouwen.

De "Gecontroleerde Chirurgie"-Dataset:
In plaats van de computer zomaar willekeurige echte en nep foto's te tonen, namen ze echte foto's van mensen die naar elkaar keken en gebruikten ze AI om chirurgisch alleen het ooggebied te "bewerken". Ze hielden de rest van de foto (het gezicht, de achtergrond, de belichting) exact hetzelfde.
- Analogie: Stel je voor dat je een echte foto van een handdruk neemt en met AI alleen de vingers opnieuw tekent. Als de vingers vreemd verbonden lijken met de hand, weet je dat het nep is. Door alles anders identiek te houden, dwongen ze de computer om alleen over de ogen te leren, en andere trucs die de AI misschien gebruikt te negeren.
De "Scripted Redenering"-Leraar:
Ze vroegen de computer niet zomaar: "Is dit echt of nep?" (Ja/Nee). Ze dwongen het om een korte uitleg te schrijven met behulp van een specifiek 5-stappen sjabloon:
1. Besluit: "Dit is een nep afbeelding."
2. Scène: "Er zijn hier twee mensen."
3. Methode: "Ik controleer hun oogcontact."
4. Bewijs: "Persoon A kijkt naar Persoon B, maar de ogen van Persoon B kijken naar de vloer."
5. Conclusie: "Daarom is dit nep."
- Analogie: In plaats van een student het antwoord te laten raden, dwingt de leraar hen om hun werk te tonen met een specifiek formule. Dit voorkomt dat de computer zomaar "patronen" uit het hoofd leert en dwingt het om de logica van oogcontact daadwerkelijk te begrijpen.

De Resultaten: De "Magie" Werkt

Ze testten deze nieuwe detector tegen de oude op drie verschillende uitdagingen:

De "Oogchirurgie"-Test: Op de foto's die ze zelf maakten, was de nieuwe detector bijna perfect (99,9% nauwkeurigheid), terwijl oude detectors het vreselijk deden.
De "Eén Persoon"-Test: Op foto's van slechts één persoon deed het iets beter dan de oude detectors, maar niet met een groot verschil.
De "Groepschat"-Test (De Grote Overwinning): Op foto's van mensen die interageren (naar elkaar kijkend), schoot de nieuwe detector aanzienlijk vooruit.
- De Metafoor: De oude detectors waren als beveiligingsagenten die op nep ID's joegen (laagwaardige aanwijzingen). De nieuwe detector is als een lijfwacht die merkt dat twee mensen geen oogcontact maken, zelfs als hun ID's perfect lijken.

Waarom Het Belangrijk Is

Het artikel beweert dat naarmate AI beter wordt in het verbergen van zijn "digitale vingerafdrukken", we moeten beginnen te kijken naar sociale logica. Alleen omdat een afbeelding scherp en helder lijkt, betekent niet dat de mensen erin zich gedragen als echte mensen.

Belangrijkste Conclusie:
Het artikel bewijst dat AI momenteel slecht is in het simuleren van de subtiele, geometrische regels van hoe mensen naar elkaar kijken. Door computers te trainen om deze "sociale ongemakkelijke" fouten in oogcontact op te sporen, kunnen we vervalsingen opvangen die de oude methoden missen.

Wat het artikel NIET beweert:

Het zegt niet dat dit werkt voor alle soorten AI-afbeeldingen (zoals landschappen of dieren). Het is specifiek voor mensen die interageren.
Het claimt niet dat dit een permanente oplossing is voor altijd; het zegt alleen dat het nu werkt tegen huidige AI-modellen.
Het suggereert niet om dit nu te gebruiken voor medische diagnoses of juridische rechtszaken; het is een onderzoeksinstrument voor het detecteren van beeldmanipulatie.

Technische Samenvatting: Wanneer Ogen AI Verraden

Probleemstelling

Recente vooruitgang in generatieve modellen (bijv. Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6) heeft effectief de laag-niveau artefacten geëlimineerd die eerder dienden als de primaire basis voor detectie van AI-generatie-inhoud (AIGC). Signalen zoals frequentie-anomalieën, traces van upsampling en pixel-level vingerafdrukken zijn nu grotendeels gemitigeerd, waardoor gevestigde detectoren (NPR, UnivFD, AIDE) instorten tot prestaties dicht bij het toevalsniveau op hedendaagse, op personen gerichte datasets. Bovendien is het bedreigingslandschap verschoven naar "partial-edit" vervalsingen, waarbij inpainting-modellen gelokaliseerde regio's van authentieke foto's regenereren. Deze vervalsingen behouden de globale fotometrische statistieken van de originele afbeelding, waardoor ze detectoren ontlopen die vertrouwen op globaal verspreide aanwijzingen.

Het artikel betoogt dat detectie een verschuiving vereist van laag-niveau statistische analyse naar een hoog-niveau semantische consistentie-as. Specifiek wordt gesteld dat hoewel generators lokaal fotorealistische gezichten kunnen produceren, ze moeite hebben om de geometrische coherentie van sociale blikrichting te handhaven in interacties tussen meerdere personen.

Methodologie

1. Sociale Blikconsistentie als Semantische Aanwijzing

De auteurs definiëren Sociale Blikconsistentie als de wederzijdse coherentie van blikrichting, hoofd-ooguitlijning en pupilplaatsing tussen interacterende individuen. In tegenstelling tot eerdere werken die blik behandelen als een doel voor actieherkenning of zich richten op intra-gezicht anatomische priors (bijv. onregelmatigheden in de vorm van de pupil), behandelt dit werk blik als een falsifieerbare forensische voorspelling. Authentieke foto's voldoen aan deze geometrische relaties door constructie, terwijl hedendaagse inpainting-modellen ze systematisch schenden in het ooggebied.

2. Constructie van een Aangepaste Blikdataset

Om de blik-aanwijzing te isoleren van verstorende vingerafdrukken van generators, construeerden de auteurs de Custom Gaze-dataset (46.830 gepaarde afbeeldingen).

Behoud van Identiteit op Paarniveau: Elke valse afbeelding wordt gegenereerd vanuit een echte bronafbeelding (afgeleid van de OI Mutual Gaze-dataset) door alleen het ooggebied te regenereren met FLUX.1-Fill. De basisidentiteit, het tafereel, de belichting en de globale compositie blijven invariant.
Blokkering van Shortcuts: Deze gepaarde structuur voorkomt dat modellen generator-specifieke globale vingerafdrukken (bijv. FLUX-specifieke spectrale residuen) leren als een shortcut, waardoor het model gedwongen wordt te vertrouwen op anatomisch onderbouwde verschillen in het ooggebied.
Maskering: Een specifiek masker ( $M_{eye}$ ) dat de verticale band $[0.25h, 0.55h]$ van het gezichtsbegrenzingsvak bedekt, wordt gebruikt voor inpainting.

3. Blok-Compositorische Bijschrijvingssupervisie

Het artikel introduceert een nieuw supervisiemodel om een redeneerskelet in te voegen in de training van Vision-Language Models (VLM's), specifiek FakeVLM (LLaVA-v1.5 + Vicuna-7B).

Structuur: In plaats van vrije vorm-generatie of binaire classificatie, wordt het model getraind om een bijschrijving van 5 blokken uit te voeren: Beslissing $\to$ Tafereel $\to$ Methode (blik-gebaseerd redeneren) $\to$ Bewijs $\to$ Conclusie.
Compositorische Diversiteit: Het redeneerskelet (de logische stroom) is invariant, maar de oppervlakte-lexikalisatie varieert. Door te resamplen uit macro-pools van 5 varianten voor 4 posities, genereert het systeem 1.250 unieke bijschrijvingen vanuit slechts 20 macro-pool-items.
Redenering: Dit ontwerp ontkoppelt redeneerconsistentie van outputdiversiteit, voorkomt mode-collapse en zorgt er tegelijkertijd voor dat het model het specifieke "blik-gerichte" redeneerpad internaliseert in plaats van te defaulten naar tekstuur-gebaseerde verklaringen.

4. Trainingsprotocol

Gemengde Fine-Tuning: Het model wordt fine-getuned op een mengsel van de Custom Gaze-dataset en de bestaande FakeClue-dataset (tekstuur-gerichte supervisie) om distributieve collapse op niet-persoon-categorieën te voorkomen.
Selectie van Checkpoint: De auteurs selecteren het checkpoint op basis van Balanced Accuracy (BA) in plaats van validatieverlies, waarbij ze wijzen op een significante ontkoppeling waarbij minimalisatie van verlies niet correleert met class-balanced prestaties.
Architectuur: Parameter-efficiënte fine-tuning (LoRA) wordt toegepast op de visuele encoder en de LLM, met volledige fine-tuning op de visueel-taalprojector.

Belangrijkste Bijdragen

Een Nieuwe Detectie-as (C1): De introductie van Sociale Blikconsistentie als een semantische detectie-as die orthogonaal is aan laag-niveau paradigma's. De auteurs bieden een mechanistisch account in vier stappen dat de overdraagbaarheid tussen generators verklaart:
- Blokkering van gepaarde-edit shortcuts: Voorkomt memorisatie van generator-vingerafdrukken.
- Overdracht van moeilijk naar makkelijk: Training op gedeeltelijke edits (moeilijk) verbetert de prestaties op volledige synthese (makkelijk).
- Behoud van CLIP-priors: Maakt gebruik van vooraf getrainde CLIP-representaties die gemeenschappelijk zijn voor alle generators.
- Gedeelde spectrale zwakte binnen de Diffusion-familie: Exploiteert consistente spectrale zwaktes in perioculaire structuren bij diffusion-gebaseerde generators.
Supervisie-ontwerp (C2): Het voorstellen van Blok-Compositorische Bijschrijvingssupervisie, waarbij een vast redeneerskelet met oppervlaktevariatie wordt gebruikt om het model te dwingen uit te leggen waarom een afbeelding nep is op basis van blikgeometrie, in plaats van alleen een label te voorspellen.
Validatie over Architecturen (C3): Aantonen dat de blik-aanwijzing architectuur-onafhankelijk is. Het supervisie-ontwerp verbetert een VLM van 7B parameters (FakeVLM) en een visuele-only backbone (Effort) over meerdere benchmarks, wat bewijst dat het signaal niet specifiek is voor één modelarchitectuur.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: Custom Gaze (gedeeltelijke-edit harde vervalsingen), COCOAI Person (AIGC van één persoon) en COCOAI Interaction (interactie tussen meerdere personen).

Prestatiewinst:
- Op de COCOAI Interaction-subset (de kern-diagnostische benchmark) verbeterde de voorgestelde methode de Balanced Accuracy (BA) van 67,8% naar 71,5% (+3,7 pp) ten opzichte van de oorsprong van FakeVLM, met een enorme winst in Macro-F1 (+7,5 pp) en MCC (+13,3 pp).
- Op COCOAI Person verbeterde BA van 83,0% naar 84,3% (+1,3 pp).
- Op Custom Gaze bereikte de methode bijna perfecte prestaties (99,9% BA), waardoor het plafond binnen de verdeling verzadigd werd.
Vergelijking met Baselines:
- Laag-niveau detectoren (AIDE, NPR, UnivFD) stortten in op de interactiesubset tot prestaties dicht bij willekeur (BA $\le$ 51,5%).
- Het voorgestelde 7B-model presteerde beter dan de 13B-parameter concurrent SIDA-13B met +14,4 pp in gemiddelde BA en +30,5 pp in MCC, wat aantoont dat supervisie-ontwerp zwaarder weegt dan het aantal parameters.
Analyse van de Verwarringsmatrix: De winsten werden gedreven door een substantiële herstel van "nep"-classificaties (+17 op de interactiesubset) met bijna nul degradatie in "echt"-classificatie, waardoor een "voorspel-allemaal-nep"-artefact wordt uitgesloten.
Overdraagbaarheid over Architecturen: Fine-tunen van de visuele-only Effort-backbone op de Custom Gaze-dataset leverde vergelijkbare patronen van verzadiging binnen de verdeling en overdraagbaarheid over verdelingen op, wat de onafhankelijkheid van de aanwijzing van de VLM-architectuur bevestigt.

Betekenis en Claims

Het artikel claimt dat naarmate laag-niveau artefacten verdwijnen, sociaal-semantische consistentie de kritieke grens wordt voor AIGC-detectie. De betekenis van dit werk ligt in:

Verschuiving van het Paradigma: Het verplaatsen van detectie van pixelstatistieken naar hoog-niveau geometrische relaties (blikconsistentie) die huidige diffusion-modellen niet expliciet afdwingen.
Effectieve Supervisie: Aantonen dat hoe aan een model wordt gevraagd om zijn voorspelling uit te leggen (gestructureerd redeneren versus vrije vorm of binair) even consequentievol is als de modelarchitectuur zelf.
Robuustheid: Het leveren van bewijs dat een aanwijzing afgeleid van één generator (FLUX.1-Fill) en een specifieke taak (gedeeltelijke oogbewerking) kan generaliseren naar scenario's met meerdere generators en volledige afbeeldingssynthese over verschillende modelfamilies.

De auteurs erkennen beperkingen, waaronder specialisatie op domein (uitsluitend op personen gericht), afhankelijkheid van één inpainter voor datasetconstructie, en een neiging tot "kaart-oververtrouwen" (overmatige afhankelijkheid van blik-aanwijzingen) in scenario's met één persoon, wat zij suggereren te kunnen worden verzacht door principiële gating-mechanismen in toekomstig werk.