🤖 AI

When Eyes Betray AI: Social Gaze Consistency as a Semantic Cue for AI-Generated Image Detection

Ce document présente la « cohérence du regard social » comme un indice sémantique de haut niveau novateur pour détecter les images générées par l'IA en analysant la cohérence mutuelle du regard, de l'alignement tête-yeux et du placement des pupilles entre des individus interagissant, démontrant grâce à des ensembles de données contrôlés et une validation inter-architectures que cette approche surmonte efficacement les limites des méthodes existantes de détection d'artefacts de bas niveau.

Auteurs originaux : Kim Jihyeon, Sohee Kim, Soosan Lee, Souhwan Jung, James Matthew Rehg, Hyesong Choi

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kim Jihyeon, Sohee Kim, Soosan Lee, Souhwan Jung, James Matthew Rehg, Hyesong Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Faux « Parfait »

Imaginez un monde où les faussaires sont devenus si habiles à peindre que vous ne pouvez plus distinguer un faux tableau d'un vrai en observant les coups de pinceau, la texture de la toile ou la façon dont la lumière frappe la peinture.

Pendant longtemps, les ordinateurs détectant les images générées par l'IA fonctionnaient comme des inspecteurs d'art cherchant ces « coups de pinceau ». Ils recherchaient de minuscules bugs numériques, des motifs de pixels étranges ou des fréquences bizarres (les indices « de bas niveau »). Mais les générateurs d'IA modernes (comme FLUX.1 ou DALL·E 3) ont appris à peindre si parfaitement que ces minuscules bugs ont disparu. Les « coups de pinceau » sont désormais invisibles.

La Nouvelle Idée : Le Test du « Contact Visuel Social »

Les auteurs de ce document disent : « Si nous ne pouvons pas regarder la peinture, regardons l'histoire. »

Ils introduisent une nouvelle méthode pour repérer les faux appelée Cohérence du Regard Social. Imaginez cela ainsi :

Le Monde Réel : Lorsque deux personnes parlent, leurs yeux se fixent naturellement l'une sur l'autre. Si la Personne A regarde la Personne B, les yeux de la Personne B regardent généralement droit en retour. Leurs têtes et leurs yeux sont alignés d'une manière qui a du sens géométrique.
Le Monde de l'IA : L'IA actuelle est excellente pour rendre un seul visage réaliste. Mais lorsqu'elle génère une image de deux personnes en interaction, elle gâche souvent la connexion. Une personne peut regarder l'autre, mais les yeux de cette dernière peuvent fixer légèrement au-delà, ou ses pupilles peuvent être placées au mauvais endroit par rapport à sa tête.

L'IA est si concentrée à rendre chaque visage individuel « photoréaliste » qu'elle oublie la géométrie sociale de la façon dont deux personnes se regardent réellement. Le document soutient que cette « déconnexion sociale » est un nouvel indice de haut niveau que les détecteurs d'IA ont manqué.

Comment Ils Ont Construit le Détecteur (La « Salle de Sport d'Entraînement »)

Pour enseigner à un ordinateur à repérer cela, les chercheurs ont dû construire une salle de sport d'entraînement spéciale.

Le Jeu de Données « Chirurgie Contrôlée » :
Au lieu de simplement montrer à l'ordinateur des photos réelles et fausses au hasard, ils ont pris de vraies photos de personnes se regardant et ont utilisé l'IA pour « éditer » chirurgicalement uniquement la région des yeux. Ils ont gardé le reste de la photo (le visage, l'arrière-plan, l'éclairage) exactement identique.
- Analogie : Imaginez prendre une vraie photo d'une poignée de main et utiliser l'IA pour redessiner uniquement les doigts. Si les doigts semblent bizarrement connectés à la main, vous savez que c'est faux. En gardant tout le reste identique, ils ont forcé l'ordinateur à apprendre uniquement à propos des yeux, en ignorant les autres astuces que l'IA pourrait utiliser.
Le Professeur « Raisonnement Scripté » :
Ils n'ont pas simplement demandé à l'ordinateur : « Est-ce réel ou faux ? » (Oui/Non). Ils l'ont forcé à écrire une brève explication en utilisant un modèle spécifique en 5 étapes :
1. Décision : « C'est une image fausse. »
2. Scène : « Il y a deux personnes ici. »
3. Méthode : « Je vérifie leur contact visuel. »
4. Preuve : « La Personne A regarde la Personne B, mais les yeux de la Personne B regardent le sol. »
5. Conclusion : « Par conséquent, c'est faux. »
- Analogie : Au lieu de laisser un élève deviner la réponse, le professeur le force à montrer son travail en utilisant une formule spécifique. Cela empêche l'ordinateur de simplement mémoriser des « motifs » et le force à comprendre réellement la logique du contact visuel.

Les Résultats : La « Magie » Fonctionne

Ils ont testé ce nouveau détecteur contre les anciens sur trois défis différents :

Le Test « Chirurgie des Yeux » : Sur les photos qu'ils ont créées eux-mêmes, le nouveau détecteur était presque parfait (99,9 % de précision), tandis que les anciens détecteurs échouaient lamentablement.
Le Test « Une Seule Personne » : Sur des photos d'une seule personne, il a fait légèrement mieux que les anciens détecteurs, mais pas de manière significative.
Le Test « Chat de Groupe » (La Grande Victoire) : Sur des photos de personnes en interaction (se regardant), le nouveau détecteur a fait un bond significatif en avant.
- La Métaphore : Les anciens détecteurs étaient comme des gardes de sécurité cherchant de faux identifiants (indices de bas niveau). Le nouveau détecteur est comme un garde du corps qui remarque que deux personnes ne se regardent pas dans les yeux, même si leurs identifiants semblent parfaits.

Pourquoi Cela Compte

Le document affirme que, à mesure que l'IA devient meilleure pour cacher ses « empreintes digitales numériques », nous devons commencer à examiner la logique sociale. Le fait qu'une image semble nette et claire ne signifie pas que les personnes qui s'y trouvent se comportent comme de vrais humains.

À Retenir :
Le document prouve que l'IA est actuellement mauvaise pour simuler les règles géométriques subtiles de la façon dont les humains se regardent. En entraînant les ordinateurs à repérer ces erreurs de « malaise social » dans le contact visuel, nous pouvons attraper des faux que les anciennes méthodes manquent.

Ce que le document NE prétend PAS :

Il ne dit pas que cela fonctionne pour tous les types d'images générées par l'IA (comme les paysages ou les animaux). Il est spécifiquement destiné aux personnes en interaction.
Il ne prétend pas que c'est une solution permanente pour toujours ; il dit simplement que cela fonctionne maintenant contre les modèles d'IA actuels.
Il ne suggère pas d'utiliser cela pour des diagnostics médicaux ou des procès judiciaires pour l'instant ; c'est un outil de recherche pour détecter la manipulation d'images.

Résumé Technique : Quand les Yeux Trahissent l'IA

Énoncé du Problème

Les récents progrès des modèles génératifs (par exemple, Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6) ont efficacement éliminé les artefacts de bas niveau qui servaient auparavant de base principale à la détection du contenu généré par l'IA (AIGC). Des signaux tels que les anomalies de fréquence, les traces de suréchantillonnage et les empreintes au niveau des pixels sont désormais largement atténués, provoquant l'effondrement des détecteurs établis (NPR, UnivFD, AIDE) vers une performance proche du hasard sur les ensembles de données contemporains centrés sur la personne. De plus, le paysage des menaces a évolué vers des faux de type « édition partielle », où des modèles d'inpainting régénèrent des régions localisées de photographies authentiques. Ces faux conservent les statistiques photométriques globales de l'image originale, échappant ainsi aux détecteurs qui reposent sur des indices distribués globalement.

L'article soutient que la détection nécessite un passage d'une analyse statistique de bas niveau à un axe de cohérence sémantique de haut niveau. Plus précisément, il postule que si les générateurs peuvent produire des visages localement photoréalistes, ils peinent à maintenir la cohérence géométrique du regard social dans les interactions entre plusieurs personnes.

Méthodologie

1. La Cohérence du Regard Social comme Indice Sémantique

Les auteurs définissent la Cohérence du Regard Social comme la cohérence mutuelle de la direction du regard, de l'alignement tête-œil et du placement de la pupille entre les individus en interaction. Contrairement aux travaux antérieurs qui traitent le regard comme une cible de reconnaissance d'action ou se concentrent sur des priors anatomiques intra-visage (par exemple, des irrégularités de forme de la pupille), ce travail traite le regard comme une prédiction médico-légale falsifiable. Les photographies authentiques satisfont ces relations géométriques par construction, whereas les modèles d'inpainting contemporains les violent systématiquement dans la région de l'œil.

2. Construction d'un Ensemble de Données Personnalisé sur le Regard

Pour isoler l'indice du regard des empreintes de générateur confondantes, les auteurs ont construit l'ensemble de données Custom Gaze (46 830 images appariées).

Préservation de l'identité au niveau des paires : Chaque image fausse est générée à partir d'une image source réelle (dérivée de l'ensemble de données OI Mutual Gaze) en régénérant uniquement la région de l'œil à l'aide de FLUX.1-Fill. L'identité de base, la scène, l'éclairage et la composition globale restent invariants.
Blocage des raccourcis : Cette structure appariée empêche les modèles d'apprendre des empreintes globales spécifiques au générateur (par exemple, des résidus spectraux spécifiques à FLUX) comme raccourci, forçant le modèle à se fier aux différences ancrées anatomiquement dans la région de l'œil.
Masquage : Un masque spécifique ( $M_{eye}$ ) couvrant la bande verticale $[0.25h, 0.55h]$ de la boîte englobante du visage est utilisé pour l'inpainting.

3. Supervision par Légende Compositionnelle par Blocs

L'article introduit un schéma de supervision novateur pour injecter un squelette de raisonnement dans l'entraînement des Modèles Vision-Langage (VLM), spécifiquement FakeVLM (LLaVA-v1.5 + Vicuna-7B).

Structure : Au lieu d'une génération libre ou d'une classification binaire, le modèle est entraîné à produire une légende en 5 blocs : Décision $\to$ Scène $\to$ Méthode (raisonnement basé sur le regard) $\to$ Preuve $\to$ Conclusion.
Diversité Compositionnelle : Le squelette de raisonnement (le flux logique) est invariant, mais la lexicalisation de surface varie. En échantillonnant à partir de pools macro de 5 variantes pour 4 positions, le système génère 1 250 légendes uniques à partir de seulement 20 entrées de pool macro.
Raison d'être : Cette conception découple la cohérence du raisonnement de la diversité de la sortie, empêchant l'effondrement de mode tout en assurant que le modèle internalise le chemin de raisonnement spécifique « centré sur le regard » plutôt que de se rabattre sur des explications basées sur la texture.

4. Protocole d'Entraînement

Affinement Fin Mixte : Le modèle est affiné finement sur un mélange de l'ensemble de données Custom Gaze et de l'ensemble de données existant FakeClue (supervision centrée sur la texture) pour empêcher l'effondrement distributionnel sur les catégories non-personnes.
Sélection du Point de Contrôle : Les auteurs sélectionnent le point de contrôle basé sur la Précision Équilibrée (BA) plutôt que sur la perte de validation, notant un découplage significatif où la minimisation de la perte ne corrèle pas avec la performance équilibrée par classe.
Architecture : Un affinement fin efficace en paramètres (LoRA) est appliqué à l'encodeur visuel et au LLM, avec un affinement complet sur le projecteur vision-langage.

Contributions Clés

Un Nouvel Axe de Détection (C1) : L'introduction de la Cohérence du Regard Social comme axe de détection sémantique orthogonal aux paradigmes de bas niveau. Les auteurs fournissent un compte rendu mécaniste en quatre étapes expliquant sa transférabilité inter-générateurs :
- Blocage des raccourcis d'édition appariée : Empêche la mémorisation des empreintes de générateur.
- Transfert de difficulté du dur au facile : L'entraînement sur des éditions partielles (difficiles) améliore les performances sur la synthèse complète (facile).
- Préservation des priors CLIP : Exploite les représentations CLIP pré-entraînées partagées entre les générateurs.
- Faiblesse spectrale partagée de la famille Diffusion : Exploite les faiblesses spectrales cohérentes dans les structures périoculaires à travers les générateurs basés sur la diffusion.
Conception de Supervision (C2) : La proposition de Supervision par Légende Compositionnelle par Blocs, qui utilise un squelette de raisonnement fixe avec une variation de surface pour forcer le modèle à articuler pourquoi une image est fausse basée sur la géométrie du regard, plutôt que de simplement prédire une étiquette.
Validation Inter-Architecture (C3) : Démonstration que l'indice du regard est agnostique à l'architecture. La conception de supervision améliore un VLM de 7 milliards de paramètres (FakeVLM) et un backbone uniquement visuel (Effort) sur plusieurs benchmarks, prouvant que le signal n'est pas spécifique à une seule architecture de modèle.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks : Custom Gaze (faux d'édition partielle difficiles), COCOAI Person (AIGC à personne unique) et COCOAI Interaction (interaction multi-personnes).

Gains de Performance :
- Sur le sous-ensemble COCOAI Interaction (le benchmark diagnostique central), la méthode proposée a amélioré la Précision Équilibrée (BA) de 67,8 % à 71,5 % (+3,7 pp) par rapport à l'origine FakeVLM, avec un gain massif en Macro-F1 (+7,5 pp) et MCC (+13,3 pp).
- Sur COCOAI Person, la BA est passée de 83,0 % à 84,3 % (+1,3 pp).
- Sur Custom Gaze, la méthode a atteint une performance quasi parfaite (99,9 % BA), saturant le plafond de la distribution interne.
Comparaison avec les Baselines :
- Les détecteurs de bas niveau (AIDE, NPR, UnivFD) se sont effondrés vers une performance proche du hasard (BA $\le$ 51,5 %) sur le sous-ensemble d'interaction.
- Le modèle proposé de 7 milliards de paramètres a surpassé le concurrent de 13 milliards de paramètres SIDA-13B de +14,4 pp en BA moyenne et de +30,5 pp en MCC, démontrant que la conception de la supervision l'emporte sur le nombre de paramètres.
Analyse de la Matrice de Confusion : Les gains ont été entraînés par une récupération substantielle des classifications « faux » (+17 sur le sous-ensemble d'interaction) avec une dégradation quasi nulle dans la classification « réel », écartant un artefact de « prédire-tout-faux ».
Transfert Inter-Architecture : L'affinement fin du backbone uniquement visuel Effort sur l'ensemble de données Custom Gaze a produit des schémas similaires de saturation de distribution interne et de transfert inter-distribution, confirmant l'indépendance de l'indice vis-à-vis de l'architecture VLM.

Signification et Revendications

L'article revendique que, alors que les artefacts de bas niveau reculent, la cohérence socio-sémantique devient la frontière critique pour la détection de l'AIGC. La signification de ce travail réside dans :

Le Changement de Paradigme : Passer de la détection basée sur les statistiques de pixels à des relations géométriques de haut niveau (cohérence du regard) que les modèles de diffusion actuels ne parviennent pas à imposer explicitement.
Supervision Efficace : Démontrer que comment on demande à un modèle d'expliquer sa prédiction (raisonnement structuré vs libre ou binaire) est aussi conséquent que l'architecture du modèle elle-même.
Robustesse : Fournir des preuves qu'un indice dérivé d'un seul générateur (FLUX.1-Fill) et d'une tâche spécifique (édition partielle de l'œil) peut se généraliser à des scénarios de synthèse d'images complètes multi-générateurs à travers différentes familles de modèles.

Les auteurs reconnaissent des limitations, notamment la spécialisation de domaine (centrée uniquement sur la personne), la dépendance à un seul inpainteur pour la construction de l'ensemble de données, et une tendance vers la « sur-confiance dans les cartes » (sur-reliance sur les indices de regard) dans les scénarios à personne unique, ce qu'ils suggèrent pouvoir être atténué par des mécanismes de contrôle principés dans les travaux futurs.