Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Cet article présente un nouveau benchmark évaluant la capacité des modèles de diffusion texte-à-image à représenter fidèlement les contextes historiques, révélant qu'ils perpétuent systématiquement des stéréotypes stylistiques, introduisent des anachronismes et déforment les distributions démographiques du passé.

L'essentiel

🎨 L'Histoire "Fictive" : Quand l'IA raconte le passé

Imaginez que vous avez un peintre magique très doué, capable de dessiner n'importe quoi à partir d'une simple phrase. Si vous lui dites "dessine un roi", il le fait. Mais si vous lui demandez "dessine un roi du 17ème siècle", que va-t-il faire ?

C'est exactement ce que Maria-Teresa De Rosa Palmini et Eva Cetinić ont voulu tester. Ils ont demandé à trois de ces "peintres magiques" (des modèles d'IA appelés diffusion models) de dessiner des scènes de la vie quotidienne à travers l'histoire. Leur but ? Vérifier si ces machines racontent l'histoire avec justesse ou si elles inventent une version faussée, pleine de stéréotypes.

Ils ont créé un immense album de 30 000 dessins (qu'ils appellent HistVis) pour voir comment l'IA gère le temps. Voici ce qu'ils ont découvert, divisé en trois grandes leçons.

---

1. Le Filtre de Couleur : "Tout le passé est en noir et blanc (ou en gravure)"

L'analogie :
Pensez à l'IA comme à un photographe qui a oublié de changer de pellicule. Si vous lui demandez une photo de 2025, il vous donne une image colorée et nette. Mais si vous lui demandez une photo de 1650, il panique et vous sort une image en noir et blanc, ou pire, un dessin qui ressemble à une vieille gravure, même si vous ne lui avez pas demandé ça !

Ce que l'étude montre :
Les chercheurs ont vu que l'IA a des préjugés stylistiques.

• Pour le 17ème et 18ème siècle, l'IA pense automatiquement : "Ah, c'est l'époque des gravures !" (même si on lui demande une photo réaliste).
• Pour le 19ème siècle, elle bascule vers la peinture.
• Pour le 20ème siècle, elle commence enfin à faire des photos, mais souvent en noir et blanc.

Le problème : L'IA ne comprend pas que les gens du passé vivaient dans un monde coloré. Elle colle des étiquettes visuelles sur les époques, comme si l'histoire était un film en noir et blanc par défaut.

---

2. Le Voyageur du Temps : "Le smartphone dans le château médiéval"

L'analogie :
Imaginez un voyageur du temps qui se promène dans un château du 18ème siècle, mais qui porte un iPhone dans sa poche et écoute de la musique avec des écouteurs sans fil. C'est absurde, n'est-ce pas ? C'est ce qu'on appelle un anachronisme.

Ce que l'étude montre :
L'IA fait souvent ce genre d'erreur. Elle est si habituée à voir des objets modernes qu'elle les glisse partout, même quand ils n'ont pas leur place.

• Ils ont trouvé des aspirateurs dans des cuisines du 19ème siècle.
• Des smartphones dans des scènes de 1950.
• Des casques audio dans des concerts du 18ème siècle.

C'est comme si l'IA avait un cerveau qui mélange tout : elle entend "écouter de la musique" et elle sort immédiatement l'objet le plus récent qu'elle connaît (un casque), sans se soucier de l'année. C'est une erreur de logique temporelle.

---

3. Le Casting : "Qui est dans l'histoire ?"

L'analogie :
Si vous organisez une grande fête pour l'histoire mondiale, qui invitez-vous ? Si vous laissez l'IA choisir, elle risque d'inviter uniquement des hommes blancs pour les tâches "importantes" (comme le travail ou la science) et des femmes pour les tâches "domestiques" (comme cuisiner), même pour des époques où la réalité était différente.

Ce que l'étude montre :
L'IA a du mal à représenter la diversité réelle du passé.

• Elle sur-représente les hommes blancs dans presque toutes les activités, même là où les femmes étaient majoritaires (comme la cuisine ou l'éducation dans certains siècles).
• Elle sous-représente les autres groupes ethniques, comme si le monde d'autrefois n'était peuplé que d'une seule couleur.

C'est comme si l'IA regardait le passé à travers des lunettes déformantes qui amplifient les stéréotypes d'aujourd'hui au lieu de refléter la réalité d'alors.

---

🏁 La Conclusion : Pourquoi c'est important ?

Ce papier nous dit quelque chose de crucial : L'IA n'est pas un miroir parfait du passé.

Elle est plus comme un rêveur qui mélange ses souvenirs, ses préjugés et ses idées reçues. Si nous utilisons ces images pour l'école, les musées ou les médias, nous risquons d'enseigner une histoire fausse aux enfants et de renforcer des idées reçues sur qui était là, comment ils vivaient et à quoi ils ressemblaient.

La solution ?
Les chercheurs ne disent pas "arrêtez d'utiliser l'IA". Ils disent : "Attention !". Il faut créer des outils pour vérifier ces images, comme un fact-checker visuel, pour s'assurer que l'histoire racontée par la machine est aussi fidèle que possible à la réalité, et non pas une version stéréotypée inventée par un algorithme.

En résumé : L'IA est un excellent artiste, mais elle a besoin d'un historien pour lui dire : "Non, pas de smartphone dans le château, et n'oublie pas que les femmes travaillaient aussi !"

Résumé technique

1. Problématique et Contexte

Les modèles de diffusion Text-to-Image (TTI) sont devenus des outils majeurs pour la création de contenu, mais leur impact sociétal et culturel soulève des inquiétudes croissantes. Bien que les recherches antérieures aient largement documenté les biais démographiques (genre, race) et culturels (centrisme occidental), la capacité de ces modèles à représenter fidèlement les contextes historiques reste un domaine sous-exploré.

Le problème central identifié est que les modèles TTI ne se contentent pas de reproduire des erreurs factuelles ; ils risquent de :

• Renforcer des stéréotypes visuels sur le passé (ex: associer systématiquement certaines époques à des styles artistiques spécifiques).
• Introduire des anachronismes (objets modernes dans des contextes pré-modernes).
• Déformer les réalités démographiques historiques, affectant ainsi la mémoire collective et la compréhension publique de l'histoire.

L'article vise à combler ce vide en proposant une évaluation systématique de la façon dont les modèles TTI construisent des interprétations visuelles du passé.

2. Méthodologie

Les auteurs introduisent HistVis, un benchmark complet composé d'un jeu de données et d'un protocole d'évaluation reproductible.

A. Le Jeu de Données : HistVis

• Volume : 30 000 images synthétiques générées.
• Génération : Trois modèles de diffusion open-source de pointe : Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) et FLUX.1 Schnell.
• Structure des Prompts : Les prompts suivent un modèle neutre et universel : "Une personne [activité] dans la [période]".
  • Activités : 100 activités humaines universelles regroupées en 20 catégories (ex: art, agriculture, religion, travail) pour éviter les biais liés à des événements ou figures historiques spécifiques.
  • Périodes : 10 périodes historiques couvrant 5 siècles (17e au 21e) et 5 décennies du 20e siècle (1910, 1930, 1950, 1970, 1990).
• Objectif : Isoler l'effet de la condition temporelle sur la génération, indépendamment du contenu sémantique de l'activité.

B. Protocole d'Évaluation en Trois Dimensions

Le benchmark évalue les images générées selon trois axes critiques :

1. Associations Stylistiques Implicites (Implicit Stylistic Associations) :

   • Objectif : Mesurer si les modèles adoptent par défaut des styles visuels spécifiques pour certaines époques sans instruction explicite.
   • Méthode : Utilisation d'un classifieur de style entraîné sur WikiArt (5 classes : dessin, gravure, illustration, peinture, photographie) via un modèle DINOv2.
   • Métrique : Le score de Dominance du Style Visuel (VSD), calculant la proportion maximale d'images générées pour une période qui tombent dans une seule catégorie de style.

2. Cohérence Historique (Historical Consistency) :

   • Objectif : Détecter les anachronismes (objets, vêtements ou comportements modernes dans des contextes anciens).
   • Méthode : Une pipeline en deux étapes :
     1. Proposition par LLM : Un grand modèle de langage (LLM) génère une liste d'éléments anachroniques potentiels et des questions binaires (Oui/Non) associées pour chaque prompt.
     2. Détection par VQA : Trois modèles Vision-Language (VLM) répondent aux questions sur les images générées. La décision finale repose sur un vote majoritaire.
   • Validation : Une étude utilisateur (crowdsourcing) a validé la méthode, montrant un accord de 75 % avec le jugement humain.
   • Métriques : Fréquence (proportion d'images contenant l'anachronisme) et Sévérité (consistance de l'apparition une fois proposé).

3. Représentation Démographique (Demographic Representation) :

   • Objectif : Comparer les distributions de genre et de race générées par les modèles TTI avec des attentes démographiques historiquement plausibles.
   • Méthode :
     • Extraction des attributs (genre, race) via le classifieur FairFace.
     • Estimation de la "réalité historique" via un LLM (GPT-4o) qui fournit des distributions démographiques plausibles basées sur le contexte (activité + période).
   • Métriques : Mesures de sous-représentation et de sur-représentation (écart absolu entre la prédiction du modèle TTI et la base de référence LLM).

3. Résultats Clés

Les expériences révèlent des inexactitudes systématiques et des biais structurels dans les trois dimensions :

• Biais Stylistiques : Les modèles ne génèrent pas une diversité de styles pour une même période.

  • SDXL tend vers des gravures pour les 17e et 18e siècles.
  • SD3 et FLUX.1 privilégient la peinture pour les mêmes périodes.
  • Pour le début du 20e siècle (1910-1950), tous les modèles dominent par des images monochromes, renforçant l'association historique avec la photo noir et blanc, même si des images couleur existaient.
  • Note : Le "prompt engineering" (demande explicite de photoréalisme) a échoué à surmonter ces biais profonds.

• Incohérences Historiques (Anachronismes) :

  • Les modèles introduisent fréquemment des objets modernes. SD3 est le plus sujet aux anachronismes (25 % des images pour les années 1930, 20 % pour le 19e siècle).
  • Les éléments les plus fréquents incluent des vêtements modernes, des appareils audio (casques, smartphones) et des outils de cuisine.
  • Cela suggère que les modèles s'appuient davantage sur les indices conceptuels du prompt (ex: "écouter de la musique") que sur la condition temporelle, révélant un manque de cohérence chronologique dans l'espace latent.

• Distorsions Démographiques :

  • Les modèles tendent à sur-représenter les hommes et les personnes blanches dans les périodes historiques, même pour des activités où les données historiques suggèrent une participation féminine ou non-européenne significative (ex: cuisine, agriculture).
  • La diversité raciale n'augmente de manière significative que pour les périodes récentes (20e-21e siècles), alignant souvent les sorties sur les attentes contemporaines plutôt que sur la réalité historique.

4. Contributions Principales

1. Première Évaluation Systématique : C'est la première étude à évaluer de manière holistique la représentation historique des modèles de diffusion, au-delà de la simple vérification de faits (comme les monuments ou les personnalités célèbres).
2. Jeu de Données HistVis : Un ensemble de données de 30 000 images, open-source, couvrant une large gamme d'activités et de périodes, conçu pour être neutre et universel.
3. Protocole d'Évaluation Reproductible : Une méthodologie combinant LLM, VLM et analyse humaine pour détecter les biais stylistiques, les anachronismes et les distorsions démographiques.
4. Analyse des Limites des Interventions : Démonstration que le simple ajustement des prompts (prompt engineering) est insuffisant pour corriger les biais historiques profonds intégrés dans les modèles.

5. Signification et Impact

Ce travail met en lumière un risque majeur pour l'intégrité de la mémoire culturelle : les modèles TTI ne sont pas de simples générateurs d'images, mais des constructeurs de récits historiques visuels qui peuvent perpétuer des stéréotypes et des fausses croyances.

• Pour la recherche : Le benchmark fournit une base pour développer des modèles plus conscients du contexte historique et pour évaluer la "fidélité représentative".
• Pour la société : Il souligne la nécessité de ne pas utiliser ces outils de manière naïve dans des contextes éducatifs ou patrimoniaux sans vérification humaine rigoureuse.
• Défis futurs : L'article conclut que l'équilibre entre la fidélité historique stricte et la diversité représentative est un défi éthique complexe, nécessitant une expertise interdisciplinaire pour guider le développement futur de l'IA générative.

En résumé, "Synthetic History" établit que les modèles TTI actuels échouent à capturer la complexité du passé, préférant des raccourcis stylistiques et démographiques stéréotypés, ce qui appelle à une nouvelle génération de modèles intégrant des connaissances historiques plus riches et nuancées.