Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Diese Arbeit stellt einen Benchmark vor, der zeigt, dass Text-zu-Bild-Diffusionsmodelle historische Kontexte systematisch durch stereotype Stile, Anachronismen und unzutreffende demografische Darstellungen verfälschen, und bietet damit eine Grundlage für die Entwicklung historisch genauerer Modelle.

Das Wesentliche

🎨 Wenn KI die Geschichte malt: Ein Blick in die Zeitmaschine

Stell dir vor, du hast einen magischen Pinsel, der Bilder aus Worten erschafft. Du sagst ihm: „Male mir einen Menschen, der im 17. Jahrhundert Musik hört." Der Pinsel (ein sogenanntes Text-zu-Bild-Modell) macht sich sofort an die Arbeit. Aber was passiert, wenn du ihn fragst, ob er wirklich weiß, wie die Welt damals aussah?

Die Forscherinnen Maria-Teresa De Rosa Palmini und Eva Cetinić von der Universität Zürich haben genau das untersucht. Sie haben herausgefunden, dass diese KI-Pinsel oft Verzerrungen in die Geschichte malen – ähnlich wie ein Maler, der alle alten Bilder in sepia-Tönen malt, auch wenn sie eigentlich bunt waren, oder der in einem Ritterturnier plötzlich moderne Smartphones auf den Rittern sieht.

Hier ist, was sie entdeckt haben, aufgeteilt in drei einfache Geschichten:

1. Der „Film"-Effekt: Wie die KI die Vergangenheit „einfärbt"

Stell dir vor, du gehst in ein Kino, das nur Filme aus einer bestimmten Ära zeigt.

• Das Problem: Wenn die KI ein Bild aus dem 17. Jahrhundert malt, denkt sie sofort: „Aha, das muss wie ein altes Stichbild oder eine Zeichnung aussehen!" Sie malt es nicht als lebendiges Foto, sondern in einem veralteten Stil.
• Die Metapher: Es ist, als würde die KI für das 19. Jahrhundert automatisch einen „Schwarz-Weiß-Film" drehen, obwohl die Menschen damals schon Farben kannten. Für das 20. Jahrhundert wechselt sie dann plötzlich zum „Farbfilm".
• Die Erkenntnis: Die KI hat keine echte Vorstellung von der Zeit, sondern nur von den Stilen, die sie in ihrem Trainingsmaterial gesehen hat. Sie klebt historische Epochen an bestimmte Bildstile wie Etiketten auf Flaschen.

2. Die Zeitreise-Fehler: Wenn das Smartphone im Mittelalter erscheint

Stell dir vor, du siehst einen Film über das alte Rom, und plötzlich fährt ein Ritter auf einem Motorroller durch das Forum. Das wäre absurd, oder?

• Das Problem: Die KI macht genau das. Sie platziert moderne Gegenstände in alten Zeiten. In Bildern aus dem 18. Jahrhundert tauchen plötzlich Kopfhörer auf, im 19. Jahrhundert sieht man Staubsauger und in den 1930er Jahren halten Leute Laptops in der Hand.
• Die Metapher: Die KI ist wie ein vergesslicher Zeitreisender. Sie weiß, dass Menschen „Musik hören" oder „arbeiten", aber sie hat vergessen, welche Werkzeuge es damals gab. Sie nimmt das, was sie heute kennt, und klebt es einfach auf die Vergangenheit.
• Die Erkenntnis: Die KI vermischt die Zeitebenen. Sie denkt, ein „Mensch, der Musik hört", sieht immer gleich aus – egal ob im Jahr 1700 oder 2024.

3. Wer war eigentlich da? Die falsche Besetzung

Stell dir vor, du castest für ein Theaterstück über das alte Ägypten. Aber der Regisseur (die KI) wählt nur Schauspieler aus, die er gerade kennt, und ignoriert die historische Realität.

• Das Problem: Die KI malt Menschen oft so, wie wir sie heute sehen, oder wie sie in Stereotypen dargestellt werden.
  • Geschlecht: Bei Tätigkeiten wie „Kochen" oder „Erziehen" malt die KI oft Männer, obwohl historisch gesehen oft Frauen diese Aufgaben übernahmen (oder umgekehrt, je nach Epoche).
  • Hautfarbe: In vielen historischen Szenen sind fast alle Menschen weiß gemalt, obwohl die Welt schon immer bunt war. Erst wenn die KI in die „nahe Zukunft" (21. Jahrhundert) malt, wird es diverser.
• Die Metapher: Die KI ist wie ein Fotograf, der eine alte Party fotografiert, aber alle Gäste in weiße Kostüme steckt, weil er denkt, das passe besser zum „alten Look". Sie vermisst die echte Vielfalt der Geschichte.

🛠️ Wie haben sie das herausgefunden? (Der „HistVis"-Test)

Die Forscher haben nicht nur gerüchteweise gesprochen. Sie haben einen riesigen Test entwickelt, den sie „HistVis" nennen:

1. Sie gaben der KI 100 einfache Aufgaben (z. B. „Ein Mensch, der reist", „Ein Mensch, der betet").
2. Sie ließen die KI diese Aufgaben für 10 verschiedene Zeitperioden lösen (vom 17. Jahrhundert bis heute).
3. Das Ergebnis: 30.000 Bilder.
4. Dann haben sie diese Bilder wie Detektive untersucht:
   • Ist der Stil passend? (Stich oder Foto?)
   • Sind da moderne Dinge? (Handys, Autos?)
   • Wer ist abgebildet? (Passen die Menschen zur Geschichte?)

💡 Was bedeutet das für uns?

Die Botschaft ist klar: KI ist kein Geschichtsbuch.

Wenn wir KI nutzen, um Bilder für Schulbücher, Museen oder Nachrichten zu erstellen, müssen wir vorsichtig sein. Die KI erzählt uns oft eine Geschichte, die auf ihren eigenen Vorurteilen und ihren Trainingsdaten basiert, nicht auf der historischen Wahrheit. Sie kann uns die Vergangenheit nicht nur „falsch" zeigen, sondern auch vergessen lassen, wie vielfältig und bunt die Welt schon immer war.

Zusammenfassend: Die KI ist wie ein sehr talentierter, aber etwas verwirrter Geschichtenerzähler. Sie kann tolle Bilder malen, aber sie braucht einen menschlichen Redakteur, der ihr sagt: „Halt, im 18. Jahrhundert gab es noch keine Smartphones, und die Leute waren nicht alle weiß!"

Technische Zusammenfassung

Titel: Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Veröffentlicht bei: ICLR 2026
Autoren: Maria-Teresa De Rosa Palmini, Eva Cetinić (Universität Zürich)

---

1. Problemstellung

Text-to-Image (TTI) Diffusionsmodelle haben sich zu mächtigen Werkzeugen für die Inhaltserschaffung entwickelt. Während die Forschung sich intensiv mit demografischen Verzerrungen (Geschlecht, Rasse) und kulturellen Bias (westlich-zentrierte Darstellungen) befasst hat, bleibt die Fähigkeit dieser Modelle, historische Kontexte korrekt darzustellen, weitgehend unerforscht.

Die Autoren identifizieren drei kritische Lücken:

1. Stilistische Stereotype: Modelle assoziieren bestimmte Epochen automatisch mit spezifischen visuellen Stilen (z. B. Gravuren für das 17. Jahrhundert), selbst wenn dies nicht im Prompt gefordert wird.
2. Chronologische Inkonsistenzen (Anachronismen): Modelle platzieren moderne Artefakte (z. B. Smartphones, Staubsauger) in vor-modernen Szenen.
3. Demografische Verzerrungen: Die Darstellung von Geschlecht und Rasse entspricht oft nicht historisch plausiblen Mustern, sondern spiegelt moderne Vorurteile oder Trainingsdaten-Bias wider.

Das Ziel ist es, zu untersuchen, wie TTI-Modelle die Vergangenheit konstruieren und ob diese Darstellungen faktisch, stilistisch und demografisch akkurat sind.

---

2. Methodik

Die Autoren stellen HistVis, einen umfassenden Benchmark und Datensatz, vor, der aus drei Hauptkomponenten besteht:

A. Der HistVis-Datensatz

• Umfang: 30.000 synthetische Bilder.
• Generierung: Erzeugt durch drei State-of-the-Art-Open-Source-Modelle: Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) und FLUX.1 Schnell.
• Prompt-Design: 100 kuratierte Prompts basieren auf einem neutralen Template: „A person [activity] in the [time period]".
  • Aktivitäten: 20 universelle menschliche Tätigkeiten (z. B. Landwirtschaft, Musik, Bildung), die über 20 Kategorien gruppiert sind.
  • Zeiträume: 10 historische Perioden, die fünf Jahrhunderte (17.–21.) und fünf Jahrzehnte des 20. Jahrhunderts (1910–1990) abdecken.
• Design-Prinzip: Durch die Verwendung universeller Aktivitäten ohne spezifische historische Figuren oder Ereignisse wird vermieden, dass externe Faktenwissen in den Prompts kodiert sind. Variationen in den Ergebnissen spiegeln somit die internen historischen Repräsentationen der Modelle wider.

B. Evaluierungs-Rahmenwerk (Drei Dimensionen)

1. Implizite Stilistische Assoziationen (Implicit Stylistic Associations):

   • Ziel: Quantifizierung, ob Modelle automatisch bestimmte Stile (Zeichnung, Gravur, Illustration, Malerei, Fotografie) mit Epochen verknüpfen.
   • Methode: Ein Style-Predictor (basierend auf DINOv2, trainiert auf WikiArt-Daten) klassifiziert die generierten Bilder in fünf Stil-Klassen.
   • Metrik: Visual Style Dominance (VSD) Score. Misst den Anteil der Bilder einer Periode, die einem dominanten Stil zugeordnet werden.

2. Historische Konsistenz (Historical Consistency):

   • Ziel: Identifikation von Anachronismen (moderne Objekte in alten Settings).
   • Methode: Ein zweistufiger automatischer Prozess:
     1. LLM-gestützte Vorschläge: Ein LLM (GPT-4o) generiert basierend auf dem Prompt eine Liste potenzieller Anachronismen und formuliert Ja/Nein-Fragen (z. B. „Trägt die Person moderne Kleidung?").
     2. VQA-basierte Detektion: Drei Vision-Language-Modelle (GPT-4o, LLaMA-3.2, Qwen2.5) beantworten die Fragen für jedes generierte Bild. Die Mehrheitsentscheidung bildet das Endergebnis.
   • Metriken: Frequency (Häufigkeit des Auftretens) und Severity (Konsistenz, mit der das Modell den Fehler macht, wenn er vom LLM vorgeschlagen wurde).
   • Validierung: Eine Crowdsourcing-Studie (5.400 Annotationen) bestätigte eine Übereinstimmung von 75 % mit menschlichen Urteilen.

3. Demografische Repräsentation (Demographic Representation):

   • Ziel: Vergleich der generierten Demografie (Geschlecht, Rasse) mit historisch plausiblen Erwartungen.
   • Herausforderung: Da keine vollständigen historischen Statistiken für alle Kombinationen existieren, nutzen die Autoren LLM-basierte Schätzungen (GPT-4o) als Baseline. Diese basieren auf Kontextwissen über soziale Strukturen, Gesetze und kulturelle Praktiken.
   • Extraktion: Ein FairFace-Klassifikator (ResNet34-basiert) analysiert die Gesichter in den generierten Bildern.
   • Metrik: Unter- und Überrepräsentation (Under/Overrepresentation), berechnet als absolute Abweichung zwischen dem generierten Anteil und der LLM-Schätzung.

---

3. Wichtige Ergebnisse

Stilistische Verzerrungen

• Modelle zeigen starke, epochenspezifische Stil-Defaults, die schwer durch Prompt-Engineering zu ändern sind.
• Beispiele: SDXL generiert für das 17./18. Jahrhundert fast ausschließlich Gravuren; SD3 und FLUX.1 bevorzugen Malerei. Für das 20. Jahrhundert neigen SD3 und FLUX.1 zu Schwarz-Weiß-Fotografie, während SDXL zu Illustrationen tendiert.
• Selbst explizite Anweisungen („photorealistic") konnten diese tief verankerten stilistischen Assoziationen oft nicht vollständig überwinden.

Anachronismen

• Alle Modelle produzieren signifikante Anachronismen.
• SD3 weist die höchste Fehlerquote auf (bis zu 25 % der Bilder in den 1930ern und 1940ern enthalten Anachronismen).
• Häufige Fehler: Moderne Kleidung, Audio-Geräte (Kopfhörer), Kommunikationsgeräte (Smartphones) und Haushaltsgeräte (Staubsauger).
• Erkenntnis: Modelle reagieren stärker auf konzeptionelle Hinweise im Prompt (z. B. „Musik hören") als auf den historischen Kontext, was zu einem „konzeptuellen Kurzschluss" führt.

Demografische Darstellung

• Es bestehen systematische Abweichungen von den historisch plausiblen LLM-Baselines.
• Geschlecht: Männer werden in vielen Kategorien (z. B. „Arbeit", „Kochen" im 18. Jh.) überrepräsentiert, obwohl historische Daten (bzw. LLM-Schätzungen) oft eine ausgeglichenere oder weiblichere Verteilung erwarten lassen.
• Rasse: Weiße Personen werden in früheren Epochen überproportional dargestellt. Die Vielfalt steigt erst im 20./21. Jahrhundert an, was oft eher aktuellen gesellschaftlichen Normen als historischen Realitäten entspricht.
• Spezifische Kategorien wie „Religion" oder „Landwirtschaft" zeigen starke Verzerrungen, die auf Korrelationen in den Trainingsdaten statt auf historischem Wissen hindeuten.

---

4. Hauptbeiträge

1. Erster systematischer Benchmark: Einführung von HistVis als erster umfassender Datensatz und Evaluierungsrahmen speziell für die historische Darstellung in TTI-Modellen.
2. Multidimensionale Analyse: Erweiterung der Bias-Evaluierung über demografische Fragen hinaus um stilistische Defaults und chronologische Konsistenz.
3. Reproduzierbare Methodik: Entwicklung eines automatisierten Pipelines zur Detektion von Anachronismen (LLM + VLM Ensemble) und zur Quantifizierung stilistischer Dominanz, die auf beliebige TTI-Modelle anwendbar ist.
4. Empirische Evidenz: Nachweis, dass aktuelle Modelle die Vergangenheit oft stereotyp, anachronistisch und demografisch verzerrt konstruieren, was ihre Zuverlässigkeit für Bildung und kulturelles Erbe infrage stellt.

---

5. Bedeutung und Implikationen

Die Studie zeigt, dass Text-to-Image-Modelle nicht als neutrale Werkzeuge zur Visualisierung der Geschichte betrachtet werden können. Sie reproduzieren und verstärken stattdessen kulturelle Stereotype und visuelle Konventionen der Vergangenheit (z. B. „die Vergangenheit sieht aus wie eine Gravur").

• Risiko: Die Verbreitung solcher Bilder kann das öffentliche Verständnis der Geschichte verzerren und kollektive Erinnerungen manipulieren.
• Herausforderung: Es besteht ein ethisches Dilemma zwischen historischer Genauigkeit und der Vermeidung von Ausgrenzung. Eine reine „historische Treue" könnte bestehende Ungleichheiten zementieren, während eine rein diversitätsorientierte Generierung die historische Glaubwürdigkeit untergräbt.
• Zukunft: Die Autoren fordern die Integration von reichhaltigerem historischen Wissen und interdisziplinärer Expertise in die Modellentwicklung, um TTI-Systeme zu schaffen, die die Vergangenheit sowohl akkurat als auch sensibel darstellen.

Der Benchmark bietet eine solide Grundlage für die Weiterentwicklung von Modellen, die in der Lage sind, historische Kontexte nuancierter und faktischer zu verarbeiten.