Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

본 논문은 텍스트-이미지 확산 모델이 역사적 맥락을 어떻게 표현하는지 평가하기 위해 3 만 개의 합성 이미지와 재현 가능한 평가 프로토콜을 포함한 새로운 벤치마크를 제안하고, 해당 모델들이 시대에 따른 스타일 고정관념, 시대착오적 요소, 그리고 인구통계학적 불일치 등의 체계적인 오류를 보인다는 사실을 규명했습니다.

핵심

🎨 1. 연구의 배경: AI 화가의 '시간 여행' 실패

최근 AI 는 "18 세기 농부"나 "1930 년대 음악가"라고 말하면 아주 그럴듯한 그림을 그려줍니다. 하지만 연구자들은 의문을 가졌습니다.

"AI 가 과거를 그릴 때, 정말 과거를 알고 있는 걸까? 아니면 그냥 우리가 아는 '과거에 대한 고정관념'을 찍어내는 것일까?"

이 연구는 AI 가 과거를 얼마나 정확하게, 혹은 얼마나 편향되게 표현하는지 확인하기 위해 3 만 장의 AI 그림을 만들어 분석했습니다.

🔍 2. 연구 방법: 3 가지 '심사 기준'

연구진은 AI 가 그린 그림을 세 가지 기준으로 심사했습니다.

① 스타일 편향: "과거는 무조건 흑백이나 판화일까?"

• 상황: AI 에게 "17 세기 사람"이라고만 말하면, AI 는 그 시대의 실제 모습과 상관없이 고전적인 판화나 흑백 그림 스타일로 그리는 경향이 있습니다.
• 비유: 마치 "1990 년대"라고 하면 AI 가 무조건 노란색 필터가 낀 사진만 찍는 것과 같습니다. AI 는 과거를 '실제 모습'이 아니라, 우리가 흔히 보는 '영화나 책 속의 과거' 스타일로 고정해 버립니다.
• 결과: 17~18 세기는 무조건 판화, 20 세기 초는 무조건 흑백 사진으로 그리는 등 AI 는 시대에 따른 '스타일 고정관념'을 가지고 있었습니다.

② 시대착오 (Anachronism): "고양이에게 스마트폰을 쥐어주다"

• 상황: AI 는 과거의 배경에 현대적인 물건을 실수로 넣는 경우가 많습니다.
• 비유: 18 세기 농부가 스마트폰으로 사진을 찍거나, 1930 년대 식당에서 진공청소기를 사용하는 그림이 나오는 식입니다.
• 결과: AI 는 "음악을 듣는 사람"이라는 명령만 받고, 과거의 맥락은 무시하고 현대적인 '헤드폰'이나 '스마트폰'을 그려넣었습니다. 이는 AI 가 과거의 시간 흐름을 제대로 이해하지 못한다는 뜻입니다.

③ 인구 통계 편향: "역사 속의 인물은 모두 백인 남성일까?"

• 상황: AI 가 그리는 과거의 사람들 성별과 인종 분포가 실제 역사적 사실과 다릅니다.
• 비유: "17 세기 요리사"를 그리라고 하면, AI 는 대부분의 백인 남성을 그립니다. 하지만 역사적 기록을 보면 당시에는 여성 요리사도 많았을 텐데 말입니다.
• 결과: AI 는 과거의 다양한 인종과 성별을 제대로 반영하지 못하고, 현대의 편견이나 훈련 데이터의 편향을 그대로 가져와 과거를 왜곡했습니다.

💡 3. 핵심 발견: AI 는 '과거'를 모른다

이 연구의 가장 큰 결론은 다음과 같습니다.

1. AI 는 과거를 '재현'하지 않고 '상상'합니다: AI 는 역사적 사실을 기반으로 그리는 게 아니라, 훈련 데이터에서 본 '과거에 대한 흔한 이미지'를 조합해서 그립니다.
2. 편향은 쉽게 고쳐지지 않습니다: "흑백으로 그리지 마세요"라고 명령을 바꿔도, AI 는 여전히 과거를 흑백이나 판화 스타일로 그리는 버릇을 고치지 못했습니다.
3. 역사적 사실과 거리가 멀다: AI 가 만든 과거의 그림은 교육이나 문화 유산 자료로 쓰기에는 너무 많은 오류 (시대착오, 편향) 를 포함하고 있습니다.

🚀 4. 왜 이 연구가 중요한가요?

우리가 AI 로 만든 과거의 그림을 믿고 교육이나 영화, 게임에 쓴다면, 미래 세대가 역사를 잘못 이해하게 될 수 있습니다.

이 연구는 AI 가 과거를 그릴 때 발생하는 문제점을 명확히 지적하고, **"더 정확하고 공정한 AI 를 만들기 위한 기준 (벤치마크)"**을 제시했습니다. 마치 AI 화가에게 "네가 그린 18 세기 그림은 너무 현대적이야, 다시 그려봐"라고 가르쳐 주는 첫걸음이라고 볼 수 있습니다.

📝 한 줄 요약

"AI 가 과거를 그릴 때, 우리는 '역사적 사실'을 기대하지만 AI 는 '우리가 아는 과거에 대한 편견'을 그려냅니다. 이 연구는 그 오류를 찾아내어 더 정확한 AI 를 만들자는 신호탄입니다."

기술 요약

1. 문제 제기 (Problem Statement)

텍스트-이미지 (TTI) 확산 모델은 콘텐츠 생성에 혁신을 가져왔으나, 기존 연구는 주로 현재의 인구통계학적 편향 (성별, 인종) 이나 문화적 편향 (서구 중심성) 에 집중해 왔습니다. 그러나 역사적 맥락을 얼마나 정확하게 시각화하는지에 대한 평가는 거의 이루어지지 않았습니다.

• 핵심 문제: TTI 모델이 과거를 묘사할 때 사실적 정확성뿐만 아니라 문화적 기억과 집단적 정체성을 왜곡할 수 있는 위험이 존재합니다.
• 구체적 한계:
  • 특정 시대에 대한 고정관념적인 스타일 (예: 17 세기를 항상 판화나 흑백으로 묘사) 의 자동적 적용.
  • 시대착오적 요소 (Anachronisms) 의 발생 (예: 18 세기 배경에 스마트폰 등장).
  • 역사적 맥락에 부합하지 않는 인구통계학적 표현 (과도한 특정 인종/성별 편향).

2. 방법론 (Methodology)

저자들은 HistVis라는 새로운 벤치마크와 평가 프로토콜을 제안했습니다. 이는 3 가지 주요 차원에서 TTI 모델의 역사적 표현 능력을 평가합니다.

A. HistVis 데이터셋 구축

• 규모: 총 30,000 개의 합성 이미지.
• 생성 모델: SDXL, SD3, FLUX.1 Schnell 등 최신 오픈소스 확산 모델 3 종 사용.
• 프롬프트 설계: 100 개의 보편적 인간 활동 (음악, 예술, 농업 등) 과 10 개의 역사적 시대 (17~21 세기, 20 세기 5 개 10 년 단위) 를 조합하여 "A person [activity] in the [time period]" 형태의 중립적 프롬프트 사용.
• 목적: 특정 사건이나 인물이 아닌 보편적 활동을 통해 모델의 내재된 역사적 표현 편향을 격리하여 측정.

B. 평가 차원 및 기술적 접근

1. 암묵적 스타일 연관성 (Implicit Stylistic Associations)

   • 목표: 프롬프트에 명시되지 않았음에도 모델이 특정 시대에 특정 스타일 (판화, 회화, 사진 등) 을 자동적으로 할당하는지 확인.
   • 기술: WikiArt 데이터를 기반으로 학습된 DINOv2 기반 스타일 분류기를 사용하여 생성된 이미지의 스타일 라벨을 예측.
   • 지표: VSD (Visual Style Dominance) 점수. 특정 시대에 한 스타일이 우세하게 나타나는 비율을 측정.

2. 역사적 일관성 (Historical Consistency)

   • 목표: 시대착오적 요소 (Anachronisms) 를 자동 탐지.
   • 기술: 2 단계 파이프라인 적용.
     • 1 단계 (LLM 제안): LLM(GPT-4o 등) 이 특정 시대에 존재할 수 없는 사물 (예: 18 세기의 헤드폰) 을 제안하고, 이를 식별하는 Yes/No 질문 생성.
     • 2 단계 (VQA 탐지): 3 개의 VLM(GPT-4o, LLaMA-3.2, Qwen2.5) 을 앙상블하여 이미지에 해당 요소가 있는지 탐지.
   • 지표: **빈도 (Frequency)**와 심각도 (Severity). 제안된 요소가 이미지에 나타나는 비율과 일관성을 측정.

3. 인구통계학적 표현 (Demographic Representation)

   • 목표: 생성된 이미지의 성별/인종 분포가 역사적으로 타당한 기대치와 얼마나 일치하는지 분석.
   • 기술:
     • 기준선 (Baseline): LLM(GPT-4o) 에게 활동과 시대에 따른 타당한 인구통계학적 분포를 추정하도록 요청 (실제 역사 데이터가 부족한 경우의 대안).
     • 추출: FairFace 분류기를 사용하여 생성된 이미지의 성별과 인종을 자동 분류.
   • 지표: 과소/과대 표현 (Under/Over-representation) 지표. 모델 출력과 LLM 추정치 간의 절대 편차를 계산.

3. 주요 결과 (Key Results)

• 스타일적 편향 (Stylistic Bias):

  • 모델들은 특정 시대에 대해 강력한 스타일적 고정관념을 보임.
  • 예: SDXL 은 17~18 세기를 주로 '판화 (Engraving)'로, SD3 와 FLUX.1 은 '회화 (Painting)'로 묘사. 20 세기 초반은 '흑백 사진'으로 일관되게 표현됨.
  • 프롬프트 엔지니어링 (예: "photorealistic" 추가) 으로 이러한 편향을 완전히 제거하기는 어려웠음.

• 시대착오적 요소 (Anachronisms):

  • 모든 모델에서 시대착오적 요소가 빈번하게 발생.
  • SD3가 가장 높은 오류율을 보임 (19 세기 이미지의 20%, 1930 년대 이미지의 25% 에서 오류 발견).
  • 심각도 높은 오류: 오디오 기기, 통신 기기, 현대식 주방 용기 등이 과거 시대에 등장. 이는 모델이 프롬프트의 '개념적 힌트' (예: '음악 듣기' $\rightarrow$ '현대 기기') 에 더 의존하고 역사적 맥락을 무시함을 시사.

• 인구통계학적 왜곡:

  • 모델들은 역사적 맥락과 무관하게 현대적 기대치나 훈련 데이터의 편향을 반영.
  • 성별: 요리, 교육 등 특정 분야에서 성별 편향이 심함 (예: 과거 요리 장면에서 남성이 과다 표현되거나, 교육 장면에서 여성이 과다 표현됨).
  • 인종: 초기 시대 (17~19 세기) 에 백인 인구가 압도적으로 과대 표현되었으며, 비백인 인종은 20 세기 이후에야 점진적으로 증가하는 경향을 보임. 이는 실제 역사적 인구 분포와 괴리가 있음.

4. 주요 기여 (Key Contributions)

1. HistVis 벤치마크 도입: 역사적 표현을 평가하기 위한 최초의 체계적인 데이터셋 (30,000 개 이미지) 과 평가 프로토콜을 공개.
2. 다차원 평가 프레임워크: 단순한 사실 확인을 넘어, 스타일적 편향, 시대착오, 인구통계학적 타당성을 포괄하는 새로운 평가 기준 제시.
3. 자동화 평가 파이프라인: LLM 과 VLM 을 결합하여 대규모 역사적 오류를 자동으로 탐지하고 인간 판독과 높은 일치도 (75%) 를 보이는 방법론 개발.
4. 모델 비교 분석: SDXL, SD3, FLUX.1 등 최신 모델들의 역사적 표현 능력과 편향 패턴에 대한 상세한 비교 분석 제공.

5. 의의 및 결론 (Significance & Conclusion)

• 교육 및 문화유산 분야에서의 위험 경고: TTI 모델이 생성하는 역사적 이미지가 사실적 오류와 편향을 내포하고 있어, 교육 자료나 문화유산 콘텐츠로 사용될 경우 대중의 역사 인식을 왜곡할 수 있음을 경고.
• 편향 완화의 어려움: 단순한 프롬프트 수정만으로는 모델의 내재된 역사적 스타일 편향이나 시대착오적 오류를 해결하기 어렵다는 점을 발견.
• 향후 방향: 더 정확한 역사적 표현을 위해서는 모델의 학습 데이터 다양화, 역사적 지식의 통합, 그리고 다학제적 전문가의 개입이 필요함을 강조.
• 재현성: 데이터셋과 평가 스크립트를 오픈소스로 공개하여 향후 연구의 기반을 마련함.

이 논문은 생성형 AI 가 과거를 재현할 때 단순히 "예쁜 그림"을 그리는 것을 넘어, 어떻게 역사적 사실과 문화적 기억을 체계적으로 왜곡할 수 있는지를 실증적으로 규명한 중요한 연구입니다.