Enhancing Authorship Attribution with Synthetic Paintings

이 논문은 드림부스 (DreamBooth) 를 통해 생성된 합성 그림 데이터를 실제 작품과 결합하여 학습함으로써, 데이터 부족 상황에서 그림의 저자 Attribution 성능을 향상시킬 수 있음을 입증했습니다.

핵심

🎨 핵심 이야기: "가짜 그림으로 실력 키우기"

1. 문제 상황: "선생님이 너무 적어요!"

옛날 화가들의 그림을 구별하는 일은 매우 어렵습니다. 특히 1819 세기 영국 화가 7 명은 서로 스타일이 너무 비슷하고, **실제 남아있는 그림이 한 명당 고작 725 점뿐**입니다.

• 비유: imagine 하세요. 한 반에 학생이 7 명뿐인데, 시험을 치르려면 각 학생이 쓴 에세이 1~2 편만 가지고 "누가 이 글을 썼는지" 맞혀야 한다면 얼마나 어렵겠어요? AI 도 마찬가지입니다. 배울 데이터가 너무 적으면 AI 는 멍청해집니다.

2. 해결책: "AI 가 직접 그림을 그려서 연습하기"

연구진은 "그럼 AI 가 그 화가들의 스타일을 흉내 내서 **가짜 그림 (합성 이미지)**을 만들어서 학습 데이터를 늘려보자!"라고 생각했습니다.

• 사용한 기술 (드림부스 & 스테이블 디퓨전):
  • 이는 마치 **"AI 화가에게 '너는 이 화가야'라고 가르쳐주는 것"**입니다.
  • 실제 그림 200 장을 보여주고, "너는 [화가 이름] 화가야"라고 알려주면, AI 는 그 화가의 붓터치, 색감, 구도 등을 배워서 새로운 그림을 100 장씩 그려냅니다.
  • 비유: 진짜 화가의 그림을 보고 그림을 배우는 '모방'이 아니라, AI 가 그 화가의 '영혼'을 복사해서 새로운 작품을 쏟아내는 거죠.

3. 실험 방법: "네 가지 학습 방식 비교"

연구진은 AI 를 네 가지 방식으로 훈련시켜 보았습니다.

1. 실물만 (Real-Only): 진짜 그림만 보고 공부. (기존 방식)
2. 가짜만 (Synthetic-Only): AI 가 그린 가짜 그림만 보고 공부.
3. 가짜로 배우고 실물로 시험 (Synthetic-Real): 가짜 그림으로 공부하고, 진짜 그림으로 시험. (여기서 큰 차이가 발생했습니다. 가짜와 진짜가 너무 달라서 AI 가 당황했습니다.)
4. 실물 + 가짜 섞기 (Hybrid): 진짜 그림과 AI 가 그린 가짜 그림을 섞어서 공부. (이게 가장 성공적이었습니다!)

4. 결과: "가짜 그림이 진짜를 도와준다"

결과는 놀라웠습니다.

• 실물만 공부했을 때: 데이터가 너무 적어 AI 가 헷갈려서 점수가 낮았습니다.
• 실물 + 가짜 섞었을 때: AI 가 훨씬 더 똑똑해졌습니다. 특히 그림이 아주 적게 남은 화가들의 경우 점수가 급격히 올랐습니다.
  • 비유: 진짜 그림이 7 점뿐인 학생에게, AI 가 그 화가 스타일의 가짜 그림 100 점을 더 보여줬더니, "아! 이 화가는 이렇게 그림을 그리는구나!"라고 패턴을 더 잘 파악하게 된 것입니다.
• 더 촘촘하게 잘라보기 (M2 전략): 그림을 더 작은 조각으로 잘라서 학습하면, AI 가 세부적인 붓터치까지 더 잘 기억해냈습니다.

5. 한계점: "완벽한 복제는 아니야"

물론 AI 가 그린 그림이 100% 완벽하지는 않았습니다.

• 문제: AI 가 그린 그림 중에는 인물이 잘려 있거나, 구도가 이상한 경우가 있었습니다. 이는 학습용 그림 자체가 그런 스타일을 많이 포함하고 있었기 때문입니다.
• 교훈: 가짜 그림이 너무 이상하면 오히려 AI 가 혼란을 겪습니다. 하지만 적당히 섞어주면 AI 의 실력을 높이는 데 큰 도움이 됩니다.

---

💡 결론: 왜 이 연구가 중요할까요?

이 연구는 **"데이터가 부족한 상황에서도 AI 를 똑똑하게 만드는 새로운 방법"**을 제시합니다.

• 미술계: 그림이 적게 남은 화가들의 작품 진위 여부를 판별하는 데 AI 를 더 잘 활용할 수 있게 됩니다.
• 일반적인 의미: 우리가 가진 데이터가 적을 때 (예: 희귀병 진단, 드문 사고 사진 등), AI 가 직접 가짜 데이터를 만들어서 학습하면 훨씬 더 강력한 진단 도구를 만들 수 있다는 것을 보여줍니다.

한 줄 요약:

"진짜 그림이 너무 적어서 AI 가 공부하기 힘들 때, AI 가 그 화가 스타일을 흉내 내서 그린 '가짜 그림'을 섞어주면, AI 가 훨씬 더 똑똑하게 그림의 주인을 찾아낼 수 있다!"

기술 요약

논문 요약: 합성 그림을 활용한 화가 작품 귀속 (Authorship Attribution) 성능 향상

1. 문제 정의 (Problem Statement)

• 배경: 미술 작품의 진위 여부와 화가 귀속 (Authorship Attribution) 은 역사적으로 복잡하며, 전통적인 전문가 감식이나 물리적 분석 (X-ray 등) 에 의존해 왔습니다. 최근 컴퓨터 비전 기법이 도입되었으나, 대규모且다양한 데이터셋에 의존하는 CNN 기반 모델의 한계가 존재합니다.
• 핵심 과제: 특정 화가, 특히 역사적/지리적으로 유사한 시기에 활동하여 화풍이 겹치는 화가들의 경우, 고품질 디지털화된 작품의 수가 매우 제한적 (Few-shot) 입니다.
• 구체적 상황: 본 연구는 18 세기 말~19 세기 초 영국에서 활동한 7 명의 화가 (Gainsborough Dupont, George Romney, Thomas Gainsborough 등) 를 대상으로 합니다. 이들은 유사한 주제, 재료, 예술적 영향을 받아 시각적 차이가 미묘하여 분류가 매우 어렵고, 학습용 데이터가 부족합니다.

2. 제안된 방법론 (Methodology)

본 연구는 생성 모델 (Generative Models) 과 판별 모델 (Discriminative Models) 을 결합한 하이브리드 접근법을 제안합니다.

• 데이터셋 구성:

  • 각 화가당 7~25 개의 실제 디지털 그림을 사용했습니다.
  • 학습 데이터 확보를 위해 실제 그림에서 1024x1024 크기의 컷 (crop) 을 추출하여 512x512 로 리사이즈 후 생성 모델 학습에 활용했습니다.
  • 평가용으로는 화가당 1 개의 실제 그림을 홀드아웃 (held-out) 테스트 세트로 유지했습니다.

• 합성 데이터 생성 (Generative Stage):

  • 모델: Stable Diffusion 기반의 DreamBooth 파인튜닝 기법을 사용했습니다.
  • 프로세스: 각 화가의 스타일을 학습시키기 위해 고유한 토큰 (TOKEN) 을 프롬프트에 포함시켜 모델을 파인튜닝했습니다.
  • 생성: "A full [TOKEN] painting"이라는 프롬프트를 사용하여 화가별 100 개의 합성 그림을 생성했습니다. (부정 프롬프트를 통해 잘린 인체나 불완전한 구도를 방지하려 시도했으나, 학습 데이터의 편향이 일부 반영됨)

• 분류 모델 (Discriminative Stage):

  • 특징 추출: MaxViT, BEiT v2, VOLO 등 3 가지 최신 트랜스포머 아키텍처를 사용하여 이미지 패치 (224x224) 에서 시각 임베딩 (Visual Embeddings) 을 추출했습니다.
  • 분류기: 추출된 임베딩을 연결 (Concatenation) 하여 LightGBM (그래디언트 부스팅) 분류기를 학습시켰습니다.
  • 샘플링 전략:
    • M1: 중간 정도의 오버랩을 가진 기본 패치 샘플링.
    • M2: M1 대비 패치 밀도를 2 배로 높인 조밀한 샘플링 (과잉 중복성 증가).

• 실험 설정 (4 가지 시나리오):

  1. Real-Only: 실제 데이터만 학습 및 테스트.
  2. Synthetic-Only: 합성 데이터만 학습 및 테스트.
  3. Synthetic-Real: 합성 데이터로 학습, 실제 데이터로 테스트 (도메인 적응성 평가).
  4. Real + Synthetic (Hybrid): 실제와 합성 데이터를 혼합하여 학습 (M1 및 M2 변형 포함).

3. 주요 기여 (Key Contributions)

• 데이터 부족 상황에서의 해결책: 제한된 실제 작품 수 (Few-shot) 로 인해 학습이 어려운 화가 귀속 문제에 대해, DreamBooth 기반의 합성 데이터가 모델의 일반화 성능을 향상시킬 수 있음을 입증했습니다.
• 하이브리드 학습 전략의 유효성: 실제 데이터와 합성 데이터를 혼합하여 학습하는 방식이 단일 데이터 소스보다 ROC-AUC 및 정확도 측면에서 더 우수한 성능을 보였습니다.
• 샘플링 밀도의 영향 분석: 조밀한 패치 샘플링 (M2) 이 데이터가 부족한 화가들의 성능 향상에 기여함을 발견했습니다.
• 스타일 유사성 환경에서의 검증: 시각적 차이가 미묘하고 스타일이 겹치는 화가 그룹을 대상으로 하여, 합성 데이터의 효과와 한계를 구체적으로 분석했습니다.

4. 실험 결과 (Results)

• 성능 지표: ROC-AUC, 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-Score 를 평가했습니다.
• 주요 발견:
  • Synthetic-Only: 학습과 테스트가 모두 합성 데이터일 때 가장 높은 성능 (ROC-AUC > 0.98) 을 보였으나, 이는 도메인 일관성 때문입니다.
  • Synthetic-Real: 합성 데이터로 학습하고 실제 데이터로 테스트할 경우, TB 와 GM 화가에서 성능이 급격히 하락하여 도메인 간극 (Domain Gap) 문제가 존재함을 확인했습니다.
  • Hybrid (실제 + 합성):
    • 데이터가 매우 부족한 화가 (예: GD, 7 점) 의 경우, Hybrid-M2 설정에서 ROC-AUC 가 0.8746 에서 0.9756 으로 크게 향상되었습니다.
    • 데이터가 풍부한 화가 (예: TG, 23 점) 는 향상 폭이 미미하거나 불일치했습니다.
    • M2 (조밀한 샘플링) 는 대부분의 화가에서 성능을 개선시켰으나, TB 와 같이 합성 데이터가 화가의 세부 스타일을 잘 포착하지 못한 경우 오히려 성능이 저하되기도 했습니다.
  • 개인별 차이: 화가 GD 는 모든 설정에서 높은 성능을 유지했으나, JH 와 TB 는 학습 구성에 매우 민감하게 반응했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 희소성 해결: 합성 데이터는 실제 데이터가 부족한 시나리오에서 클래스 불균형을 해소하고, 분류기의 정규화를 도와 일반화 성능을 높이는 효과적인 보완재로 작용합니다.
• 한계점: 생성된 합성 이미지가 실제 작품의 미세한 스타일적 특징을 완벽하게 재현하지 못하거나, 학습 데이터의 편향 (예: 잘린 구도) 을 그대로 답습할 경우 도메인 간극이 발생하여 실제 데이터 기반 테스트에서 성능 저하를 초래할 수 있습니다.
• 향후 과제: 화가별 데이터 양에 비례한 적응형 합성 데이터 생성 전략, 더 정교한 생성 모델, 그리고 도메인 적응 (Domain Adaptation) 기법 개발이 필요함을 강조합니다.

결론적으로, 본 연구는 컴퓨터 비전 기반 미술 작품 감식 분야에서 데이터 부족 문제를 해결하기 위해 생성형 AI 를 활용한 하이브리드 학습 프레임워크의 유효성을 입증하였으며, 특히 소수 데이터 (Few-shot) 환경에서의 적용 가능성을 제시했습니다.