기술 요약: TEMPVIZ – 텍스트-이미지 모델의 시간적 지식 평가에 관하여

문제 정의

시간은 사물, 장소, 동물, 풍경을 포함한 현실 세계의 엔티티(entity)가 갖는 시각적 외형을 근본적으로 변화시킨다. 자연어 처리(NLP) 분야에서는 시간적 지식과 추론에 대한 상당한 연구가 존재하지만, 텍스트-이미지(T2I) 모델의 시간적 지식을 위한 자원과 평가 방법론의 지형은 여전히 미개척 상태로 남아 있다. 사용자들은 T2I 모델이 시간적 지시(예: 겨울 대 여름의 풍경, 또는 특정 역사적 사건 전후의 건물)를 바탕으로 맥락에 적합한 이미지를 생성하기를 기대한다. 그러나 현재 기존 T2I 모델들이 이러한 시간적 단서를 얼마나 잘 해석하고 적용할 수 있는지, 또한 이를 자동으로 평가할 수 있는 신뢰할 만한 방법이 존재하는지는 불분명하다.

방법론

이러한 격차를 해소하기 위해 저자들은 이미지 생성에서의 시간적 지식을 총체적으로 평가하기 위해 설계된 새로운 데이터셋이자 평가 프레임워크인 TEMPVIZ를 소개한다.

1. TEMPVIZ 데이터셋

이 데이터셋은 시간적 효과가 시각적으로 관찰되는 흔한 사례들을 반영하기 위해 선정된 5가지의 뚜렷한 피사체 카테고리에 걸쳐 7,940개의 프롬프트로 구성되어 있다:

• 풍경(Landscapes): 계절 및 일간 변화를 테스트한다 (예: "유럽의 1월의 호수").
• 동물(Animals): 생애 단계에 따른 생물학적 노화를 테스트한다 (예: "생후 1개월 된 알파카"). 이는 HAGR의 수명 데이터를 활용한다.
• 건물(Buildings): 역사적 존재 및 파괴를 테스트한다 (예: "1983년 10월 23일의 베를린 장벽"). 이는 기점 및 철거 날짜가 알려진 구조물에 초점을 맞춘다.
• 지도(Maps): 지정학적 국경 변화를 테스트한다 (예: "1938년의 유럽 지도").
• 예술 작품(Artworks): 특정 미술사적 시기 및 양식에 대한 준수 여부를 테스트한다 (예: "인상주의 양식의 예술 작품").

각 프로프트에 대해 저자들은 네 가지의 의역된 변형을 생성하였다. 데이터셋에는 주석 작성을 지원하기 위한 600개 이상의 참조 이미지(Wikidata, Google Arts & Culture, OpenHistoricalMap에서 소싱)와 "기대 값"(시각적 속성에 대한 텍스트 기술자)이 포함되어 있다. 특히, 인구 통계학적 편향 및 스테레오타입 강화에 관한 윤리적 문제를 피하기 위해 데이터셋에서 인간 피사체는 제외하였다.

2. 평가 프로토콜

본 연구는 이중 평가 접근 방식을 채택한다:

• 인간 평가(Human Evaluation): 두 명의 주석자가 다섯 가지 T2I 모델(Stable Diffusion v1.5, SDXL-Turbo, SDXL-Base, SD 3.5, FLUX.1-dev)에 대해 500개의 생성된 이미지 샘플을 층화 추출하여 평가하였다. 주석자들은 세 가지 이진 질문에 답하였다:
  1. 이미지가 시각적 생성 오류로부터 자유로운가?
  2. 올바른 피사체가 존재하는가?
  3. 모델이 요구된 시간적 지식을 올바르게 적용하였는가?
• 자동 평가(Automatic Evaluation): 저자들은 시간적 단서를 탐지하는 데 있어 자동화된 방법들의 신뢰성을 결정하기 위해 몇 가지 확립된 자동화 방법들을 인간의 판단과 비교 테스트하였다. 여기에는 다음이 포함된다:
  • CLIPScore: 텍스트-이미지 임베딩 유사도 측정.
  • 캡셔닝(Captioning): 이미지 캡션을 생성하고 이를 프롬프트와 비교.
  • 분해적 VQA(Decompositional VQA): LLM을 사용하여 프롬프트를 세밀한 질문으로 나누고, 이를 시각-언어 모델(VLM)이 답변하도록 함.
  • 직접 VLM 판정(Direct VLM Judging): VLM(Qwen2.5-VL, GPT-4o mini, GPT-5)에 프롬프트를 입력하여 이미지가 프롬프트의 시간적 제약 조건과 일치하는지 직접 판단하게 함.

주요 결과

인간 평가 결과

• 낮은 시간적 역량: 다섯 가지 모델과 카테고리 전체에서 시간적 역량은 일반적으로 약하게 나타났다. 어떤 모델도 단일 카테 category에서 75% 이상의 정확도를 넘지 못했다.
• 카테고리별 편차: 지도(Maps) 카테고리가 가장 까다로운 것으로 드러났으며, 가장 성능이 좋은 모델인 FLUX조차 오류 없는 생성률이 50%에 그쳤다. **예술 작품(Artworks)**은 가장 높은 오류 없는 비율을 보였으나, 이는 주석자들이 생성 오류를 양식적 변형으로 해석했기 때문일 수 있다.
• 피사체 vs 시간적 성능: 모델들은 일반적으로 피사체 존재 여부(Q2)에 대해서는 우수한 성능을 보였으나, 이것이 시간적 정확도(Q3)와 상관관계를 갖지는 않았다. 예를 들어, FLUX는 이미지 품질과 피사체 존재 측면에서 높은 점수를 얻었으나 시간적 정확도는 38%에 불과했던 반면, SD v1.5는 전체적인 일관성은 낮았음에도 불구하고 가장 높은 평균 시간적 정확도(46%)를 기록했다.
• 결론: 일반적인 이미지 품질은 시간적 지식 인코딩의 지표가 되지 않는다. 현재의 T2I 모델들은 단순해 보이는 카테고리에서도 시간적 단서를 일관되게 통합하는 데 어려움을 겪고 있다.

자동 평가 결과

• 전통적 지표의 무효성: CLIPScore는 시간적 정확성에 관한 인간의 판단과 유의미한 상관관계를 보이지 않았다. 캡션 기반 평가는 피사체 존재와는 어느 정도 상관관계가 있었으나, 시간적 단서에 대해서는 음의 상관관계를 보여, 이러한 방법들이 객체의 정체성이 아닌 시간에 따라 정확성이 결정되는 경우 오도될 수 있음을 나타냈다.
• VLM 판정사의 한계: 고급 VLM(GPT-5 포함)조차도 신뢰할 만한 평가를 제공하는 데 실패했다. 가장 성능이 좋은 구성(3-shot 프롬프팅을 사용한 GPT-5)조차 매크로 F1 점수가 **72%**에 불과하여, 신뢰할 만한 자동 평가의 임계값에 훨씬 못 미쳤다.
• 인간의 난이도와 불일치: 자동 판정사들은 인간이 인지하는 작업 난이도와 일관되게 일치하지 않았다. 예를 들어, GPT-5는 인간이 '건물'이나 '지도'보다 '동물'(노화) 카테고리가 덜 어렵다고 판단했음에도 불구하고, 해당 카테고리를 빈번하게 잘못 판단하였다.

의의 및 기여

본 논문은 세 가지 주요 기여를 한다:

1. TEMPVIZ 데이터셋: 5가지 다양한 카테고리에 걸쳐 7.9k개의 프롬프트와 참조 이미지 및 기대 값을 포함하여, T2I 모델의 시간적 지식을 분석하기 위해 특별히 설계된 최초의 데이터셋이다.
2. 경험적 벤치마킹: 다섯 가지 최첨단 T2I 모델에 대한 포괄적인 인간 평가를 통해, 가장 강력한 모델들조차 시간적 지식을 일관되게 적용하는 데 실패하며 정확도가 드물게 75%를 넘는다는 것을 밝혀냈다.
3. 평가 격차 분석: 현재의 접근 방식(CLIPScore, 캡셔닝, VQA, 직접 VLM 판정)이 생성된 이미지의 시간적 단서를 신뢰성 있게 판단하기에는 불충분함을 입증함으로써 체계적인 자동 평가 방법론의 검토를 수행하였다.

저자들은 T2I 모델의 시간적 단서 생성 능력을 향상시키고, 이러한 미세한 시각-시간적 관계를 평가할 수 있는 평가 지표를 개발하는 데 집중된 미래 연구의 절실한 필요성이 있다고 결론짓는다. 본 논문은 근본적인 생성 또는 평가 문제를 해결했다고 주장하기보다는, TEMPVIZ를 이러한 방향을 독려하기 위한 기초적인 자원으로 포지셔닝한다.