기술 요약: Qwen-Image-Bench: 텍스트-이미지 평가에서 생성(Generation)을 넘어 창작(Creation)으로

1. 문제 정의

텍스트-to-이미지(T2I) 생성 기술은 단순히 시각적으로 그럴듯한 이미지를 생산하는 단계를 넘어, 사실적인 재구성과 복잡한 창의적 표현을 지원하는 단계로 진화했습니다. 그러나 기존의 평가 벤치마크는 여전히 CLIP 유사도나 비지도 방식의 멀티모달 거대 언어 모델(MLLM) 판별사에 의존하며, 거친 수준의 텍스트-이미지 정렬 및 일반적인 시각적 품질과 같은 기초적인 기준에 머물러 있습니다. 저자들은 현재의 평가 패러다임에서 세 가지 결정적인 한계를 식별했습니다:

1. 기초 축의 포화(Saturation on Basic Axes): 모델들이 일반적인 프롬프트 준수 능력에서 상한선(ceiling)에 도달함에 따라, 기존 벤치마크는 강력한 모델들을 구별할 수 없는 점수 대역으로 압축시켜 최첨단 시스템 간의 차별적 변별력을 상실했습니다.
2. 실제 세계 충실도(Real-world Fidelity)의 특성화 부족: 현재의 도구들은 시각적으로 그럴듯한 출력물과 물리적 상식, 문화적 근거 또는 사실적 구조를 진정으로 존중하는 출력물을 구분하지 못합니다.
3. 창의적 생성에서의 전문가 감독 부재: 벤치마크는 종종 창의성(독창성, 스타일 일관성)에 대한 미세한 분류 체계가 부족하며, 점점 더 단일 M-LLM 판별사에 의존함으로써 훈련된 미적 직관에 기반한 전문적인 인간 표준을 반영하기보다 시스템적 편향을 상속받는 경향이 있습니다.

결과적으로, 벤치마크의 목표와 실제 현실의 재구성과 진정한 창의적 표현을 요구하는 전문 창작자들의 실제 요구 사이에는 간극이 존재합니다.

2. 방법론

저자들은 전문 아티스트들과 공동 설계하고 실제 창작 시나리오에 기반을 둔 창작자 중심의 벤치마크인 Qwen-Image-Bench를 소개합니다. 이 방법론은 세 가지 밀접하게 결합된 구성 요소로 이루어져 있습니다:

A. 계층적 역량 분류 체계 (Hierarchical Capability Taxonomy)

단순한 체크리스트 대신, 이 벤치마크는 전문적인 예술 워크플로우(아이디어 구상, 스타일링, 반복적 정교화)를 반영하는 하향식 분류 체계를 채택합니다. 이는 세 단계로 구조화됩니다:

• 레벨 1 (Pillars/기둥): 다섯 가지 차원: 세 가지 전통적 차원(품질, 미학, 텍스트-이미지 정렬)과 두 가지 응용 중심 차원(실제 세계 충실도 및 창의적 생성).
• 레벨 2 (Sub-capabilities/하위 역량): 23가지 하위 역량 (예: 세계 지식, 시각적 스토리텔링, 디자인 응용).
• 레벨 3 (Facets/측면): 56가지 검증 가능한 루브릭 (예: 텍스트 정확도, 물리적 논리, 해부학적 충실도).
  이 구조는 모델의 강점과 약점을 총합적인 점수가 아닌 특정 예술적 하위 기술로 국지화하여 정밀한 진단을 가능하게 합니다.

B. 전문가 참여형 프롬프트 구축 (Expert-in-the-Loop Prompt Construction)

본 벤치마크는 견고성을 테스트하기 위해 단문과 장문의 균형을 맞춘 1,000개의 계층화된 이중 언어 프롬프트(중국어 500개, 영어 500개)로 구성됩니다. 프롬프트는 다음 4단계 파이프라인을 통해 생성됩니다:

1. 측면 타겟팅 샘플링: 각 프롬프트가 최소 3개의 기둥(pillar)과 다수의 측면(facet)을 수행하도록 보장합니다.
2. 이중 언어 초안 작성: 명시적인 구체화 노트를 포함한 정렬된 초안을 생성하기 위해 LLM을 사용합니다.
3. 전문가 검토: 전문 아티스트들이 모호한 프롬프트를 폐기하고 구체화가 약한 프롬프트를 재작성합니다.
4. 길이 변형 확장: 장면 맥락의 풍부함을 테스트하기 위해 긴 버전의 변형을 생성합니다.
   이 과정을 통해 프롬프트는 막연한 요청이 아니라 구체적인 창의적 시나리오(예: 레시피 저널, 게임 디자인, 영화적 스토리보드)에 고정됩니다.

C. 통합 판별 모델 (Q-Judger)

단일 MLLM 판별사의 편향과 수동 검토 비용을 피하기 위해, 저자들은 Qwen3.6-27B를 기반으로 한 통합 모델인 Q-Judger를 훈련시켰습니다.

• 훈련 데이터: 블라인드 레이블링 및 3중 검토 프로토콜 하에 미술 대학 출신의 80명의 전문 주석가(사진, 연출, 순수 미술 분야)에 의해 감독되었습니다.
• 점수 산정 프로토콜: 모델은 루브릭에 기반한 프로토콜(0: 실패, 1: 통과, 2: 탁월, N/A)을 사용하여 모든 56개 3단계 측면에 대해 각 프롬프트-이미지 쌍을 독립적으로 점수 매깁니다.
• 집계: 점수는 L3에서 L2, L1, 그리고 최종 종합 점수로 하향식(bottom-up) 집계되며, 이를 통해 종합 지표가 특정 미세한 실패 원인까지 추적될 수 있도록 보장합니다.

3. 주요 결과

이 벤치마크는 중국어와 영어 프롬프트 모두에서 18개의 선도적인 T2I 모델(GPT Image 2, Nano Banana Pro, Seedream 5.0, Qwen Image 2.0 Pro 포함)을 평가하는 데 사용되었습니다.

• 전반적인 성능: GPT Image 2가 가장 높은 종합 점수(중국어 프롬프트 기준 64.69)를 기록했으며, Nano Banana 2.0과 GPT Image 1.5가 그 뒤를 이었습니다. 모델들은 자연스럽게 5개의 뚜렷한 성능 계층으로 나뉘었으며, 이는 벤치마크의 높은 변별력을 입증합니다.
• 새로운 차원의 변별력: 두 가지 응용 중심 기둥인 창의적 생성과 실제 세계 충실도는 가장 큰 모델 간 편차(품질 차원의 11배 이상)를 보였습니다. 이는 이러한 차원들이 기존 벤치마크가 통찰을 거의 제공하지 못하는 역량 격차를 타겟팅하고 있음을 확인해 줍니다.
• 체계적 한계(Systemic Ceilings): 네 가지 레벨 3 측면인 물리적 논리, 해부학적 충실도, 동물, 그리고 접촉 상호작용이 보편적인 병목 구간으로 나타났습니다. 가장 우수한 성능을 보이는 모델들조차 이 측면들에서는 44점 미만을 기록했는데, 이는 모델들이 암묵적인 세계 지식과 논리적 추론을 다루는 데 어려움을 겪는 '지각-인지(perception-to-cognition)'의 경계에 있음을 나타냅니다.
• 교차 언어적 견고성: 발견된 결과와 계층 구조는 중국어와 영어 프롬프트 전반에서 일관되게 유지되어, 벤치마크의 언어 독립성을 검증했습니다.
• 판별 모델 정렬: Q-Judger는 인간 전문가 순위와 0.92의 스피어먼 서열 상관계수(Spearman rank correlation)를 달성하여, 전문적인 판단을 추적하면서도 평가 비용을 크게 절감할 수 있음을 확인했습니다.

4. 의의 및 주장

본 논문은 Qwen-Image-Bench가 "생성"(기초적 정렬)에서 "창작"(전문적 유용성)으로의 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. 창작자 중심 설계: 아티스트들과의 공동 설계를 통해, 단순한 의미론적 정확성을 넘어 전문적인 워크플로우에서 중요한 차원(예: 세계 지식, 텍스트 렌더링, 시각적 스토리텔링)을 평가합니다.
2. 세밀한 진단: 56개 측면의 정밀도는 불투명한 종합 점수를 넘어 특정 하위 기술의 결핍을 식별함으로써 모델 개선을 위한 실행 가능한 통찰을 제공합니다.
3. 지각-인지 간극의 폭로: 본 평가는 현재의 T2I 모델들이 시각적 표면 재현(스타일, 미학)은 숙달했을지라도, 진정한 실제 세계 충실도에 필요한 물리 법칙, 생물학적 구조 및 공간 추론에 대한 잠재적 이해가 부족함을 드러냅니다.
4. 신뢰할 수 있는 최적화 신호: MLLM 대리 모델이 아닌 인간 전문가의 감독에 의존함으로써, 본 벤치마크는 현재 모델들이 가장 크게 갈라지는 응용 중심 차원에 대해 생산 수준의 T2I 개발을 위한 신뢰할 수 있는 신호를 제공합니다.

저자들은 현재의 역량과 전문적인 요구 사이의 간극을 메우기 위해서는 생성 과정에 세계 지식과 구조화된 추론을 더 깊이 통합해야 하며, 이는 벤치마크의 진단 능력에 의해 명시적으로 강조된 방향이라고 결론짓습니다.