CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

CREval: 복잡한 지시 하의 창의적 이미지 조작을 위한 자동화 가능 해석 평가 프레임워크

1. 문제 제기 (Problem)

최근 지시 기반 멀티모달 이미지 조작 (Instruction-based Image Manipulation) 기술은 급격히 발전하고 있습니다. 그러나 기존 평가 방법론은 다음과 같은 한계를 가지고 있습니다:

• 복잡하고 창의적인 작업에 대한 평가 부재: 기존 벤치마크는 객체 추가/삭제, 색상 변경 등 단순한 작업에 집중되어 있으며, 자유 형식의 창의적 편집 (Free-style creative editing) 과 같은 복잡하고 추상적인 지시를 평가하는 체계가 부족합니다.
• MLLM 기반 점수 평가의 불투명성: 기존 연구들은 멀티모달 대규모 언어 모델 (MLLM) 을 직접 점수 부여자 (Scorer) 로 사용하여 전체적인 점수를 매기는데, 이는 '블랙박스' 방식으로 어떤 기준에 따라 점수가 매겨졌는지 해석이 어렵고, 평가 차원의 불완전성을 초래합니다.
• 일관성 및 품질 저하: 현재 모델들은 복잡한 지시를 따르는 것 (Instruction Following) 과 원본 이미지의 핵심 시각적 특징을 유지하는 것 (Visual Consistency) 사이에서 균형을 맞추는 데 어려움을 겪고 있습니다.

2. 방법론 (Methodology)

이 논문은 CREval이라는 새로운 자동화 평가 파이프라인과 CREval-Bench라는 벤치마크를 제안합니다.

가. CREval-Bench (벤치마크)

• 구성: 800 개 이상의 편집 샘플과 13,000 개 이상의 평가 쿼리로 구성됨.
• 범위: 3 가지 주요 카테고리 (Customization, Contextualization, Stylization) 와 9 가지 창의적 차원 (Derivative Characters, Reimagined Representations, Surreal Fantasy, Containerized Scenario, Commercial Design, Informational & Narrative Expression, Artistic Style Transformation, Identity & Cultural Transformation, Material Transformation) 을 포괄합니다.
• 특징: 기존 벤치마크와 달리 단순한 객체 조작이 아닌, 서사적, 문화적, 예술적 변형을 요구하는 고도화된 지시들을 포함합니다.

나. CREval 평가 프레임워크 (VQA 기반)
MLLM 에게 직접 점수를 매기게 하는 대신, 질문 - 답변 (QA) 기반의 구조화된 평가를 수행합니다.

1. 평가 질문 생성: 원본 이미지, 편집 지시, 평가 차원 (IF, VC, VQ) 을 기반으로 MLLM 이 구체적인 Yes/No 질문을 생성합니다. 이때 체인 오브 씽킹 (CoT) 을 활용하여 논리적 근거를 포함합니다.
2. 세 가지 핵심 지표:
   • Instruction Following (IF): 지시사항이 정확히 반영되었는가? (지시의 모든 요소가 누락 없이 구현되었는지 확인)
   • Visual Consistency (VC): 원본 이미지의 핵심 식별 요소 (Identity) 가 유지되었는가? (중요도에 따라 가중치 1~3 을 부여하여 평가)
   • Visual Quality (VQ): 생성된 이미지의 시각적 품질 (현실성, 아티팩트 부재, 구조적 일관성) 은 어떠한가?
3. 점수 산출: 생성된 이미지와 원본 이미지를 MLLM 에게 제시하고, 생성된 QA 쌍에 대한 답변이 정답과 일치하는지 확인하여 점수를 부여합니다. 최종 점수는 가중 평균을 통해 계산됩니다 ($S = 0.4 \times IF + 0.4 \times VC + 0.2 \times VQ$).

3. 주요 기여 (Key Contributions)

1. CREval 프레임워크 제안: MLLM 점수 평가의 불투명성을 해결하고, 해석 가능하고 자동화된 QA 기반 평가 체계를 최초로 도입하여 복잡한 창의적 이미지 편집을 평가합니다.
2. CREval-Bench 구축: 3 개 카테고리, 9 개 차원을 아우르는 포괄적인 벤치마크를 구축하여 다양한 창의적 시나리오를 체계적이고 공정하게 평가할 수 있는 표준을 마련했습니다.
3. 광범위한 실험 및 분석: 최신 오픈소스 및 클로즈드 소스 이미지 생성/편집 모델들을 CREval 로 평가하여 각 모델의 강점과 약점 (특히 지시 준수와 시각적 일관성 간의 트레이드오프) 을 심층 분석했습니다.
4. 사용자 연구 검증: CREval 의 자동화된 점수가 인간의 선호도 (Human Preference) 와 높은 상관관계를 보임을 입증하여 평가 프레임워크의 신뢰성을 확립했습니다.

4. 실험 결과 (Results)

• 모델 성능 비교:
  • 클로즈드 소스 모델: Seedream 4.0이 전반적으로 가장 높은 성능을 보였으며, Gemini 2.5 Flash Image가 그 뒤를 이었습니다.
  • 오픈소스 모델: Qwen-Image-Edit-2509가 오픈소스 모델 중 가장 우수한 성능을 보였으며, FLUX.1 Kontext [dev]가 근접한 성능을 기록했습니다.
  • 일반적 경향: 모든 모델이 복잡한 창의적 지시에서 시각적 일관성 (VC) 유지에 가장 큰 어려움을 겪고 있었습니다. 특히 GPT-Image-1은 지시 준수 (IF) 는 높았으나 원본의 핵심 요소를 유지하는 데 (VC) 심각한 한계를 보였습니다.
• 지표별 분석:
  • IF (지시 준수): 대부분의 모델이 지시 내용을 구현하는 데는 어느 정도 성공했으나, 추상적이거나 다단계 지시에서는 실패율이 높았습니다.
  • VC (시각적 일관성): 원본의 핵심 특징 (예: 귀걸이, 특정 패턴 등) 을 유지하는 것은 여전히 주요 과제로 남았습니다.
  • VQ (화질): 대부분의 모델이 높은 화질을 유지했으나, MLLM 평가자가 미세한 아티팩트 (손가락 수, 뒤틀림 등) 를 놓치는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 표준화된 평가 체계 마련: 창의적이고 복잡한 이미지 편집 작업을 평가하기 위한 객관적이고 해석 가능한 표준을 제시하여, 향후 연구 방향 설정과 모델 선택에 중요한 기준이 됩니다.
• 미래 연구 방향 제시: 현재 모델들이 '지시 준수'와 '원본 유지' 사이에서 균형을 잡지 못하고 있음을 명확히 보여주었으며, 특히 **시각적 일관성 (Visual Consistency)**을 향상시키는 것이 향후 연구의 핵심 과제임을 강조합니다.
• 신뢰성 확보: 인간 평가와의 높은 일치도를 통해 자동화된 MLLM 기반 QA 평가가 신뢰할 수 있는 대안임을 입증했습니다.

이 논문은 단순한 이미지 수정을 넘어, 창의적이고 복잡한 지시를 수행하는 차세대 이미지 편집 모델의 발전을 위한 필수적인 평가 인프라를 제공합니다.