CompBench: Benchmarking Complex Instruction-guided Image Editing

이 논문은 기존 벤치마크의 한계를 극복하고 복잡한 편집 요구사항을 정밀하게 평가하기 위해 MLLM-인간 협업 프레임워크와 지시 사항 해체 전략을 통해 'CompBench'라는 대규모 복잡한 지시 기반 이미지 편집 벤치마크를 제안합니다.

핵심

CompBench: 사진 편집의 '하드 모드'를 위한 새로운 시험지

이 논문은 인공지능 (AI) 이 사진 편집을 얼마나 잘하는지 테스트하는 새로운 기준, CompBench를 소개합니다. 기존 방식들이 너무 쉬워서 AI 의 실력을 제대로 측정하지 못했다는 문제점을 지적하며, 더 복잡하고 현실적인 상황을 위한 '진짜 시험'을 만들었다고 설명할 수 있습니다.

이 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 왜 새로운 시험지가 필요할까요? (기존의 문제점)

지금까지의 AI 사진 편집 시험지는 마치 **"초등학교 1 학년 수준의 수학 문제"**만 풀게 하는 것과 비슷했습니다.

• 과도하게 단순함: "개를 고양이로 바꿔줘"처럼 아주 단순한 지시만 내렸습니다.
• 현실과 동떨어짐: 실제 세상은 물건들이 서로 겹치고 (가려짐), 복잡한 배경이 있지만, 기존 시험지는 이런 복잡한 상황을 피했습니다.
• 결과물의 질: AI 가 엉뚱한 곳을 지우거나, 배경이 뭉개지는 등 어색한 결과물을 만들어내도 점수를 잘 주는 경우가 많았습니다.

비유하자면:

AI 가 "사과를 빨간색으로 칠해줘"라는 간단한 지시만 받아본 상태에서, 갑자기 "저기 있는 세 마리 토끼 중 가장 멀리 있는 회색 토끼를 잡아서, 그 옆에 있는 초록색 버섯을 노란색으로 바꾸고, 배경의 구름 모양을 약간 비틀어줘"라는 복잡한 지시를 받았을 때, AI 가 얼마나 당황하는지 알 수 없었던 것입니다.

2. CompBench 가 뭐예요? (새로운 기준)

CompBench 는 "실전 모의고사" 같은 존재입니다. 이 시험지는 AI 가 다음 9 가지 어려운 임무를 수행할 수 있는지 확인합니다.

1. 물건 추가/삭제/바꾸기: 단순히 물건을 넣는 게 아니라, "오른쪽 아래에 붉은 반점이 있는 흰 물고기를 추가해"처럼 정교한 지시.
2. 복잡한 관계 이해: "두 마리 사자 사이에서 가장 멀리 있는 얼룩말을 지워줘"처럼 위치와 관계를 파악해야 함.
3. 행동 변화: "왼쪽 기린은 고개를 들고, 오른쪽 기린은 고개를 숙여"처럼 동작을 바꾸기.
4. 시점 변경: "오른쪽으로 시선을 돌려 'APTEKA'라고 적힌 건물을 보여줘"처럼 카메라 각도를 바꾸기.
5. 숨은 의미 파악: "개가 넘어져 눈 아래로 미끄러진다면 어떻게 될까?"처럼 상상력을 요구하는 지시.

핵심 특징:

• 현실적인 배경: 물건들이 서로 겹치고, 배경이 복잡하고, 다양한 사물이 섞인 진짜 같은 사진을 사용합니다.
• 정밀한 지시: "왼쪽"이 아니라 "왼쪽에서 두 번째", "검은색"이 아니라 "진한 남색"처럼 아주 구체적인 설명을 요구합니다.
• 고품질 데이터: 사람이 직접 확인하고 수정해서, AI 가 만든 결과물이 얼마나 자연스러운지 정확히 측정합니다.

3. 어떻게 만들었나요? (AI 와 인간의 협업)

이 시험지를 만들기 위해 **AI(거인) 와 인간(감독)**이 손을 잡았습니다.

1. AI 가 초안 작성: AI 가 복잡한 사진들을 보고 "이건 이렇게 고쳐보면 어떨까?"라고 지시를 먼저 만듭니다.
2. 인간이 정밀 수정: 전문가들이 AI 가 만든 지시를 검토하고, "아니, 이건 너무 모호해. 더 구체적으로 바꿔야 해"라고 수정합니다.
3. 실패 제거: AI 가 편집을 실패하거나 엉뚱한 결과를 낸 데이터는 과감히 버리고, 완벽하게 편집된 것만 남깁니다.

이 과정을 통해 3,000 개 이상의 고품질 '문제와 정답' 쌍을 만들었습니다.

4. 실험 결과: AI 들은 어떻게 했나요?

이 새로운 시험지를 통해 최신 AI 모델들을 시험해 본 결과는 다음과 같습니다.

• 전체적인 실력: 아직까지 모든 문제를 완벽하게 푼 AI 는 없습니다. (하드 모드라 당연합니다!)
• 성공한 모델: 'Bagel', 'Qwen-Image-Edit', 'FLUX.1 Kontext' 같은 최신 모델들이 다른 모델들보다 훨씬 잘했습니다. 특히 **멀티모달 LLM(이미지와 언어를 동시에 이해하는 거대 AI)**을 사용하는 모델들이 지시를 잘 이해했습니다.
• 실패 원인:
  • 지시 오해: "왼쪽"을 "오른쪽"으로 잘못 이해하거나, 지시한 물체가 아닌 다른 것을 건드리는 경우가 많았습니다.
  • 배경 망가짐: 물건을 옮기거나 바꿀 때, 원래 배경이 뭉개지거나 왜곡되는 현상이 발생했습니다.
  • 물리 법칙 무시: 사물이 공중에 떠 있거나, 모양이 기괴하게 변하는 등 현실적인 물리 법칙을 무시하는 경우가 많았습니다.

5. 결론: 앞으로는 어떻게 될까요?

이 논문은 **"AI 사진 편집 기술은 이제 '초급'을 넘어 '중급' 이상의 난이도로 넘어가야 한다"**고 말합니다.

• 추론 능력 강화: AI 가 단순히 단어를 맞추는 게 아니라, "왜 이렇게 해야 하는지" 논리적으로 생각할 수 있어야 합니다.
• 공간 감각 향상: 3 차원 공간감을 이해하고, 물체의 모양과 위치를 자연스럽게 유지할 수 있어야 합니다.

한 줄 요약:

"이제 AI 사진 편집기는 '단순한 그림판'에서 '정교한 사진 편집 전문가'로 성장해야 합니다. CompBench 는 그 성장을 돕기 위해 만든, 현실적이고 까다로운 최고급 훈련 교재입니다."

기술 요약

1. 문제 제기 (Problem Statement)

기존의 지시 기반 이미지 편집 (Instruction-guided Image Editing) 벤치마크는 실제 응용 환경의 복잡성을 충분히 반영하지 못한다는 한계가 있습니다. 주요 문제점은 다음과 같습니다:

• 장면 복잡성 부족: 기존 벤치마크는 MS COCO 와 같은 일반 목적 데이터셋을 기반으로 하여, 객체 중심적이고 단순한 구성을 가집니다. 실제 이미지에서 흔히 발생하는 밀집된 객체 상호작용, 복잡한 가림 (Occlusion), 자연스러운 혼란 (Clutter) 등을 평가하기 어렵습니다.
• 지시 및 태스크의 제한적 범위: 대부분의 데이터셋이 "개를 고양이로 바꾸기"와 같은 단순한 원자적 (Atomic) 지시에 의존합니다. 공간적 관계, 다중 객체 편집, 동적 상태 변경, 암시적 추론이 필요한 복잡한 사용자 요구사항을 평가하지 못합니다.
• 편집 품질의 결함: 기존 데이터셋은 편집된 이미지가 지시를 정확히 따르지 않거나 (Instruction-alignment inaccuracies), 기하학적 왜곡 및 배경 불일치와 같은 시각적 아티팩트가 자주 발생하여 모델 성능 평가의 신뢰성을 떨어뜨립니다.

2. 방법론 (Methodology)

이 논문은 이러한 격차를 해소하기 위해 CompBench라는 대규모 벤치마크를 제안하며, 이를 구축하기 위해 다음과 같은 방법론을 도입했습니다.

• MLLM-인간 협업 프레임워크 (MLLM-Human Collaborative Framework):

  • 데이터 소스: MOSE 데이터셋을 기반으로 하며, 이미지 품질 필터링, 마스크 분해, 가림 및 연속성 분석을 통해 고품질 원본 데이터를 선별합니다.
  • 파이프라인: 4 가지 특수화된 파이프라인 (로컬 편집, 액션/공간 편집, 복잡한 추론, 멀티 편집) 을 설계하여 다양한 시나리오를 커버합니다.
  • 검증 과정: 다중 모달 대형 언어 모델 (MLLM) 이 초기 지시를 생성하면, 인간 전문가가 지시와 이미지의 정합성 및 편집 충실도를 검증합니다. 실패한 편집은 재생성되거나 폐기되어 고품질 데이터만 남깁니다.

• 지시 분해 전략 (Instruction Decoupling Strategy):

  • 모호한 편집 요청을 명확하고 정밀한 사양으로 변환하기 위해 지시를 4 가지 핵심 차원으로 분해합니다:
    1. 위치 (Location): 공간적 배치 (예: "테이블 왼쪽")
    2. 외관 (Appearance): 색상, 질감 등 시각적 속성
    3. 동적 상태 (Dynamics): 움직임 상태 (예: "날고 있는")
    4. 객체 (Objects): 대상 엔티티
  • 이 전략은 자연어의 유연성을 유지하면서도 기술적으로 정밀한 지시를 가능하게 합니다.

• 태스크 분류: CompBench 는 5 가지 주요 카테고리 (로컬 편집, 멀티 편집, 액션 편집, 장면 공간 편집, 복잡한 추론) 로 구성된 9 가지 구체적 태스크를 포함합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 고품질 벤치마크 (CompBench): 3,000 개 이상의 고품질 이미지 - 지시 쌍을 포함하며, 기존 벤치마크보다 평균 객체 수, 객체 카테고리 수, 가림률, 프레임 밖 객체 비율 등 모든 복잡성 지표에서 가장 높은 수준을 보입니다.
2. 포괄적인 태스크 커버리지: 단일 객체 편집을 넘어 다중 객체, 다중 턴 (Multi-turn), 암시적 추론, 액션 및 시점 편집 등 실제 사용자 요구를 반영한 다양한 태스크를 포함합니다.
3. 고품질 데이터 큐레이션: 모든 샘플은 SSIM(구조적 유사성 지수) 점수가 타 데이터셋보다 현저히 높도록 엄격하게 검증되어, 배경 일관성과 편집 정확도를 보장합니다.
4. MLLM-인간 협업 및 지시 분해: 복잡한 편집 작업을 위한 표준화된 데이터 생성 프로세스와 지시 구조화 방법을 제시했습니다.

4. 실험 결과 (Results)

다양한 최신 모델 (InstructPix2pix, MagicBrush, Bagel, FLUX.1, Qwen-Image-Edit 등) 에 대한 평가를 수행한 결과는 다음과 같습니다:

• 모델 성능: Bagel, Qwen-Image-Edit, FLUX.1 Kontext가 대부분의 태스크에서 최상위권을 기록했습니다. 특히 Bagel 은 37 개 지표 중 18 개에서 1 위를 차지했습니다.
• MLLM 의 중요성: MLLM 을 통합한 모델 (Bagel, Qwen 등) 이 복잡한 추론과 지시 이해에서 압도적인 성능을 보였습니다. MLLM 이 없는 모델은 지시를 무시하거나 잘못된 대상을 편집하는 경향이 있었습니다.
• 다중 턴 편집의 한계: 대부분의 모델이 두 번째 편집 턴에서 배경 일관성 (Background Consistency) 지표가 급격히 하락하는 경향을 보였습니다.
• 실패 분석 (Insights):
  • Planner-Executor Misalignment: MLLM 이 대상을 정확히 식별하더라도 (Planner), 확산 모델 (Executor) 이 정밀한 마스킹에 실패하여 배경 누출이 발생하는 문제가 발견되었습니다.
  • 추론 병목 현상: 복잡한 다중 모달 추론 능력이 고품질 편집의 핵심 요소임을 확인했습니다.
  • 기하학적 환각 (Geometric Hallucination): 액션 및 시점 편집 태스크에서 물리적 일관성이 결여되고 기하학적 왜곡이 자주 발생했습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 기준 제시: CompBench 는 단순한 객체 변경을 넘어 복잡한 공간 관계, 추론, 동적 변화를 요구하는 실제 세계의 편집 과제를 평가할 수 있는 표준을 마련했습니다.
• 차세대 모델 개발의 방향성: 현재 모델들의 한계를 명확히 드러냄으로써, 향후 연구가 MLLM 기반의 추론 능력 강화, 픽셀 단위 그라운딩 (Grounding) 안정성, 3D 구조적 사전 지식 통합 등의 방향으로 나아가야 함을 시사합니다.
• 연구 생태계 기여: 고품질의 데이터와 엄격한 평가 프레임워크를 제공함으로써, 지시 기반 이미지 편집 기술의 발전에 필수적인 인프라를 구축했습니다.

이 논문은 CompBench 를 통해 지시 기반 이미지 편집 분야의 평가 기준을 단순성에서 복잡성과 정밀성으로 전환시켰으며, 차세대 편집 시스템 개발을 위한 중요한 이정표가 되었습니다.