EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 지시 기반 이미지 편집 (Instruction-guided image editing) 모델의 성능은 생성 모델 자체의 능력보다는 고품질의 학습 삼중체 (Source-Target Image Pair + Editing Instruction) 의 규모와 질에 의해 결정됩니다.
• 문제점: 대규모 데이터 구축을 위해 비전 - 언어 모델 (VLM) 을 자동화 도구로 활용하고 있으나, 기존 VLM 들은 이미지 쌍 간의 변환 관계를 설명할 때 다음과 같은 세 가지 체계적인 실패 모드 (Failure Modes) 를 보입니다.
  1. 방향성 불일치 (Orientation Inconsistency): 좌/우 관계 등을 혼동하거나 반대로 설명함.
  2. 시점 모호성 (Viewpoint Ambiguity): 원본과 타겟 이미지 간의 시점 변화나 카메라 움직임을 정확히 묘사하지 못함.
  3. 세부 속성 설명 부재 (Lack of Fine-grained Detail): 색상, 질감, 객체 수준의 미세한 변화를 누락하거나 모호하게 기술함.
• 현황: 인간 평가 결과, 강력한 베이스라인 VLM 들이 생성한 지시문 중 47% 이상이 이러한 치명적 오류 (Critical Errors) 를 포함하여 하위 편집 모델 학습에 사용할 수 없는 것으로 확인되었습니다.

2. 제안 방법론: EditCaption (Methodology)

저자들은 VLM 기반 편집 지시문 생성을 위해 2 단계 포스트 트레이닝 파이프라인을 제안합니다.

1 단계: 감독 미세 조정 (Supervised Fine-Tuning, SFT)

• 데이터 구성: 10 만 개 (100K) 의 이미지 쌍으로 구성된 대규모 SFT 데이터셋을 구축합니다.
  • 자동 생성: GLM 을 이용해 초기 지시문을 생성합니다.
  • 품질 필터링: 생성된 지시문과 이미지 간 일관성을 측정하는 EditScore 모델을 활용해 저품질 샘플을 제거합니다.
  • 인간 정제: 필터링된 데이터에 대해 인간 어노테이터가 공간적 관계 (좌/우), 시점, 세부 속성 등을 정확히 수정하여 고품질 데이터를 확보합니다.
• 목표: 모델이 구조화되고 정확한 지시문을 생성하는 기본 능력을 함양합니다.

2 단계: 직접 선호도 최적화 (Direct Preference Optimization, DPO)

• 데이터 구성: 1 만 개 (10K) 의 선호도 쌍 (Preference Pairs) 을 구축합니다.
  • 거부된 샘플 (Rejected): SFT 후 모델이 생성한 오류가 포함된 지시문.
  • 선택된 샘플 (Chosen): 인간이 위 3 가지 실패 모드 (방향성, 시점, 세부 사항) 를 교정하여 작성한 지시문.
• 최적화: DPO 를 적용하여 모델이 인간이 선호하는 지시문을 생성하도록 정렬합니다. 이는 SFT 만으로는 해결되지 않는 잔여 체계적 오류를 표적적으로 수정합니다.

3. 주요 기여 (Key Contributions)

1. 체계적 실패 분석: VLM 기반 편집 지시문 생성에서 발생하는 방향성 불일치, 시점 모호성, 세부 사항 누락이라는 3 대 오류 카테고리를 식별하고 대규모 인간 평가를 통해 정량화했습니다.
2. 확장 가능한 2 단계 파이프라인: 10 만 개의 인간 정제 SFT 데이터와 1 만 개의 인간 주석 선호도 쌍을 활용한 데이터 구축 및 학습 파이프라인을 제안했습니다.
3. 성능 입증: SFT 와 DPO 의 조합이 단일 단계보다 우월함을 실험을 통해 입증했으며, 오픈소스 모델 중 최고 성능을 달성하여 폐쇄형 최첨단 모델과 경쟁 가능한 수준을 보여주었습니다.

4. 실험 결과 (Results)

• 벤치마크: 자체 평가 세트 (Eval-400), ByteMorph-Bench (비강체 운동 및 카메라 변환), HQ-Edit(고해상도) 에서 평가 수행.
• 성능 비교:
  • Qwen3-VL-235B (SFT+DPO) 는 Eval-400 에서 4.712 점 (Gemini-3-Pro: 4.706, GPT-4.1: 4.220) 을 기록하여 오픈소스 및 폐쇄형 모델 모두를 상회했습니다.
  • ByteMorph-Bench 에서도 4.588 점으로 Gemini-3-Pro(4.522) 와 GPT-4.1(3.412) 을 압도했습니다.
• 인간 평가 개선:
  • 치명적 오류 (P0) 감소: 47.75% → 23% 로 대폭 감소.
  • 정확도 (Correct Rate) 향상: 41.75% → 66% 로 향상.
• Ablation Study: SFT 만으로는 강력한 성능을 보이지만, DPO 를 추가하면 공간적 일관성과 세부 정확도가 추가로 향상됨을 확인했습니다. DPO 만 단독으로 적용할 경우 성능이 급격히 하락하여 SFT 가 필수적인 전제 조건임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 데이터 구축: 수동 주석의 고비용 문제를 해결하고, VLM 을 활용한 자동 생성의 정확도를 인간 수준에 근접시켜 대규모 이미지 편집 데이터 구축을 가능하게 합니다.
• 공간적 추론 능력 강화: 기존 VLM 이 취약했던 좌/우 구분, 시점 변화, 미세한 속성 설명 등 공간적 추론 (Spatial Reasoning) 능력을 획기적으로 개선했습니다.
• 실용적 가치: 제안된 방법은 이미지 편집 모델의 학습 데이터 품질을 높여, 더 정교하고 제어 가능한 이미지 편집 시스템 개발의 기반을 마련합니다.

이 연구는 단순한 지시문 생성을 넘어, 인간의 의도와 공간적 사실을 정확히 일치시키는 (Human-Aligned) 데이터 생성 파이프라인의 표준을 제시했다는 점에서 의의가 큽니다.