EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

이 논문은 20 만 개 이상의 인간 선호도 쌍으로 훈련된 새로운 reward 모델인 EditReward 를 제안하여 오픈소스 이미지 편집 모델의 품질 향상을 위한 고품질 데이터 선별 및 학습을 가능하게 하고 인간 선호도와의 높은 정합성을 입증합니다.

핵심

이 논문은 **"사진을 편집할 때, 사람이 원하는 대로 잘 바꿨는지 판단해 주는 똑똑한 심사위원 (EDITREWARD)"**을 개발한 연구입니다.

마치 요리 대회를 상상해 보세요.
요리사 (AI 모델) 들이 "소금기 좀 덜어줘"라는 지시사항을 듣고 요리를 만들어냅니다. 그런데 심판이 "이건 너무 짜다", "저건 맛은 좋은데 모양이 엉망이다"라고 말해주지 않으면, 요리사들은 어떻게 해야 좋은 요리를 만들지 알 수 없습니다.

지금까지 오픈소스 AI 모델들은 이 '심판'이 부실해서, 비싼 유료 모델들 (GPT-4o 등) 에 비해 요리를 잘 못 했습니다. 이 논문은 그 문제를 해결하기 위해 인간 전문가들이 직접 20 만 개 이상의 사진을 꼼꼼히 심사한 데이터와, 그 데이터를 배운 새로운 AI 심사위원을 만들었습니다.

주요 내용을 요리와 관련된 비유로 쉽게 설명해 드릴게요.

1. 문제: "맛없는" 자동 심판들

기존의 AI 심판들은 두 가지 큰 문제가 있었습니다.

• 눈만 보는 심판: "이 사진이 예쁜가?"만 보고 "맛 (지시사항 준수)"은 무시했습니다. (예: "소금기 줄여줘"라고 했는데, 소금기를 줄이는 대신 사진을 흐리게 만들면 '예쁘다'고 점수를 줌)
• 인간과 다른 취향: 기계가 계산한 점수와 사람이 "아, 이건 아니네"라고 느끼는 마음이 많이 달랐습니다.

2. 해결책: "프로 미식가"들이 만든 데이터 (EDITREWARD-DATA)

연구팀은 20 만 개가 넘는 사진 편집 예시를 준비했습니다.

• 정직한 심판단: 일반인이 아니라, 훈련받은 전문가들이 "지시사항을 얼마나 잘 따랐는지 (Instruction Following)"와 "사진이 자연스러운지 (Visual Quality)" 두 가지 기준으로 1 점부터 4 점까지 꼼꼼히 매겼습니다.
• 다양한 요리: 7 가지 최신 AI 모델들이 만든 다양한 결과물을 비교하며, 어떤 것이 진짜 좋은지 데이터로 쌓아 올렸습니다.

3. 핵심 기술: "혼란스러운 심리"를 이해하는 AI (EDITREWARD)

이 새로운 AI 심사위원은 단순히 점수만 매기는 게 아니라, 인간의 복잡한 심리까지 이해합니다.

• 불확실성 인정: "이건 조금 애매하네"라고 느낄 때, AI 는 "100% 확실한 점수"를 주는 게 아니라 "이런 점수일 확률이 높고, 저런 점수일 확률도 있다"는 식으로 유연하게 판단합니다.
• 두 가지 눈: "지시사항 준수"와 "화면의 아름다움"을 따로따로 평가했다가 합칩니다. (예: 지시사항은 완벽하지만 사진이 어색하면, 전체 점수를 낮게 줌)
• 동점자 해법: 두 사진이 비슷해서 동점인 경우, "A 는 지시사항이 좋았고 B 는 화질이 좋았다"는 식으로 세부적인 장점을 찾아내어 더 정교하게 학습시킵니다.

4. 성과: "최고의 요리사"로 거듭나다

이 새로운 심사위원 (EDITREWARD) 을 이용해 기존에 잡음이 많았던 데이터 (ShareGPT-4o-Image) 에서 가장 좋은 2 만 개만 골라내어 새로운 AI 모델 (Step1X-Edit) 을 훈련시켰습니다.

• 결과: 잡음 많은 전체 데이터를 다 쓴 것보다, **질 좋은 데이터만 골라 쓴 것이 훨씬 더 맛있는 요리 (더 좋은 편집 결과)**를 만들어냈습니다.
• 비유: "100 그릇의 실패한 요리와 20 그릇의 완벽한 요리를 비교했을 때, 20 그릇의 완벽한 요리만 배우는 것이 요리사 실력을 훨씬 빠르게 올려줍니다."

5. 결론

이 연구는 **"오픈소스 AI 가 유료 AI 를 따라잡기 위해서는, 인간이 직접 꼼꼼히 심사한 '고품질 데이터'와 이를 잘 판단하는 '똑똑한 심사위원'이 필요하다"**는 것을 증명했습니다.

이제 이 기술과 데이터는 모두에게 공개되어, 앞으로 더 많은 사람들이 무료로 고품질의 사진 편집 AI 를 만들 수 있게 되었습니다. 마치 최고의 레시피와 심사 기준을 공개해서, 누구나 명 요리사가 될 수 있게 도와주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

최근 자연어 명령을 통한 이미지 편집 (Instruction-guided Image Editing) 분야에서 GPT-Image-1, Seedream 등 폐쇄형 (Closed-source) 모델들이 괄목할 만한 성과를 보이고 있습니다. 그러나 오픈소스 모델들은 여전히 성능이 뒤처지는 상황입니다.

이러한 격차의 주요 병목 현상은 고품질의 합성 학습 데이터를 확장 (Scale-up) 시킬 수 있는 신뢰할 수 있는 보상 모델 (Reward Model) 의 부재에 있습니다. 기존에 사용되던 보상 모델들은 다음과 같은 한계를 가집니다:

• 지각적 점수 (LPIPS 등): 사용자 명령과의 의미론적 정렬 (Semantic Alignment) 을 포착하지 못함.
• 특징 점수 (CLIP 등): 편집의 의미론적 세부 사항을 포착하지 못함.
• 일반적인 VLM-as-Judge: 이미지 편집 작업에 특화되지 않아 인간 선호도와 정렬이 약함.
• 기존 학습 데이터: 크라우드 소싱 데이터는 일관성이 부족하고, 폐쇄형 모델이 생성한 라벨은 노이즈와 편향이 심함.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 EDITREWARD라는 새로운 인간 정렬 보상 모델과 이를 학습시키기 위한 고품질 데이터셋, 그리고 새로운 벤치마크를 제안했습니다.

A. 데이터셋 구축: EDITREWARD-DATA

• 규모: 약 20 만 개 (200K) 의 대규모 인간 선호도 쌍 (Preference Pairs).
• 구성: 7 개의 최첨단 모델 (Step1X-Edit, Flux-Kontext 등) 이 생성한 12 개의 후보 이미지를 6 개의 기존 벤치마크 (GEdit-Bench, MagicBrush 등) 와 내부 데이터에서 수집.
• 주석 (Annotation): 훈련된 전문가들이 엄격한 프로토콜에 따라 주석.
  • 다차원 평가 척도: 단일 점수가 아닌 두 가지 차원으로 분리 평가.
    1. 명령 준수 (Instruction Following): 의미 정확성, 완전성, 불필요한 변경 방지.
    2. 시각적 품질 (Visual Quality): 물리적 타당성, 아티팩트 부재, 미적 완성도.
  • 신뢰도: Krippendorff's Alpha (α) 를 통해 인간 간 일관성 (IF: 0.668, VQ: 0.597) 을 검증.

B. 모델 아키텍처: EDITREWARD

• 백본: 강력한 비전 - 언어 모델 (VLM) 인 Qwen2.5-VL 또는 MiMo-VL 을 활용.
• 학습 방식:
  • 다차원 불확실성 인식 순위 손실 (Multi-Dimensional Uncertainty-Aware Ranking Loss): HPSv3 프레임워크를 확장하여, 각 차원 (명령 준수, 시각적 품질) 마다 가우시안 분포 ($\mu, \sigma^2$) 를 예측하도록 설계. 이를 통해 인간의 모호한 판단을 확률적으로 모델링.
  • 다중 헤드 (Multi-Head) 구조: 각 평가 차원을 독립적으로 처리하는 별도의 MLP 헤드를 사용하여 정교한 표현 학습.
  • 동일점 (Tie) 분해 전략: 전체 점수가 같더라도 차원별 강점이 다른 경우 (예: A 는 명령 준수 우수, B 는 시각적 품질 우수), 이를 새로운 학습 샘플로 분해하여 모델이 미묘한 트레이드오프를 학습하도록 유도.

C. 새로운 벤치마크: EDITREWARD-BENCH

• 기존 벤치마크의 한계를 극복하기 위해 설계된 새로운 평가 기준.
• 다방향 선호도 비교 (Multi-way Preference): 단순 쌍별 (Pairwise) 비교를 넘어 3 개 (Ternary) 및 4 개 (Quaternary) 의 후보를 동시에 비교하는 복잡한 태스크 포함.
• 엄격한 평가: 튜플 내 모든 쌍의 관계 예측이 정확해야만 정답으로 간주.

3. 주요 기여 (Key Contributions)

1. EDITREWARD-DATA: 20 만 개의 고품질 전문가 주석 데이터셋으로, 다차원 평가 척도와 다양한 소스를 포함하여 이미지 편집용 보상 모델 학습의 새로운 표준 제시.
2. EDITREWARD: 위 데이터셋으로 학습된 VLM 기반 보상 모델로, 인간 선호도와 높은 정렬성을 보임.
3. EDITREWARD-BENCH: 다방향 선호도 예측을 포함하는 까다로운 새로운 벤치마크로, 모델의 세밀한 능력을 평가할 수 있는 강력한 도구 제공.

4. 실험 결과 (Results)

A. 벤치마크 성능 (Human Alignment)

• GenAI-Bench: 65.72 점 (GPT-5 의 59.61 점, ADIEE 의 59.96 점 등을 상회).
• AURORA-Bench: 63.62 점 (OpenAI GPT-4o 의 50.81 점 등을 압도).
• EDITREWARD-BENCH: 38.42 점으로, Gemini-2.5-Flash 및 GPT-5 를 능가하며 모델의 정밀한 순위 능력을 입증.
• 기반 모델 효과: 기본 Qwen2.5-VL-7B 모델에 EDITREWARD 학습 방식을 적용했을 때, GenAI-Bench 점수가 40.48% 에서 63.97% 로 23 포인트 이상 급증하여 학습 프레임워크의 유효성 입증.

B. 응용: 데이터 큐레이션 (Data Curation)

• 실험: ShareGPT-4o-Image 데이터셋 (약 46K 개) 에서 EDITREWARD 를 통해 상위 20K 개의 고품질 데이터만 선별하여 Step1X-Edit 모델을 미세 조정 (Fine-tuning).
• 결과: 전체 데이터셋으로 학습한 모델보다 선별된 20K 서브셋으로 학습한 모델이 GEdit-Bench에서 더 높은 성능 (Overall Score 7.1 vs 6.7) 을 보임.
• 의미: 데이터의 양보다 **품질 (보상 모델에 의해 선별된 데이터)**이 오픈소스 모델의 성능을 폐쇄형 모델 (Doubao 등) 수준으로 끌어올리는 핵심 요소임을 증명.

5. 의의 및 결론 (Significance)

이 논문은 오픈소스 이미지 편집 모델의 발전을 가로막던 '신뢰할 수 있는 보상 모델 부재'라는 핵심 병목 현상을 해결했습니다.

• 고품질 데이터의 중요성 강조: 노이즈가 많은 대규모 데이터보다, 고품질 보상 모델로 선별된 소규모 데이터가 더 효과적인 학습을 가능하게 함을 실증했습니다.
• 오픈소스 생태계 격차 해소: EDITREWARD 와 관련 리소스 (데이터셋, 모델, 벤치마크) 를 공개함으로써, 폐쇄형 모델과 오픈소스 모델 간의 성능 격차를 줄이고 커뮤니티의 연구 발전을 촉진합니다.
• 윤리적 고려: 생성된 데이터와 모델은 상업적 사용을 금지하는 CC-BY-NC-SA 4.0 라이선스로 공개되어, 딥페이크 등 악용 방지를 위한 조치를 취했습니다.

요약하자면, EDITREWARD 는 인간 전문가의 엄격한 주석을 기반으로 한 고품질 데이터와 다차원 불확실성 인식 학습 방식을 통해, 이미지 편집 분야에서 새로운 State-of-the-Art 를 달성하고 오픈소스 모델의 실용성을 크게 향상시킨 획기적인 작업입니다.