기술 요약: Edit-Compass 및 EditReward-Compass

문제 제기

최근 이미지 편집 모델은 지시 따르기, 멀티모달 이해, 복잡한 시각적 조작 분야에서 크게 진전되었습니다. 그러나 해당 분야는 두 가지 중요한 평가 격차에 직면해 있습니다:

1. 이미지 편집 벤치마크: 기존 벤치마크는 특히 최첨단 모델의 경우 인간 판단을 충실히 반영하지 못하는 경우가 많습니다. 이는 작업 난이도가 부족하고 미묘한 능력 차이를 구분할 수 없는 거시적 평가 프로토콜에 기인합니다. 또한 많은 벤치마크는 복잡한 시나리오에서 인간 추론과 정렬되지 않은 자동화된 지표나 단순한 MLLM 프롬프트에 의존합니다.
2. 리워드 모델링 벤치마크: 강화 학습 (RL) 이 이미지 편집 최적화의 핵심이 됨에 따라, 리워드 모델의 신뢰할 수 있는 평가가 중요합니다. 현재 리워드 모델 벤치마크는 분포 불일치로 고통받고 있습니다. 이들은 종종 RL 최적화 중 (예: FlowGRPO 시나리오) 에 발생하는 현실적인 모델 내 후보 분포를 시뮬레이션하기보다는 정적인 모델 간 비교를 통해 모델을 평가합니다.

방법론

저자들은 이미지 편집 모델용 Edit-Compass와 리워드 모델용 EditReward-Compass로 구성된 통합 평가 세트를 소개합니다.

1. Edit-Compass (이미지 편집 벤치마크)

• 규모 및 범위: 6 개의 점진적으로 난이도가 높은 차원에 걸쳐 36 개의 세분화된 작업 카테고리를 아우르는 2,388 개의 신중하게 주석된 인스턴스를 포함합니다:
  • 일반 작업: 대상 추가, 제거, 교체, 추출, 색상/크기/재질 변경, 스타일 전환, 텍스트 편집.
  • 동적 조작: 객체 이동, 교체, 상호작용, 동작 변경, 감정 수정.
  • 세계 지식 추론: 시간적, 인과적, 게임, 수학, 화학 추론 작업.
  • 알고리즘적 시각 추론: 최적 경로 식별, 볼록 껍질 (convex hull) 식별, 배낭 문제 선택, 그리드 내 단어 발견 등 다단계 논리적 추론이 필요한 작업.
  • 다중 이미지 작업: 구성, 가상 피팅, 다중 이미지 인식 (이미지 간 속성 전달).
  • 복합 작업: 복합 지시사항과 사용자가 텍스트 alongside 화살표, 원, 마스크와 같은 시각적 단서를 제공하는 "Complex Paint" 작업.
• 데이터 구축: 하이브리드 방식을 활용합니다. 일반 및 복합 작업은 LLM 이 생성하고 인간이 검증한 지시사항을 가진 실제 이미지들을 사용합니다. 동적, 세계 지식, 다중 이미지 작업은 전문가들이 설계하며 정제된 프롬프트를 통해 생성된 소스 이미지를 사용합니다. 알고리즘적 작업은 알고리즘적 솔루션 (예: Dijkstra, 동적 계획법) 에서 도출된 정답 주석을 통해 프로그램적으로 생성됩니다.
• 평가 프레임워크: 다음 세 가지 핵심 차원을 기반으로 한 세분화된 다차원 프레임워크를 채택합니다:
  • 지시 인식: 지시 따르기 및 세계 지식 인식.
  • 시각적 일관성: 편집되지 않은 영역의 일관성 및 정체성 일관성.
  • 시각적 품질: 자연스러움, 구조적 충실도, 아티팩트 심각도.
  • 메커니즘: 구조화된 체인 오브 사고 (chain-of-thought) 추론과 특정 채점 기준 (1~5 점 척도) 을 갖춘 MLLM-as-judge 파이프라인을 사용하여 스칼라 점수와 해석 가능한 근거를 생성합니다.

2. EditReward-Compass (리워드 모델링 벤치마크)

• 규모: 편집 지시사항과 두 개의 후보 편집 이미지로 구성된 2,251 개의 선호 쌍을 포함합니다.
• 샘플링 전략: 현실적인 RL 최적화 시나리오를 시뮬레이션하도록 설계되었습니다. 다양한 모델 (오픈소스 및 독점 모델 모두) 로부터 후보 출력을 샘플링하기 위해 확률적 미분 방정식을 활용한 FlowGRPO 에서 영감을 받은 전략을 사용합니다. 이를 통해 평가가 정책 최적화 중 발견되는 모델 간 비교뿐만 아니라 모델 내 후보 분포를 반영하도록 보장합니다.
• 주석: 8 명의 전문가가 참여하는 엄격한 2 단계 인간 주석 파이프라인을 통해 지시 준수 및 시각적 일관성에서 명확한 품질 차이를 가진 고품질 선호 쌍을 보장합니다.

주요 결과

저자들은 29 개의 최첨단 이미지 편집 모델과 21 개의 리워드 모델을 평가했습니다.

이미지 편집 모델

• 독점 vs 오픈소스: 상당한 성능 격차가 존재합니다. 최고의 독점 모델 (Nano Banana Pro) 은 전체 점수 3.99를 달성한 반면, 가장 강력한 오픈소스 모델 (Qwen-Image-Edit) 은 2.69에 도달했습니다.
• 작업별 약점: 오픈소스 모델은 기본 작업 (일반, 동적 조작) 에서 경쟁력 있는 성능을 보이지만, 다음과 같은 영역에서 현저히 어려움을 겪습니다:
  • 세계 지식 추론: (Nano Banana Pro: 3.89 vs Qwen-Image-Edit: 1.74).
  • 알고리즘적 시각 추론: 대부분의 모델이 기준선 (1.0~1.5) 근처의 점수를 기록하여 심층 시각 추론 수행 및 알고리즘적 편집의 충실한 실행 실패를 나타냅니다.
  • 다중 이미지 편집: 폐쇄형 소스 모델은 이미지 간 이해 및 구성에서 명확한 우위를 보입니다.
• 언어: 많은 모델이 교차 언어 불균형 (영어에서 더 나은 성능) 을 보이지만, 고급 통합 모델은 더 균형 잡힌 능력을 보입니다.

리워드 모델

• 네이티브 MLLM vs 전문 모델: 선호 데이터로 명시적으로 훈련된 기존 오픈소스 리워드 모델 (예: EditScore, EditReward) 보다 네이티브 멀티모달 대규모 언어 모델 (예: Qwen3.5-9B, Qwen3.6-27B) 이 더 우수한 성능을 발휘합니다.
• 확장 및 추론: 더 큰 모델이 일반적으로 더 잘 수행합니다. "사고" (체인 오브 사고) 추론을 활성화하면 리워드 모델 성능이 일관되게 향상되며, 희소 MoE 모델의 경우 최대 10.56 점의 향상을 보입니다.
• 평가 프로토콜: EditReward-Compass 에서 사용된 구조화된 프롬프트는 이전 기준 (예: EditScore 프롬프트) 대비 평가 성능을 크게 향상시켜 최대 12.93% 의 개선을 가져왔습니다.

의의 및 주장

이 논문은 최첨단 이미지 편집 시스템 및 리워드 모델을 평가하기 위한 포괄적이고 인간과 정렬된 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 충실한 평가: 점진적으로 난이도가 높은 작업과 세분화된 추론 기반 평가를 도입함으로써, 거시적 벤치마크가 놓치는 현재 모델의 지속적인 약점 (특히 추론 및 세계 지식) 을 드러냅니다.
2. RL 정렬: EditReward-Compass 는 정적 평가와 동적 RL 최적화 시나리오 간의 격차를 해소하여 리워드 유도 최적화를 분석하기 위한 현실적인 테스트베드를 제공합니다.
3. 미래 방향: 결과는 얕은 지각 수준의 편집이 성숙해지고 있지만, 해당 분야는 심층 추론, 세계 지식 통합, 복잡한 다중 이미지 조작에 집중해야 함을 시사합니다. 또한, 네이티브 멀티모달 LLM 은 선호 데이터만으로 훈련된 전문적이고 소규모 모델보다 리워드 모델링을 위한 더 유망한 기반이 되는 것으로 보입니다.

저자들은 API 기반 MLLM 심판에 대한 의존성으로 인해 변동성이 발생할 수 있음을 인정하며, 독점적 의존 없이 더 안정적이고 투명한 평가를 보장하기 위해 전용 이미지 편집 심판 모델을 개발하는 향후 작업을 제안합니다.