DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model

이 논문은 명령어 기반 이미지 편집 모델의 소규모 객체 편집 능력을 평가하기 위해 1,889 개의 샘플과 정교한 평가 프로토콜을 포함한 새로운 벤치마크 'DeepLookEditBench(DLEBench)'를 제안하고, 이를 통해 기존 모델들의 성능 격차를 실증적으로 분석합니다.

핵심

이 논문은 **'작은 물체를 정확하게 고치는 AI'**를 평가하기 위한 새로운 시험지인 DLEBench를 소개합니다.

기존의 이미지 편집 AI들은 "하늘을 파란색으로 바꿔줘"처럼 큰 부분을 수정하는 데는 능숙하지만, **"저기 있는 작은 빨간 장미꽃을 노란색으로 바꿔줘"**처럼 아주 작고 구체적인 부분을 다룰 때는 엉뚱한 곳을 건드리거나 아예 못 찾는 경우가 많습니다. 이 논문은 바로 이 **'작은 물체 편집 능력'**을 측정하고 개선하기 위해 만들어졌습니다.

이 내용을 쉽게 이해할 수 있도록 비유를 들어 설명해 드릴게요.

---

1. 문제 상황: 거대한 붓 vs 미세한 붓

지금까지의 AI 이미지 편집기들은 마치 거대한 물감 붓을 들고 있는 화가 같습니다. 큰 그림 (하늘, 배경, 큰 건물) 을 그리는 건 정말 잘합니다. 하지만, 그림 한구석에 있는 작은 나비 날개의 무늬를 정확히 바꾸라고 하면 어떨까요?

• 현실: AI 는 나비 날개 대신 옆에 있는 꽃을 노랗게 칠하거나, 아예 나비 전체를 지워버리는 실수를 합니다.
• 논문이 말하려는 것: "AI 가 정말 똑똑해졌다고 하지만, 정교한 손길 (작은 물체 편집) 이 필요한 작업에서는 아직 미숙합니다. 우리는 이 능력을 정확히 측정할 도구가 필요합니다."

2. 해결책: DLEBench (정밀 수술용 시험지)

저자들은 DLEBench라는 새로운 시험지를 만들었습니다. 이는 마치 외과 의사를 위한 정밀 수술 시험과 같습니다.

• 시험 내용: 이미지 전체가 아니라, 이미지 면적의 1%~10% 정도만 차지하는 아주 작은 물체를 대상으로 합니다. (예: 멀리 있는 사람의 안경, 나무에 붙은 작은 벌레, 책상 위의 작은 지우개 등)
• 난이도: 가려져 있거나 (반신), 여러 개가 섞여 있는 복잡한 상황에서도 정확한 물체를 찾아내야 합니다.
• 데이터: 총 1,889 개의 문제지로 구성되어 있으며, 색을 바꾸기, 모양 바꾸기, 개수 세기 등 7 가지 유형으로 나뉩니다.

3. 새로운 평가 방식: "눈이 나쁜 심사위원"을 위한 보조 도구

이 연구의 가장 혁신적인 점은 평가 방법입니다. 기존에는 AI 가 만든 결과를 또 다른 AI 가 채점했는데, 작은 물체 편집에서는 이 '심사위원 AI'조차 작은 변화를 눈으로 못 보고 엉뚱한 점수를 주는 문제가 있었습니다.

저자들은 이를 해결하기 위해 두 가지 모드를 도입했습니다.

• 🔍 도구 모드 (Tool-driven Mode):

  • 비유: AI 심사위원에게 현미경과 자를 쥐여주는 것입니다.
  • AI 가 직접 "여기 좀 확대해줘", "원래 그림과 비교해줘"라고 명령을 내려 작은 변화를 직접 찾아보게 합니다. AI 가 스스로 눈을 뜨게 하는 방식입니다.

• 👁️ 오라클 모드 (Oracle-guided Mode):

  • 비유: 심사위원에게 정확한 위치가 표시된 지도를 주는 것입니다.
  • 사람이 미리 "작은 물체가 여기 있습니다"라고 표시해 둔다면, AI 는 그 부분만 집중해서 평가할 수 있습니다. 위치 찾기는 인간이 대신하고, 편집의 질만 AI 가 판단하게 해서 가장 정확한 점수를 냅니다.

4. 실험 결과: 거인도 작은 벌레는 못 잡는다

이 시험지를 통해 10 가지 최신 AI 모델들을 시험해 본 결과, 놀라운 사실이 드러났습니다.

• 대부분의 AI: 큰 물체 편집은 잘하지만, 작은 물체 편집에서는 점수가 매우 낮았습니다. 특히 "작은 물체의 개수를 바꿔줘" 같은 복잡한 지시에는 거의 실패했습니다.
• 상위권 모델: 가장 잘하는 모델조차 완벽하지 않았습니다. 작은 물체를 찾는 데는 성공했지만, 색을 바꾸는 과정에서 물체의 모양까지 뭉개버리는 '과잉 수정' 실수를 많이 저질렀습니다.
• 교훈: "AI 가 똑똑해졌다고 해서 모든 일을 잘하는 건 아닙니다. 아주 작은 디테일을 다룰 때는 여전히 인간이 개입하거나, 새로운 훈련이 필요합니다."

5. 결론: 왜 이 연구가 중요한가?

이 논문은 **"작은 것까지 정확하게 고치는 AI"**를 만드는 첫걸음을 떼었습니다.

• 실용성: 사진을 찍다가 실수한 작은 부분 (예: 배경의 쓰레기통, 옷의 작은 로고) 을 처음부터 다시 그릴 필요 없이, 그 부분만 정확히 고쳐주면 됩니다.
• 미래: 앞으로 AI 가 더 정교한 작업을 하려면, 거창한 변화뿐만 아니라 미세한 디테일까지 다룰 수 있어야 합니다. DLEBench 는 그 능력을 키우기 위한 나침반 역할을 할 것입니다.

한 줄 요약:

"AI 는 거대한 산을 옮기는 건 잘하지만, 작은 돌멩이를 정확히 옮기는 건 서툴다. 이 논문은 그 '작은 돌멩이'를 어떻게 정확히 옮기는지 측정하고, AI 를 훈련시키는 새로운 지도를 제시합니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 지시 기반 이미지 편집 모델 (IIEMs) 은 마스크 없이 텍스트 명령만으로 이미지를 수정할 수 있어 사용자 친화적이며 빠르게 발전하고 있습니다.
• 현재의 한계: 기존 벤치마크들은 주로 큰 영역을 차지하는 주된 객체 (Salient Objects) 에 초점을 맞추거나, 복잡한 추론 능력을 평가하는 데 치중해 왔습니다.
• 핵심 문제: 소규모 객체 (Small-scale Objects) 편집 능력은 아직 충분히 탐구되지 않았습니다. 대상 객체가 이미지 면적의 1%~10% 만 차지하는 경우, 모델은 정확한 위치 파악 (Localization) 과 미세한 디테일 수정에 실패하는 경우가 많습니다.
• 평가의 어려움:
  1. 데이터 부족: 시각적 추론 데이터셋에는 소규모 객체가 포함되지만, 이를 편집하는 데 적합한 페어 (Pair) 된 지시문은 부족합니다.
  2. 평가의 불일치: 기존 유사도 지표 (CLIP 등) 나 최신 LMM 기반 평가자 (LMM-as-a-Judge) 는 미세한 시각적 변화를 감지하지 못하거나, 인간 판독자와의 일치도가 낮아 신뢰할 수 없는 평가 결과를 초래합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 DeepLookEditBench (DLEBench) 라는 새로운 벤치마크와 이를 평가하기 위한 이중 모드 평가 프레임워크를 제안했습니다.

가. DLEBench 구축 (Benchmark Construction)

• 데이터 수집 및 변환: MME-Realworld, Pixel-Reasoner, V*-Bench 등 시각적 추론 벤치마크에서 소규모 객체가 포함된 2,043 개의 원본 샘플을 수집했습니다.
• 3 단계 변환 파이프라인:
  1. 메타데이터 생성: 반사실적 합성 (Counterfactual Synthesis) 전략을 사용하여 QA 쌍을 편집 지시문, 대상 객체, 편집 유형 등으로 변환합니다 (GPT-4.1 활용).
  2. 참조 이미지 생성 (Reference Image Generation): 소규모 객체의 정밀 편집을 위해 Crop-and-Edit 전략을 도입했습니다.
     • 객체 위치를 정확히 찾기 위해 수동으로 바운딩 박스 (BBox) 를 주석 달았습니다.
     • 컨텍스트 손실을 방지하기 위해 객체 크기에 따라 적응적으로 바운딩 박스를 확장하는 전략을 적용하여 고품질의 참조 이미지를 생성했습니다.
  3. 인간 검증: 생성된 데이터의 의미론적 일관성과 시각적 정확성을 인간이 검증하여 최종 1,889 개의 고품질 샘플을 구성했습니다.
• 통계: 7 가지 지시 유형 (색상, 재질, 모양, OCR, 제거, 교체, 개수 변경) 을 포함하며, 대상 객체의 면적 비율이 1%~10% 사이로 제한됩니다.

나. 평가 프로토콜 (Evaluation Protocol)

• 평가 기준:
  1. 지시 따르기 (Instruction Following, IF): 대상 객체의 정확한 위치 파악, 요청된 작업 수행, 불필요한 수정 방지.
  2. 시각적 일관성 (Visual Consistency, VC): 비대상 영역의 보존 정도.
  • 기존 모호한 점수 체계 대신, 실패 모드 (Failure Modes) 를 기반으로 한 계층적 점수 기준 (Score 1~4) 을 도입하여 주관성을 제거했습니다.
• 이중 모드 평가 프레임워크 (Dual-Mode Evaluation Framework):
  1. Tool-driven Mode (도구 주도 모드): LMM 이 외부 시각 도구 (Grounding, Zoom-In, Difference, Enhancer) 를 호출하여 반복적으로 탐색하고 미세한 차이를 분석하도록 하여 인간의 개입 없이 실용적인 평가를 수행합니다.
  2. Oracle-guided Mode (오라클 안내 모드): 인간이 주석 단 바운딩 박스를 사용하여 대상 객체를 미리 잘라내거나 마스킹하여, 위치 파악 오류를 배제하고 편집의 정확성과 배경 일관성만 평가합니다. 이는 인간 판독과의 높은 일치를 보장하는 신뢰도 높은 기준입니다.

3. 주요 기여 (Key Contributions)

1. DLEBench 제안: 소규모 객체 편집 능력을 평가하는 최초의 전용 벤치마크를 구축했습니다.
2. 정교한 평가 프로토콜: 모호성을 제거한 계층적 점수 기준과 인간 판독과 높은 일치도를 보이는 이중 모드 평가 프레임워크를 제안했습니다.
3. 포괄적인 분석: 10 개의 대표 IIEM 모델 (Gemini-3-Pro, GPT-Image-1, Bagel-Think 등) 에 대한 대규모 평가를 수행하여 소규모 편집에서의 성능 격차와 한계를 규명했습니다.

4. 실험 결과 (Results)

• 전반적 성능: 10 개 모델 모두 DLEBench 에서 낮은 점수를 기록했습니다. 최상위 모델인 Gemini-3-Pro 의 평균 점수도 65.55 점에 불과했으며, 이는 소규모 객체 편집 능력이 여전히 심각한 결함을 가지고 있음을 시사합니다.
• 모델 간 비교:
  • 폐쇄형 모델 (Gemini-3-Pro) 이 전반적으로 우세하지만, 오픈소스 모델인 Bagel-Think가 폐쇄형 모델인 GPT-Image-1 보다 높은 성능을 보여주어 특정 소규모 편집 작업에서 오픈소스 모델의 경쟁력을 입증했습니다.
  • Change Count (개수 변경) 작업은 모든 모델에서 가장 낮은 성능을 보였으며, 이는 여러 개의 작은 객체를 동시에 인식하고 조작하는 것이 가장 어렵다는 것을 의미합니다.
• 크기 의존성: 대부분의 모델은 대상 객체의 크기가 작아질수록 성능이 급격히 저하되는 경향을 보였습니다. 반면, 일부 모델 (UniWorld-V1 등) 은 객체 크기와 무관하게 전반적으로 낮은 성능을 보였습니다.
• 평가 방법의 유효성: 실험 결과, 제안한 Oracle-guided Mode와 Tool-driven Mode가 기존 LMM-as-a-Judge (Gemini-3-Pro, GPT-4.1) 보다 인간 판독과의 상관관계가 훨씬 높고 오차가 적었습니다. 특히 LMM-as-a-Judge 는 미세한 형태 왜곡이나 배경의 작은 오류를 놓치는 경향이 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 필요성: 현재 IIEM 모델들은 대규모 객체 편집에는 능숙하지만, 정밀한 로컬 편집이 필요한 소규모 객체 처리에는 한계가 있음을 명확히 증명했습니다.
• 향후 방향: 본 논문은 소규모 객체 편집을 위한 표준 벤치마크와 신뢰할 수 있는 평가 체계를 제공함으로써, 향후 모델 개발이 정밀도와 세부 사항 보존에 집중할 수 있는 기반을 마련했습니다.
• 한계 및 개선: 현재 데이터셋이 시각적 추론 데이터셋에서 파생되었기 때문에 지시 유형 분포가 불균형하다는 한계가 있으며, 향후 자동화된 데이터 확장 파이프라인을 통해 이를 개선할 계획입니다.

요약하자면, DLEBench 는 이미지 편집 모델이 '작은 것'을 어떻게 다루는지에 대한 새로운 기준을 제시하며, 단순한 텍스트 지시 수행을 넘어 정밀한 시각적 제어 능력을 갖춘 차세대 모델 개발의 방향성을 제시합니다.