Edival-Agent: 다중 턴 이미지 편집을 위한 객체 중심 자동화 정밀 평가 프레임워크 기술 요약

본 논문은 ICLR 2026 에 발표된 **"EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing"**으로, 지시 기반 이미지 편집 (Instruction-based Image Editing) 의 신뢰할 수 있고 해석 가능한 평가 방법론의 부재를 해결하기 위해 제안된 프레임워크입니다.

1. 문제 정의 (Problem)

기존의 이미지 편집 평가 프로토콜은 다음과 같은 한계를 가지고 있었습니다:

• 참조 이미지 의존성: 기존 평가는 대개 '원본 - 편집된 이미지' 쌍 (Paired reference images) 에 의존합니다. 이는 편집 가능한 공간이 매우 광범위함에도 단일 참조만 제공하여 편향을 유발하며, 참조 이미지 자체가 이전 생성 모델에 의해 합성된 경우 그 편향이 평가에 그대로 전이됩니다.
• VLM(비전 - 언어 모델) 의 한계: 제로샷 VLM 을 활용한 평가는 지시 준수, 내용 일관성, 시각적 품질을 평가하지만, 공간 추론 능력이 부족하고 객체 존재 여부나 속성에서 환각 (Hallucination) 이 발생하며, 미세한 픽셀 수준의 변화를 감지하지 못해 정밀한 평가가 어렵습니다.
• 다중 턴 (Multi-turn) 평가 부재: 현재 대부분의 벤치마크는 단일 턴 편집에 집중되어 있으며, 여러 번의 편집 지시를 순차적으로 수행할 때 발생하는 내용 일관성 저하나 오류 누적 (Exposure Bias) 을 체계적으로 평가하는 도구가 부족했습니다.

2. 방법론 (Methodology)

저자들은 EdiVal-Agent라는 자동화된 에이전트 프레임워크를 제안했습니다. 이는 객체 중심 (Object-centric) 관점에서 이미지를 분해하고, 지시를 생성하며, 평가하는 3 단계 파이프라인으로 구성됩니다.

2.1. 단계 1: 분해 (Decomposition)

• 입력 이미지를 VLM(예: GPT-4o) 을 사용하여 의미 있는 객체들로 분해합니다.
• 각 객체에 대해 {재료} {색상} {객체명} 형식의 JSON 구조화된 정보를 추출합니다 (예: "metal yellow sign").
• 추출된 객체는 Grounding-DINO를 통해 바운딩 박스로 검증되며, 신뢰할 수 있는 검출 결과만 '전체 객체 풀 (All Objects Pool)'에 저장됩니다.

2.2. 단계 2: 지시 생성 (Instruction Generation)

• 분해된 객체 풀을 기반으로 9 가지 유형의 편집 지시 (주체 추가/제거/교체, 색상/재료 변경, 텍스트 변경, 위치 변경, 개수 변경, 배경 변경 등) 를 생성합니다.
• 동적 객체 풀 업데이트: 각 턴 (Turn) 이 지날 때마다 편집된 객체는 풀에서 제거되거나 수정되고, 변경되지 않은 객체는 '변경되지 않은 객체 풀 (Unchanged Objects Pool)'로 유지됩니다. 이를 통해 다중 턴 편집의 맥락을 정확히 추적합니다.
• 최대 3 턴까지 순차적인 편집 시나리오를 자동 생성합니다.

2.3. 단계 3: 평가 (Evaluation)

생성된 편집 결과에 대해 세 가지 핵심 지표를 계산합니다:

1. EdiVal-IF (Instruction Following, 지시 준수):
   • 기호적 검증 (Symbolic): 객체 추가/제거/위치 변경 등 객체 검출기로 확인 가능한 작업은 Open-vocabulary Detector(Grounding-DINO) 를 사용하여 기하학적/논리적 조건을 검증합니다.
   • 의미적 검증 (Semantic): 색상/재료 변경 등 검출기로 확인하기 어려운 작업은 VLM 을 사용하여 검출된 객체 컷 (Crop) 에 대해 의미적 일치를 확인합니다.
2. EdiVal-CC (Content Consistency, 내용 일관성):
   • 편집되지 않은 객체와 배경이 원본과 얼마나 유사하게 유지되었는지를 측정합니다.
   • DINOv3 특징을 사용하여 의미적 유사도를 계산하며, 픽셀 단위 L1 손실보다 객체 정체성과 질감 보존을 더 잘 반영합니다.
3. EdiVal-VQ (Visual Quality, 시각적 품질):
   • 인간 선호도 모델 (HPSv3) 을 사용하여 전체적인 미적 품질과 아티팩트를 평가합니다. (단, 이 점수는 전체 점수에 합산되지 않고 별도로 보고됩니다.)

3. 주요 기여 (Key Contributions)

1. EdiVal-Agent 에이전트: 객체 분해, 다중 턴 지시 생성, 그리고 객체 중심 지표 (EdiVal-IF, EdiVal-CC) 와 인간 선호도 지표를 결합한 자동화 평가 시스템 구축.
2. EdiVal-Bench 벤치마크: 572 개의 실제 이미지, 9 가지 지시 유형, 3 턴의 편집 시나리오를 포함하며, 16 개의 최신 편집 모델 (In-context, Flow-matching, Diffusion 등) 을 평가한 데이터셋 구성.
3. 높은 인간 일치도: 지시 준수 평가에서 EdiVal-Agent 는 인간 평가자와 **81.3%**의 일치도를 보였으며, 이는 기존 VLM 만을 사용한 평가 (75.2%) 나 CLIP 기반 방법 (65.4%) 보다 우월합니다.
4. 새로운 통찰: 다중 턴 편집에서의 모델별 성능 차이와 실패 패턴을 규명했습니다.

4. 실험 결과 (Results)

16 개의 모델을 평가한 주요 결과는 다음과 같습니다:

• 최상위 모델: Seedream 4.0이 지시 준수, 내용 일관성, 지연 시간 (Latency) 간의 가장 균형 잡힌 성능을 보이며 1 위를 차지했습니다.
• In-Context 모델의 진화: GPT-Image-1.5는 이전 버전인 GPT-Image-1 보다 내용 일관성 (EdiVal-CC) 에서 크게 개선되었습니다. Nano Banana 2도 Nano Banana 대비 지시 준수와 전체 점수가 향상되었으나, 처리 속도가 느려졌습니다.
• 오픈소스 모델의 한계 (Exposure Bias): Qwen-Image-Edit은 1 턴에서는 좋은 성능을 보이지만, 턴이 증가할수록 성능이 급격히 저하됩니다. 이는 모델이 실제 이미지 대신 자신의 이전 생성물을 입력으로 받을 때 발생하는 '노출 편향 (Exposure Bias)'으로 분석되었습니다.
• Flow-matching 모델: FLUX.2-max가 가장 강력한 베이스라인이었으며, FLUX.1-Kontext-dev 는 초기 턴에서는 좋으나 후기 턴에서 성능이 떨어지는 경향을 보였습니다.
• 다중 턴 vs 단일 샷: 노출 편향이 심한 모델 (Qwen-Image-Edit 등) 은 복잡한 단일 프롬프트 (Complex Prompt) 로 여러 지시를 한 번에 수행하는 것이 다중 턴 방식보다 더 좋은 결과를 보이는 경우가 있었습니다.

5. 의의 및 결론 (Significance)

• 정밀한 평가 체계: 기존 VLM 기반 평가의 불확실성을 극복하고, 객체 검출기와 VLM 을 결합하여 지시 준수와 내용 일관성을 정밀하게 측정할 수 있는 표준을 제시했습니다.
• 모델 개발 방향성 제시: 다중 턴 편집에서 발생하는 오류 누적과 노출 편향을 식별함으로써, 차세대 편집 모델 개발 시 순차적 일관성 유지와 안정성 향상이 중요함을 시사합니다.
• 실용적 벤치마크: 실제 사용자 시나리오를 반영한 다중 턴 편집 벤치마크를 공개하여, 연구계와 산업계가 더 견고한 이미지 편집 기술을 개발하는 데 기여할 것으로 기대됩니다.

결론적으로, EdiVal-Agent 는 이미지 편집 기술이 단순한 단일 지시 수행을 넘어, 복잡한 다단계 대화형 편집으로 발전함에 있어 필수적인 평가 도구로 자리 잡을 것입니다.