기술 요약: 원자적 개체 분석을 통한 이미지 편집의 추상적 의도 평가

1. 문제 정의

현재 이미지 편집 벤치마크와 모델들은 주로 명시적이고 문자 그대로의 명령 (예: "장난감을 초록색으로 바꾸세요") 에 초점을 맞추고 있습니다. 그러나 인간의 의사소통은 종종 분위기, 계절, 또는 사회적 역학에 관한 추상적인 개념에 의존합니다 (예: "장면에 공감을 불어넣으세요" 또는 "난방이 고장 난 것처럼 보이게 하세요"). 이러한 격차는 상당한 병목 현상을 초래합니다: 모델들은 텍스트 지시와 시각적 변환 사이의 개념적 간극을 메우기 위해 "창의적 추측"이 필요한 미지정된 의도를 해석하는 데 어려움을 겪습니다.

기존 평가 방법은 편집을 "블랙박스"로 취급하며 전체적인 점수나 경직된 일대일 시각적 매핑에 의존하기 때문에 이 영역에서 실패합니다. 이러한 방법들은 모델이 추상적 의도를 올바르게 해석한 경우와 임의로 이미지를 변경했거나 아예 편집을 수행하지 않은 경우를 구별할 수 있는 세밀함이 부족합니다. furthermore, 다양한 실제 장면 전반에 걸쳐 추상적 지시 따름을 평가하는 데 전념하는 구조화된 리소스 (데이터셋) 가 부족합니다.

2. 방법론

A. 공식적 정의 및 분류 체계

저자들은 추상적 이미지 편집을 공식화하여 인간 의도의 두 가지 직교 축을 정의합니다:

1. 식별 ("무엇을 편집할 것인가"): 대상 개체 (사물, 사람, 배경) 를 특정합니다.
2. 구체성 ("어떻게 편집할 것인가"): 시각적 변환의 정확한 성격을 결정합니다.

이러한 축을 기반으로 편집 의도는 **편집 자유도 (eDoF)**에 따라 분류됩니다:

• 명시적/암시적 (낮은 eDoF): 대상과 변환이 명확하거나 특정 도메인 지식만 요구되는 일대일 매핑 (예: "남자의 가장 친한 친구를 제거하세요"는 개를 제거하라는 의미).
• 추상적 (높은 eDoF): 지시가 미지정되어 광범위한 유효한 시각적 해석이 가능한 일대다 매핑 (예: "개가 긴 비 오는 여행에서 돌아온 것처럼 보이게 하세요"는 젖은 털, 진흙, 또는 욕조를 의미할 수 있음).

B. ENTITY-RUBRICS 프레임워크

추상적 편집을 평가하기 위해 논문은 NLP 의 "원자적 사실 (atomic fact)" 분해에서 영감을 받은 ENTITY-RUBRICS를 소개합니다. 이는 단일 전역 점수 대신 이미지를 **원자적 개체 (Things, Stuff, Global 속성)**로 분해하고 3 단계 평가를 수행하는 시각 언어 모델 (VLM) 기반 자동 평가 프레임워크입니다:

1. 개체 감지: 컨텍스트 이미지와 편집된 이미지 내의 모든 관련 개체를 식별합니다.
2. 개체 순위 매기기:
   • 예상 변환: 컨텍스트 이미지와 추상적 지시 만을 기반으로 각 개체의 이론적 상태 (변경, 선택적 변경, 또는 유지) 를 결정합니다.
   • 실행 정렬: 실제 편집된 이미지를 이러한 기대치와 비교하여 변경이 올바르게 수행되었는지와 유지가 보존되었는지 평가합니다.
3. 최종 점수화: 개체별 순위를 1~10 점의 전역 점수와 상세한 근거로 집계하며, 가능한 모든 해석이 포착되었는지 확인하는 것보다 선택된 편집이 논리적으로 근거 있는지 확인하는 정밀도 (precision) 를 재현율 (recall) 보다 우선시합니다.

C. ABSTRACTEDIT 데이터셋

저자들은 추상적 이미지 편집에 전념하는 첫 번째 벤치마크인 ABSTRACTEDIT를 기여합니다.

• 구성: 470 개의 인간 검증 테스트 샘플과 4,000 개의 훈련 세트.
• 도메인: 물리적, 논리적, 감정적, 사회적 네 가지 핵심 도메인을 포괄합니다.
• 생성: OpenImages 에서 가져온 컨텍스트 이미지에 대한 쌍을 이루는 추상적 및 명시적 지시를 생성하기 위해 합성 페르소나와 퓨샷 프롬프팅을 사용하는 완전 자동화 파이프라인을 통해 제작되었습니다. 이를 통해 모델이 추상적 프롬프트와 명시적 프롬프트를 처리하는 능력을 직접 비교할 수 있습니다.

3. 주요 결과

저자들은 ABSTRACTEDIT 데이터셋에서 11 개의 최첨단 이미지 편집 모델 (8 개 오픈소스, 5 개 클로즈드소스) 을 평가했습니다.

• 성능 격차: 클로즈드소스 모델과 오픈소스 모델 사이에 뚜렷한 분열이 존재합니다. 클로즈드소스 모델 (예: Gemini 3.1, GPT-Image-1.5) 은 추상적 지시에서 높은 점수 (9.2) 를 달성하는 반면, 최상위 오픈소스 모델 (예: Qwen-Image-Edit) 은 현저히 낮은 점수 (7.48) 를 기록합니다.
• 실패 모드:
  • 오픈소스 모델: 과소 편집 (under-editing) 경향이 있습니다. 고차원적 의도를 해독하지 못해 원래 컨텍스트를 너무 잘 보존하지만 요청된 변경을 수행하지 못하는 이미지를 생성하는 경우가 많습니다. 이들은 명시적 로드맵에 크게 의존합니다.
  • 클로즈드소스 모델: 과다 편집 (over-editing) 경향이 있습니다. 정렬을 강제하기 위해 원래 컨텍스트를 폐기 (예: 전체 배경 교체) 함으로써 추상적 지시를 충족시키는 경우가 많습니다.
• 성능의 동인:
  • 텍스트 인코더: CLIP 기반 인코더에 비해 Mistral, T5, Qwen-VL 과 같은 고급 LLM 백본이 더 나은 성능과 강한 상관관계를 보입니다.
  • 반복적 사고: "사고 (thinking)" 메커니즘을 갖춘 모델 (예: Step1X-Think, Bagel-Think) 은 추상적 지시 따름에서 상당한 개선을 보여주어, 문제를 단계로 분해하는 것이 모호성을 해결하는 데 도움이 됨을 시사합니다.
• 세밀한 병목 현상: 실패율 분석에 따르면 **개체 수 (Object Count)**와 **위치/변환 (Position/Transform)**이 가장 어려운 작업 (>30% 실패율) 인 반면, 스타일과 텍스처와 같은 표면 수준의 편집은 신뢰성 있게 처리됩니다.
• 다양성: 추상적 프롬프트는 특히 클로즈드소스 모델에서 명시적 프롬프트에 비해 훨씬 더 높은 시각적 다양성 (Vendi Score 로 측정) 을 열어주며, 추상화가 모델이 창의적 해석의 더 넓은 다양성을 탐색할 수 있게 함을 확인시켜 줍니다.

4. 중요성 및 주장

이 논문은 경직된 기계 실행과 인간이 소통하는 자연스럽고 개방적인 방식 사이의 간극을 메움으로써 원활한 멀티모달 상호작용을 향한 기초적인 단계를 제공한다고 주장합니다.

• 패러다임 전환: 이 작업은 "블랙박스" 전체적 점수화에서 세밀하고 진단적인 검사로 분야를 이동시킵니다. 개체를 원자적 단위로 취급함으로써, 이 프레임워크는 인간 판단과 강력하게 상관관계가 있는 (Spearman's $\rho$ 0.66) 해석 가능한 피드백을 제공합니다.
• 평가 너머: 저자들은 ENTITY-RUBRICS 프레임워크가 단순한 평가자가 아니라 잠재적인 보상 모델이라고 주장합니다. 이 프레임워크의 세밀한 피드백은 생성을 능동적으로 유도하거나, 비판 및 수정 루프를 통한 테스트 시간 확장 (test-time scaling) 을 가능하게 하거나, 모델 행동의 특정 실패를 강조할 수 있습니다.
• 실제 적용 가능성: 추상적 편집을 공식화함으로써, 이 작업은 현재 모델들이 의도와 보존 사이의 균형을 맞추는 데 어려움을 겪고 있음을 강조합니다. 이러한 발견은 향후 진전이 "일대다" 특성을 가진 실제 세계 편집을 처리하기 위해 고급 텍스트 인코더와 반복적 추론을 통합하는 데 달려 있음을 시사합니다.

이 논문은 현재 모델들이 과소 편집과 과다 편집이라는 상이한 행동을 보이지만, 제안된 프레임워크와 데이터셋이 이러한 실패를 체계적으로 진단하고 인간 의도를 유연하게 탐색할 수 있는 모델 개발을 안내하는 데 필요한 도구를 제공한다고 결론지었습니다.