기술 요약: PAINTBENCH

문제 정의

현재의 멀티모달 모델들은 개방형의 주관적인 시각적 편집(예: "하늘을 더 푸르게 만들어줘")에는 능숙함을 보여주지만, 정밀하고 단일 정답이 존재하는 시각적 편집 작업에는 어려움을 겪고 있습니다. 기존의 이미지 편집 벤치마크는 주로 인간의 판단, 시각-언어 모델(VLM) 점수 산정, 또는 지각적 지표(예: SSIM, LPIPS, FID)에 의존합니다. 이러한 방식은 결정론적인 정답(ground truth)이 존재하는 작업에는 부적합하며, 편향을 유발하고 정확한 정답 여부를 검증하지 못합니다. 본 논문은 모델이 특정 도형을 50픽셀 이동시키거나, 특정 영역을 채우거나(flood-fill), 특정 인스턴스를 제거하는 것과 같이 고유한 정답 이미지가 존재하는 정밀한 래스터 연산을 실행할 수 있는지 평가하는 데 있어 공백이 있음을 지적합니다.

방법론

PAINTBENCH: 결정론적 벤치마크

저자들은 네 가지 카테고리에 걸친 20가지의 근본적인 정밀 시각 편집 작업을 평가하기 위해 설계된 프로시저럴 생성(procedurally generated) 벤치마크인 PAINTBENCH를 소개합니다.

1. 기하학적 변환 (Geometric Transformation): 평행 이동, 회전, 반사, 스케일링(크기 조절), 전단(shearing).
2. 구조적 조작 (Structural Manipulation): 생성, 제거, 복사, 테두리, 크롭(자르기).
3. 줄 색상 변경 (Color Change): 재색상화, 플러드 필(flood fill), 블렌딩, 그라데이션, 포인트 연산.
4. 기호적 추론 (Symbolic Reasoning): 비교, 순서, 패턴, 개수 세기, 범례(legend).

생성 및 설계:

• 프로시저럴 생성 (Procedural Generation): 문제는 무작위 시드(seed)로부터 설정 가능한 파라미터(캔버스 크기, 객체 수, 배경 질감, 색상 팔레트)를 통해 생성됩니다. 이는 오염(contamination) 저항성이 있는 효과적으로 무한한 평가 세트를 구축합니다.
• 결정론적 정답 (Deterministic Ground Truth): 각 문제는 입력 이미지, 자연어 지시문, 그리고 결정론적 변환 $A = f(I, t)$에 의해 생성된 고유한 정답 이미지로 구성됩니다.
• 시각적 조건: 강건성(robustness)을 테스트하기 위해, 모든 작업은 한 번에 하나의 파라미터를 변경하는 8가지 시각적 조건(예: 줄무늬 vs 단색 배경, 3개에서 60개 사이의 객체 수, 비표준 색상 팔레트) 하에서 평가됩니다.

평가 프로토콜:

• 픽셀 수준 비교: 이 평가는 "판단 모델(judge models)"을 전혀 사용하지 않습니다. 대신, 모델의 출력물 $\hat{A}$를 정답 $A$ 및 입력 $I$와 픽셀 수준에서 직접 비교합니다.
• 색상 거리: 픽셀 단위의 정확도는 CIE Lab* 색 공간에서의 유클리드 거리인 $\Delta E^*_{76}$를 사용하여 측정됩니다. 거리가 허용 오차 $t \in \{0, \dots, 10\}$ 이내인 경우 해당 픽셀은 정확한 것으로 간주됩니다.
• 지표:
  • IoU@t: 픽셀 정확도에 적용된 자카드 지수(Jaccard index)로, 편집 실패(잘못 편집된 픽셀)와 보존 영역의 손상(잘못 보존된 픽셀)을 동시에 처벌합니다.
  • mIoU (Mean IoU): 주요 요약 지표로서, 11개의 색상 허용 오차($t=0$부터 $10$까지)와 모든 문제에 대해 IoU@t의 평균을 구합니다. 이는 전체 색상 정밀도 스펙트럼에 걸친 성능을 포착합니다.

TINYGRAFIXBENCH

합성 도형을 넘어 일반화 능력을 테스트하기 위해, 저자들은 데이터 시각화 편집을 위한 동반 벤치마크인 TINYGRAFIXBENCH를 도입합니다. 이는 다섯 가지 차트 유형(막대, 산점도, 선, 히트맵, 네트워크)에 대해 동일한 프로시저럴 결정론적 프레임워크를 적용하며 총 600개의 문제를 포함합니다.

주요 결과

전반적인 성능

11개의 모델(네이티브 멀티모달 생성 모델, 확산 편집 모델, 플로우 매칭 편집 모델 포함)을 평가한 결과, 성능은 매우 낮았습니다:

• 가장 우수한 성능을 보인 모델(NANO-BANANA-2)은 단 17.1% mIoU를 달성했습니다.
• 두 번째로 높은 모델(GPT-IMAGE-2)은 **16.3%**를 기록했습니다.
• 오픈 웨이트 모델들은 일반적으로 더 낮은 점수를 기록했으며, 일부 모델(예: HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX)은 많은 작업에서 0%에 가까운 점수를 보였습니다.

작업 난이도 및 특화 영역

• 가장 어려운 작업: 기하학적 변환(특히 전단 및 스케일링), 공식 기반의 색상 변경(그라데이션, 블렌딩), 그리고 대부분의 구조적 조작은 모든 모델에게 일관되게 어려운 과제였습니다.
• 더 쉬운 작업: 제거(Removal) 및 단색 작업(재색상화, 플러드 필)은 상대적으로 다루기 쉬웠으나 여전히 완전히 해결된 상태는 아닙니다(예: 최상위 모델의 경우 Removal 작업에서 약 50% 도달).
• 모델별 특화: 모델들은 뚜렷한 강점을 보입니다. 예를 들어, GPT-IMAGE-2는 기하학 및 구조적 작업에 뛰어나며, NANO-BANANA-2는 색상 변경 및 기호적 추론에서 앞섭니다. 특히, NANO-BANANA-2는 "범례(Legend)" 작업에서 GPT-IMAGE-2(19.4%)보다 높은 47.1%의 점수를 기록했습니다.

장면 변화에 대한 민감도

모델들은 장면 변화에 매우 취약합니다:

• 줄무늬 배경: mIoU의 상당한 하락을 유발합니다 (예: NANO-BANANA-2의 경우 -11.1%).
• 높은 객체 수: 객체 수가 증가함에 따라 성능이 선형적으로 저하됩니다 (예: NANO-BANANA-2가 3개에서 60개로 이동할 때 -11.9% 하락).
• 비표준 색상: 헤드라인 mIoU 점수는 안정적으로 보이지만, 정확한 픽셀 일치 정확도($\Delta E^*_{76} = 0$)는 비표준 팔레트에서 급격히 무너집니다. 이는 모델이 특정 비표준 색상을 정밀하게 재현하는 데 어려움을 겪고 있음을 나타냅니다.
• 편집 영역 크기: 모델들은 대상 영역에 비해 **과도하게 편집(over-edit)**하는 경 경향이 있습니다. 작은 편집 영역(< 32² 픽셀)의 경우, 모델은 요구되는 것보다 50~1,400배 더 많은 픽셀을 변경하여 급격한 성능 저하를 일으킵니다.

일반화

PAINTBENCH와 TINYGRAFIXBENCH 점수 사이에는 강한 선형 상관관계($R^2 = 0.91, p < 0.001$)가 존재합니다. 이는 PAINTBENCH의 합성 벤치마크가 적용 데이터 시각화 편집 작업으로 일반화될 수 있는 근본적인 능력을 포착하고 있음을 시사합니다.

의의 및 주장

본 논문은 PAINTBENCH가 정밀한 멀티모달 시각 편집의 발전을 측정하기 위한 엄격하고 편향 없는 기초를 제공한다고 주장합니다. 주관적이고 개방적인 평가에서 결정론적이고 픽셀 수준의 검증으로 전환함으로써, 이 벤치마크는 현재의 최첨단 모델들이 기본적인 래스터 연산을 높은 정밀도로 수행하는 데 근본적으로 능력이 부족함을 드러냅니다.

저자들은 다음을 강조합니다:

1. 현재 모델들은 정밀한 편집에 대해 "해결된" 상태가 아니다: 최상위 모델들조차 기하학적 정밀도나 복잡한 색상 로직을 요구하는 대부분의 작업에서 실패합니다.
2. 평가는 작업별로 이루어져야 한다: 종합적인 순위는 상당한 모델별 특화 능력과 실패 모드(예: 색상 부정확성 vs 구조적 누락)를 가릴 수 있습니다.
3. 프로시저럴 생성은 필수적이다: 정적인 벤치마크는 오염되기 쉽습니다. 동적 생성은 장면 변화(배경, 객체 수, 색상)에 대한 통제된 절제 연구(ablation studies)를 가능하게 합니다.
4. 프레임워크는 확장 가능하다: PAINTBENCH와 TINYGRAFIXBENCH에 사용된 접근 방식은 고유한 정답 출력이 존재하는 과학적 시각화, 공학 도면, 3D 장면 조작 등 다른 도메인에도 적용될 수 있습니다.

결론적으로, 본 논문은 개방형 생성 기술은 발전했을지라도, 정확하고 결정론적인 시각적 편집을 수행하는 능력은 여전히 중대한 미해결 과제로 남아 있다고 밝히고 있습니다.