💻 computer science

TECCI: Tricky Edits of Collected and Curated Images

이 논문은 현재의 텍스트 기반 이미지 편집 모델들이 지시 이행, 편집 최소성, 그리고 특히 복잡한 공간 및 창의적 작업에서의 시각적 품질 측면에서 가진 한계를 체계적으로 평가하고 드러내기 위해 설계된, 정교하게 선별된 7,550개의 이미지 편집 쌍으로 구성된 도전적인 새로운 벤치마크인 TECCI를 소개한다.

원저자: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 재능 있는 디지털 화가들(AI 모델)이 있다고 상상해 보세요. 이들은 당신의 설명을 바탕으로 그림을 그리는 것으로 유명합니다. 당신이 "고양이를 그려줘"라고 말하면 그들은 아주 훌륭하게 해냅니다. 하지만 "고양이의 모자를 작은 우산으로 바꿔줘, 하지만 나머지 고양이는 똑같이 유지하고, 우산이 그 자리에 자연스럽게 어울리도록 해줘"와 같이 까다로운 요청을 하면 어떻게 될까요?

이것이 바로 이 논문, TECCI가 다루고 있는 내용입니다. 이것은 이 디지털 화가들이 얼마나 뛰어난지를 확인하기 위해 설계된 거대하고 까다로운 테스트입니다.

다음은 비유를 사용하여 이 논문을 쉽게 풀어서 설명한 내용입니다.

1. 문제점: "너무 쉬운" 테스트들

저자들은 기존의 AI 화가들을 위한 테스트들이 마치 학생에게 쉬운 덧셈 문제만 있는 수학 시험을 치르게 하는 것과 같다는 점을 발견했습니다. AI 모델들은 만점을 받았지만, 시계의 시간을 바꾸거나, 자동차를 다른 위치로 옮기거나, 표지판의 글자를 다시 쓰는 것과 같은 더 어려운 과제를 주면 여전히 실패했습니다.

저자들은 깨달았습니다. "우리는 이 모델들이 실제로 어디에서 무너지는지 확인하기 위해 더 어려운 테스트가 필요하다."

2. 해결책: 새로운, 비밀스러운 놀이터 (데이터셋)

공정한 테스트를 만들기 위해 저자들은 TECCI(Tricky Edits of Collected and Curated Images)라는 새로운 놀이터를 구축했습니다.

신선한 재료: 인터넷에 떠도는 사진들(AI가 학습 중에 이미 보았을 가능성이 있는 사진들)을 사용하는 다른 테스트들과 달리, 저자들은 지난 몇 년 동안 직접 1,934장의 사진을 촬영했습니다. 이는 마치 학생들에게 한 번도 본 적 없는 새로운 비밀 레시피 북을 주는 것과 같습니다.
메뉴: 사진들은 텍스트, 시계, 탈것, 건물, 예술, 동물, 자연이라는 7가지의 서로 다른 "맛"을 담고 있습니다.
지시 사항: 그들은 7,550개의 구체적인 도전 과제를 만들었습니다. 어떤 것들은 인간이 매우 어렵게 작성한 것이고(예: "이 고양이를 흑백 로고로 바꿔줘"), 많은 것들은 다양한 종류의 속임수를 다루기 위해 다른 AI에 의해 자동으로 생성되었습니다.

3. 도전 과제: 게임의 세 가지 규칙

AI 화가들이 이 사진들을 편집할 때, 심사위원(인간)들은 엄격한 미술 비평가처럼 세 가지 특정 규칙에 따라 점수를 매겼습니다.

말을 잘 들었는가? (지시 이행): AI가 실제로 당신이 요청한 대로 했나요? 만약 금색 자동차를 요청했다면, 금색 자동차를 주었나요?
나머지를 망치지 않았는가? (최소한의 변경): 이것은 "다른 것에는 손대지 마라"는 규칙입니다. 만약 자동차의 색상을 바꾸라고 요청했다면, AI가 실수로 하늘이나 도로까지 바꿔버리지는 않았나요? 훌륭한 편집은 외과의사처럼 정밀한 절개를 하고 건강한 조직에는 손상을 입히지 않아야 합니다.
보기 좋은가? (시각적 품질): 결과물이 흐릿하거나, 이상하거나, 픽셀이 깨져 있지는 않나요? 아니면 실제 고품질 사진처럼 보이나요?

4. 결과: AI 화가들의 고전

저자들은 세계 최고의 AI 모델 5개를 이 새로운 테스트로 시험했습니다. 그 결과는 현실을 직시하게 해주었습니다.

점수판: 가장 뛰어난 AI 모델조차 이 과제들의 약 **22%**에 대해서만 "합격 점수"를 받았습니다. 이는 10번 중 거의 8번의 까다로운 요청에서 AI가 세 가지 규칙 중 하나라도 실패했음을 의미합니다.
승자: Nano Banana Pro라고 불리는 모델이 1위를 차지했지만, 여률 성공보다 실패하는 경우가 더 많았습니다.
약점:
- 쉬운 작업: 색상을 바꾸거나 단순한 외형을 바꾸는 것은 AI에게 가장 쉬운 일이었습니다.
- 어려운 작업: 시계의 시간을 바꾸거나, 물체를 논리적인 방식으로 이동시키거나, 복잡한 건물 및 자연 경관을 편집하는 것과 같이 "생각"이 필요한 작업은 매우 어려웠습니다. AI는 종종 공간적 배치(3D 공간에서의 위치)에 대해 혼란을 겪었습니다.
- "과잉 편집자": 어떤 모델들은 지시를 잘 따랐지만, 나머지 부분을 그대로 유지하는 데는 서툴렀습니다. 예를 들어 자동차를 금색으로 바꾸면서 동시에 하늘을 보라색으로 바꿔버리는 식입니다.

5. "로봇 심사위원" (자동 평가 도구)

수천 장의 사진을 채점하기 위해 사람을 고용하는 것은 느리고 비용이 많이 들기 때문에, 저자들은 "로봇 심사위원"(다른 AI를 채점하는 AI)을 만들었습니다.

이 로봇 심사위원은 인간처럼 생각하도록 훈련되었습니다.
이 로봇은 놀라울 정도로 정확하여, 인간의 의견과 약 75% 일치했습니다. 이는 우리가 대규모의 인력 없이도 이 로봇 심사위를 통해 미래의 AI 모델을 빠르게 테스트할 수 있음을 의미합니다.

핵심 요약

이 논문은 AI 이미지 편집기가 점점 좋아지고 있지만, 여전히 완벽과는 거리가 멀다고 결론짓습니다. 이들은 그림을 똑같이 베끼는 데는 뛰어나지만, 전체 이미지를 망가뜨리지 않고 작고 정밀한 변화를 주는 데는 어려움을 겪는 학생들과 같습니다. TECCI 데이터셋은 연구자들이 이러한 구체적인 약점을 고칠 수 있도록 공개된 도구이며, 이를 통해 다음 세대의 AI 화가들이 이미지를 망가뜨리지 않고도 "까다로운 편집"을 처리할 수 있게 할 것입니다.

기술 요약: TECCI - 수집 및 큐레이션된 이미지의 까다로운 편집 (Tricky Edits of Collected and Curated Images)

문제 정의

생성 모델의 상당한 발전에도 불구하고, 현재의 텍스트 가이드 이미지 편집 방식은 세 가지 핵심 영역에서 지속적인 과제에 직면해 있다: 충실한 지시어 이행(instruction following), 소스 이미지의 최소한의 편집(비대상 영역의 보존), 그리고 높은 시각적 품질 유지이다. 이러한 한계는 복잡한 공간 추론, 움직임, 관점 변화, 규모 조정, 그리고 창의적인 수정이 포함된 "까다로운(tricky)" 편집을 다룰 때 특히 두드러진다. 기존의 벤치마크들은 합성 데이터나 모델 학습 세트에 이미 존재하는 이미지에 의존하는 경우가 많아, 미묘하고 도전적인 지시어가 포함된 미학습(unseen) 자연 이미지에 대한 일반화 능력을 충분히 테스트하지 못한다.

방법론

데이터셋 구축 (TECCI)

저자들은 1,934개의 고유 이미지로부터 파생된 7,550쌍의 이미지와 편집 지시어로 구성된 새로운 벤치마크인 TECCI(Tricky Edits of Collected and Curated Images)를 소개한다.

이미지 큐레이션: 기존 데이터셋(예: COCO, OpenImages)을 사용하거나 합성 데이터를 생성하는 이전 연구들과 달리, TECCI의 이미지는 저자들이 수년에 걸쳐 직접 촬영한 완전히 새로운 이미지들이다. 이는 해당 이미지들이 현재의 최첨단(SOTA) 모델들의 학습 과정에서 목격되지 않았음을 보장한다.
카테고리: 데이터셋은 텍스트(Text), 시계(Clock), 차량(Vehicle), 건축(Architecture), 예술(Art), 동물(Animal), 자연(Nature)의 7가지 이미지 카테고리를 포괄한다. 이들은 기존 모델의 특정 실패 모드(예: 곡면에 텍스트 렌더링, 논리적인 시계 바늘 위치 설정, 구조적 건물 변경)를 겨냥하여 선택되었다.
지시어 세트:
- TECCI-IRCS (지시어 풍부 도전 세트): 수동으로 작성된 도전적인 지시어가 포함된 530개의 이미지로 구성된다. 이는 텍스트 수정, 스타일 전이, 객체 추가/제거, 피사체 재맥락화와 같은 고정밀 작업을 다룬다.
- TECCI-GGIS (Gemini 생성 지시어 세트): Gemini 3 Pro를 사용하여 자동 생성된 지시어가 포함된 1,404개의 이미지이다. 각 이미지는 특정 이미지 카테고리에 맞춰 설계된 다섯 가지의 뚜렷한 편집 유형(추론, 전경 외형, 전경 의미론, 이미지 스타일, 배경, 창의적 편집)과 쌍을 이룬다.

평가 프레임워크

본 논문은 다차원적 평가 전략을 채택한다:

인간 평가: 1,315개의 샘 샘플(IRCS 및 GGIS 모두 포함)을 5명의 독립적인 평가자가 평가하였다.
- 지표: 평가자들은 세 가지 차원에 대해 5점 리커트 척도(Likert scale)로 출력을 점수화했다:
  1. 지시어 이행 (Instruction Following, IF): 텍스트 프롬프트에 대한 충실도.
  2. 이미지 일관성 (Image Consistency, IC): 편집의 최소성 (원래의 정체성 및 비대상 영역의 보존).
  3. 시각적 품질 (Visual Quality, VQ): 미적 및 기술적 탁월함 (아티팩트의 부재).
- 성공률: 편집은 세 가지 기준 모두에서 임계값( $\tau=4.5$ )을 동시에 충족해야만 "성공적"인 것으로 간주된다.
- 규모: 이 연구는 5개 모델에 대해 32,875건의 인간 판단을 수집하였다.
자동 평가 (Auto-rater): 전체 데이터셋으로 평가를 확장하기 위해, 저자들은 Gemini 3 Flash를 사용하는 자동 평가기를 구축하였다.
- 이 모델은 소스 이미지, 지시어, 그리고 편집된 이미지를 분석하여 동일한 세 가지 기준을 점수화한다.
- 자동 평가기는 Z-점수 정규화를 사용하여 인간의 판단과 보정되었으며, 인간 유래의 전체 성공률과 74.7%의 일치 정확도를 달성하였다.

평가 대상 모델

공식 API를 통해 다섯 가지 독점 SOTA 모델이 테스트되었다:

Nano Banana Pro (Gemini 3 Pro Image Preview)
Nano Banana 2 (Gemini 3.1 Flash Image Preview)
Grok Imagine Pro
Seedream 5.0 Lite
GPT Image 1.5

주요 결과

종합 성능

이 벤치마크는 현재의 역량 격차를 극명하게 보여준다. 어떤 모델도 결합된 데이터셋에서 22.3%의 전체 성공률을 초과하지 못했다.

최고 성능 모델: Nano Banana Pro가 가장 높은 전체 성공률(22.3%)을 기록했으며, Grok Imagine Pro(20.0%)와 Nano Banana 2(19.7%)가 그 뒤를 이었다.
IRCS의 난이도: 수동으로 큐레이션된 IRCS 서브셋은 GGIS 서브셋보다 훨씬 더 어려운 것으로 나타났으며, 최고 성능 모델조차 GGIS의 23.0% 성공률에 비해 IRCS에서는 19.7%의 성공률만을 달성했다.

차원별 분석

지시어 이행 vs 품질: 모델들은 일반적으로 이미지 일관성(IC)이나 시각적 품질(VQ)보다 지시어 이행(IF)에서 더 나은 성능을 보였다. 예를 들어, GPT Image 1.5는 경쟁력 있는 IF 점수(~42%)를 기록했으나 IC(9.6%)에서는 매우 고전했는데, 이는 과도한 편집 경향을 나타낸다.
카테고리별 난이도:
- 가장 쉬운 카테고리: 텍스트와 동물 카테고리는 피사체가 고립되어 있어 더 높은 점수를 기록했다.
가장 어려운 카테고리: 건축과 자연 카테고리는 가장 큰 도전 과제를 제시하였으며, 최고 수준의 모델들도 20% 성공률을 넘기는 경우가 드물었다. 이들은 강력한 공간 레이아웃 이해와 복잡한 세부 사항 보존을 요구한다.
편집 유형별 난이도:
- 가장 쉬운 편집: 색상 및 외형 변경.
- 가장 어려운 편집: 추론 및 창의적 편집(예: 논리적 텍스트 번역, 유머러스한 창의적 추가)이 가장 어려웠으며, 종종 20% 성공률 근처에서 정체되었다.

자동 평가기 검증

자동 평가기는 전체 7,550쌍의 데이터로 평가를 성공적으로 확장하였다. 인간에 비해 IF와 VQ 점수가 약간 높게 나타나는 편향을 보였으나, 전체 성공률 추세는 인간 평가와 밀접하게 일치하였으며, 이를 통해 인간의 판단을 대체할 수 있는 확장 가능한 대리 도구로서의 효용성을 확인하였다.

의의 및 주장

본 논문은 다음과 같은 기여를 바탕으로 TECCI를 커뮤니티를 위한 중요한 자원으로 자리매김한다:

새로운 벤치마크: TECCI는 완전히 새로운 자연 이미지를 사용하는 최초의 대규모 도전적 이미지 편집 벤치마크를 제공하여, 기존 연구들의 데이터 오염 문제를 해결한다.
체계적인 격차 분석: 다양한 카테고리와 편집 유형에 걸친 모델 평가를 통해, 저자들은 특히 공간 추론, 건축적 이해, 그리고 창의적 상상력 측면에서 SOTA 모델들이 가진 구체적인 약점을 밝혀낸다.
확장 가능한 평가: 인간의 주석 작업에 따르는 막대한 비용 없이도 향에 대한 대규모 벤치마킹을 가능하게 하는 고정밀 자동 평가기의 개발은 실용적인 방법을 제시한다.
미래 연구를 위한 자원: 1,934개의 고유 이미지, 7,550개의 지시어, 그리고 자동으로 생성된 캡션을 공개함으로써 텍스트-이미지 생성, 이미지 캡셔닝, 그리고 이미지-텍스트 정렬 연구를 진전시키기 위한 기초 데이터셋 역할을 한다.

저자들은 현재의 모델들이 견고한 지시어 이행 능력을 보여줌에도 불구하고, 최소한의 편집을 수행하면서도 고품질의 복잡한 편집을 실행하는 데에는 근본적인 한계가 있음을 결론지으며, 이는 제어된 생성(controlled generation) 연구를 위한 명확한 방향성을 제시한다.