1. 문제 정의 (Problem Statement)

• 배경: 개인화 생성 (Personalized Generation) 및 이미지 편집 (Image Editing) 과 같은 작업에서 객체의 '정체성 (Identity)'을 보존하는지 평가하는 것은 매우 중요합니다. 현재는 CLIP, DINOv2, SigLIP2 와 같은 기존 비전 기반 모델 (Foundation Models) 의 임베딩을 사용하여 두 이미지가 동일한 객체를 나타내는지 판단합니다.
• 핵심 문제: 이러한 기존 모델들은 객체 정체성과 배경 문맥 (Context) 을 분리하지 못하고 얽히게 만드는 (Entangle) 경향이 있습니다.
  • 배경 의존성: 객체가 다른 배경에 있을 때는 잘 구분하지만, 배경이 동일하고 객체만 시각적으로 유사한 다른 개체 (Near-identity Distractor) 로 교체된 경우, 모델은 배경의 유사성 때문에 실제 다른 객체를 동일한 객체로 잘못 판단합니다.
  • 평가의 실패: 이로 인해 기존 평가 지표 (CLIP-I, DINO 점수 등) 는 배경이 일치하는 경우 위조된 객체 (Impostor) 에 대해 높은 점수를 부여하여, 실제 정체성 보존 능력을 과대평가하게 됩니다.
  • 현실적 영향: 개인화 생성 모델이 학습되거나 평가될 때, 모델이 객체 자체의 특징이 아닌 배경 패턴을 학습하여 '단순한 배경 복사'를 하는 경우에도 높은 점수를 받아, 신뢰할 수 없는 평가 결과를 초래합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 NearID (Near-identity Distractors) 라는 새로운 프레임워크를 제안합니다. 이는 세 가지 핵심 요소로 구성됩니다.

가. NearID 데이터셋 및 생성 파이프라인

• 데이터 구성: 19,000 개의 고유한 객체 정체성 (Identity) 과 316,000 개 이상의 매칭된 문맥 방해 요소 (Matched-context Distractors) 로 구성된 대규모 데이터셋을 구축했습니다.
• 방해 요소 생성: 각 참조 이미지 (Anchor) 와 정확히 동일한 배경에 유지하면서, 시각적으로 매우 유사하지만 다른 객체를 인페인팅 (Inpainting) 하여 생성합니다.
  • 이를 통해 모델은 배경 단서 (Shortcut) 를 사용할 수 없게 되고, 오직 객체 고유의 정체성 신호 (Intrinsic Identity Signals) 만으로 판단하도록 강제됩니다.
  • SDXL, FLUX.1, Qwen-Image, PowerPaint 등 4 가지 최신 생성 모델을 활용하여 다양한 생성 편향을 포함시켰습니다.
• MTG 데이터 통합: 부분 수준의 편집 (Part-level edits) 을 평가하기 위해 'Mind the Glitch (MTG)' 데이터셋도 함께 활용합니다.

나. 학습 목표: 계층적 대비 학습 (Hierarchical Contrastive Objective)

기존의 이진 대비 학습 (Positive vs Negative) 은 모든 부정적 샘플을 동일하게 취급하여, 시각적으로 유사한 방해 요소 (NearID) 와 무관한 랜덤 샘플을 구별하지 못하게 합니다. NearID 는 3 단계 계층 구조를 명시적으로 강제합니다:

1. Same Identity (참 양극성): 가장 높은 유사도.
2. NearID Distractor (방해 요소): 중간 유사도 (배경은 같지만 객체는 다름).
3. Random Negative (무작위 음극성): 가장 낮은 유사도.

이를 달성하기 위해 두 가지 손실 함수를 결합한 NearID Loss를 사용합니다:

• Discrimination Term ($L_{disc}$): 양극성 (Positive) 을 방해 요소와 무작위 음극성 모두보다 더 가깝게 묶습니다. 여기서 방해 요소는 Softmax 분모에 포함되어 직접적인 경쟁자로 작용합니다.
• Ranking Regularizer ($L_{rank}$): 방해 요소가 무작위 음극성보다 더 높은 유사도를 가져야 한다는 정렬 (Ranking) 제약을 추가합니다. 이는 임베딩 공간의 구조적 계층을 유지하고, '가까우나 다른' 것과 '완전히 다른' 것을 구분하게 합니다.

다. 파라미터 효율적 적응 (Parameter-Efficient Adaptation)

• Frozen Backbone: 대규모 비전 언어 모델 (SigLIP2) 의 백본을 고정 (Freeze) 하여 catastrophic forgetting(기존 지식 상실) 을 방지하고 일반적인 사전 지식을 유지합니다.
• Lightweight Head: 오직 Multi-head Attention Pooling (MAP) 프로젝션 헤드만 학습합니다 (전체 파라미터의 약 3.6% 만 업데이트). 이는 객체 정체성에 중요한 특징을 선택적으로 집계하고 배경 노이즈를 억제하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. NearID 벤치마크 및 데이터셋: 객체 정체성과 배경 문맥이 분리된 엄격한 평가 프로토콜 (SSR, PA 지표) 과 19k 개 정체성, 316k+ 방해 요소로 구성된 대규모 데이터셋을 공개했습니다.
2. 계층적 대비 학습 목표: "동일한 객체 > NearID 방해 요소 > 무작위 음극성"이라는 엄격한 유사도 순서를 강제하는 새로운 손실 함수를 제안했습니다.
3. 성능 향상 및 일반화: 기존 모델들의 실패를 해결하고, 객체 수준뿐만 아니라 부분 편집 (Part-level) 평가에서도 인간 판단 및 오라클 (Oracle) 점수와 높은 상관관계를 보이는 임베딩을 학습했습니다.

4. 실험 결과 (Results)

• NearID 벤치마크 (객체 수준):
  • 기존 고정된 SigLIP2 모델의 **Sample Success Rate (SSR)**는 **30.74%**에 불과했습니다 (방해 요소가 정답보다 높은 점수를 받는 경우가 많음).
  • NearID 를 적용한 모델은 SSR 을 **99.17%**까지 극적으로 향상시켰습니다.
• MTG 벤치마크 (부분 편집 수준):
  • 기존 모델들은 부분 편집을 전혀 감지하지 못해 SSR 0.0% 를 기록했습니다.
  • NearID 는 **35.0%**의 SSR 을 달성했으며, 오라클 점수와의 상관관계 (M-O) 가 0.180 에서 0.465로 크게 개선되었습니다.
• 인간 평가 정렬 (DreamBench++):
  • 훈련 데이터에 동물이나 인간이 포함되지 않았음에도 불구하고, NearID 는 동물 (+0.105) 과 인간 (+0.065) 카테고리에서 인간 판단과의 상관관계를 향상시켰습니다. 이는 모델이 단순한 합성 아티팩트를 암기하는 것이 아니라, 진정한 정체성 특징을 학습했음을 의미합니다.
• 비교 분석:
  • VLM(Qwen3-VL) 을 사용한 평가도 배경 의존성으로 인해 NearID 에 비해 성능이 낮았습니다 (SSR 49.7% vs 99.2%).
  • 추론 비용 면에서도 NearID 는 VLM 기반 평가보다 약 324 배 저렴합니다.

5. 의의 및 결론 (Significance)

• 평가 기준의 재정의: 개인화 생성 및 이미지 편집 분야에서 널리 사용되던 CLIP-I/DINO 점수의 한계를 지적하고, 배경 문맥이 제거된 엄격한 평가 프로토콜을 제시했습니다.
• 신뢰할 수 있는 정체성 표현: 배경에 의존하지 않고 객체 고유의 정체성만 포착하는 임베딩을 학습하는 방법을 제시하여, 더 정확한 개인화 모델 평가 및 학습을 가능하게 합니다.
• 실용성: 경량화된 학습 방식 (MAP 헤드만 학습) 으로 인해 계산 비용이 적으면서도, 기존 대규모 모델의 강점을 유지하면서 정체성 인식 능력을 획기적으로 개선합니다.

결론적으로, NearID 는 생성형 AI 의 정체성 보존 능력을 평가하고 개선하기 위한 **새로운 표준 (Standard)**을 제시하며, 배경 문맥의 함정 (Shortcut) 에서 벗어나 진정한 객체 이해를 가능하게 하는 중요한 기술적 진보입니다.