기술 요약: DivRL – 다양한 피사체 주도 생성을 위한 분리된 자기 유사성 보상 (Disentangled Self-Similarity Rewards)

1. 문제 정의: 정체성-다양성 역설 (The Identity-Diversity Paradox)

피사체 주도 이미지 생성은 특정 피사체의 시각적 정체성을 유지하면서도 다양한 맥락, 포즈, 스타일을 가진 새로운 이미지를 합성하는 것을 목표로 합니다. 최근의 확산 기반 모델들이 보여주는 높은 충실도에도 불구하고, **"정체성-다양성 역설"**이라 불리는 근본적인 긴장이 존재합니다.

• 충돌: 정체성 보존을 강력하게 강제하는 모델은 참조 이미지와 거의 동일한 이미지를 생성하며 경직된 포즈, 관점, 표정을 보이는 '이미지 복제' 현상에 빠지기 쉽습니다. 반대로, 구조적 다양성을 장려하는 방법은 생성된 피사체가 고유한 특징을 잃어버리는 "정체성 표류(identity drift)" 문제를 겪습니다.
• 근본 원인: 이 역설은 정체성을 정의하는 시각적 속성이 참조 이미지의 공간적 구조와 얽혀 있기 때문에 발생합니다. 모델이 정체성을 보존하려고 하면 의도치 않게 얽혀 있는 구조적 정보까지 보존하게 되어 다양성이 감소합니다. 반대로 구조를 변경하려고 하면 정체성을 정의하는 속성까지 수정할 위험이 생깁니다.
• 기존 보상의 한계: 기존의 정체성 기반 보상은 모델이 새로운 정체성 일관성을 가진 변형을 탐색하기보다, 참조 이미지의 정확한 공간적 구성을 재현함으로써 정체성 점수를 극대화할 수 있도록 유도하여 구조적 모방을 조장합니다.

2. 방법론: DivRL 프레임워크

저자들은 정체성 일관성과 구조적 다양성을 공동으로 최적화하는 강화 학습(구체적으로 Flow-GRPO) 기반의 사후 학습 프레임워크인 DivRL을 제안합니다. 핵심 혁신은 특정 보상 설계와 "탐색 및 억제(Explore-and-Suppress)" 최적화 전략을 통해 이러한 목적들을 분리(disentangle)하는 데 있습니다.

2.1 보상 설계

이 프레임워크는 분리된 시각적 특징(구체적으로 견고한 유사성 모델의 MTG 시각적 특징 사용)에서 유도된 두 가지 별개의 보상 신호를 활용합니다.

1. 정체성 일관성을 위한 시각적 의미 매칭 (VSM, Visual Semantic Matching):

   • VSM은 참조 이미지와 생성된 이미지 사이의 의미적 및 시각적 유사성 행렬을 계산하여 정체성 보존을 평가합니다.
   • 의미적으로 일관된 영역(의미적 유사성이 임계값 $\tau_s$를 초과하는 영역)을 식별하고, 해당 영역 내에서의 시각적 일관성을 평가합니다.
   • 높은 VSM 점수는 다양한 조건 하에서도 피사체의 정체성이 더 잘 보존되었음을 나타냅니다.

2. 구조적 다양성을 위한 음의 자기 유사성 측정 (nSSM, Negative Self-Similarity Measure):

   • 전역적 특징 차이 메트릭과 달리, nSSM은 시각적 특징의 내부 관계를 분석하여 다양성을 정량화합니다.
   • 참조 이미지와 생성된 이미지의 시각적 특징 그리드에 대한 자기 유사성 행렬(SSM)을 계산합니다. 이 행렬은 객체 부품들의 고유한 공간적 조직을 포착합니다.
   • nSSM은 $1 - \rho$로 정의되며, 여기서 $\rho$는 SSM 간의 피어슨 상관 계수입니다.
   • 논리: 높은 상관관계는 유사한 구조적 레이아웃(낮은 다양성)을 의미하며, 낮은 상관관계는 구조적으로 다양한 맥락(예: 다른 포즈나 관점)을 의미합니다. nSSM을 극대화하는 것은 모델이 구조적으로 다른 구성을 탐색하도록 유도합니다.
   • 안정화: 고주파 텍스처 아티팩트(모델이 전역 구조를 바꾸지 않고 국소적 상관관계만을 모방하는 보상 해킹의 한 형태)를 방기하기 위해, SSM을 계산하기 전 $2\times2$ 평균 풀링을 통해 시각적 특징을 다운샘플링합니다.

2.2 최적화 전략: "탐색 및 억제 (Explore-and-Suppress)"

선형 가중치를 통해 두 목적을 직접 동시에 최적화하는 것은 불안정한 학습과 보상 해킹을 초래합니다. 대신, DivRL은 두 단계의 게이트형 최적화 전략을 채택합니다.

• 1단계 (탐색 - Explore): 모델은 nSSM만을 유일한 보상으로 사용하여 학습됩니다. 이는 모델이 잠재 공간을 자유롭게 탐색하고 구조적으로 다양한 구성을 생성하도록 독려하여, 사전 학습된 모델의 경직성을 깨뜨립니다.
• 2단계 (억제 - Suppress): 모델은 게이트형 보상 공식을 사용하여 학습됩니다.
  • VSM은 제약 조건(Gate) 역할을 합니다.
  • 샘플의 VSM 점수가 임계값 $s$보다 높으면 nSSM 보상을 받습니다.
  • VSM 점수가 $s$보다 낮으면 이차 힌지 손실(quadratic hinge loss) 페널티가 적용됩니다: $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • 효과: 이는 정체성 보존을 경쟁하는 목적이 아닌 **실행 가능성 제약 조건(feasibility constraint)**으로 변환합니다. 모델은 정체성 일관성 영역 내에 머무는 한 구조적으로 다양한 구성을 자유롭게 탐색할 수 있습니다. 이를 통해 최적화를 분리하여, 한 쪽의 그래디언트가 다른 쪽을 파괴하지 않고 nSSM과 VSM이 공동으로 개선될 수 있게 합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. nSSM 메트릭: 전역적 특징 차이가 아닌, 분리된 시각적 특징의 자기 유사성 상관관계를 분석하여 구조적 다양성을 정량화하는 특징 공간 메트릭인 음의 자기 유사성 측정법을 도입했습니다.
2. 탐색 및 억제 전략: 게이트형 보상 공식을 사용하여 다양성 탐색과 정체성 보존을 분리하는 새로운 최적화 접근 방식을 제시하며, 이를 통해 정체성 보존을 경쟁적 목적이 아닌 제약 조건으로 효과적으로 전환했습니다.
3. 경험적 검증: Flux-Konops 백본을 사용하여 DreamBench++ 벤치마크에서 실험을 진행하였으며, 이 방법이 정체성 일관성을 경쟁력 있게 유지하면서도 구조적 다양성을 개선함을 입증했습니다. 저자들은 nSSM 공식과 2단계 최적화가 백본에 무관(backbone-agnostic)하다는 점을 언급했습니다.

4. 실험 결과

이 방법은 Flux-IP-Adapter, OmniGen, OmniGen2, UNO, PaCo-RL을 포함한 강력한 베이스라인들과 함께 DreamBench++ 벤치마크에서 평가되었습니다.

• 정량적 성능:

  • 균형: DivRL은 베이스라인들에 비해 정체성 일관성과 구조적 다양성 사이에서 우수한 균형을 달s성합니다. VSM만을 최적화하면 일관성은 높아지지만 다양성이 저해되고, nSSM만을 최적화하면 다양성은 높아지지만 일관성이 저해되는 반면, 결합된 접근 방식은 높은 일관성(Flux-Kontext와 대등한 수준)을 유지하면서도 다양성 지표(MTG-nSSM, DINO-nSSM)를 크게 높입니다.
  • 프롬프트 준수: 흥미롭게도 이 방법은 프롬프트 정렬(prompt alignment)을 개선합니다. 저자들은 이를 사전 학습에 의해 유도된 "기하학적 경직성"의 완화 덕분이라고 설명합니다. 구조적 다양성을 장려함으로써 모델이 맥락적 프로프트 지시에 피사체를 더 효과적으로 적응시킬 수 있게 됩니다.
  • 일관성 vs 다양성 트레이드오프: 일관성 비율 대 다양성/일관성 비율 그래프를 보면, DivRL은 두 목적이 공존하는 고효용 영역을 점유하며, 두 목적을 동시에 개선하지 못하는 선형 결합 방식들을 능가합니다.

• 정성적 관찰:

  • Flux-Kontext 및 PaCo-RL과 같은 베이스라인은 종종 경직된 출력을 생성하거나 프롬프트 상호작용(예: 특정 장면에 피사체를 배치하는 것)을 수행하지 못합니다.
  • OmniGen과 같은 다른 모델들은 다양한 출력을 생성하지만 정체성 표류 문제를 겪습니다.
  • DivRL은 참조 피사체의 미세한 시각적 세부 사항을 보존하면서도 다양한 포즈, 관점, 표정을 가진 이미지를 성공적으로 생성합니다.

5. 의의 및 한계

의의:
본 논문은 기존의 피사체 주도 생성 방법에서 발생하는 핵심 실패 모드인 **구조적 모방(structural mimicry)**을 식별했습니다. 구조적 다양성과 정체성 보존을 명시적으로 분리함으로써, DivRL은 정체성-다양성 역설을 해결합니다. "탐색 및 억제" 전략은 정체성을 경쟁하는 목적이 아닌 실행 가능성 제약 조건으로 취급하는 것이 모델이 정체성과 참신함이 공존하는 고품질 잠재 공간을 탐색할 수 있게 함을 보여줍니다.

한계:
저자들은 다음과 같은 제약 사항을 솔직하게 인정합니다:

• 메트릭 범위: 다양성 메트릭(nSSM)은 구조적 변이(포즈, 관점)에 집중되어 있으며, 더 높은 수준의 의미적 다양성이나 복잡한 구성 변화를 완전히 포착하지 못할 수 있습니다.
• 계산 비용: 사후 학습을 위한 강화 학습 의존도는 순수 피드포워드 방식에 비해 추가적인 계산 오버헤드를 발생시킵니다.
• 입력 제약: 기본 모델(Flux-Kontext)은 단일 참조 이미지를 수용하므로, 참조 이미지가 모호한 정체성 단서나 복잡한 폐쇄(occlusion)를 포함하는 경우 효과가 제한될 수 있습니다.

결론적으로, 향-후 연구는 더 풍부한 다양성 메트릭, 더 효율적인 최적화 전략, 그리고 다중 참조 컨디셔닝을 통해 이러한 한계점을 해결할 수 있을 것입니다.