기술 요약: 상상적 생성형 AI (Imaginative Generative AI, IGA)

1. 문제 정의

현재의 생성형 AI 모델은 주로 **분포적 모방(distributional imitation)**을 목적으로 설계되었으며, 이는 생성된 분포 $Q$와 학습 데이터 분포 $P_{data}$ 사이의 불일치를 최소화하는 것을 목표로 합니다. 이러한 방식은 충실도(fidelity) 측면에서는 효과적이지만, 다양성에는 한계를 부여합니다. 실증적 증거에 따르면 성공적인 생성기조차도 **스펙트럼 다양성 결핍(spectral diversity deficit)**을 보이며, 실제 데이터보다 낮은 다양성(커널 기반 엔트로피로 측정됨)을 가진 샘플을 생성합니다. 또한, 표준 프레ب워크는 데이터의 다양성을 의도적으로 초과하는 콘텐츠("상상")를 생성하면서도 참조 분포와의 통제된 관계를 유지할 수 있는 메커니즘이 부족합니다.

본 논문이 다루는 핵심 문제는 생성 모델의 타겟 분포를 정규화하여 **스펙트럼 다양성(spectral diversity)**을 명시적으로 제어함으로써, 손실된 다양성을 복구하는 단계에서부터 데이터의 다양성 한계를 의도적으로 넘어서는 단계(상상)로의 연속적인 전이를 가능하게 하는 방법입니다.

2. 방법론: IGA 프레임워크

본 논문은 다양성을 타겟 분포 설계 문제에서의 제약 조건으로 공식화한 상상적 생성형 AI (IGA) 프레임워크를 소개합니다.

2.1 스펙트럼 다양성과 엔트로피 벽 (The Entropy Wall)

다양성은 고정된 표현 공간(예: CLIP 또는 DINO 임베딩) 내의 분포에 의해 유도된 정규화된 커널 공분산 연산자의 **폰 노이만 엔트로피(von Neumann entropy, VNE)**를 사용하여 측정됩니다.

• 지표: $H(Q) = -\text{Tr}(\Sigma_Q \log \Sigma_Q)$, 여기서 $\Sigma_Q$는 커널 공분산 행렬입니다. 이 엔트로피의 지수는 **벤디 점수(Vendi score)**에 해당합니다.
• 엔트로피 벽 ($\rho^*$): 실제 데이터 분포의 스펙트럼 엔트로피인 $\rho^* = H(P_{data})$로 정의됩니다. 이 벽은 두 가지 운영 체제를 구분하는 이론적 경계 역할을 합니다:
  1. 벽 아래 ($\rho \le \rho^*$): 다양성 복구(Diversity Repair). 목표는 학습 과정에서 손실된 변동성을 회복하여 생성기의 다양성을 데이터 수준까지 끌어올리되, 이를 초과하지 않도록 하는 것입니다.
  2. 벽 너머 ($\rho > \rho^*$): 상상적 생성(Imaginative Generation). 데이터 분포 자체가 더 이상 유효하지 않은 상태입니다. 모델은 표현력 대비 더 높은 스펙트럼 다양성을 달로 달성하기 위해 $P_{data}$로부터 의도적으로 벗어나도록 강제됩니다(즉, "통제된 외삽").

2.2 최적화 공식

IGA는 다음과 같은 제약된 불일치 최소화 문제를 해결합니다:
$$\min_{Q} D(Q; P_{ref}) \quad \text{subject to} \quad H(Q) \ge \rho$$
여기서 $P_{ref}$는 참조 분포(실제 데이터 또는 사전 학습된 모델)이며, $D$는 발산(divergence) 척도(예: KL-diverway)입니다.

볼록 쌍대성(convex duality)을 사용하면, 이는 다음과 같은 페널티가 부여된 목적 함수와 동일합니다:
$$\min_{Q} \left( D(Q; P_{ref}) - \lambda H(Q) \right)$$
여기서 $\lambda \ge 0$은 충실도와 다양성 사이의 트레이드오프를 조절합니다.

2.3 이론적 특성

$D$가 KL-발산($KL(Q \| P_\theta)$)이고 $P_\theta$가 사전 학습된 모델인 특정 경우, 최적의 타겟 분포 $Q^*$는 **자기 일관적 지수 기울기(self-consistent exponential tilt)**를 만족합니다:
$$\frac{dQ^*}{dP_\theta}(x) \propto \exp\left( \lambda G_{Q^*}(x) \right)$$
여기에서 $G_{Q^*}(x)$는 **엔트로피 에너지(entropy energy)**로, 표현 공간 내의 $x$ 근처에 확률 질량을 배치하는 것이 스펙트럼 다양성에 미치는 영향을 나타내는 엔트로피 범함수의 1차 변분입니다. 보상이 타겟 분포 $Q^*$ 자체에 의존하기 때문에, 이 관계는 자기 일관적(self-consistent)입니다.

2.4 IGA 가이던스 (추론 시 방법론)

본 논문은 사전 학습된 스코어 기반 및 확산 모델(DDPM 및 DDIM 포함)을 IGA 타겟으로 유도하는 재학습이 필요 없는 방법인 IGA 가이던스를 제안합니다.

• 메커니즘: 이론적 기울기는 포워드 노이징(forward noising) 과정을 통해 시간 의존적 가이던스 필드 $u_t(x_t) = \nabla \log h_t(x_t)$로 전파됩니다. 여기서 $h_t$는 베이스 모델 하에서의 보상의 조건부 기대값입니다.
• 구현: 실용적인 근사치(plug-in guidance)는 디노이저(denoiser)의 출력을 사용하여 보상 그래디언트를 추정합니다. 보상에 필요한 공분산 행렬은 파일럿 배치(pilot batch)로부터 추정되어 고정되며, 이를 통해 생성된 샘플들이 i.i.d.(독립 동일 분포)임을 보장합니다(샘플 간 상호작용을 유발하는 다양성 증진 방법들과 대조적임).

2.5 학습 시 적용

이 프레임워크는 엔트로피 페널티를 적대적 목적 함수에 추가함으로써 GAN과 같은 생성 모델의 학습으로도 확장됩니다. 이는 표준 판별기(discriminator)와 함께 "스펙트럼 적대자(spectral adversary)"(행렬 $\Theta$)가 도입되는 min-max 게임으로 공식화됩니다. 스펙트럼 적대자는 폐쇄형 최적 대응(closed-form best response)을 가지므로 학습이 계산적으로 효율적입니다.

3. 주요 기여

1. IGA 프레임워크: 스펙트럼 엔트로피를 명시적이고 제어 가능한 다양성 구성 요소로 포함하는 분포 수준의 공식화를 제공하며, 모방에서 상상으로 이어지는 단일한 정규화 경로를 정의합니다.
2. 엔트로피 벽: 데이터 분포의 스펙트럼 엔트로피를 경계로 하는 공식적인 정의를 제시합니다. 이 벽을 넘는 것은 모델을 다양성 복구에서 의도적인 스펙트럼 외삽으로 전환시킵니다.
3. 자기 일관적 지수 기울기: KL-앵커링(KL-anchoring) 하에서의 최적 타겟 분포에 대한 이론적 특성을 규명하며, 이것이 엔트로피 에너지 항에 기반하여 베이스 모델을 재가중하는 것임을 보여줍니다.
4. IGA 가이던스: 재학습 없이 스코어 기반 및 확산 모델을 지정된 다양성 수준으로 유도할 수 있는 실용적인 추론 시 알고리즘을 제공하며, i.i.d. 샘플 생성이 가능합니다.
5. Min-Max 재정식화: 엔트로피 보상을 스펙트럼 적대자를 통해 적대적 학습에 통합할 수 있는 스펙트럼 min-max 정식화를 제공합니다.

4. 실험 결과

저자들은 합성 데이터, 실제 세계 이미지 벤치마크(CelebA-HQ, ImageNet), 그리고 대규모 텍스트-이미지 모델(Stable Diffusion XL, PixArt-$\Sigma$)에 대해 IGA를 평가했습니다.

• 다양성 결핍 확인: 실험을 통해 사전 학습된 모델(예: DDPM, SDXL)이 종종 실제 데이터보다 낮은 스펙트럼 다양성을 보이며, 경험적 엔트로피 벽 아래에서 작동함을 확인했습니다.
• 벽 아래에서의 복구: $\lambda$를 증가시키면 초기에는 다양성 결핍이 감소합니다. 이 단계에서 가이드된 모델은 데이터와의 분포적 일치도(낮은 FID/KD)와 높은 재현율(recall)을 보이며 생성기를 효과적으로 "복구"합니다.
• 벽 너 이상의 외삽: $\lambda$가 더욱 증가하여 엔트로피 벽을 넘어서면 다음과 같은 현상이 나타납니다:
  • 질적 측면: 생성된 이미지는 핵심 프롬프트 의미를 유지하면서도 새로운 구조적, 구성적 변이(예: 더 다양한 건축 양식, 독특한 패션 디자인, 확장된 수중 장면 등)를 보여줍니다.
  • 양적 측면: 모델이 데이터 매니폴드에서 벗어남에 따라 분포적 거리(FID)는 증가할 수 있지만, 스펙트럼 다양성(Vendi score)은 계속 상승하며 희귀한 특징 방향에 대한 커버리지가 증가합니다.
• 통제된 변이 vs 등방성 변이: 단순한 노이즈 주입이나 가우시안 컨볼루션이 등방적으로 모드를 넓히는 것과 달리, IGA는 과소 대표된 영역을 선택적으로 채우고 구조적인 변이를 만들어냅니다.
• 학습 시 결과: MNIST GAN에 대한 실험에서 IGA 정규화는 클래스 불균형을 줄이고 특징 공간 거리를 개선하여, 이 프레임워크의 학습 목적 함수 적용 가능성을 입증했습니다.

5. 의의 및 주장

본 논문은 IGA가 모방에서 상상으로의 전이를 수학적으로 정의하고 제어하는 일반적인 정규화 프레임워크를 제공한다고 주장합니다.

• 상상의 운영적 정의: 저자들은 "상상"을 모호한 창의적 개념이 아니라, 표현 공간(embedding)에 대한 상대적 속성, 즉 지정된 임베딩 공간에서 데이터보다 높은 스펙트럼 다양성을 가진 분포를 생성하는 것으로 정의합니다.
• i.i.d. 다양성: 샘플 간의 결합된 배치 상호작용을 통해 다양성을 유도하는 방법(비 i.i.d. 출력 생성)과 달리, IGA는 독립 동일 분포(i.i.d.) 생성이 가능한 타겟 분포를 정의합니다.
• 체계적 제어: 이 프레임워크는 충실도와 다양성 사이의 트레이드오프를 탐색할 수 있는 원칙적인 방법을 제공하여, 사용자가 모델을 복구하거나 새로운 변이를 탐색하는 등 목적에 따라 정규화 경로 상의 특정 지점을 선택할 수 있게 합니다.
• 겸허한 태도: 저자들은 상상의 정의가 선택된 표현(임베딩) 및 참조 분포에 의존한다는 점을 인정합니다. 이들은 벽을 넘는 것이 인간적인 의미에서의 "창의적" 콘텐츠를 보장한다는 것이 아니라, 데이터에 대한 특정 통계적 속성(더 높은 스펙트럼 다양성)을 보장한다는 점을 명시합니다.