기술 요약: 조건부 벤디 점수 (Conditional Vendi Score)

문제 정의

생성형 AI 모델, 특히 텍스트 프롬프트에 의해 유도되는 모델(예: LLM, 텍스트-이미지, 텍스트-비디오 모델)은 주로 충실도(프롬프트와의 정렬)와 품질을 기준으로 평가됩니다. 다양성은 무조건적(unconditional) 생성 모델에 있어 중요한 지표이지만, 기존의 다양성 측정 방식인 **벤디 점수(Vendi score)**나 **레니 커널 엔트로피(Rényi Kernel Entropy, RKE)**는 프롬프트 기반 시스템에는 적합하지 않습니다.

현재의 지표들은 생성된 샘플 세트 내의 모든 변동성을 단일한 원천으로 취급합니다. 이들은 다음을 구분하지 못합니다:

1. 프롬프트 유도 다양성: 입력 프롬프트의 차이에서 발생하는 변동성 (예: "개"와 "고양이"를 생성하는 것).
2. 모델 유도 다양성: 유사하거나 동일한 프롬프트가 주어졌을 때 모델의 내부 확률성에 의해 발생하는 변동성 (예: 동일한 "개" 프롬프트에 대해 서로 다른 품종의 개를 생성하는 것).

이러한 혼재는 다양성 비교에 편향을 일으킵니다. 어떤 모델은 광범위한 프롬프트로 테스트되었기 때문에 단순히 다양해 보일 수 있으며, 이는 내부적 변동성의 결여를 은폐할 수 있습니다. 반대로 그 반대의 경우도 마찬가지입니다. 본 논문은 모델 유도 변동성을 격리하는 **프롬프트 인지적 다양성 평가(prompt-aware diversity evaluation)**의 필요성을 다룹니다.

방법론

저자들은 양의 준정부호(PSD) 커널 행렬의 조건부 엔트로피로부터 유도된 다양성 점수인 Conditional-Vendi와 Conditional-RKE를 제안합니다.

이론적 프레임워크

이 접근 방식은 벤디(폰 노이만 엔트로피)와 RKE(2차 레니 엔트로피)의 정보 이론적 정의를 조건부 설정으로 확장합니다. 프롬프트-출력 쌍 $\{(t_i, x_i)\}_{i=1}^n$ (여기서 $T$는 프롬프트, $X$는 출력을 나타냄)이 주어졌을 때:

• 커널 행렬: 방법론은 정규화된 커널 행렬 $K_X$ (출력용)와 $K_T$ (프롬프트용)를 구성합니다.
• 조건부 엔트로피: 하다마르(Hadamard, 원소별) 곱을 사용하여 프롬프트 커널에 대한 출력 커널의 조건부 엔트로피를 다음과 같이 정의합니다:
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  여기서 $H(\cdot)$는 행렬 기반 엔트로피(Vendi의 경우 폰 노이만, RKE의 경우 2차 레니)를 나타냅니다.
• 분해: 전체 다양성 점수는 다음과 같이 분해됩니다:
  $$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$$
  여기서 Conditional-Vendi는 프롬프트가 주어졌을 때의 출력 다양성(모델 유도)을 격리하며, Information-Vendi는 프롬프트와 출력 사이의 상호 정보를 포착합니다.

확장성 및 수렴성

• Conditional-RKE: 저자들은 Conditional-RKE가 $O(1/\sqrt{n})$ 수렴 속도를 가지며, 프로베니우스 노름(Frobenius norm)에 의존하기 때문에 풀 에이전트 고유값 분해를 피할 수 있어 계산적으로 효율적($O(n^2)$)임을 증명합니다. 또한 차원 의존성 문제를 겪지 않습니다.
• Conditional-Vendi: 직접적인 Conditional-Vendi 추정은 텍스트와 이미지 커널의 특징 차원의 곱($d_X d_T$)에 의존하는 "차원의 저주"를 겪습니다. 이를 해결하기 위해 저자들은 **절단된 스펙트럼 근사(truncated-spectrum approximation)**를 도입합니다. 상위 $t$개의 고유값만을 유지하고 재정규화함으로써, 특징 차원과 독립적인 $\tilde{O}(\sqrt{t/n})$의 수렴 속도를 갖는 확장 가능한 추정치를 달성합니다.

적용: 가이던스(Guidance)

본 논문은 이 지표들을 확산 모델(diffusion models)의 가이던스로 확장합니다. 샘플링 과정 중에 (잠재 공간에서의 경사 상승법을 통해) 절단된 Conditional-Vendi 점수를 최대화함으로써, 모델이 단순히 주변 공간(ambient space)에서 다양해지는 것이 아니라 프롬프트 분포에 대해 다양해지도록 유도합니다.

주요 기여

1. 프롬프트 인지적 지표: 모델 유도 변동성과 프롬프트 유도 변동성을 분리하도록 특별히 설계된 최초의 다양성 점수인 Conditional-Vendi와 Conditional-RKE를 도입했습니다.
2. 이론적 보장: 두 점수에 대한 유한 샘플 수렴 경계(finite-sample convergence bounds)를 확립했습니다. 특히, Conditional-RKE에 대한 증명은 차원 독립적인 수렴을 보여주며, 절단된 Conditional-Vendi는 고차원 임베딩에 대한 확장 가능한 대안을 제공합니다.
3. 절단 방법(Truncation Method): 고유 스펙트럼 절단을 조건부 설정에 적용하는 새로운 적응 방식을 도입하여, 샘플 크기가 임베딩 차원에 비해 제한적인 대규모 생성 작업에서도 일관된 추정을 가능하게 했습니다.
4. 실증적 검증: 다음 네 가지 도메인에 걸친 종합적인 평가를 수행했습니다:
   • 텍스트-이미지: Stable Diffusion XL, Flux, PixArt를 포함한 모델.
   • 텍스트-비디오: VideoCrafter, Show-1, Open-Sora를 포함한 모델.
   • 이미지 캡셔닝: BLIP-2, GIT, GPT-4o-mini를 포함한 모델.
   • LLM: Llama 2, Gemma를 포함한 모델.
5. 가이던스 메커니즘: Conditional-Vendi 가이던스가 프롬프트 정렬(충실도)을 유지하면서도 샘플 다양성을 개선할 수 있음을 입증했습니다.

결과

• 그라운드 트루스 복구: 통제된 실험(예: 프롬프트에 명시된 동물 유형의 수를 변화시키는 경우)에서, 조건부 점수는 의도된 순위를 성공적으로 복구했습니다. 무조건적 점수(표준 Vendi/RKE)는 프롬프트 기반 다양성과 모델 기반 다양성을 구분하는 데 실패했습니다.
• 수렴: MS-COCO 데이터에 대한 실험 결과, Conditional-RKE와 절단된 Conditional-Vendi는 적절한 샘플 크기(예: ~15,000개)에서 수렴하는 반면, 절단되지 않은 Conditional-Vendi는 실행 가능한 계산 한계 내에서 수렴하지 못했습니다.
• 모델 비교: 이 점수들은 서로 다른 모델이 다양한 수준의 내재적 다양성을 보인다는 것을 드러냈습니다. 예를 들어, 텍스트-비디오 분야에서 Open-Sora는 VideoCrafter보다 높은 조건부 다양성을 보였습니다. LLM의 경우, 온도(temperature) 파라미터를 높이는 것이 Conditional-Vendi 및 RKE 점수의 증가와 상관관계가 있었으며, 이는 더 높은 출력 다양성을 반영합니다.
• 가이던스 효능: Stable Diffusion XL 및 PixArt에 Conditional-Vendi 가이던스를 적용한 결과, 텍-이미지 정렬(CLIPScore)을 저하시키지 않으면서도 표준 Vendi 가이던스에 비해 더 높은 샘플 다양성(Vendi 및 인배치 유사도로 측정됨)과 더 나은 프롬프트 카테리 정렬을 달로했습니다.

의의 및 주장

본 논문은 Conditional-Vendi와 Conditional-RKE가 생성 모델 평가의 필수적인 진화임을 주장합니다. 모델 유도 다양성을 격리함으로써, 연구자와 실무자는 다음과 같은 작업을 수행할 수 있습니다:

• 테스트에 사용된 프롬프트 분포와 독립적으로, 생성 모델의 고유한 변동성을 정확하게 평가합니다.
• 모델의 "다양성"이 단순히 넓은 프롬프트 커버리지의 결과인지, 아니면 진정한 확률적 생성 능력의 결과인지를 식별합니다.
• 생성 과정을 프롬프트 맥락을 존중하면서 더 다양한 출력으로 유도하여, 고충실도 확산 모델에서 흔히 나타나는 "모드 붕괴(mode collapse)" 또는 과도한 결정론적 특성을 해결합니다.

저자들은 이 점수들이 기존의 휴리스틱이나 무조건적 방법으로만 다루어졌던 문제를 해결하는, 정교한 정보 이론적 접근 방식을 제공하는 차세대 프롬프트 조건부 생성 AI의 기초적인 도구라고 위치시킵니다.