PromptSplit: Revealing Prompt-Level Disagreement in Generative Models

기술 요약: PromptSplit

문제 정의

프롬프트 유도형 생성 AI 모델(시각 및 언어 모델 전반)이 급증하고 있으나, 특정 입력 프롬프트와 관련하여 이들의 동작을 체계적으로 비교하는 방법은 여전히 제한적이다. FID, Inception Score, CLIP-Score와 같은 기존 평가 지표들은 모델의 동작을 단일 스칼라 값으로 압축하는 집계된 품질 지표를 제공한다. 이러한 지표들은 프롬프트에 따른 불일치를 가리는 경우가 많다. 예를 들어, 두 모델이 주어진 프롬프트에 대해 고품질의 이미지를 생성할 수 있지만, 특정 프롬프트 범주(예: 한 모델은 "사람"이라는 프롬프트에 일관되게 남성을 생성하고 다른 모델은 여성 생성)에 따라 출력되는 콘텐츠나 스타일에서 크게 달라질 수 있다. 현재의 스펙트럼 및 분포 비교 방법은 일반적으로 프롬프트가 없는 설정에서 작동하며, 프롬프트를 무시함으로써 행동적 발산의 원인이 되는 특정 입력 범주를 분리해내지 못한다.

방법론

저자들은 PromptSplit을 제안한다. 이는 두 생성 모델 간의 프롬프트 의존적 불일치를 탐지하고 분석하기 위해 설계된, 프롬프트 인지형(prompt-aware) 비지도 스펙트럼 프래임워크이다.

1. 결합 프롬프트-출력 표현 (Joint Prompt-Output Representation)

PromptSplit은 프롬프트 특징($\phi_T$)과 출력 특징($\phi_X$ 또는 $\phi_Y$)의 **텐서 곱 임베딩(tensor-product embeddings)**을 형성하여 결합 표현을 구축한다. 프롬프트 $t$와 출력 $x$에 대하여, 결합 특징은 다음과 같이 정의된다:
$$\phi^\otimes(t, x) = \phi_T(t) \otimes \phi_X(x)$$
이는 제품 커널(product kernel) $k^\otimes([t, x], [t', x']) = k_T(t, t') \cdot k_X(x, x')$을 유도하며, 입력 공간과 출력 공간 사이의 곱셈적 상호작용을 포착한다.

2. 커널 공분산 차이 (Kernel Covariance Difference)

두 데이터셋 $D_X$ (모델 $X$로부터 생성)와 $D_Y$ (모델 $Y$로부터 생성)에 대하여, 이 방법은 경험적 결합 커널 공분산 연산자 $\hat{C}_{T \otimes X}$와 $\hat{C}_{T \otimes Y}$를 계산한다. 분석의 핵심은 **공분산-차이 연산자(covariance-difference operator)**이다:
$$\hat{\Lambda}_{X,Y|T} = \hat{C}_{T \otimes X} - \eta \hat{C}_{T \otimes Y}$$
여기서 $\eta$는 하이퍼파라미터이다. 이 연산자의 주 고유벡터(principal eigenvectors)는 두 모델이 결합 공간 내에서 가장 유의미한 행동 차이를 보이는 방향을 밝혀낸다.

3. 커널 트릭 및 스펙트럼 분석 (Kernel Trick and Spectral Analysis)

고차원 공분산 연산자의 직접적인 고유값 분해는 계산적으로 불가능하다. 저자들은 커널 트릭을 적용하여 고차원 연산자와 동일한 0이 아닌 고유값을 공유하는 크기 $(n+m) \times (n+m)$의 블록 커널 행렬 $K_{X,\eta Y|T}$를 구성한다. 이 블록 행렬의 고유벡터는 결합 공간에서의 불일치 모드(disagreement modes)에 대응한다.

4. 확장 가능한 랜덤 투영 (Scalable Random Projection)

데이터 규모가 큰 경우(즉, $n, m$이 수만 개를 초과하는 경우), PromptSplit은 **랜덤 투영 근사(random-projection approximation)**를 사용한다. 결합 텐서 특징은 가우시안 랜덤 행렬을 사용하여 저차원 $r$로 투영된다. 이는 스펙트럼 분해의 계산 복잡도를 $O((n+m)^3)$에서 $O((n+m)r^2 + r^3)$로 줄여준다.

• 이론적 보장: 논문은 고차원 결과로부터 고유 공간 추정치의 기대 편차가 $O(1/r^2)$로 제한됨을 증명하며, 이를 통해 근사가 높은 확률로 불일치 방향을 보존함을 보장한다.

주요 기여

1. 프롬프트 수준의 비교 정식화: 본 연구는 모델 비교를 집계된 지표를 넘어, 프롬프트와 출력을 결합한 스펙트럼 문제로 정식화하여 행동적 발산을 일으키는 특정 프롬프트 범주를 식별한다.
2. PromptSplit 프레임워크: 프롬프트와 출력을 텐서 곱 임베딩을 통해 결합하여 결합 커널 공분산 차이의 고유 스펙트럼을 분석하는 커널 기반 프레임워크를 도입하였다.
3. 확장 가능한 근사법: 이론적 오차 범위 $O(1/r^2)$를 갖는 랜덤 투영 방법을 개발하여 대규모 데이터셋 분석을 가능하게 함으로써, 실제 환경의 생성 모델 평가에 실용성을 부여하였다.
4. 해석 가능성: 이 방법은 불일치의 "모드(modes)"를 해석 가능하게 제공하며, 특정 프롬프트 클러스터를 출력 발산의 성격과 명시적으로 연결한다.

실험 결과

저자들은 텍스트-이미지(T2I) 및 텍스트-텍스트(LLM) 설정 모두에서 PromptSplit을 평가하였다:

• 합성 검증 (Synthetic Validation): 통제된 환경(예: 알려진 색상/그레이스케일 프롬프트 불일치가 있는 MNIST-M)에서 PromptSplit은 불일치를 유발하는 정답 프롬프트 범주를 성공적으로 식별하였다.
• 텍스트-이미지 모델: Stable Diffusion XL, PixArt-$\Sigma$, Kandinsky 간의 비교를 통해 스타일, 구도, 정렬(alignment)에서의 프롬프트 의존적 발산을 드러냈다. 예를 들어, 이 방법은 특정 직업 기반 프롬프트(예: "간호사", "목수")에서 모델들이 현저히 다른 시각적 표현을 생성한다는 점을 식별하였다.
• 대규모 언어 모델 (LLMs): NQ-Open 데이터셋을 통한 Qwen 3와 Gemma 3의 비교에서, 모델들이 서로 다른 답변을 생성하는 특정 질문 클러스터(예: 미국 대통령 또는 배우 관련 질문)를 식별하였다.
• 가이드 적용 (Guidance Application): 저자들은 PromptSplit을 잠재 확산(latent diffusion) 과정에 적용하여, 불일치 그래디언트(disagreement gradient)를 샘플링 과정에 포함함으로써 생성된 이미지의 분포를 참조 데이터셋(예: 특정 회화 스타일)과 성공적으로 정렬시키는 것을 입증하였다.

의의 및 주장

본 논문은 PromptSplit이 생성 모델의 어디에서 그리고 어떻게 불일치가 발생하는지를 탐지하는 원칙적이고 해석 가능한 도구를 제공하며, 집계된 품질 지표가 남긴 공백을 메운다고 주장한다. 결합 프롬프트-출력 공간을 명시적으로 모델링함으로써, 행동적 차이를 유도하는 특정 입력 범주를 격리해낸다.

저자들은 PromptSplit을 **임베딩 기반의 2차 스펙트럼 방법(second-order spectral method)**으로 규정한다. 또한, 설계상 확장성과 해석 가능성을 지원하지만, 조건부 생성 동작의 모든 고차원적 측면을 특징짓는 것을 목표로 하지는 않는다고 겸허히 언급하였다. 본 연구는 성장하는 생성형 AI 모델 생태계에 대한 보다 세밀한 프롬프트 조건부 평가를 향한 단계로 제시된다. 구현체는 추가 연구를 촉진하기 위해 공개되어 있다.