Evaluating Generative Models via One-Dimensional Code Distributions

이 논문은 FID 와 같은 기존 연속적 특징 기반 평가의 한계를 극복하기 위해 이산적 시각 토큰 공간에서 코드북 히스토그램 거리 (CHD) 와 코드 혼합 모델 점수 (CMMS) 를 제안하고, VisForm 벤치마크를 통해 인간 평가와의 높은 상관관계를 입증합니다.

핵심

이 논문은 **"인공지능이 만든 그림을 어떻게 더 잘 평가할 것인가?"**에 대한 새로운 해결책을 제시합니다.

기존의 방법들은 마치 **"그림의 '주요 내용'만 보고 점수를 매기는 것"**이라면, 이 논문의 새로운 방법은 **"그림을 구성하는 '레고 조각'들의 패턴을 분석하여 점수를 매기는 것"**이라고 비유할 수 있습니다.

이해하기 쉽게 세 가지 핵심 포인트로 나누어 설명해 드릴게요.

---

1. 기존 방법의 문제점: "주요 내용만 보는 안경"

지금까지 인공지능이 만든 그림을 평가할 때는 FID 같은 지표를 주로 썼습니다. 이는 그림을 컴퓨터가 이해할 수 있는 '연속적인 숫자'로 변환한 뒤, 그 숫자들의 평균과 분포를 비교하는 방식입니다.

• 비유: 마치 미술 감식가가 그림을 볼 때, "이건 사람인가, 산인가?" 같은 대략적인 주제만 보고 "아, 사람 그림이네"라고 판단하는 것과 비슷합니다.
• 문제점: 이 방식은 세부적인 결함을 잘 못 봅니다. 예를 들어, 손가락이 6 개 달렸거나, 눈이 비틀어져 있거나, 질감이 이상한 경우에도 '사람 그림'이라는 큰 틀에서는 점수가 비슷하게 나올 수 있습니다. 즉, 눈에 보이는 미세한 오차 (아티팩트) 를 놓치는 것입니다.

2. 새로운 접근법: "레고 조각 (토큰) 의 통계"

저자들은 그림을 연속적인 숫자가 아니라, **이산적인 '레고 조각' (Discrete Visual Tokens)**의 나열로 봅니다. 현대의 AI 는 그림을 4,096 가지 종류의 작은 조각 (코드북) 으로 잘게 쪼개서 표현합니다.

• 비유: 그림을 레고로 만든 성이라고 상상해 보세요.
  • 기존 방식은 "이 성은 왕궁 모양이네"라고 전체 형태만 봅니다.
  • 이 논문의 방식은 **"이 성을 만들 때 붉은색 레고가 몇 개, 파란색 레고가 몇 개 쓰였는지, 그리고 붉은색과 파란색이 어떻게 붙어 있는지"**를 세세하게 분석합니다.
  • 자연스러운 그림은 레고 조각들이 **자연스러운 규칙 (문법)**에 따라 붙어 있지만, AI 가 망가뜨린 그림은 레고 조각들이 무작위로 섞이거나 이상하게 붙어 있습니다.

3. 두 가지 새로운 평가 도구 (메트릭)

이 논문의 저자들은 이 '레고 조각'의 패턴을 분석하는 두 가지 도구를 만들었습니다.

A. CHD (코드북 히스토그램 거리): "어휘와 문법 검사관"

• 역할: 그림을 구성하는 레고 조각들의 빈도수와 배치 규칙을 비교합니다.
• 비유:
  • CHD-1D (단어장 검사): "이 그림에 '하늘'을 나타내는 파란색 레고가 너무 적거나 너무 많지 않나?" (전체 어휘 사용량 확인)
  • CHD-2D (문법 검사): "파란색 레고 위에 갑자기 빨간색 레고가 뒤집혀 붙어 있지는 않나?" (주변 조각들의 자연스러운 연결 확인)
• 장점: 사람이 직접 가르치지 않아도, 레고 조각의 통계만 봐도 "이 그림은 AI 가 엉터리로 만들었구나"를 알아챕니다.

B. CMMS (코드 믹스처 모델 점수): "자연스러운지 아닌지 감별사"

• 역할: 하나의 그림이 얼마나 자연스러운지 **점수 (0~1)**를 매겨줍니다.
• 비유: 이 감별사는 인위적으로 그림을 망가뜨리는 훈련을 받았습니다.
  • AI 가 만든 그림처럼 레고 조각을 임의로 바꿔치기하거나, 그림을 흐리게 만드는 시뮬레이션을 수없이 겪으며 "이 정도 망가짐은 점수 0.5, 저건 0.2"라고 학습했습니다.
  • 그래서 참조 이미지 (원본) 가 없어도, 그림 하나만 보고도 "이건 AI 가 만든 거 같아, 점수 낮음"이라고 판단할 수 있습니다.

4. VisForm: "62 가지 스타일의 거대한 시험장"

이 방법들이 정말 잘 작동하는지 확인하기 위해, 저자들은 VisForm이라는 거대한 테스트 데이터를 만들었습니다.

• 내용: 사진, 만화, 3D 렌더링, 과학 도표, 유화 등 62 가지의 다양한 스타일과 12 개의 다른 AI 모델에서 만든 21 만 장의 그림을 포함합니다.
• 의미: 기존 평가 도구들은 사진만 잘 평가했지만, 이 새로운 도구들은 만화나 추상화 같은 다양한 그림에서도 인간이 느끼는 '품질'과 가장 잘 일치한다는 것을 증명했습니다.

---

요약: 왜 이것이 중요한가요?

기존의 평가 방식은 **"그림의 전체적인 분위기"**만 보고 점수를 매겨서, AI 가 만든 그림의 기이한 결함을 놓치는 경우가 많았습니다.

하지만 이 논문의 방법은 그림을 작은 조각 (레고) 의 집합으로 보고, 그 조각들이 자연스러운 규칙을 따르는지 통계적으로 분석합니다. 이는 마치 미세한 결함까지 찾아내는 정밀 검사관처럼 작동하여, AI 개발자들이 더 좋은 그림을 만들 수 있도록 도와줍니다.

한 줄 요약:

"그림의 '주제'만 보지 말고, 그림을 이루는 '작은 조각들의 규칙'을 분석하면 AI 가 만든 그림의 품질을 훨씬 정확하게 판단할 수 있다!"

기술 요약

논문 요약: 1 차원 코드 분포를 통한 생성 모델 평가

이 논문은 기존 생성 모델 평가 지표의 한계를 지적하고, 연속적인 인식 특징 (continuous recognition features) 이 아닌 **이산적 시각 토큰 (discrete visual tokens)**의 공간에서 모델을 평가하는 새로운 패러다임을 제시합니다. 저자들은 토큰 통계량을 기반으로 한 두 가지 새로운 지표 (CHD, CMMS) 와 대규모 벤치마크 (VisForm) 를 제안하여 인간 평가와의 높은 상관관계를 입증했습니다.

1. 문제 정의 (Problem)

기존 생성 모델 평가는 주로 **FID (Fréchet Inception Distance)**와 같은 특징 분포 메트릭에 의존합니다. 그러나 이러한 방법론에는 다음과 같은 근본적인 한계가 있습니다:

• 인식 중심의 특징: FID 는 Inception-V3 등 객체 인식에 최적화된 연속 특징을 사용합니다. 이러한 특징은 외관 변화 (텍스처, 선명도, 국소적 일관성) 에 불변 (invariant) 하도록 훈련되었기 때문에, 인간의 지각에 중요한 품질 정보를 누락시킵니다.
• 가우시안 가정의 오류: FID 는 특징 공간이 가우시안 분포를 따른다고 가정하지만, 실제 생성 데이터는 다중 모달 (multi-modal) 이거나 왜곡된 경우가 많아 이 가정이 부정확합니다.
• 공간 구조의 손실: 전역 평균 풀링 (global pooling) 을 통해 이미지를 단일 벡터로 압축하는 과정에서 국소적인 아티팩트 (artifacts) 와 공간적 일관성 신호가 사라집니다.
• 학습 기반 메트릭의 한계: 인간 선호도 데이터로 학습된 메트릭은 도메인 이동 (domain shift) 에 취약하고 대규모 주석이 필요합니다.

2. 방법론 (Methodology)

저자들은 이미지를 이산적 시각 토큰 (discrete visual tokens) 시퀀스로 변환하는 현대적인 토크나이저 (TiTok 등) 를 활용하여 평가 공간을 재정의했습니다.

A. 코드북 히스토그램 거리 (Codebook Histogram Distance, CHD)

• 개념: 학습이 필요 없는 (training-free) 분포 일치도 지표입니다.
• 작동 원리:
  1. Unigram 통계 (CHD-1D): 이미지 시퀀스 내의 토큰 빈도수를 계산하여 실제 이미지와 생성 이미지의 '시각 어휘' 사용 분포를 비교합니다.
  2. 공간 공발생 통계 (CHD-2D): 토큰 시퀀스의 1 차원 인접 관계가 이미지 그리드와 일치하지 않으므로, 2 차원 공간적 인접성을 기반으로 한 2 차 통계량을 도입합니다. 이는 토큰들의 국소적 문법 (local grammar) 을 평가합니다.
  3. 거리 측정: 실제 분포와 생성 분포 간의 차이를 Hellinger Distance로 계산합니다.
• 특징: 가우시안 가정이 없으며, 토큰의 빈도와 공발생 패턴을 통해 의미적 변화와 스타일적 변화를 모두 감지합니다.

B. 코드 혼합 모델 점수 (Code Mixture Model Score, CMMS)

• 개념: 참조 이미지 없이 품질을 평가하는 (no-reference) 학습 기반 지표입니다.
• 학습 전략:
  • 합성 열화 모델: 자연 이미지 토큰 시퀀스에 균일 토큰 주입 (uniform token injection), 의미적 조각 스와핑 (semantic fragment swapping), 픽셀 공간 왜곡 (블러, 노이즈 등) 을 가하여 인위적으로 열화된 데이터를 생성합니다.
  • 지도 신호: 인간이 주석을 다는 대신, 열화 정도 ($p$) 에 따라 지수 함수 ($q(p) = \exp(-20p)$) 를 통해 품질 점수를 자동 생성하여 지도 학습을 수행합니다.
• 모델 구조: 토큰 시퀀스를 입력받아 Transformer 인코더와 MLP 를 통해 품질 점수를 회귀 (regress) 합니다.
• 특징: 대규모 인간 주석 없이도 생성 모델의 아티팩트와 구조적 오류에 민감하게 반응하도록 학습됩니다.

C. VisForm 벤치마크

• 규모: 21 만 개의 이미지, 62 가지 다양한 시각 형태 (사진, 예술, 3D 렌더링, 과학 도표 등), 12 가지 생성 모델.
• 주석: 14 가지 지각적 차원 (전체 품질, 구성, 색상 조화, 아티팩트 심각도 등) 에 대해 전문가가 주석을 달았습니다.
• 목적: 다양한 도메인과 모델에 걸쳐 메트릭의 일반화 능력을 검증하기 위해 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 이산 토큰 평가 패러다임 제안: 연속적인 인식 특징 대신 구조화된 코드북 통계를 1 순위 평가 공간으로 삼는 새로운 접근법을 제시했습니다.
2. 두 가지 토큰 기반 메트릭 개발:
   • CHD: 학습 불필요한 분포 일치도 지표.
   • CMMS: 합성 열화 데이터를 통해 학습된 무참조 품질 지표.
3. VisForm 벤치마크 공개: 62 가지 시각 도메인을 아우르는 대규모 데이터셋과 전문가 주석을 공개하여 생성 모델 평가의 표준을 제시했습니다.

4. 실험 결과 (Results)

• 인간 평가와의 상관관계: AGIQA, HPDv2/v3, VisForm 벤치마크에서 CHD 와 CMMS 는 기존 FID, CLIP-FID, MUSIQ, DEQA 등 기존 메트릭들을 압도하는 성능을 보였습니다.
  • AGIQA: CMMS 는 인간 평가와 Spearman 상관관계 0.943을 기록했습니다 (기존 최고 수준 대비 크게 향상).
  • HPDv3: CMMS 는 0.872의 상관관계를 보였습니다.
• 쌍별 선호도 예측 (Pairwise Preference): CMMS 는 AGIQA, HPDv2, HPDv3, VisForm 전 벤치마크에서 인간 선호도 예측 정확도 (71.5% ~ 74.9%) 에서 SOTA 를 달성했습니다.
• 범용성 및 강건성: VisForm 에서 62 가지 도메인 (의학적 이미지, 예술적 스타일 등) 과 12 가지 모델에 걸쳐 일관된 높은 상관관계를 보였습니다. 반면, FID 는 비사실적 (non-photorealistic) 도메인에서 성능이 급격히 저하되었습니다.
• 샘플 효율성: CHD 는 약 1,000 개의 이미지로 수렴하는 반면, FID 는 10,000 개 이상의 샘플이 필요하여 계산 효율성이 뛰어납니다.

5. 의의 및 결론 (Significance)

이 논문은 생성 모델 평가의 패러다임을 연속적 특징 공간에서 이산적 토큰 통계 공간으로 전환함으로써, 기존 메트릭이 놓치고 있던 지각적 품질 (텍스처, 스타일, 국소적 일관성) 을 정량화하는 데 성공했습니다.

• 해석 가능성: 토큰 빈도와 공발생 패턴을 분석함으로써 모델이 어떤 구조를 생성하는지 직관적으로 이해할 수 있습니다.
• 확장성: 학습 데이터에 의존하지 않거나 합성 데이터를 통해 학습하므로, 새로운 도메인이나 스타일에 대한 평가가 용이합니다.
• 미래 전망: 이 프레임워크는 비디오 및 3D 생성 평가로 확장 가능하며, 고차원 토큰 통계 모델링을 통해 공간 구조 포착 능력을 더욱 향상시킬 수 있습니다.

결론적으로, 이 연구는 생성 모델의 품질 평가에 있어 지각적으로 정렬된 (perceptually aligned) 그리고 도메인 불변적인 (domain-agnostic) 새로운 기준을 제시했다는 점에서 중요한 의의를 가집니다.