📊 statistics

On the Anisotropy of Score-Based Generative Models

이 논문은 네트워크 설계가 점수 기반 생성 모델의 귀납적 편향을 어떻게 형성하는지를 밝혀내어, 훈련 전에도 일반화 성능과 방향성 동작을 예측할 수 있게 하는 구조 의존적 지표인 점수 이방성 방향(Score Anisotropy Directions, SADs)을 소개한다.

원저자: Andreas Floros, Seyed-Mohsen Moosavi-Dezfooli, Pier Luigi Dragotti

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andreas Floros, Seyed-Mohsen Moosavi-Dezfooli, Pier Luigi Dragotti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 단순히 완성된 사진을 건네주는 것이 아니라, 대신 정지 화면의 노이즈(신호가 없는 옛날 TV와 같은 상태)로 가득 찬 캔버스에서 시작하여, 로봇에게 단계별로 이를 서서히 정돈하여 고양이가 나타나게 하라고 요청하는 것입니다. 이것이 현대의 "생성형 AI"가 작동하는 방식입니다. 이는 마치 조각가가 원하는 조각상을 만들기 위해 대리석 덩어리에서 부분을 깎아내는 것과 비슷합니다. 로봇은 노이즈를 어떤 방향으로 "깎아야" 실제 데이터처럼 보일지 추측하며 학습합니다.

하지만 여기서 까다로운 점이 있습니다. 로봇은 백지 상태가 아닙니다. 로봇이 만들어진 방식, 즉 그 "두뇌" 구조는 숨겨진 일련의 선호도를 가지고 있습니다. 이것은 로봇이 강제로 착용해야 하는 안경과 같습니다. 어떤 안경은 수직선을 보기 쉽게 만들지만 곡선을 보기 어렵게 만듭니다. 또 다른 안경은 가장자리(edge)를 포착하는 데는 뛰어나지만 매끄러운 그라데이션을 이해하는 데는 형편없을 수도 있습니다. 이러한 숨겨된 선호도를 "귀납적 편향(inductive biases)"이라고 부릅니다. 이것들은 로봇의 학습을 안내하는 보이지 않는 규칙이며, 무엇이 배우기 쉽고 무엇이 배우기 어려운지를 알려줍니다. 만약 로봇의 안경이 당신이 그리려는 고양이의 형태와 맞지 않는다면, 로봇은 어려움을 겪거나, 이상한 결과물을 만들어내거나, 아예 고양이를 학습하는 데 실패할 수도 있습니다. 이러한 편향을 이해하는 것은 새로운 AI 모델이 실제로 훈련을 시작하기도 전에 그 모델이 맡은 일을 잘 수행할 수 있을지 예측하는 데 매우 중요합니다.

이 논문에서 저자인 안드레아스 플로로스(Andreas Floros)와 그의 팀은 이러한 숨겨진 선호도를 돋보기로 들여다보기로 했습니다. 그들은 스코어 기반 생성 모델(score-based generative models, 이 '노이즈를 정돈하는 로봇'의 멋진 이름입니다)에 대해 연구했습니다. 그들은 "스코어 애니소트로피 방향(Score Anisotropy Directions, SADs)"이라는 새로운 도구를 도입했습니다. 로봇의 두뇌를 당신이 걸어갈 수 있는 여러 방향이 있는 방이라고 상상해 보세요. 어떤 방향은 로봇이 쉽게 움직이고 배울 수 있는 넓고 매끄러운 고속도로와 같고, 다른 방향은 로봇이 비틀거리는 좁고 울퉁불퉁한 흙길과 같습니다. 저자들은 로봇이 단 한 장의 사진도 보기 전부터, 그 구조를 살펴봄으로써 이러한 고속도로와 흙길을 지도화할 수 있다는 것을 발견했습니다. 그들은 이 지도들을 SADs라고 부릅니다.

연구진은 이 고속도로가 어떻게 작동하는지에 대해 놀라운 사실을 발견했습니다. 이전의 많은 연구에서는 신경망이 자연스럽게 단순하고 저주파적인 패턴(크고 매끄러운 형태 등)을 배우는 데 능숙하고, 복잡하고 고주파적인 세부 사항(미세한 질감 등)을 배우는 데는 어려움을 겪는다고 생각했습니다. 그러나 이 논문은 이러한 특정 유형의 AI에 대해서는 그 반대가 사실일 수 있음을 시사합니다. 합성 데이터와 MNIST(손글씨 숫자) 및 CIFAR-10(작은 컬러 이미지)과 같은 표준 이미지 데이터셋을 사용한 일련의 실험을 통해, 저자들은 로봇이 생성하려는 데이터가 자신의 내부 기하학적 구조와 관련된 "흙길", 즉 수학적 값이 가장 작은 방향과 일치할 때 가장 잘 학습한다는 것을 발견했습니다.

이를 테스트하기 위해 그들은 "정렬(alignment)" 게임을 수행했습니다. 그들은 이미지를 회전시키거나 섞어서, 이미지가 로봇의 선호하는 "쉬운" 방향과 일치하게 만들거나 혹은 그에 대항하게 만들었습니다. 데이터가 로봇의 자연스러운 선호도(작은 고윳값 방향)와 정렬되었을 때, 로봇은 고품질의 사실적인 이미지를 만들어냈습니다. 하지만 데이터를 "어려운" 방향(큰 고윳값 방향)으로 강제했을 때, 로봇은 어려움을 겪었습니다. 손글씨 숫자를 이용한 한 가지 눈에 띄는 실험에서, 데이터를 잘못된 방향으로 몰아넣자 로봇은 대부분의 숫자를 그리는 법을 잊어버렸고, 주로 숫자 "1"만을 그리거나 빈 이미지를 만들어냈습니다. 이는 로보의 일반화 능력, 즉 본 적 없는 새롭고 사실적인 이미지를 만들어내는 기술이 자신의 두뇌 속에 숨겨진 기하학적 구조에 데이터가 얼마나 잘 들어맞는지에 크게 의존한다는 것을 시사합니다.

저자들은 또한 전통적인 "U-Net"(그리드 형태의 필터를 사용하는 컨볼루션 레이어를 사용함)과 더 새로운 "DiT"(대규모 언어 모델 뒤에 있는 기술과 유사한 트랜스포머를 사용함)와 같은 서로 다른 유형의 로봇 두뇌를 비교했습니다. 그들은 두 유형 모두 이러한 방향성 선호도를 가지고 있지만, 그 패턴은 서로 다르다는 것을 발견했습니다. U-Net 로봇은 음악의 음표처럼 명확하고 리드미컬한 패턴을 보여준 반면, 트랜스포머 로봇은 더 흩어져 있고 구조화되지 않은 선호도를 보였습니다. 이는 트랜스포머가 쓰는 "안경"이 U-Net이 쓰는 안경과는 근본적으로 다르다는 것을 의미합니다.

궁극적으로 이 논문은 모델이 훈련을 마칠 때까지 기다리지 않아도 모델이 잘 작동할지 알 수 있다는 점을 시사합니다. 이 SADs를 아주 초기에 계산함으로써, 우리는 모델이 얼마나 잘 수행할지 예측할 수 있습니다. 이것은 자동차 엔진을 켜기도 전에 자동차의 정렬 상태를 확인하는 것과 같습니다. 만약 바퀴가 도로에 비해 잘못된 방향을 향하고 있다면, 아무리 가속 페달을 밟아도 차가 똑바로 달리지 못할 것임을 알 수 있습니다. 저자들은 이러한 이해가 엔지니어들이 더 효율적으로 더 나은 AI 모델을 설계하는 데 도움이 될 수 있다고 제안하며, 현재 이 분야을 지배하고 있는 시행착오를 피할 수 있게 해줄 것이라고 말합니다. 비록 이 연구가 상대적으로 작은 규모의 모델과 데이터셋을 대상으로 수행되었지만, 발견된 패턴은 일관되고 강력했으며, 왜 어떤 AI 모델은 성공하고 어떤 모델은 실패하는지를 바라보는 새로운 관점을 제공합니다.

기술 요약: 스코어 기반 생성 모델의 비등방성(Anisotropy)에 대하여

문제 정의

신경 비등방성 방향(Neural Anisotropy Directions, NADs)은 입력 공간에서의 방향적 선호도를 밝혀냄으로써 판별 모델의 귀납적 편향을 성공적으로 규명해 왔으나, 스코어 기반 생성 모델(특히 확산 모델)에서 건축적 기하학(architectural geometry)이 데이터 매니폴드와 어떻게 상호작용하는지를 설명하는 일관된 이론은 여전히 부재합니다. GAHB(Geometry-Adaptive Harmonic Bases)와 같은 기존 이론들은 특정 아키텍처에 국한되거나(예: 합성곱 신경망에 한정됨) 수학적 정밀도가 부족합니다. 또한, 훈련 전 네트워크의 출력 공간 기하학이 일반화 능력에 어떤 영향을 미치는지도 불분명합니다. 본 논문은 스코어 기반 모델의 아키텍처에 내재된 **방향적 편향(directional biases)**과 이러한 편향이 어떤 데이터 구조를 모델링하기 더 쉽거나 어렵게 만드는지를 이해하는 데 존재하는 간극을 다룹니다.

방법론

1. 스코어 비등방성 방향 (Score Anisotropy Directions, SADs)

저자들은 네트워크가 유도하는 출력 공간의 선호 학습 방향을 나타내는 순서가 있는 정규 직교 벡터 집합인 **스코어 비등방성 방향(SADs)**을 도입합니다. 입력 공간을 분석하는 NAD와 달리, SAD는 네트워크에 의해 유도된 출력 공간의 기하학을 분석합니다.

2. 평균 기하학 ( $G_F$ )

특정 데이터로 훈련하지 않고도 SAD를 식별하기 위해, 저자들은 네트워크 아키텍처의 **평균 기하학(Average Geometry, $G_F$ )**을 정의합니다. 이는 프로빙 분포(probing distribution)에 대한 네트워크 출력 벡터 외적의 기댓값으로 계산됩니다:
$G_F(P, \Theta) = \mathbb{E}_{P, \Theta} [F_\theta(x, \sigma)F_\theta(x, \sigma)^\top]$
여기서 $F_\theta$ 는 스코어 네트워크이며, $\theta$ 는 초기화 분포 $\Theta$ 에서 추출된 파라미터이고, $(x, \sigma)$ 는 프로빙 분포 $P$ 에서 추출됩니다. 저자들은 $x=0$ 이고 $\sigma$ 가 노이즈 스케줄에 대해 균등 분포를 따르는 기본 프로브를 사용할 것을 제안하며, 이를 통해 $G_F$ 가 훈련 데이터와 독립적인 아키텍처 불변성을 포착하도록 보장합니다.

3. 이론적 프레임워크

선형 분석: 다루기 쉬운 선형 디노이징 스코어 매칭(Denoising Score Matching, DSM) 설정을 통해, 저자들은 학습 역학이 아키텍처 변환 행렬의 고윳값(eigenvalues)에 의해 지배됨을 입증합니다. 이들은 확률성(SGD 노이즈)이 비등방성 조건화(anisotropic conditioning)를 가능하게 하는 핵심 요소이며, 기하학의 작은 고윳값과 정렬된 방향들이 더 안정적인 최솟값으로 수렴하여 모델링하기 더 쉽다는 것을 보여줍니다.
가설 1: 저자들은 $G_F$ 의 고유벡터(eigenvectors)가 오름차순 고윳값에 의해 정렬될 때, 이것이 SAD와 대응할 것이라고 가설을 세웁니다. 구체적으로, 작은 고윳값의 고유벡터와 정렬된 데이터가 큰 고윳값과 정렬된 데이터보다 더 높은 충실도(더 나은 일반화)로 모델링될 것입니다.

4. 실험적 검증

Rank-One 데이터셋: 저자들은 iDDPM U-Net 및 DiT 아키텍처로부터 유도된 $G_F$ 의 특정 고유벡터에 정렬된 데이터셋을 사용하여 확산 모델을 훈련합니다. 성능은 **Max-Sliced Wasserstein 거리(MSW2)**를 사용하여 측정됩니다.
잠재 확산 모델 (Latent Diffusion Models): 복잡한 데이터에 대한 일반화 능력을 테스트하기 위해, 저자들은 실제 세계의 데이터셋(MNIST, CelebA-HQ, CIFAR-10)을 네트워크의 기하학에 정렬하거나 어긋나게 하기 위한 직교 변환 행렬 $W$ 를 도입합니다. 이들은 정렬 지표 $\alpha = \mathbb{E}_{x \sim p}[z^\top G_F z]$ 를 정의하고, $\alpha$ 가 최소화된 경우(작은 고윳값에 정렬), 최대화된 경우(큰 고윳값에 정렬), 또는 기본값( $W=I$ )인 경우의 모델을 테스트합니다.

주요 결과

가설 1의 검증: iDDPM U-Net 및 DiT 아키텍처에 대한 실험 결과, 작은 고윳값에 정렬된 데이터로 훈련된 모델이 큰 고윳값에 정렬된 모델보다 현저히 낮은 MSW2 거리를 달성함(더 나은 성능)을 확인했습니다.
아키텍처별 패턴:
- 합성곱 모델 (iDDPM): $G_F$ 의 고유벡터는 조화 패턴(harmonic patterns)을 보입니다. 큰 고윳값은 저주파에, 작은 고윳값은 고주파에 대응합니다. 이는 GAHB 이론을 뒷받침하면서도 더 정밀하고 적응적인 정의를 제공합니다.
- 트랜스포머 모델 (DiT): 기하학이 동일한 조화 구조를 보이지 않습니다. 대신 상당한 고유값 중복성(eigen-multiplicity)을 보여주며, 이는 합성곱 네트워크에 비해 느슨한 귀납적 편향을 시사합니다.
정렬이 일반화에 미치는 영향:
- $\alpha$ 최소화 (작은 고윳값에 정렬): 모든 데이터셋에서 샘플 품질과 분포 충실도 측면에서 상당한 개선을 보였습니다.
- $\alpha$ 최대화 (큰 고윳값에 정렬): 모드 붕괴(예: MNIST에서 숫자 "1"만 생성) 및 타겟 콘텐츠가 결여된 샘플의 높은 비율을 포함한 심각한 성능 저하를 초래했습니다.
- 기본 정렬: 자연스러운 데이터 정렬조차도 이론적으로 최적화된 정렬에 비해서는 차선(suboptimal)의 결과를 낳는 경우가 많았습니다.

주요 기여

SAD의 정의: 스코어 기반 모델의 출력 공간에서 발생하는 방향적 편향에 대한 원칙적이고 아키텍처 의존적인 정의를 제시했습니다.
평균 기하학 ( $G_F$ ): 훈련 없이 초기화 단계에서 이러한 편향을 계산하는 방법을 제공하여, 분석을 특정 데이터 분포로부터 분리했습니다.
통합 프레임워크: GAHB와 같은 기존의 아키텍처 특정 이론을 넘어, 합성곱 및 트랜스포머 기반 확산 모델 모두에 적용 가능한 일반적인 접근 방식을 제공합니다.
예측 능력: 네트워크의 사전 훈련 기하학과 데이터 사이의 정렬을 기반으로 일반화 성능(Wasserstein 메트릭을 통해)을 예측할 수 있음을 입증했습니다.

의의 및 주장

본 논문은 생성 모델의 방향적 편향을 설명하고 예측하기 위한 새로운 관점을 제공한다고 주장합니다. 아키텍처의 기하학적 구조와 학습 역학 사이의 관계를 공식화함으로써, 저자들은 일반화 능력이 주로 초기화 시점의 네트워크 '기하학'과 데이터 사이의 정렬에 의해 결정된다고 주장합니다.

이 연구의 의의는 관점을 데이터 중심 분석에서 아키텍처 중심 분석으로 전환하는 데 있습니다. 저자들은 SAD를 이해함으로써 다음과 같은 것이 가능하다고 제안합니다:

원칙적 예측: 훈련 전 일반화 능력을 추정함.
아키텍처 통찰력: DCT나 Haar와 같은 고정된 기저에 의존하는 대신, 특정 아키텍처의 세부 사항(예: 리샘플링 레이어, 패치 크기)에 적응하는 통합된 특성을 제공함.
미래 응용 분야: 고유한 기하학적 편향을 바탕으로 아키텍처를 선택하는 AutoML 및 신경 구조 탐색(NAS)에서의 잠재적 유용성, 그리고 모델이 재현하도록 유도된 패턴을 식별함으로써 암기(memorization)나 환각(hallucination)과 같은 바람직하지 않은 동작을 이해하는 데 활용될 수 있음.

저자들은 자신들의 실험이 상대적으로 작은 규모에서 수행되었으며, 확산 모델의 전체적인 역학은 다른 요인(예: 명시적 정규화)의 영향을 받을 수 있음을 인정하며 신중한 태도를 유지합니다. 이들은 완전한 귀납적 편향 이론을 주장하는 것이 아니라, 스코어 기반 모델의 방향적 편향을 분석하기 위한 구체적이고 검증된 프레임워크를 제시하는 데 목적을 두고 있습니다.