📊 statistics

A Hyperfinite Framework for Score-Based Generative Modeling

이 논문은 비표준 해석학(Nonstandard Analysis) 내에서 스코어 기반 생성 모델링을 위한 통일된 초유한(hyperfinite) 프레임워크를 구축하며, 역시간 역학(reverse-time dynamics)의 구성적 유도를 제공하고, 스코어 매칭을 가능도 최적화와 연결하며, 고전적 확률 미적분과의 관계를 통해 초유한 확산 과정의 일관성을 분석한다.

원저자: Sunder Ram Krishnan

게시일 2026-08-05

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Sunder Ram Krishnan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에게 수백만 개의 사례를 보여주는 대신, '혼돈을 배우지 않는 법(un-learn chaos)'을 가르쳐서 그림을 그리거나, 음악을 작곡하거나, 새로운 분자를 설계하게 할 수 있는 세상을 상상해 보십시오. 이것이 바로 새로운 데이터를 무에서 유로 창조하는 인공지능의 한 분야인 **생성 모델링(generative modeling)**의 마법입니다. 이것이 어떻게 작동하는지 이해하려면, 뜨거운 커피 한 잔이 차가운 방 안에서 천천히 식어가는 모습을 떠올려 보십시오. 김이 피어오르고 열기가 흩어지면서, 커피는 결국 주변의 차가운 공기와 구별할 수 없는 상태가 됩니다. AI의 세계에서 이를 **확산 과정(diffusion process)**이라고 부릅니다. 선명한 이미지를 가져와서 그것이 무의미한 무작위적 노이즈(마치 오래된 TV의 정전기 같은 것)처럼 보일 때까지 서서히 노이즈를 추가하는 과정입니다.

현대 AI가 사용하는 영리한 기술은 이 영화를 역재생하는 것입니다. 만약 그 무작위적인 노이즈로부터 층층이 노이즈를 벗겨내어 원래의 이미지를 되찾는 방법을 정확히 알아낼 수 있다면, 정전기 상태를 다시 고양이, 일몰, 혹은 사람의 얼굴로 되돌릴 수 있습니다. 이를 위해 AI에는 '스코어(score)'가 필요한데, 이는 마치 노이즈로부터 빠져나가는 길을 가리키는 나침반과 같습니다. 이 스코어는 컴퓨터에게 이렇게 말합니다. "만약 네가 이 지저분한 지점에 있다면, 실제 이미지에 더 가까워지기 위해 이 방향으로 아주 조금 이동해라." 수십 년 동안 수학자들은 시간을 매끄럽고 끊김 없는 강물처럼 취급하며, 이 여정을 설명하기 위해 복잡하고 연속적인 방정식을 사용해 왔습니다. 하지만 만약 시간이 매끄럽지 않다면 어떨까요? 만약 시간이 영화 필름의 개별 프레임처럼 아주 작고 보이지 않는 단계들로 이루어져 있다면 어떨까요?

여기서 순더 람 크리슈난(Sunder Ram Krishnan)의 새로운 논문이 등장합니다. 저자는 AI의 여정을 매끄러운 강물로 보는 대신, **비표준 해석학(Nonstandard Analysis)**이라는 수학적 도구를 사용하여 시간과 공간을 거대한 무한 격자의 작은 점들로 보이도록 확대합니다. 이 '초유한(hyperfinite)' 세계에서는 기존 수학의 매끄러운 곡선들이 정확한 단계별 대수로 변합니다. 이 논문은 이러한 강력한 이미지 생성 AI 모델을 전통적인 미적분학의 무겁고 복잡한 기계 장치 없이도, 이 작은 단계들의 격자 위에서 직접 구축할 수 있음을 증명합니다. 또한 AI가 학습하는 '나침반'이 노이즈를 되돌리는 데 필요한 것과 정확히 같다는 것을 보여주며, 심지어 숨겨진 비밀 하나를 밝혀냅니다. 즉, AI의 정확도는 노이즈의 특정 통계적 특성, 특히 노이즈 분포가 얼마나 '뾰족한지' 또는 '평평한지'에 달려 있다는 것입니다. 이 격자 기반 접근 방식을 통해, 저자는 생성 모델이 실제로 어떻게 작동하는지에 대해 더 명확하고 투명한 '화이트박스(white-box)' 관점을 제공하며, 컴퓨터가 수행하는 이산적인 단계와 수학자들이 오랫동안 사용해 온 매끄러운 이론 사이의 간극을 메웁니다.

작은 단계들의 격자

이 논문을 이해하려면, 방을 가로질러 걸어가려는 모습을 상상해 보십시오. 기존의 사고방식은 당신이 문에서 창문까지 매끄럽게 미끄러져 간다고 말합니다. 하지만 크리슈난은 다르게 생각할 것을 제안합니다. 바닥이 미세한 타일 격자로 덮여 있다고 상상해 보십시오. 당신은 미끄러지는 것이 아니라, 한 타일에서 다음 타일로 껑충껑충 뛰어갑니다. 이 논문에서 저자는 데이터에 노이즈를 추가하는 과정과 이를 제거하는 '역' 과정이 이 무한한 작은 단계들의 격자 위에서 일어나는 수학적 프레임을 구축합니다.

논문은 **초유한 격자(hyperfinite grid)**를 정의하는 것으로 시작합니다. 이것을 체스판이라고 생각하되, 64개의 칸 대신 거의 무한에 가깝지만 여전히 셀 수 있는 수의 칸을 가진 체스판이라고 상상하십시오. 당신이 뛰어넘는 시간 간격 또한 매우 작아서 거의 0에 가깝지만, 완전히 0은 아닙니다. 이 격자 위에서 저자는 데이터에 노이즈를 추가하는 과정인 '순방향 걷기(forward walk)'를 정의합니다. 저자는 이러한 작은 발걸음의 수학을 살펴보면, 데이터가 어떻게 변하는지를 설명하는 규칙(생성자, generator)을 도출할 수 있음을 보여줍니다. 우리가 시야를 넓혀 '표준적인' 관점(매끄러운 강물 관점)으로 바라볼 때, 이 규칙은 수학자들이 입자의 확산을 설명하기 위해 오랫동안 사용해 온 유명한 **포커-플랑크 방정식(Fokker-Planck equation)**이 됩니다. 논문은 이 매끄러운 방정식이 별개의 존재가 아니라, 단지 작은 단계적 발걸음의 그림자일 뿐임을 증명합니다.

시간을 되돌리는 마법

진정한 마법은 저자가 "만약 우리가 뒤로 걷는다면 어떨까?"라고 질문할 때 일어납니다. 현실 세계에서 유리잔을 떨어뜨려 깨뜨리면, 그것을 다시 붙일 수 없습니다. 하지만 AI의 세계에서는 유리잔이 어떻게 깨졌는지 정확히 안다면, 이론적으로 그것을 다시 합칠 수 있습니다. 논문은 이 **역방향 시간 드리프트(reverse-time drift)**를 위한 공식을 도출합니다.

놀라운 부분은 여기에서 나타납니다. 뒤로 걷기 위해서는 '스코어'가 필요합니다. 논문의 언어로 표현하자면, 이 스코어는 확률이 높은 방향을 가리키는 벡터(화살표)입니다. 저자는 이 작은 격자 위에서 이 스코어가 수학적으로 자연스럽게 하나의 보정 항(correction term)으로서 도출됨을 보여줍니다. 이는 마치 군중 속을 뒤로 걸어갈 때, 사람들과 부딪히지 않으려면 어디가 가장 밀집되어 있는지 알고 그곳으로부터 멀어져야 하는 것과 같습니다. 논문은 AI가 예측하도록 학습하는 '스코어'가 바로 과정을 역전시키는 데 필요한 화살표임을 증명합니다. 이는 AI의 학습(스코어 학습)을 데이터 생성(뒤로 걷기) 행위와 수학적으로 정확하게 연결합니다.

학습과 가능도

그다음 논문은 AI가 어떻게 학습하는지에 대한 문제를 다룹니다. 보통 우리는 **스코어 매칭(score matching)**이라는 오류를 최소화함으로써 이러한 모델을 훈련합니다. 저자는 초유한 격자 위에서 이 오류를 최소화하는 것이 **가능도(likelihood, 모델이 올바른 데이터를 생성했을 확률)**를 최대화하는 것과 정확히 같음을 보여줍니다.

이를 위해 저자는 기르사노프 정리(Girsanov theorem)(확률의 규칙을 바꾸는 세련된 방법)라는 도구를 사용합니다. 이것은 마치 경마에서 베팅을 하는 것과 같습니다. 논문은 AI가 학습한 '스코어'를 바탕으로 베팅을 조정한다면, 결과를 완벽하게 예측할 수 있음을 보여줍니다. 이는 '스코어 매칭' 목적 함수가 단순히 영리한 묘수가 아니라, AI가 실제 데이터를 만들어낼 확률을 극대화하는 엄밀한 수학적 방법임을 의미합니다. 논문은 AI가 스코어를 충분히 잘 학습한다면(즉, 오류가 매우 작다면), 생성된 이미지가 실제 데이터 분포와 거의 완벽하게 일치함을 확인해 줍니다.

네 번째 모멘트의 비밀

이 논문의 가장 흥미롭고 구체적인 발견 중 하나는 '노이즈' 자체에 관한 것입니다. AI가 노이즈를 추가할 때, 대개 가우시안 분포(전형적인 종 모양 곡선)를 사용합니다. 논문은 만약 다른 종류의 노이즈를 사용한다면 어떤 일이 벌어지는지 조사합니다. 저자들은 노이즈의 네 번째 모멘트(fourth moment), 즉 분포가 얼마나 '뾰족한지' 또는 '평평한지'를 나타내는 통계적 척도를 살펴봅니다.

저자는 AI가 정확도를 2차 항까지 유지하기 위해서는 노이즈가 특정 값을 가진 네 번째 모멘트를 가져야 한다는 것을 발견했습니다. 만약 노이즈가 가우시안 분포라면, 이 값은 3입니다. 논문은 노이즘의 네 번째 모멘트 값이 3일 때, 주요 오류 항이 사라진다는 것을 증명합니다. 만약 이 값이 3이 아니라면, 밀도의 네 번째 도함수(확률 지형이 얼마나 굽어 있는지)에 의존하는 특정 오류 항이 나타납니다.

이는 매우 중요한 통찰입니다. 단순히 가우시안 노이즈를 사용하는 것이 습관 때문이 아니라, 고정밀 2차 정확도를 위한 수학적 필연성임을 시사합니다. 더 나은 샘플러를 만들고 싶다면, 이 특정 '첨도(kurtosis, 뾰족함)'인 3에 부합하는 노이즈를 설계해야 할 수도 있습니다. 논문은 단순히 이를 제안하는 데 그치지 않고, 격자 방정식을 통해 이를 수학적으로 도출하여, 오류가 $(\kappa - 3)$ (여기서 $\kappa$ 는 네 번째 모멘트)에 비례함을 보여줍니다.

이것이 왜 중요한가

이 논문은 단순히 계산하는 새로운 방법을 제시하는 것이 아니라, 사물을 바라보는 새로운 방식을 제공합니다. AI의 연속적인 세계를 이산적인 초유한 단계들의 집합으로 다룸으로써, 저자는 복잡한 미적분학의 '안개'를 제거합니다. 논문은 우리가 사용하는 매끄러운 연속 이론들이 사실 이러한 기저의 격자 역학의 '표준 부분(standard parts)'일 뿐이라고 주장합니다.

이 연구 결과들은 이 프레임워크 내에서 엄밀하게 증명되었습니다. 논문은 다음을 확립했습니다:

포커-플랑크 방정식은 격자 역학의 자연스러운 결과이다.
역방향 시간 드리프트는 스코어 함수에 의해 정확하게 결정된다.
스코어 매칭은 이 설정에서 가능도 최대화와 수학적으로 동일하다.
노이즈의 네 번째 모멘트(특히 $\kappa=3$ )는 2차 오류를 제거하는 데 결정적이다.

저자는 이 프레임워크가 새로운 유형의 생성 모델, 예를 들어 '헤비 테일(heavy-tailed)' 노이즈(레비 비행과 같은)를 사용하거나, 이러한 고차 오류를 명시적으로 최소화하는 더 나은 샘플링 알고리즘을 설계하는 데 기여할 수 있다고 제안합니다. 이는 생성형 AI를 연속 방정식의 블랙박스가 아니라, 무한한 격자 위에서 펼쳐지는 투명하고 단계적인 춤으로 이해하는 문을 열어줍니다.

기술 요약: 스코어 기반 생성 모델을 위한 초유한(Hyperfinite) 프레임워크

문제 정의
현대의 스코어 기반 확산 모델(Score-based diffusion models)은 전통적으로 연속 시간 확률 미분 방정식(SDE)과 측도론적 확률 미적분학을 사용하여 정식화됩니다. 이러한 연속체 기반 접근 방식은 이산 시간 훈련 목적 함수와 연속 시간 역방향 역학 사이의 간극을 메우기 위해 정교한 기제(예: Ito isometry, Loeb measure, 마틴게일 문제)에 의존합니다. 이러한 방식은 수학적으로는 엄밀하지만, 경로적 직관(pathwise intuition)과 이산 확률 진화 및 그 연속체 극한 사이의 미시적 구조를 가리는 경우가 많습니다. 또한, 이산 스코어 매칭 목적 함수와 연속적인 가능도(likelihood) 최적화 사이의 연결은 복잡한 극한 절차와 정칙성 가정을 요구하며, 이는 이론적 분석을 어렵게 만들 수 있습니다.

방법론
본 논문은 **비표준 해석학(Nonstandard Analysis, NSA)**의 맥별 내에서 스코어 기반 생성 모델링을 위한 통합된 프레임워크를 개발합니다. 저자는 이산 시간 역학을 단순히 연속체의 근사치로 취급하는 대신, 문제를 무한소 시간 단계 $\delta t$ 와 격자 크기 $\delta x$ 를 가진 초유한 격자(hyperfinite grid) $G \subset {}^*\mathbb{R}^d$ 상에서 직접 정식화합니다.

주요 방법론적 구성 요소는 다음과 같습니다:

초유한 내부 과정(Hyperfinite Internal Processes): 순방향 확산은 특정 모멘트 조건(드리프트 및 확산)을 만족하는 무한소 전이 확률에 의해 제어되는 초유한 격자 상의 내부 무작위 보행(internal random walk)으로 정의됩니다.
대수적 유도: 저자는 Nelson의 영향을 받은 "근본적으로 기초적인(radically elementary)" 기법을 활용하여, 외부 측도 공간에 즉각적으로 의존하는 대신 초유한 격자 상에서 정확한 유한 차분 및 부분 적분 대수를 사용하여 항등식을 유도합니다.
표준 부분 투영(Standard-Part Projection): 고전적인 연속 시간 결과(Fokker-Planck 방정식, 역방향 SDE)는 내부 대상(internal objects)의 표준 부분( $\text{st}(\cdot)$ 또는 $\circ(\cdot)$ )을 취함으로써 회복되며, 이때 Loeb 측도 이론을 사용하여 엄격한 수렴을 보장합니다.
내부 최적화: 스코어 매칭 및 가능도 목적 함수는 격자 상의 내부 최적화 문제로 분석되며, 여기서 "학습된" 스코어는 하나의 내부 투영임을 보여줍니다.

주요 기여 및 결과

내부 생성자와 Fokker-Planck 쌍대성:
본 논문은 초유한 보행을 위한 내부 미분 생성자 ${}^*L_t$ 를 유도합니다. 저자는 내부 밀도 진화의 표준 부분이 고전적인 Fokker-Planck 방정식을 만족함을 입증합니다. 이는 정확한 내부 수반 항등식(internal adjoint identity)을 통해 달성되며, 격자의 이산적 보존 법칙이 복잡한 극한 논의 없이도 연속 PDE로 직접 매핑됨을 보여줍니다.
초유한 역방향 평균 항등식 및 역방향 SDE:
중심 결과는 **초유한 역방향 평균 항등식(hyperfinite backward-mean identity)**의 유도입니다. 시간을 역전시킨 내부 전이를 분석함으로써, 저자는 역방향 증분의 조건부 기댓값이 스코어 함수( $\nabla \log p_t$ )를 포함하는 드리프트 항을 생성함을 보여줍니다. 구체적으로, 내부 역방향 드리프트 $\beta$ 는 다음과 같이 유도됩니다:
$\beta_i(t, y) = -{}^*b_i(t, y) + \sum_j {}^*a_{ij}(t, y)\Delta^+_j \log {}^*p_t(y) + \sum_j \Delta^+_j {}^*a_{ij}(t, y)$
이는 역방향 SDE에 대한 구성적이고 경로적인 유도를 제공하며, 스코어 항이 이산 자코비안(Jacobian)과 밀도 섭동으로부터 자연스럽게 발생함을 보여줍니다. 이 초유한 역방향 과정의 표준 부분은 고전적인 역방향 Ito SDE를 해결함이 증명되었습니다.
내부 스코어 등가성 및 생성적 수렴:
저자는 초유한 격자 상에서 내부 디노이징 스코어 매칭(DSM) 목적 함수를 최소화하면 역방향 역학에 필요한 정확한 스코어 항을 회복한다는 것을 증로합니다. 만약 내부 목적 함수 $I(\theta) \approx 0$ 이라면, 학습된 스코어 $s_\theta$ 는 내부 격자 스코어 $\Delta^+ \log {}^*p_t$ 에 무한소만큼 가깝습니다. 결과적으로, 초유한 샘플링 재귀의 표준 부분 투영은 타겟 데이터 분포로 수렴하며, 이는 스코어 기반 모델의 생성적 정당성에 대한 엄격한 근거를 제공합니다.
초유한 Girsanov 정리 및 가능도-스코어 등가성:
상태 독립적 확산(state-independent diffusion)으로 제한하여, 저자는 국소적 지수 기울기(local exponential tilts)를 사용하여 초유한 Girsanov 항등식을 유도합니다. 이는 Fisher 발산(스코어 매칭 목적 함수)과 대리 가능도(surrogate likelihood) 사이의 직접적인 연결을 확립합니다. 본 논문은 스코어 매칭 목적 함수를 최소화하는 것이 가능도의 하한을 최대화함을 보여주며, 이 연결은 연속체 부분 적분이 아닌 격자 전이 비율의 대수로부터 도출됩니다.
2차 일관성 분석:
본 논문은 마스터 방정식의 국소 확장을 통해 초유한 역학의 근사 충실도를 분석합니다. 저자는 1차 일관성이 증분의 1, 2차 모멘트에 의존하는 반면, **2차 약한 일관성(second-order weak consistency)**은 근본적으로 증분의 **4차 모멘트(첨도, kurtosis)**에 의존함을 입안합니다. 주요 보정 항은 $(\kappa - 3)$ 에 비례합니다. 가우시안 값 $\kappa=3$ 은 이 주요 분산 기여를 제거하며, 이는 가우시안 노이즈가 2차 근사에서 갖는 이점의 수학적 설명을 제공합니다.

의의 및 주장
본 논문은 스코어 기반 생성 모델링에 대한 "화이트박스(white-box)" 관점을 제공한다고 주장합니다. 파운데이션 영역을 연속체에서 초유한 격자로 전환함으로써, 이 프레임워크는 다음을 달もの합니다:

이산과 연속의 통합: 이 프레임으로써 이산 알고리즘 단계와 연속 SDE 이론 사이의 간극을 메우고, 연속 확산을 초유한 격자 상의 정확한 대수적 항등식의 "그림자(shadow, 표준 부분)"로 재정의합니다.
NSA 카논의 단순화: 초유한 보행 구성, 역방향 드리프트 항등식, 내부 밀도를 하나의 통합된 프레임워크로 합성하여, Loeb 공간의 엄밀성을 유지하면서도 직접적인 무한소 미적분 논증을 우선시하도록 합니다. 이는 비표준 해석학을 머신러닝 및 확률 모델링 연구자들에게 더 쉽게 접근할 수 있도록 하는 것을 목표로 합니다.
미시적 구조의 명확화: 이산 확률 진화와 그 연속체 극한 사이의 명시적 관계를 밝혀내어, 스코어 함수와 가능도 목적 함수가 내부 격자 기하학으로부터 어떻게 발생하는지를 보여줍니다.

저자는 이 프레임 much가 기존 이론을 대체하는 것이 아니라, 공통된 비표준 설정 내에서 이산 격자 역학, 역방향 확산, 스코어 매칭, 그리고 가능도 기반 정식화를 연결하는 보완적이고 엄격한 토대를 제공한다고 강조합니다. 본 결과는 기초적인 것으로 제시되며, 기존 방법론에 대한 즉각적인 경험적 우위를 주장하기보다는 헤비 테일(heavy-tailed) 프로세스 및 고차 수치 분석으로의 잠재적 확장을 위한 토대를 마련하는 데 중점을 둡니다.