📊 statistics

Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds

이 논문은 잠재 공간을 리만 다양체(Riemannian manifold)로 해석하고, 국소적 불확실성에 따라 유클리드 역학과 기하학적 인지 역학 사이를 동적으로 전환하는 하이브리드 확산 과정을 채택함으로써, 제한된 데이터 환경에서도 미지의 다양체 상에서 탁월한 생성 품질을 달성하여 표준 및 잠재 확산 모델의 한계를 극복하는 내재적 하이브리드 잠재 확산 모델(ILDM)을 소개한다.

원저자: Yizhu Wang, Mu Niu, Xiaochen Yang

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yizhu Wang, Mu Niu, Xiaochen Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 수천 장의 사진을 보여주고, 결국 로봇은 솜털이 보송보송한 고양이를 스케치하는 법을 배웁니다. 하지만 만약 당신이 고작 몇 장의 사진만 보여준다면 어떻게 될까요? 로봇은 혼란에 빠져, 발 대신 바퀴가 달렸거나 머리가 세 개 달린 고양이를 그릴지도 모릅니다. 이것이 인공지능에서의 "생성 모델링(generative modeling)"이 직면한 과제입니다. 즉, 방대한 양의 예시 라이브러리를 공부할 수 없을 때, 컴퓨터가 어떻게 하면 새롭고 사실적인 데이터(이미지나 소리 같은)를 만들어내도록 가르칠 것인가의 문제입니다.

이를 해결하기 위해 과학자들은 종종 "디퓨전(diffusion, 확산)"이라 불리는 영리한 기술을 사용합니다. 이것은 마치 거꾸로 진행되는 "전화기 놀이(telephone game)"와 같습니다. 먼저, 선명한 사진에 정적 노이즈(static noise)를 서서히 추가하여 흐릿하고 회색빛이 도는 엉망인 상태로 만듭니다. 그런 다음, 컴퓨터가 이 게임을 역순으로 수행하도록 훈련합니다. 즉, 회색 노이즈로부터 시작하여 단계별로 정적을 제거함으로써 선명한 이미지가 나타나게 하는 법을 배우는 것입니다. 보통 이 컴퓨터들은 평평한 격자 형태의 세상(유클리드 공간이라고 불리는)에서 작동하며, 여기서는 위는 항상 위이고 왼쪽은 항상 왼쪽입니다. 하지만 인간의 얼굴 형태나 자동차의 곡선과 같은 실제 세계의 데이터는, 평평한 격자에 깔끔하게 들어맞지 않는 뒤틀리고 접힌 표면(매니폴드, manifold) 위에 존재합니다. 구겨진 종이 위를 평면 지도를 가지고 걸으려 한다면 길을 잃게 될 것입니다. 이 논문은 이러한 구겨진, 보이지 않는 표면을 항해하는 법을 이 AI 로봇들에게 어떻게 가르칠 것인가에 대한 문제를 다룹니다. 특히 사진을 아주 조금만 가지고 있을 때 말이죠.

이 연구의 저자인 왕이지(Yizhu Wang), 니우무(Mu Niu), 양샤오첸(Xiaochen Yang)은 **내재적 하이브리드 잠재 디퓨전 모델(Intrinsic Hybrid Latent Diffusion Model, ILD EM)**이라는 새로운 시스템을 소개합니다. 이들의 주요 발견은 AI가 사용하는 숨겨진 "지도"를 평평한 격자가 아닌 유연하고 굽어 있는 표면으로 취급함으로써, 로봇이 더 적은 사진으로도 훨씬 더 잘 학습할 수 있다는 것입니다. 그들은 AI의 지도가 모든 곳에서 완벽하지 않다는 것을 발견했습니다. 어떤 지점에서는 데이터의 위치를 매우 확신하지만, 다른 지점(학습 사진에서 멀리 떨어진 곳)에서는 불안정하고 불확실합니다.

이를 처리하기 위해 ILDM은 두 가지 서로 다른 이동 모드를 가진 등산가처럼 "하이브리드" 전략을 사용합니다. 등산가가 잘 알려진 안전한 길(불확실성이 낮은 영역)에 있을 때, 그들은 지형의 곡선을 존중하며 조심스럽게 따라 걷습니다. 이것이 모델의 리만(Riemannian) 부분으로, AI가 데이터의 자연스러운 기하학적 구조를 따르는 단계입니다. 하지만 만약 등산가가 안개가 자욱하고 미지의 숲(지도가 신뢰할 수 없는 불확실성이 높은 영역)으로 들어간다면, 그들은 길을 잃거나 절벽 아래로 떨어지는 것을 피하기 위해 더 단순한 직선 걷기 방식(유클리드 역학)으로 전환합니다. 모델은 끊임없이 자신의 확신도를 체크합니다. 확신이 없으면 안전한 직선 걷기 모드로 전환하고, 확신이 있으면 데이터의 곡선을 밀착하여 따라갑니다.

이 논문은 대부분의 현재 모델들이 사용하는 표준적인 접근 방식, 즉 숨겨진 지도가 항상 평평하다고 가정하고 이러한 곡선들을 무시하는 방식에 반론을 제기합니다. 저자들은 이러한 "평면 지도" 가정이 특히 데이터가 부족할 때 AI가 실수를 유발한다고 주장합니다. 또한 그들은 데이터의 정확한 표면 모양을 미리 알 필요가 없다는 점을 명시하며, 대신 그들의 모델이 확률적 디코더를 사용하여 형태와 불확실성을 실시간으로 학습한다고 설명합니다.

실험에서 연구팀은 세 가지 서로 다른 데이터 세트를 사용하여 이 새로운 시스템을 테스트했습니다: 회전하는 "럭키 캣(Lucky Cat)" 장난감(COIL-100 데이터셋), 손으로 쓴 숫자 모음(MNIST), 그리고 심장 스캔 이미지(cardiac MRI)입니다. 그들은 새로운 이미지를 생성하는 과정을 시뮬레이션하여, 하이브리드 모델이 표준 모델들보다 훨씬 더 나은 결과를 만들어낸다는 것을 발견했습니다. 구체적으로, 새 모델은 더 사실적인 이미지를 생성했으며 왜곡이 적었으며, FID 및 LPIPS라고 불리는 표준 품질 테스트에서 더 낮은 점수를 기록했습니다. 저자들은 컴퓨터 시뮬레이션과 비교 분석을 통해 이러한 성공을 측정하였으며, AI가 확신도에 따라 "곡선" 걷기와 "직선" 걷기를 전환하게 함으로써, 처음에 많은 예시를 보지 못했음에도 불구하고 고품질의 이미지를 생성할 수 있음을 보여주었습니다.

기술 요약: 미지의 매니폴드 상의 생성 모델링을 위한 내재적-하이브리드 잠재 확산 모델 (Intrinsic-Hybrid Latent Diffusion Models)

문제 정의
확산 모델(Diffusion Models, DMs)은 고차원 데이터 합성에서 최첨단 성능을 달est했으나, 대규모 학습 데이터에 대한 과도한 의존성과 내재적 기하 구조의 무시라는 두 가지 주요 한계에 직면해 있다. 잠재 확산 모델(Latent Diffusion Models, LDMs)은 잠재 공간을 학습함으로써 차원의 저주를 완화하지만, 일반적으로 이 공간에 유클리드 구조를 강요한다. 이러한 가정은 데이터 매니폴드의 기저에 깔린 리만 기하학(Riemannian geometry)을 포착하지 못하며, 이는 특히 데이터가 희소한 환경에서 문제가 된다. 기존의 매니폴드 학습 방법들은 데이터 밀도가 낮은 영역에서 견고성이 부족하여 높은 재구성 오차와 매핑 불확실성을 초래한다. 또한, 기존의 내재적 접근 방식들은 매니폴드 연산자(예: Laplace-Beltrami 고유기저)에 대한 명시적인 지식을 요구하는데, 실제 현장에서는 이러한 지식을 얻기가 매우 어렵다.

방법론
저자들은 확률적 차원 축소와 미지의 매니폴드 상에서의 기하학 인지형 하이브리드 확산 과정을 통합한 내재적 하이브리드 잠재 확산 모델(Intrinsic Hybrid Latent Diffusion Model, ILDments) 프레임워크를 제안한다.

매니폴드 파라미터화 및 메트릭 학습:
- 잠재 공간은 미지의 리만 매니폴드의 차트(chart)로 해석된다.
- 확률적 디코더(가우시안 프로세스(GP) 디코더 또는 변이형 오토인코더(VAE))를 사전 학습하여 잠재 좌표를 데이터 공간으로 매핑한다.
- **리만 메트릭 텐서( $g$ )**는 디코더의 자코비안(Jacobian)으로부터 유도된다. GP 디코더의 경우, 이 메트릭은 비중심 와셔트 분포(noncentral Wishart distribution)를 따르며, 내재적 기하 구조와 잠재-데이터 매핑의 불확실성을 모두 인코딩한다.
- 잠재 공간은 "데이터 노이즈 매니폴드"로 취급되며, 이는 훈련 데이터로부터 멀어진 지점의 재구성이 노이즈에 의해 지배됨을 인정하는 것이다.
하이브리드 순방향 과정 (Forward Process):
- 순방향 확산 과정은 **리만 브라운 운동(Riemannian Brownian Motion, BM)**과 유클리드 BM의 혼합으로 설계되었다.
- 전환 메커니즘은 매핑 $\phi$ 의 예측 분산( $\sigma^2(x)$ )에 의해 제어된다.
- 불확실성이 낮은 영역(메트릭이 신뢰할 수 있는 곳)에서 프로세스는 메트릭 $g$ 에 의해 정의된 리만 BM 역학을 따른다.
- 불확실성이 높은 영역(훈련 데이터에서 먼 곳)에서 프로세스는 신뢰할 수 없는 기하학적 추정에 의존하지 않고 유연한 탐색을 허용하기 위해 표준 유클리드 BM으로 전환된다.
- 이 하이브리드 SDE는 오일러-마루야마(Euler-Maruyama) 방법을 사용하여 수치적으로 시뮬레이션된다.
스코어 추정 (근사 데노이징 스코어 매칭):
- 하이브리드 SDE의 전이 밀도(transition density)는 다루기 까다롭기 때문에(intractable), 표준 데노이징 스코어 매칭(DSM)을 직접 적용할 수 없다.
- 저자들은 **근사 데노이징 스코어 매칭(Approximate Denoising Score Matching, ADSM)**을 도입한다. 이 방법은 시뮬레이션된 순방향 궤적의 표본 평균과 분산으로 매개변수화된 가우시안 분포를 사용하여 다루기 어려운 전이 밀도를 근사한다.
- 신경망(U-Net)은 이 근사된 목적 함수를 사용하여 스코어 함수( $\nabla_x \log p_t(x)$ )를 예측하도록 학습된다.
- 대안으로 슬라이스드 스코어 매칭(Sliced Score Matching, SSM)도 고려되었으나, 고차원에서 ADSM보다 수렴 속도가 느린 것으로 나타났다.
하이브리드 역방향 과정 (Backward Process):
- 생성(역방향) 과정은 **하이브리드 랑제빈 역학(Hybrid Langevin Dynamics)**을 활용한다.
- 순방향 과정과 마찬가지로, 역학은 불확실성이 낮은 영역(자연 경사(natural gradient)를 활용)과 불확실성이 높은 영역(유클리드 랑제빈 업데이트 활용) 사이를 전환한다.
- 이 과정은 학습된 스코어 함수와 위치 의존적 메트릭 텐서에 의해 유도된다.
조건부 생성:
- 본 프레임워크는 조건부 및 무조건부 스코어 네트워크를 공동 학습시켜 클래스 레이블에 기반한 제어 가능한 생성을 지원하는 분류기 없는 가이던스(classifier-free guidance)를 지원한다.

핵심 기여

잠재 공간의 기하학적 인지: ILDM은 잠재 공간을 미지의 리만 매니폴드의 차트로 해석하여, 국소적 기하학적 왜곡을 설명하기 위해 메트릭 텐서를 명시적으로 모델링한다.
불확실성 인지형 하이브리드 역학: 모델은 매핑 불확실성에 따라 리만 및 유클리드 확산 사이를 동적으로 전환함으로써, 표준 LDM의 고질적인 문제인 "기하학적 불일치"와 "희소 데이터 저하" 문제를 해결한다.
근사 데노이징 스코어 매칭 (ADSM): 폐쇄형(closed-form) 전이 밀도가 존재하지 않는 하이브리드 확산 설정에 특화된 새로운 학습 목적 함수를 제공하며, 시뮬레이션된 궤적을 통해 효율적인 스코어 추정을 가능하게 한다.
희소 데이터에 대한 견고성: IL-DM은 기존의 확산 모델이 어려움을 겪는 데이터가 희소한 환경에서 효과적으로 수행되도록 특별히 설계되었다.

실험 결과
저자들은 세 가지 벤치마크 데이터셋에 대해 희소 데이터 조건 하에서 ILDM을 평가하였다:

COIL-100: 특히 'Lucky Cat' 오브젝트 (72개 이미지).
Cardiac MRI: 좌심실 스캔.
MNIST: 데이터셋의 일부 서브셋.

정량적 성능: ILDM은 표준 확산 모델(DM) 및 잠재 확산 모델(LDM)보다 일관되게 우수한 성능을 보였으며, 더 낮은 Fréchet Inception Distance (FID) 및 Learned Perceptual Image Patch Similarity (LPIPS) 점수를 달성하였다.
정성적 성능: 학습된 벡터장의 시각화 결과, ILDM의 스코어 추정치는 데이터 분포를 향해 정확하게 가리키며 국소적 매니폴드 기하 구조를 포착함을 보여주었다. 반면, 표준 LDM은 벡터장이 잠재 공간의 중심으로 향하게 하여 기저 구조를 반영하는 데 실패했다.
절제 실험 (Ablation): 스위칭 임계값 파라미터( $\alpha$ )에 대한 실험을 통해, 이 하이퍼파라미터를 튜닝하는 것이 표준 LDM에 비해 샘플 품질을 개선함을 확인하였다.

의의 및 주장
본 논문은 ILDM이 데이터가 희소하고 기저 매니폴드 기하 구조를 알 수 없는 시나리오에서 생성 모델링의 중요한 진보를 나타낸다고 주장한다. 확률적 차원 축소와 기하학 인지형 확산을 결속함으로써, ILDM은 잠재 공간의 유클리드 가정에 따른 한계를 극복한다. 저자들은 본 접근 방식이 내재적 구조를 존중하면서 주변 차원을 줄임으로써 생성 모델링을 단순화하고, 데이터 제약 환경에서 고충실도 합성을 위한 견고한 솔루션을 제공한다고 단언한다. 이 연구는 불확실성 정량화를 확산 역학에 통합하는 것이 제한된 학습 데이터 상황에서 생성 품질을 유지하는 데 필수적임을 입증한다.

유사한 논문