DEGMC: Denoising Diffusion Models Based on Riemannian Equivariant Group Morphological Convolutions
이 논문은 DDPM의 기하학적 특징 추출 및 네트워크 등변성(equivariance) 문제를 해결하기 위해, 리만 다양체 상의 그룹 형태학적 합성곱(group morphological convolutions)을 도입하여 회전, 반사, 치환 등의 대칭성을 학습 과정에 통합함으로써 생성 성능을 향상시킨 연구입니다.
원저자:El Hadji S. Diop, Thierno Fall, Mohamed Daoudi
기존의 이미지 생성 AI(DDPM이라고 부릅니다)는 마치 **'안개 속에서 그림을 그리는 화가'**와 같습니다. 처음에는 자욱한 안개(노이즈) 상태에서 시작해서, 조금씩 안개를 걷어내며 선명한 그림을 완성해 나가는 방식이죠.
그런데 이 화가에게는 치명적인 약점이 하나 있습니다. 바로 **'공간 감각'**이 부족하다는 거예요.
예를 들어, 화가에게 "정사각형 모양의 사과를 그려줘"라고 하면, 사과를 옆으로 살짝 돌리거나 뒤집었을 때 "어? 이건 내가 배운 사과랑 모양이 좀 다른데?"라며 당황합니다.
즉, 물체가 회전하거나, 뒤집히거나, 위치가 바뀌어도 그것이 **'같은 물체'**라는 것을 본능적으로 깨닫는 능력이 부족합니다. 이를 전문 용어로 **'등변성(Equivariance)'**이 부족하다고 합니다.
2. 이 논문의 핵심 아이디어: "기하학적 근육"을 키워주자!
연구진은 이 화가에게 **'기하학적 감각'**이라는 특별한 훈련법을 도입했습니다. 이름하여 DEGMC입니다.
① "모양의 뼈대를 잡는 법" (모폴로지 연산)
기존 AI가 단순히 색칠 공부를 했다면, 이 모델은 **'찰흙 놀이'**를 합니다.
팽창(Dilation): 찰흙을 불려서 물체의 윤곽을 뚜렷하게 만듭니다.
침식(Erosion): 불필요한 부분을 깎아내어 세밀한 디테일을 살립니다. 이 과정을 통해 AI는 아주 얇은 선이나 복잡한 구조도 놓치지 않고 정확하게 파악할 수 있게 됩니다.
② "어디로든 움직일 수 있는 자유" (리만 기하학 & 유클리드 군)
연구진은 AI가 사는 세상을 평평한 종이가 아니라, **'구불구불한 곡면(리만 다양체)'**으로 설정했습니다.
마치 우리가 지구본 위에서 움직일 때, 단순히 앞뒤로 움직이는 게 아니라 곡선을 따라 움직여야 하는 것과 같습니다.
이렇게 하면 AI가 물체를 회전시키거나, 거울처럼 뒤집거나, 위치를 옮겨도 **"아, 이건 원래 그 물체구나!"**라고 완벽하게 이해할 수 있는 '수학적 규칙'을 갖게 됩니다.
3. 결과: 무엇이 좋아졌나요?
연구진은 이 새로운 방식(GMCUnet)을 사용하여 테스트를 해보았습니다.
"회전해도 당황하지 않아요!": 숫자를 돌려놓은 데이터(RotoMNIST)를 학습시켰을 때, 기존 AI는 갈팡질팡하며 이상한 그림을 그렸지만, 이 모델은 마치 원래 숫자를 본 것처럼 아주 깔끔하게 그려냈습니다.
"더 빨리, 더 예쁘게!": 그림을 그리는 속도가 빨라졌고, 생성된 이미지의 품질(FID 점수)도 훨씬 좋아졌습니다.
"복잡한 것도 척척!": 단순한 숫자뿐만 아니라, 실제 사진 같은 복잡한 이미지(CIFAR-10)에서도 더 다양하고 선명한 결과물을 만들어냈습니다.
요약하자면!
이 논문은 **"AI에게 수학적인 '공간 지능'을 심어주어, 물체가 회전하거나 모양이 변해도 그 본질을 놓치지 않고 아주 정교하고 아름다운 이미지를 그려낼 수 있게 만든 기술"**에 대한 이야기입니다.
마치 눈을 감고 물체를 만지던 화가에게, 물체의 입체적인 구조와 대칭성을 완벽히 이해할 수 있는 '촉각'과 '공간 감각'을 선물한 것과 같습니다.
[기술 요약] DEGMC: 리만 기하학적 등변 군 형태학적 컨볼루션을 이용한 디노이징 확산 모델
1. 문제 정의 (Problem Statement)
최근 급성장 중인 디노이징 확산 확률 모델(DDPM)은 뛰어난 생성 능력을 보여주지만, 두 가지 핵심적인 기술적 한계를 가지고 있습니다:
기하학적 특징 추출의 한계: 기존 DDPM이 사용하는 U-Net 구조는 이론적으로 **평행 이동 등변성(Translation Equivariance)**만을 보장합니다. 즉, 데이터의 회전(Rotation), 반사(Reflection), 치환(Permutation)과 같은 더 복잡한 기하학적 대칭성을 학습 과정에서 명시적으로 활용하지 못합니다.
네트워크 등변성(Equivariance) 부족: 데이터에 기하학적 변형이 가해졌을 때, 모델의 출력 또한 그 변형에 대응하여 일관되게 변화해야 하지만, 표준 CNN 기반 구조는 이를 충분히 반영하지 못해 미세한 기하학적 구조를 포착하는 데 어려움을 겪습니다.
2. 제안 방법론 (Methodology)
본 논문은 리만 매니폴드(Riemannian Manifold) 상에서 정의된 **군 형태학적 컨볼루션(Group Morphological Convolutions)**을 도입하여 이를 해결합니다.
A. 핵심 수학적 도구
Hamilton-Jacobi PDE 기반 형태학 연산: 형태학적 팽창(Dilation)과 침식(Erosion)을 1차 Hamilton-Jacobi 유형의 편미분 방정식(PDE)의 점성 해(Viscosity Solution)로 정의합니다. 이를 통해 단순한 선형 연산을 넘어 비선형성을 더 잘 포착할 수 있습니다.
대류 항(Convection Term) 추가: 특징 맵을 공간상에서 이동시키고 정렬하는 역할을 하는 대류 항을 모델에 추가하여, 데이터의 기하학적 구조에 따라 특징을 재샘플링합니다.
ResnetCDEBlocks: 기존의 ResNet 블록을 CDE(Convection, Dilation, Erosion) 블록으로 대체합니다. 이 블록은 대류, 팽창, 침식 연산을 결합하여 기하학적 등변성을 강제합니다.
B. 기하학적 프레임워크
리만 매니폴드 및 유클리드 군(E(n)): 모델은 평행 이동뿐만 아니라 회전, 반사, 치환을 포함하는 유클리드 군 E(n)에 대해 등변성을 갖도록 설계되었습니다.
쌍곡 공간(Hyperbolic Ball, Bn) 활용: 계산 효율성을 위해 Bn을 매니폴드로 채택했습니다. 쌍곡 공간의 음의 곡률은 데이터의 계층적/비국소적 관계를 효과적으로 캡처하며, 유클리드 변환에 대해 불변하는 거리를 제공하여 안정적인 등변 연산을 가능하게 합니다.
C. GMCUnet 아키텍처
기존 U-Net의 인코더-디코더 구조를 유지하되, 가장 핵심적인 Middle Block에 제안된 ResnetCDEBlocks를 배치하여 미세한 기하학적 구조를 추출하고 대칭성을 보존하도록 설계되었습니다.
3. 주요 기여 (Key Contributions)
새로운 네트워크 구조 제안: 대류-팽창-침식(CDE) 연산을 결합한 새로운 잔차 블록을 통해 미세 구조와 비선형성을 더 잘 포착하는 GMCUnet을 설계했습니다.
확산 프레임워크의 확장: 군 형태학적 연산자를 통합하여 리만 매니폴드 상에서 작동하는 새로운 확산 모델 프레임워크를 제안했습니다.
대칭성 보존 및 복잡도 감소: 평행 이동, 회전, 반사, 치환 대칭성을 체계적으로 보존함으로써 모델의 견고성을 높였습니다.
효율적인 학습: 기하학적 등변성을 활용함으로써 기존 DDPM 대비 더 빠른 수렴 속도와 향상된 생성 품질을 달성했습니다.
4. 실험 결과 (Results)
MNIST, RotoMNIST, CIFAR-10 데이터셋을 통해 DDPM 베이스라인과 비교 실험을 진행했습니다.
MNIST: DEGMC가 DDPM보다 더 빠르게 고품질 샘플 생성 단계에 도달하며(수렴 속도 우위), FID 점수에서도 소폭 개선된 성능을 보였습니다.
RotoMNIST (회전된 데이터):가장 극적인 차이를 보였습니다. DDPM은 데이터의 회전 변형에 취약하여 성능이 크게 떨어졌으나, DEGMC는 회전된 데이터에서도 MNIST와 유사한 높은 품질을 유지하며 압도적인 FID 성능을 기록했습니다.
CIFAR-10 (실제 컬러 이미지): 실제 이미지 데이터셋에서도 DDPM보다 낮은 FID와 높은 Inception Score(IS)를 기록하며, 이미지의 충실도(Fidelity)와 다양성(Diversity) 모두에서 개선됨을 입증했습니다.
5. 의의 (Significance)
본 연구는 확산 모델의 성능 향상을 위해 **기하학적 대칭성(Equivariance)**과 **형태학적 연산(Morphological Operations)**을 결합할 수 있음을 수학적으로 증명하고 실증했습니다. 특히, 데이터에 기하학적 변형이 포함된 경우(예: RotoMNIST) 모델의 강건성(Robustness)을 획기적으로 높일 수 있음을 보여주었으며, 이는 향후 3D 형상 생성이나 분자 모델링과 같은 복잡한 기하학적 구조를 다루는 생성 모델 연구에 중요한 기초를 제공합니다.