Landing with the Score: Riemannian Optimization through Denoising

이 논문은 확산 모델의 스코어 함수와 데이터 분포 간의 연결을 통해 암시적 매니폴드에서의 리만 최적화를 가능하게 하는 '랜딩' 메커니즘을 제안하고, 이를 통해 생성형 AI 및 데이터 기반 제어 분야에서 효율적인 최적화 알고리즘을 제시합니다.

핵심

이 논문은 **"데이터가 숨겨진 규칙을 따르고 있을 때, 어떻게 그 규칙을 이용해 최고의 답을 찾아낼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 수학적인 방법들은 '규칙'이 명확하게 정의되어 있을 때만 작동했지만, 이 논문은 규칙이 보이지 않아도 데이터만 있다면 그 규칙을 찾아내어 최적의 결과를 얻을 수 있는 새로운 방법을 개발했습니다.

이 복잡한 내용을 세 가지 핵심 비유로 쉽게 설명해 드릴게요.

---

1. 비유: "안개 낀 산과 지도 없는 등반가"

상황:
상상해 보세요. 여러분이 아주 높은 산 (고차원 데이터 공간) 에 서 있습니다. 하지만 이 산은 안개 (노이즈) 에 휩싸여 있어 정상이나 안전한 길 (데이터가 존재하는 낮은 차원의 '다발' 또는 '매니폴드') 을 볼 수 없습니다. 여러분은 산 정상에 있는 어떤 목표 (최소 비용) 를 찾아야 합니다.

• 기존 방법 (전통적 리만 최적화): 등반가는 "산의 지형도가 완벽하게 그려져 있어, 어디가 절벽이고 어디가 길이인지 정확히 알고 있다"는 전제하에 작동합니다. 하지만 현실에서는 지형도 (명시적인 규칙) 가 없는 경우가 많습니다.
• 이 논문의 방법 (데이터 기반 접근): 등반가는 지형도가 없지만, 산 아래에 모여 있는 수많은 등반가들의 발자국 (데이터) 만 있습니다. 이 발자국들을 분석하면 "아, 사람들은 대부분 이 좁은 길만 따라 걷는구나"라는 것을 추론할 수 있습니다.

이 논문은 **"데이터 발자국 (샘플) 만으로도 안개 속의 안전한 길과 그 방향을 완벽하게 복원할 수 있다"**는 것을 수학적으로 증명했습니다.

2. 핵심 기술: "소금기 제거기 (Denoising) 와 나침반"

이 논문은 최근 생성형 AI(예: DALL-E, Stable Diffusion) 에서 쓰이는 **'스코어 (Score)'**라는 기술을 활용합니다.

• 스코어란 무엇인가?
  안개 낀 산에서 "어디로 가면 안개가 걷히고 안전한 길에 닿을 수 있을까?"를 알려주는 나침반입니다. AI 는 수많은 데이터를 학습하여 "이 지점에서 안개를 걷어내면 (노이즈를 제거하면) 데이터가 있는 길로 돌아갈 수 있다"는 방향을 정확히 가리킵니다.
• 이 논문의 혁신:
  기존에는 이 나침반이 단순히 "이미지 생성"에만 쓰였습니다. 하지만 이 논문은 **"이 나침반이 최적화 문제를 풀 때도 쓸모있다"**고 발견했습니다.
  • 나침반의 방향 (기울기): 데이터가 있는 길 (다발) 로 돌아갈 수 있는 방향을 알려줍니다.
  • 나침반의 회전 (헤시안): 그 길이 얼마나 평평한지, 혹은 꺾이는지 알려줍니다.

즉, AI 가 학습한 '노이즈 제거 능력'을 이용해, 데이터가 존재하는 공간 안에서만 움직이면서 최적의 답을 찾도록 만든 것입니다.

3. 두 가지 새로운 등반법 (알고리즘)

저자는 이 원리를 바탕으로 두 가지 새로운 등반 전략을 제안했습니다.

1. DLF (Denoising Landing Flow - "착륙하는 흐름"):

   • 비유: 등반가가 산을 내려오다가 가끔 길을 잃고 안개 속으로 빠질 수 있습니다. 하지만 이 방법은 "길을 잃으면 즉시 다시 안전한 길로 착륙 (Landing) 하라"는 규칙을 적용합니다.
   • 특징: 중간에 잠시 길을 벗어나더라도, AI 가 "아, 여기는 안개야, 다시 길로 돌아와"라고 알려주어 최종적으로 안전한 길 위에 서게 됩니다.

2. DRGD (Denoising Riemannian Gradient Descent - "데이터 길 따라 걷기"):

   • 비유: 등반가가 "이 방향으로 한 걸음 내디디고, 다시 AI 가 알려준 길로 돌아오기"를 반복합니다.
   • 특징: 한 걸음 한 걸음 정교하게 계산하여, 데이터가 존재하는 좁은 길 위를 가장 빠르게 내려가게 합니다.

4. 실제 적용 사례: "자율주행차의 이상적인 경로 찾기"

이론만 있는 게 아니라, 실제 자율주행차에 적용해 보았습니다.

• 문제: 자율주행차가 목적지까지 가려면, 물리적으로 불가능한 동작 (예: 차가 공중을 날거나 벽을 뚫고 지나가는 것) 을 하지 않아야 합니다. 하지만 차량의 모든 가능한 움직임 (데이터) 을 미리 다 정의해 두기는 어렵습니다.
• 해결: 과거에 수집된 수많은 '정상적인 주행 데이터'를 AI 에게 학습시켰습니다.
• 결과: AI 는 "이 경로로 가면 물리적으로 불가능해, 다시 안전한 경로로 수정해"라고 알려주었습니다. 그 결과, 기존 데이터에 없던 새롭고 더 효율적인 주행 경로를 찾아냈습니다. 마치 숙련된 운전자가 "이 길은 막히니까 저쪽으로 가자"라고 자연스럽게 우회하는 것처럼요.

요약: 이 논문이 왜 중요한가요?

1. 데이터가 곧 지도입니다: 복잡한 수학적 규칙을 몰라도, 데이터만 있다면 AI 가 그 규칙을 찾아내어 최적의 결정을 내릴 수 있습니다.
2. 생성형 AI 의 새로운 용도: 이미지를 그리는 데만 쓰이던 AI 기술을, 엔지니어링, 로봇 제어, 금융 등 최적화 문제 해결에도 쓸 수 있게 했습니다.
3. 실용성: 이미 훈련된 AI 모델을 그대로 가져와서, 추가 학습 없이도 최적화 문제를 풀 수 있어 매우 빠르고 효율적입니다.

한 줄 요약:

"안개 낀 산에서 지도가 없어도, 수많은 발자국 (데이터) 을 분석해 나침반 (AI) 을 만들면, 가장 안전하고 빠른 길 (최적해) 을 찾아갈 수 있다!"

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 데이터 매니폴드 가설 (Data Manifold Hypothesis) 하에서 발생하는 고차원 데이터 최적화 문제를 다룹니다.

• 배경: 많은 고차원 데이터 (이미지, 시스템 동작 궤적, 공기역학적 형상 등) 는 고차원 공간에 존재하지만, 실제로는 그보다 훨씬 낮은 차원의 매니폴드 (Manifold) 위에 분포합니다.
• 핵심 문제: 기존 리만 최적화 (Riemannian Optimization) 는 제약 조건인 매니폴드 $M$이 명시적으로 알려져 있어야 합니다 (예: 직교 행렬 군, 저랭크 행렬 등). 그러나 현대의 생성형 AI 및 데이터 기반 제어 분야에서는 매니폴드가 데이터 분포 $\mu_{data}$를 통해 암시적으로만 주어지는 경우가 많습니다.
• 난제: 매니폴드가 명시적으로 정의되지 않으므로, 리만 최적화에 필수적인 접공간 투사 (Tangent space projection), 재트랙션 (Retraction), 지수 사상 (Exponential map) 등의 기하학적 연산을 수행할 수 없습니다. 기존 그래프 기반 방법이나 잠재 공간 최적화 (Latent Space Optimization) 는 계산 비용이 크거나 매니폴드 차원을 미리 알아야 하는 등의 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 디노이징 스코어 (Denoising Score) 와 그 야코비안 (Jacobian) 을 활용하여 명시적인 매니폴드 지식 없이도 리만 최적화를 수행할 수 있는 새로운 프레임워크를 제안합니다.

2.1. 링크 함수와 기하학적 연결 (Link Function & Geometric Connection)

• 데이터 분포 $\mu_{data}$에 가우시안 노이즈를 추가하여 평활화된 분포 $p_\sigma = \mathcal{N}(0, \sigma^2 I) * \mu_{data}$를 정의합니다.
• 링크 함수 (Link Function) $\ell_\sigma(x) = \frac{1}{2}\|x\|^2 + \sigma^2 \log p_\sigma(x)$를 도입합니다.
• 핵심 이론적 발견 (Theorem 1): 노이즈 크기 $\sigma$가 0 에 수렴할 때, 링크 함수의 기울기 (Gradient) 와 헤시안 (Hessian) 은 각각 매니폴드로의 최단 거리 투사 (Projection) 와 접공간 투사 (Tangent Space Projection) 를 점근적으로 복원합니다.
  • $\nabla \ell_\sigma(x) \approx \pi(x)$ (매니폴드 투사)
  • $\nabla^2 \ell_\sigma(x) \approx P_{T_x M}$ (접공간 투사)
• 이는 확산 모델 (Diffusion Models) 의 스코어 함수 (Score Function, $\nabla \log p_\sigma$) 와 직접적으로 연결됩니다. 즉, 사전 학습된 스코어 네트워크 $s(x, \sigma)$를 사용하여 $\nabla \ell_\sigma$와 $\nabla^2 \ell_\sigma$를 추정할 수 있습니다.

2.2. 제안된 알고리즘

이 이론적 기반 위에 두 가지 효율적인 추론 시 (Inference-time) 알고리즘을 개발했습니다.

1. Denoising Landing Flow (DLF):
   • 페널티가 포함된 목적 함수 $F^\eta_\sigma(x) = f(\pi_\sigma(x)) + \eta d_\sigma(x)$에 대한 기울기 흐름 (Gradient Flow) 을 수행합니다.
   • 중간 반복 과정에서 매니폴드에서 벗어날 수 있지만, '랜딩 (Landing)' 항을 통해 최종적으로 매니폴드에 수렴하도록 유도합니다.
   • 연속 시간 동역학: $\dot{x} = -v'(x)\nabla f(v(x)) + \eta(v(x) - x)$
2. Denoising Riemannian Gradient Descent (DRGD):
   • DLF 를 이산화 (Discretization) 한 버전으로, 실제 구현에 적합합니다.
   • 학습된 스코어 네트워크의 기울기와 야코비안을 사용하여 리만 경사 하강법을 모방합니다.
   • 업데이트 규칙: $x_{k+1} = v(x_k - \gamma_k v'(x_k)\nabla f(x_k))$
   • 여기서 $v(x)$는 근사 투사, $v'(x)$는 근사 접공간 투사 역할을 합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 기반 매니폴드 연산의 이론적 정립:
   • 확산 모델의 스코어 함수와 헤시안이 노이즈가 작을 때 매니폴드 투사 및 접공간 투사를 근사한다는 것을 수학적으로 증명했습니다 (Theorem 1).
   • 이는 명시적인 매니폴드 정의 없이도 리만 최적화의 핵심 연산을 수행할 수 있음을 의미합니다.
2. 최초의 스코어 기반 최적화 알고리즘:
   • 사전 학습된 스코어 네트워크를 활용하는 DLF와 DRGD를 제안했습니다.
   • 이 방법들은 네트워크 파라미터에 대한 역전파가 아닌, 입력에 대한 기울기 (Input Gradients) 만을 계산하므로 추론 시 매우 효율적입니다.
3. 비점근적 수렴 보장 (Non-asymptotic Guarantees):
   • 두 알고리즘 모두 $\sigma \to 0$일 때, 근사 실현 가능성 (Approximate Feasibility) (매니폴드와 가까운 점) 과 근사 최적성 (Approximate Optimality) (리만 기울기 노름이 작음) 을 보장함을 증명했습니다 (Theorem 3, 5).
4. 실제 적용 사례:
   • 직교 군 (Orthogonal Group) 최적화 벤치마크와 데이터 기반 제어 (Reference Tracking) 문제에서 기존 학습 데이터보다 훨씬 낮은 목적 함수 값을 갖는 해를 찾음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 직교 군 (Orthogonal Group $O(n)$) 최적화:
  • Brockett 비용 함수를 사용하여 $n=10, 20$ 차원에서 실험했습니다.
  • $\sigma$가 작아질수록 정확도가 향상되었으며, 훈련 데이터 집합 내의 최솟값보다 더 낮은 비용 (Objective Value) 을 달성했습니다.
• 데이터 기반 제어 (Reference Tracking):
  • 이중 진자 (Double Pendulum) 와 유니사이클 카 (Unicycle Car) 모델을 대상으로 했습니다.
  • 시스템 동역학이 명시적으로 주어지지 않고, 오직 입력 - 출력 궤적 데이터 ($D_{train}$) 만 주어지는 상황에서 최적 제어 입력을 찾았습니다.
  • 결과: 제안된 DRGD 알고리즘은 훈련 데이터에 존재하지 않는 새로운 궤적을 생성하여 참조 궤적을 더 잘 추적했습니다. 생성된 입력을 실제 시스템에 적용했을 때에도 오차가 작아, 생성된 해가 실제 시스템 매니폴드에 근접함을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 패러다임 전환: 명시적인 기하학적 지식이 필요한 고전적 리만 최적화에서, 데이터 분포로부터 기하학을 복원하는 데이터 기반 최적화로 패러다임을 전환했습니다.
• 생성형 AI 와 최적화의 융합: 생성형 AI (확산 모델) 의 강력한 표현 능력 (Inductive Bias) 을 제약 최적화 문제에 직접 활용할 수 있는 길을 열었습니다.
• 실용성: 사전 학습된 생성 모델을 재학습 (Fine-tuning) 없이도 추론 시 (Inference-time) 에 최적화 도구로 사용할 수 있어, 계산 효율성이 높고 실시간 적용 가능성이 큽니다.
• 응용 분야: 항공기 날개 설계, 선박 선체 설계, 강화학습, 베이지안 역문제 등 매니폴드 제약이 있는 다양한 공학 및 과학 분야에서 광범위하게 적용될 수 있습니다.

요약하자면, 이 논문은 확산 모델의 스코어 함수가 매니폴드의 기하학적 구조 (투사 및 접공간) 를 자연스럽게 인코딩한다는 통찰을 바탕으로, 데이터만으로 제약 최적화 문제를 해결할 수 있는 새로운 이론적 틀과 알고리즘을 제시했습니다.