💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

이 논문은 보상 기반 속도 매칭(Reward-based Velocity Matching, RVM)을 소개하는데, 이는 확산 모델의 속도장을 직접 최적화하여 보상 미세 조정을 수행하는 단순하고 계산 효율적인 궤적 불필요 프레임워크로서, 기존의 가능도 기반 정책 경사 방법들을 능가하는 동시에 최근 접근 방식들에 대한 통합된 관점을 제공하고 비디오 생성의 동적 보상을 개선할 수 있게 한다.

원저자: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급격히 진화하는 인공지능의 세계에서, 단순한 텍스트 설명으로부터 놀라운 이미지와 사실적인 영상을 만들어낼 수 있는 특정 부류의 컴퓨터 프로그램이 등장했습니다. 디퓨전 모델(diffusion models)이라고 알려진 이 시스템은 점진적인 부패 과정을 역으로 학습하는 방식으로 작동합니다. 선명한 사진을 가져와서 형체를 알아볼 수 없을 때까지 노이즈(static noise)를 서서히 추가하는 과정을 상상해 보십시오. 이 모델들은 순수한 노이즈로부터 시작하여 단계별로 정교하게 노이즈를 제거하며 일관된 그림을 드러내는, 즉 역방향으로 가는 수학적 경로를 학습합니다. 이러한 도구들이 믿기 힘들 정도로 강력해졌지만, 영상이 더 자연스럽게 움직이게 하거나 이미지가 더 아름다워 보이게 하는 것과 같은 인간의 선호도를 따르도록 가르치는 것은 어려운 일로 판명되었습니다. 전통적으로 연구자들은 모든 가능한 다음 단계의 확률을 계산하는 데 의존하는 언어 모델의 방식을 응용하려고 시도해 왔습니다. 그러나 이미지 및 영상 생성은 수백만 개의 픽셀이 동시에 변화하는 과정을 포함하기 때문에, 이러한 확률을 계산하는 것은 계산 비용이 많이 들며 완벽한 정확도로 수행하는 것이 종종 불가능합니다.

조지아 공과대학교와 NVIDIA의 연구진은 이러한 모델들에게 인간이 무엇을 선호하는지 가르칠 수 있는 더 단순하고 직접적인 방법을 찾아냈습니다. 생성 과정의 모든 미세한 단계에 대해 복잡한 확률을 계산하는 대신, 그들은 이미지가 형성되는 과정의 '속도(velocity)'에 직접 집중하는 방법을 제안했습니다. 이 모델들의 언어로 표현하자면, 시스템은 최종 결과에 도달하기 위해 이미지가 다음 순간에 어떻게 변해야 하는지를 예측합니다. 연구진은 이 예측을 고품질의 결과로 이어지는 방향으로 밀어주고, 품질이 낮은 방향으로부터는 멀어지도록 보상 신호(reward signal)를 가이드로 사용하여 밀어낼 수 있다는 것을 발견했습니다. 이 접근 방식은 '보상 기반 속도 매칭(reward-based velocity matching)'이라 불리며, 이전의 시도들을 늦추었던 복잡한 확률 계산 과정을 우회합니다.

연구진은 이 아이디어를 대규모 영상 생성 모델에 테스트했는데, 단 하나의 영상을 만드는 데도 상당한 컴퓨팅 파워가 필요하기 때문에 이 모델들은 훈련 비용이 특히 많이 듭니다. 그들은 영상의 생성 경로 전체를 추적하는 기존 기술들과 새로운 방법을 비교했습니다. 결과는 놀라웠습니다. 그들의 더 단순한 방법은 영상의 품질을 더 높였을 뿐만 아니라, 계산 시간도 훨씬 적게 소요되었습니다. Wan2.1이라는 모델을 사용한 특정 테스트에서, 그들의 방식은 기존의 가장 뛰어난 방법들이 필요로 했던 훈련 시간의 약 12분의 1만을 사용하면서도 가장 높은 종합 품질 점수를 달월성했습니다. 이는 기존 방법들의 복잡성이 불필요했다는 것을 시사합니다. 개선의 핵심은 확률의 수학적 기제를 정교화하는 데 있는 것이 아니라, 보상 신호가 어떻게 설계되고 적용되느냐에 있었습니다.

그들의 발견 중 결정적인 부분은 모델이 실제로 무엇을 최적화하고 있는지 이해하는 것이었습니다. 연구진은 시각적 명확성이나 영상이 텍스트 설명과 얼마나 잘 일치하는지에 초점을 맞춘 표준적인 보상들이, 의도치 않게 모델이 깨끗해 보이지만 지루한, 움직임이 없는 정적인 이미지를 생성하도록 유도할 수 있다는 것을 발견했습니다. 이를 해결하기 위해, 그들은 영상에 의미 있는 움직임이 포함되도록 움직임을 구체적으로 추적하는 새로운 유형의 보상을 도입했습니다. 이 움직임 중심의 보상을 시스템에 추가했을 때, 영상은 시각적 품질을 잃지 않으면서도 훨씬 더 역동적으로 변했습니다. 이 발견은 이러한 강력한 모델들에 있어 가장 중요한 요소는 훈련 알고리즘의 복잡성이 아니라, 기계에 설정된 목표의 명확성과 구체성이라는 점을 강조합니다.

또한 이 연구는 모델을 업데이트하는 데 사용되는 특정 수학 공식이 이전에 생각했던 것보다 덜 중요하다는 것을 밝혀냈습니다. 연구진은 자신들의 새로운 방법이 최근의 여러 다른 접근 방식들과 수학적으로 동일하다는 것을 보여주었으며, 이는 해당 방법들 사이의 성능 차이가 핵심 알고리즘 자체보다는 보상을 설정하는 방식에서 기인했을 가능성이 높다는 것을 의미합니다. 확률 추정의 불필요한 층을 제거함으로써, 그들은 직접적인 속도 기반 업데이트가 더 나은 결과를 향해 모델을 안내하는 데 충분하다는 것을 입증했습니다. 이러한 단순화는 더 효율적인 훈련의 길을 열어주어, 연구자들이 컴퓨팅 비용에 발목 잡히지 않고 더 빠르게 반복 실험을 하고, 이러한 기술을 더욱 복잡한 작업으로 확장할 수 있게 합니다.

궁극적으로 이 연구는 생성형 AI를 훈련하는 방식에 대한 사고의 전환을 제안합니다. 문제를 확률 추정의 복잡한 퍼즐로 취급하기보다, 모델의 내부 방향을 인간의 선호도와 직접 정렬하는 것으로 보는 것이 더 낫다는 것을 연구진은 보여주었습니다. 훨씬 적은 자원으로 우수한 결과를 얻어낸 그들의 방법의 성공은, 효율적인 AI 훈련의 미래가 더 단순하고 직접적인 피드백 루프에 있을 수 있음을 나타냅니다. 이러한 모델들이 규모와 역량을 계속 키워나감에 따라, 모델을 빠르고 효과적으로 미세 조정(fine-tuning)하는 능력은 필수적일 것이며, 이 새로운 접근 방식은 인공지능을 인간의 요구에 더 민감하게 반응하도록 만들기 위한 명확하고 실질적인 경로를 제시합니다.

기술 요약: 확산 모델을 위한 속도 매칭 기반 강화 학습 스케일링

문제 정의

보상 미세 조정(Reward fine-tuning)은 확산(diffusion) 및 플로우(flow) 모델을 인간의 선호도 및 특정 작업 목표(예: 의미론적 정렬, 시각적 품질, 움직임)에 맞게 정렬하는 핵심 메커니즘이 되었습니다. 그러나 기존 방법들은 주로 PPO나 GRPO와 같은 자기회귀적 대규모 언어 모델(LLM)의 정책 경사(policy-gradient) 기법을 그대로 계승합니다. 이러한 전이는 문제가 될 수 있는데, LLM과 달리 확산 모델은 생성된 샘플에 대한 추적 가능한 가능도(likelihood)를 제공하지 않기 때문입니다.

결과적으로, 현재의 접근 방식들은 다음과 같은 두 가지 복잡한 경로를 통해 이 불가능성을 우회하려고 시도합니다:

궤적 기반 방법(Trajectory-based methods): 샘플링된 궤적을 따라 확률적인 1단계 디노이징 전이를 통해 가능도를 구축합니다. 이는 비용이 많이 드는 확률적 롤아웃, 궤적 저장, 그리고 중간 디노이징 상태가 현재 상태보다 반드시 깨끗한 종단점(endpoint)에 가깝지 않을 수 있다는 점 때문에 높은 분산 업데이트를 초래할 수 있습니다.
ELBO 기반 방법(ELBO-based methods): 최종 샘플의 주변 가능도(marginal likelihood)를 증거 하한(ELBO)을 사용하여 근사합니다. 이 방법은 전체 롤아웃 샘플러로부터 학습을 분리하지만, 여전히 추정된 정책 비율(policy ratios)과 가능도 근사의 계산 오버헤드를 유지하는 가능도 기반 정책 경사 공식에서 기원합니다.

본 연구가 제기하는 핵심 질문은, 확산 모델의 효과적인 보상 미세 조정을 위해 가능도 추정이 정말로 필요한가, 아니면 모델 업데이트를 모델의 고유한 학습 표현(native training representation)에 직접 작용하도록 단순화할 수 있는가 하는 것입니다.

방법론: 보상 기반 속도 매칭 (RVM)

저자들은 확산 모델의 속도장(velocity field)에 직접 작용하는 단순하고 궤적이 필요 없는 업데이트 메커니즘인 **보상 기반 속도 매칭(Reward-Based Velocity Matching, RVM)**을 제안합니다.

핵심 목표

정책 경사 목적 함수를 구축하고 다루기 힘든 가능도 비율을 근사하는 대신, RVM은 확산 모델의 속도장에 대한 회귀 문제로 보상 미세 조정을 취급합니다. 생성된 종단점 그룹 $\{x_0^i\}$ 가 주어지면, 각 샘플은 속도 타겟 $v_i = \epsilon_i - x_0^i$ 를 갖는 단일 중간 상태 $x_t^i$ 로 순방향 노이즈가 추가됩니다. 모델 속도 $v_\theta(x_t, t)$ 는 다음 두 항으로 구성된 손실 함수를 사용하여 업데이트됩니다:

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

여기서:

$r_i$ (보상 가중치): 보상 $R(x_0^i)$ 로부터 유도된 부호가 있는 선호도 신호입니다. 양수 보상은 해당 샘플과 관련된 속도 방향을 강화(즉, $v_\theta$ 를 $v_i$ 쪽으로 끌어당김)하고, 음수 보상은 이를 억제(즉, $v_\theta$ 를 $v_i$ 로부터 밀어냄)합니다.
$v_{\text{anc}}$ (앵커 속도): 참조 속도장(예: 동결된 참조 모델 또는 현재 정책의 EMA)으로부터의 드리프트를 제어하는 선택적 항입니다. 이는 미세 조정 중 과도한 정책 드리프트를 방지합니다.
효율성: 이 방법은 샘플당 단 하나의 노이즈 상태만을 필요로 하므로, 전체 디노이징 궤적을 저장하거나 가능도 비율을 계산할 필요가 없습니다.

이론적 통합

본 논문은 RVM이 최근의 미세 조정 방법들을 특수 사례로 회복하는 일반적인 프레임워크임을 입증합니다:

RAM (Reinforce Adjoint Matching): 샘플링 정책이 온-폴리시( $\pi_{\text{old}} = \pi_\theta$ )이고, 앵커가 동결된 참조 속도( $v_{\text{anc}} = v_{\text{ref}}$ )이며, 앵커 강도가 1일 때 RVM과 업데이트가 동일함을 보여줍니다.
DiffusionNFT: 앵커가 EMA로 업데이트되는 속도이고 앵커 강도가 보상에 의존하는 RVM의 특수 사례임을 보여줍니다.
ELBO 기반 정책 경사: ELBO를 통한 로그 비율 근사에 의존하는 EPG 방법들이 중요도 가중치와 시간 의존적 가중 계수를 생략할 때 정확히 RVM으로 축소됨을 보여줍니다.

이러한 통합은 특정 대수적 형태의 속도 손실보다 보상 설계와 앵커 메커니즘의 설계가 더 중요하다는 것을 시사합니다.

주요 기여

RVM 도입: 정책 비율 추정과 궤적 저장을 제거하고, 보상 피드백을 확산 모델의 고유한 속도 매칭 표현에 직접 통합하는 단순하고 궤적 독립적인 방법을 도입했습니다.
이론적 통합: RVM이 최근 방법들(RAM, DiffusionNFT)을 일반화하며, ELBO 기반 정책 경사를 속도 회귀로 축소한다는 증명을 통해, 초점을 손실 대수에서 보상 및 앵커 설계로 전환했습니다.
경험적 효율성 및 성능: 속도 기반 방법이 궤적 기반 베이스라인(FlowGRPO, DanceGRPO)과 대등하거나 이를 능가함을 입증하며, 동시에 훈련 비용을 크게 절감했습니다.
보상 설계 통찰: 비디오 생성의 경우 표준 선호도 보상이 정적인 출력을 선호하는 경향이 있음을 확인했습니다. 저자들은 의미 있는 움직임을 명시적으로 장려하여 역동성 정도(dynamic degree)와 전반적인 비디오 품질을 크게 향상시키는 광학 흐름(optical flow) 기반의 다이내믹 트래킹(Dynamic-Tracking, DT) 보상을 도입했습니다.

실험 결과

저자들은 텍스트-이미지(Stable Diffusion 3.5), 텍스트-비디오(Wan2.1-T2V-1.3B), 이미지-비디오(SkyReels-I2V) 모델에 대해 RVM을 평가했습니다.

성능: Wan2.1-T2V-1.3B에서 RVM은 VBench 종합 점수(84.13)에서 FlowGRPO(75.91) 및 DanceGRPO(79.46)와 같은 궤적 기반 방법들을 능가하는 최고 점수를 기록했습니다. 특히, RVM은 궤적 기반 방법들의 55~58과 비교하여 75.00의 높은 역동성 정도(Dynamic Degree)를 달성했습니다.
효율성: RVM은 훈련 비용을 크게 줄였습니다. Wan2.1 기준으로 RVM은 525 GPU-시간(8×H100)이 필요했던 반면, FlowGRPO는 1,159, DanceGRPO/TaRoS는 6,171이 필요했습니다. 이는 2.2배에서 11.8배의 비용 절감을 나타냅니다.
절제 연구(Ablation Studies):
- 손실 변형: RVM, RAM, DiffusionNFT가 유사한 성능을 보였으며, 이는 특정 속도 손실 함수보다 보상 및 앵커 설계가 더 중요하다는 것을 확인시켜 줍니다.
- 보상 설계: DT 보상의 추가가 움직임 품질을 개선하는 주요 동력이었으며, 역동성 정도를 약 5.5에서 75.0으로 높였습니다.
- 적은 단계 생성(Few-Step Generation): RVM으로 미세 조정된 모델은 공격적인 단계 축소(예: 4-step 추론)에 대해서도 우수한 견고성을 보여주었으며, 베이스 모델이 급격히 저하되는 상황에서도 높은 품질을 유지했습니다.

의의 및 주장

본 논문은 확산 모델을 위한 확장 가능한 보상 미세 조정이 가능도 기반 정책 최적화보다는 고유한 속도 표현에서 다루어지는 것이 더 적절하다고 주장합니다. 저자들은 궤적 기반 방법의 복잡성과 가능도 근사가 불필요하다고 주장합니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

단순성: 정책 비율이나 궤적 저장 없이도 단순한 속도 매칭 손실을 통해 효과적인 미세 조정을 달할 수 있습니다.
손실보다 보상: 속도 손실 함수의 구체적인 선택은 부차적입니다. 결정적인 요소는 보상이 어떻게 업데이트 가중치로 변환되는지와 모델이 어떻게 앵커링되는지입니다.
비디오의 움직임: 일반적인 선호도 보상은 정적인 비디오를 만들 수 있으므로, 고품질 비디오 생성을 위해서는 명시적인 다이내믹 트래킹이 필수적입니다.

이 연구는 확산 모델의 사후 학습(post-training)에 있어 미래의 확장성이 더욱 정교한 정책 손실 공식보다는 보상 명세와 앵커 설계에 집중되어야 함을 시사합니다.