🤖 machine learning

MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

이 논문은 유도된 즉각적 속도 예측기(induced instantaneous-velocity predictor)를 구축함으로써 순방향 프로세스 강화 학습 방법인 DiffusionNFT를 MeanFlow 생성기에 적응시킨 새로운 프레임워크인 MeanFlowNFT를 소개하며, 이를 통해 빠른 몇 단계 샘플링을 유지하면서도 이미지 및 비디오 생성에서 기존의 몇 단계 및 심지어 다단계 RL 튜닝 모델들을 크게 능가하는 효율적인 보상 최적화를 가능하게 한다.

원저자: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yushi Huang, Xiangxin Zhou, Jun Zhang, Liefeng Bo, Tianyu Pang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 예술가에게 "네온 사인이 빛나는 사이버펑크 거리를 달리는 매끈한 자동차"를 그리도록 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 현재 최고의 예술가들은 확산(diffusion) 또는 **플로우(flow)**라고 불리는 기법을 사용합니다. 이것은 마치 대리석 덩어리에서 조각을 해 나가는 조각가와 같습니다. 그들은 처음에 거칠고 노이즈가 섞인 돌덩어리(무작위 정적 상태)에서 시작하여, 최종적인 조각상을 드러내기 위해 아주 작고 세심한 조정을 단계별로 수행합니다. 문제는 이 과정이 느리다는 점입니다. 정말 좋은 그림을 얻으려면 로봇은 매번 작업을 확인하며 50단계 또는 100단계의 아주 작은 단계를 밟아야 할 수도 있습니다. 이는 방을 가로지를 때 1인치씩 발을 내디디며 걷는 것과 같습니다. 목적지에 도달할 수는 있겠지만, 시간이 너무 오래 걸립니다.

이 과정을 더 빠르게 만들기 위해, 과학자들은 최근 MeanFlow라는 새로운 기술을 발명했습니다. 로봇이 아주 작은 발걸음을 떼는 대신, 전체 시간 동안 이동해야 할 "평균 속도"를 예측하는 법을 배우는 것입니다. 이것은 로봇이 방을 가로지르기 위해 발을 끌며 걷는 대신, 크고 자신감 넘치는 도약을 하는 법을 배우는 것과 같습니다. 이를 통해 로봇은 단 몇 단계만으로도 고품질의 이미지를 만들어낼 수 있습니다. 하지만 여기에는 함정이 있습니다. 이 빠른 로봇들에게 인간이 실제로 '좋아하는 것'이 무엇인지 가르치기가 어렵다는 점입니다. 보통 AI가 더 창의적이거나 규칙을 더 잘 따르도록 가르칠 때는 **강화 학습(Reinforcement Learning, RL)**이라는 방법을 사용합니다. 하지만 우리가 현재 가진 최고의 RL 방법들은 느린 단계별 로봇들을 위해 설계된 것이지, 빠른 도약형 로봇들을 위해 설계된 것이 아닙니다. 이 빠른 로봇에게 기존의 느린 로봇용 레슨으로 가르치려는 것은, 마치 거북이를 위한 지침을 가지고 치타를 가르치려는 것과 같습니다. 수학적 구조가 맞지 않기 때문입니다.

여기서 새로운 논문인 MeanFlowNFT가 등장합니다. 연구진은 단순하지만 까다로운 질문을 던졌습니다. 우리가 우리의 빠른 도약형 로봇에게, 기존의 느린 로봇들이 사용하는 효율적인 RL 방법을 사용하여 더 똑똑하게 가르칠 수 있을까? 그러면서도 속도를 늦추지 않고 말이다.

그 대답은 명확한 "예"였으며, 그 방법은 다음과 같습니다. 연구팀은 로봇이 (큰 도약을 하기 위해) "평균 속도"를 예측하도록 훈련되지만, 그 이면에 "순간 속도"(특정 찰나의 순간의 속도)와 연결된 숨겨진 수학적 고리가 있다는 것을 깨달았습니다. 그들은 **유도된 순간 속도 예측기(induced instantaneous-velocity predictor)**라는 영리한 가교를 구축했습니다. 이것을 이렇게 생각해 보세요. 로봇의 뇌는 긴 자동차 여행을 계획하도록 훈련받습니다(평균 속도). 연구진은 이 긴 여행 계획을 보고, 특정 순간마다 자동차의 속도계가 무엇을 가리킬지 즉각적으로 파악해내는 특별한 "번역기"를 만들었습니다(순간 속도).

그들은 이 번역기를 사용하여 기존의 효율적인 RL 방식으로 로봇을 가르쳤습니다. 로봇은 번역기의 속도계 읽기를 바탕으로 피드백(보상)으로부터 배웁니다. 하지만 레슨이 끝나면, 로봇은 다시 원래의 "평균 속도" 뇌를 사용하여 이미지를 생성합니다. 즉, 로봇은 초고속 성능을 잃지 않으면서도 인간의 선호도에 더 부합하도록 더 똑똑해집니다.

결과는 인상적입니다. 연구진이 이미지 생성기(Stable Diffusion 3.5-Medium 등)와 비디오 생성기(Wan2.1 등)에 대해 테스트했을 때, 새로운 MeanFlowNFT 모델은 기존의 빠른 모델들을 일관되게 앞질렀습니다. 실제로 이미지 생성에서 이 모델은 8가지 서로 다른 품질 지표 중 6가지에서 최고 수준의 모델들을 능가했습니다. 더욱 놀라운 점은, 비디오 생성에서 4단계 MeanFlowNFT 모델이 VBench라고 불리는 품질 테스트에서 84.33점을 기록했다는 것입니다. 이는 훨씬 느린 50단계 모델(LongCat-Video RL)이 기록한 82.57점보다 높은 점수입니다.

이 논문은 이 방법이 이론에서만 작동하는 것이 아니라 실제 현장에서도 작동한다는 것을 증명합니다. 이 "번역기" 트릭을 사용함으로써, 그들은 복잡한 확률을 계산할 필요 없이 훈련 과정을 빠르고 효율적으로 유지하면서도 고급 강화 학습의 이점을 모두 얻어냈습니다. 로봇은 더 나은 도약을 하는 법을 배우며, 훨씬 짧은 시간 안에 더 아름답고 정확한 이미지와 비디오를 만들어냅니다. 이는 치타에게 걷는 법을 가르치는 것이 아니라, 지형의 지도를 더 잘 보여주어 치타가 자신의 커다란 발을 정확히 어디에 디뎌야 할지 알게 함으로써 더 빨리 달리게 만드는 것과 같습니다.

기술 요약: MeanFlowNFT

1. 문제 정의

디퓨전(Diffusion) 및 플로우 매칭(Flow Matching) 모델은 고품질 이미지 및 비디오 생성을 위한 지배적인 패러다임으로 자리 잡았습니다. 그러나 이 모델들은 많은 순차적 단계를 거쳐 순간 속도(instantaneous velocities)를 적분하는 방식에 의존하기 때문에 추론 시간이 느리다는 단점이 있습니다. MeanFlow는 시간 간격 동안의 **평균 속도(average velocity)**를 예측함으로써 이 병목 현상을 해결하여, 단 몇 단계만으로 고품질 생성을 가능하게 합니다.

동시에, **강화 학습(RL)**은 생성 모델을 인간의 선호도에 정렬시키는 표준적인 방법이 되었습니다. DiffusionNFT는 역과정 궤적(reverse-process trajectories)과 가능도 추정(likelihood estimation)을 피하는 효율적인 순방향 과정(forward-process) RL 프레임워크를 도입했지만, 이는 순간 속도를 최적화합니다. 여기서 중요한 격차가 존재합니다: MeanFlow는 평균 속도를 사용하여 샘플링하기 때문에, 평균 속도를 사용하는 MeanFlow에 순방향 과정 RL을 적용하는 것은 쉽지 않습니다(non-trivial). 즉, 최적화 대상(순간 속도)과 샘플링 메커니즘(평균 속도) 사이에 불일치가 발생합니다. 핵심 질문은 사전 학습된 MeanFlow 모델을 효율적인 순방향 과정 RL로 미세 조정하여 우수한 몇 단계(few-step) 생성을 구현할 수 있는가 하는 점입니다.

2. 방법론: MeanFlowNFT

본 논문은 MeanFlow 생성기에 특화되어 설계된 최초의 순방향 과정 RL 프레임워크인 MeanFlowNFT를 제안합니다. 핵심 혁신은 MeanFlow 항등식(identity)을 사용하여 평균 속도와 순간 속도 사이의 간극을 메우는 데 있습니다.

2.1 이론적 기초

이 방법은 구간 $[s, t]$ 에서의 순간 속도 $v(x_t, t)$ 와 평균 속도 $u(x_t, s, t)$ 의 관계를 나타내는 MeanFlow 항등식에 기반합니다:
$v(x_t, t) = u(x_t, s, t) + (t - s) \frac{d}{dt}u(x_t, s, t)$
여기서 $\frac{d}{dt}u = \partial_t u + (\partial_x u) v$ 입니다.

2.2 유도된 순간 속도 예측기 (Induced Instantaneous-Velocity Predictor)

저자들은 MeanFlow 네트워크가 직접 순간 속도를 예측하도록 수정하는 대신, 유도된 순간 속도 예측기 $V_\theta$ 를 구축합니다:
$V_\theta(x_t, s, t) \triangleq u_\theta(x_t, s, t) + (t - s) [\partial_t u_\theta + (\partial_x u_\theta) \hat{v}_\theta]$
여기서 $u_\theta$ 는 학습 가능한 평균 속도 네트워크입니다. $\hat{v}_\theta$ 항은 공간 미분의 방향 역할을 하며, 네트워크의 $s=t$ 에서의 순간 속도로 근사됩니다.

2.3 최적화 목적 함수

프레임워크는 이 유도된 예측기 $V_\theta$ 에 대해 DiffusionNFT 스타일의 목적 함수를 적용합니다. 학습 과정은 다음과 같습니다:

암시적 파라미터화 (Implicit Parameterization): 동결된 참조 모델( $V^{old}$ )과 학습 가능한 모델( $V_\theta$ )을 기반으로, 보상 $r$ 과 가이던스 강도 $\beta$ 에 따라 "양의"( $V^+_\theta$ ) 및 "음의"( $V^-_\theta$ ) 예측기를 구성합니다.
순방향 과정 손실 (Forward-Process Loss): 이 유도된 예측기들과 조건부 속도 $v_t$ 사이의 보상 가중 제곱 오차를 최소화합니다:
$\mathcal{L}_{MFNFT} = \mathbb{E} [ r \|V^+_\theta - v_t\|^2 + (1-r) \|V^-_\theta - v_t\|^2 ]$
디커플링된 샘플링 (Decoupled Sampling): 결정적으로, 최적화는 순간 속도 공간( $V_\theta$ )에서 수행되지만, 추론은 여전히 평균 속도 $u_\theta$ 를 기반으로 수행됩니다. 이를 통해 MeanFlow 본연의 몇 단계 샘플링 효율성을 유지합니다.

2.4 실질적 구현 세부 사항

학습 안정성과 계산 효율성을 보장하기 위해 저자들은 세 가지 주요 설계 선택지를 도입했습니다:

유한 차분 미분 (Finite-Difference Derivatives): 전체 미분 항 $\frac{d}{dt}u$ 는 시간 $t$ 에 대한 중앙 유한 차분(central finite differences)을 사용하여 근사하며, 이를 통해 비용이 많이 드는 Jacobian-벡터 곱(JVP)을 피합니다.
공유 미분 항 (Shared Derivative Term): 학습 붕괴를 방방지하기 위해, 학습 가능한 예측기와 참조 예측기는 동일한 추정 미분 항( $\frac{d}{dt}u^{old}$ )을 공유합니다. 이는 최적화를 불안정하게 만들 수 있는 미분 차이 항을 제거합니다.
조건부 속도 방향 (Conditional Velocity Direction): 유한 차분을 위한 방향은 학습 가능한 순간 속도 $\hat{v}_\theta$ 대신, 추가 비용 없이 사용할 수 있는 순방향 과정 조건부 속도 $v_t$ 를 사용하며, 이는 안정성을 향상시킵니다.

3. 주요 기여

MeanFlow를 위한 최초의 순방향 과정 RL: MeanFlowNFT는 MeanFlow 생성기에 순방향 과정 RL을 적용한 최초의 프레임워크입니다. 이 모델은 유도된 순간 속도 예측기에 DiffusionNFT 스타일의 목적 함수를 적용함으로써 밑바탕이 되는 평균 속도를 성공적으로 최적화합니다.
이론적 보장: 저자들은 이상적인 설정에서 최적의 유도된 예측기가 DiffusionNFT의 개선된 정책 타겟을 회복함을 증명합니다. 또한, 이러한 정책 개선이 평균 속도 네트워크로 확실히 전이되어 MeanFlow 정책이 엄격하게 개선됨을 입증합니다.
효율성 및 성능: 이 방법은 DiffusionNFT의 Likelihood-free 및 Solver-agnostic 특성을 유지하면서 MeanFlow의 몇 단계 샘플링 효율성을 보존합니다.

4. 실험 결과

실험은 이미지 생성(Stable Diffusion 3.5-Medium) 및 비디오 생성(Wan2.1 1.3B)에 대해 수행되었습니다.

이미지 생성 (SD3.5-M): MeanFlowNFT (4 steps)는 몇 단계 베이스라인(DMD, CDM, AnyFlow) 및 최근의 몇 단계 RL 방법들(Rdm, RTDMD)보다 일관되적으로 우수한 성능을 보였습니다. 특히, 40단계 DiffusionNFT 베이스라인과 비교했을 때 8개 지표 중 6개(예: ImageReward, CLIPScore, OCR)에서 대등하거나 더 우수한 결과를 달성하면서도, 함수 호출 횟수(function evaluations)는 10배 적게 사용했습니다.
비디오 생성 (Wan2.1): 단 4단계의 샘플링만으로, MeanFlowNFT는 7개 지표 중 5개에서 몇 단계 모델 중 가장 좋은 결과를 달성했습니다. 또한 50단계 LongCat-Video RL 베이스라인의 모든 보고된 지표를 능가했습니다 (예: VBench 점수 84.33 vs 82.57).
테스트 타임 스케일링 (Test-Time Scaling): 이 모델은 샘플링 단계가 증가함에 따라(2단계에서 32단계까지) 일관된 성능 향상을 보여주며, AnyFlow보다 높은 단계 일관성(step-consistency)을 유지하면서 레이아웃과 콘텐츠의 높은 일관성을 유지합니다.

5. 의의 및 주장

본 논문은 MeanFlowNFT가 평균 속도 생성기의 효율성과 순방향 과정 RL의 정렬(alignment) 능력을 성공적으로 연결했다고 주장합니다. 최적화(순간 공간)와 샘플링(평균 공간)을 분리함으로써, 이 방법은 MeanFlow의 속도 이점을 희생하지 않고 우수한 몇 단계 생성을 가능하게 합니다.

저자들은 MeanFlowNFT가 기존의 몇 단계 생성기들을 개선할 뿐만 아니라, 고성능을 위해 다단계(multi-step) RL 튜닝 모델이 반드시 필요하다는 통념에 도전한다고 강조합니다. 결과는 적절한 이론적 연결(MeanFlow 항등식)이 있다면, 몇 단계 모델이 품질과 효율성 모두에서 다단계 RL 튜닝 디퓨전 모델을 능가할 수 있음을 시사합니다. 이 연구는 기초적인 단계로 제시되었으며, 저자들은 자신들의 유도된 예측기 구조가 다른 플로우 맵 모델(예: Consistency Trajectory Models) 및 다른 순방향 과정 RL 목적 함수로 확장될 가능성이 있다고 언급했습니다.