🤖 AI

Understanding, Accelerating, and Improving MeanFlow Training

본 논문은 MeanFlow 의 학습 역학을 분석하여 장기 간격 평균 속도를 학습하기 전에 순간 속도를 확립해야 함을 규명함으로써, ImageNet 에서 수렴을 크게 가속화하고 최첨단 단단계 생성 품질을 달성하는 단계별 학습 체계를 제시한다.

원저자: Jin-Young Kim, Hyojun Go, Lea Bogensperger, Julius Erbach, Nikolai Kalischek, Federico Tombari, Konrad Schindler, Dominik Narnhofer

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin-Young Kim, Hyojun Go, Lea Bogensperger, Julius Erbach, Nikolai Kalischek, Federico Tombari, Konrad Schindler, Dominik Narnhofer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 완벽한 고양이 그림을 그리게 하려고 하는데, 일반적인 수백 개의 작고 정교한 붓질 대신 단 한 번의 붓질로 그리게 하려 한다고 상상해 보세요.

이것이 해당 논문이 다루는 과제입니다. 저자들은 MeanFlow라는 새로운 방식으로 AI 를 훈련시켜 이미지를 빠르게 생성하는 작업을 하고 있습니다. 그러나 그들은 원래의 훈련 방법이 다소 서툴고 느리다는 것을 발견했습니다. 그들이 왜 어려움을 겪고 있는지 분석한 결과, AI 가 더 빠르게 배우고 더 좋은 그림을 그리도록 하는 더 나은"수업 계획"을 고안해냈습니다.

다음은 그들의 발견과 해결책을 간단한 비유를 통해 설명한 내용입니다.

문제: 두 가지 유형의"속도"

MeanFlow 를 이해하려면 AI 가 시작점 (노이즈) 에서 목적지 (선명한 이미지) 로 차를 운전하는 법을 배우고 있다고 상상해 보세요. AI 는 두 가지를 배워야 합니다:

순간 속도 ( $v$ ): 지금 이 정확한 순간에 차가 얼마나 빠르게, 어떤 방향으로 움직여야 하는지.
평균 속도 ( $u$ ): A 지점에서 B 지점으로 가는 데 더 긴 시간 동안 필요한 평균 속도와 방향.

원래 MeanFlow 는 처음부터 두 가지를 동시에, 동일한 집중도로 AI 에게 가르치려고 했습니다. 저자들은 이는 학생에게 마라톤 달리기와 신발 끈 묶는 법을 명확한 순서 없이 동시에 가르치려는 것과 같다고 보았습니다. 이는 잘 작동하지 않았습니다.

세 가지 주요 발견

저자들은 이 두 가지"속도"가 어떻게 상호작용하는지 확인하기 위해 실험을 진행했습니다. 그들은 세 가지 핵심 규칙을 발견했습니다:

1. 걷는 법을 배우기 전에 뛰는 법을 배워서는 안 됩니다.

발견: AI 는 먼저"순간 속도"(즉각적인 방향) 를 마스터해야 합니다. AI 가 지금 당장 어디로 움직여야 하는지 확실히 이해하지 못한다면, 긴 여정을 계획하는 법 (평균 속도) 을 배울 수 없습니다.
비유: 아이가 단일 교차로에서 좌회전이나 우회전하는 법 (순간 속도) 을 배우기 전에 도시 전체를 navigating 하는 법 (평균 속도) 을 가르치려 한다고 상상해 보세요. 그들은 즉시 길을 잃을 것입니다. 논문은"좌회전/우회전"훈련을 망치면"도시 항해"훈련이 완전히 실패한다는 것을 보여줍니다.

2. 작은 걸음은 도움이 되지만, 거대한 도약은 해롭습니다.

발견: AI 가"평균 속도"를 배울 때, 시간 간격의 크기가 중요합니다.
- 작은 간격: AI 가 짧은 여정 (예:"여기서 다음 블록까지 이동") 을 계획하는 연습을 하면, 실제로"순간 속도"(좌회전/우회전) 를 더 잘하게 됩니다.
- 큰 간격: AI 가 즉시 전국을 가로지르는 여정을 계획하려 하면, AI 를 혼란스럽게 하여 이미 배운"순간 속도"를 망칩니다.
비유: 수영을 배우는 것과 같습니다. 얕은 곳에서 짧은 스트로크를 연습하면 기술이 향상됩니다. 하지만 첫날에 바다를 가로지르려 하면 당황하여 기술을 망치게 됩니다.

3. 작업 순서가 중요합니다.

발견: 훈련하는 가장 좋은 방법은 기본 (순간 속도 + 짧은 여정) 으로 시작하여, 나중에 길고 복잡한 여정 (긴 평균 속도) 을 도입하는 것입니다.
비유: 학생을 첫날에 F1 레이싱카에 태우지 않습니다. 먼저 조종법을 배우기 위해 고카트 (짧은 간격) 로 시작하고, 그다음 세단 (중간 간격) 으로 이동한 뒤, finally 준비가 되면 레이싱카 (긴 간격) 로 옮깁니다.

해결책: 더 똑똑한 훈련 일정

이러한 발견에 기반하여 저자들은 엄격하지만 도움이 되는 코치처럼 작용하는 새로운 훈련 전략을 설계했습니다:

1 단계: 스프린트. 훈련 초기에 AI 는"순간 속도"와"짧은 여정"학습에 집중합니다. 이를 매우 빠르게 수행하기 위해 다른 AI 방법에서 차용한 특별한 기법들을 사용합니다. 이는 견고한 기초를 마련합니다.
2 단계: 마라톤. AI 가 더 나아짐에 따라 훈련은 서서히 전환됩니다. 작은 세부 사항에 집중하는 것을 멈추고 AI 에게"긴 여정"(큰 시간 간격) 을 처리하는 법을 가르치기 시작합니다. 이것이 AI 가 단 한 단계로 이미지를 생성하게 만드는 핵심입니다.

결과: 더 빠르고 더 좋음

이 새로운"수업 계획"을 따름으로써 결과는 인상적이었습니다:

더 빠른 학습: AI 는 기존 방법보다 2.5 배 짧은 시간에 동일한 품질의 결과에 도달했습니다.
더 나은 품질: 최종 이미지는 더 선명하고 사실적이었습니다. 표준 테스트 (ImageNet) 에서 점수가 크게 향상되었습니다 (낮을수록 좋음). 느리고 다단계 모델의 품질에 훨씬 더 가까워졌으면서도 한 단계 모델의 속도를 유지했습니다.

요약

이 논문은 처음부터 새로운 유형의 AI 를 발명한 것이 아니라, 기존 AI(MeanFlow) 의 훈련 일정을 수정한 것입니다. 그들은 원래의 방법이 너무 일찍 너무 많은 것을 하려고 했다는 것을 깨달았습니다. AI 에게 먼저 기본을 가르치고 점차 복잡한 과제를 도입함으로써, AI 가 더 빠르게 배우고 더 좋은 그림을 그리도록 만들었습니다.

간단히 말해: 첫걸음을 가르치기 전에 전체 여정을 가르치려 하지 마십시오. 먼저 기초를 닦은 다음, 시야를 넓히십시오.

기술 요약: MeanFlow 학습의 이해, 가속화 및 개선

문제 제기

MeanFlow 는 다단계 확산 모델과 효율적인 1 단계 (또는 소수 단계) 생성 모델 간의 성능 격차를 해소하도록 설계된 안정적이고 엔드 - 투 - 엔드 학습 체계입니다. 이는 순간 속도 ( $v$ , 단일 시간점에서의 미분값) 와 평균 속도 ( $u$ , 시간 구간에서의 속도 적분) 를 공동으로 학습함으로써 이를 달성합니다. MeanFlow 는 1 단계와 다단계 생성 간의 격차를 좁히지만, 그 학습 역학은 여전히 잘 이해되지 않고 있습니다. 표준 학습 접근법은 전체 과정에서 고정된 손실 함수와 샘플링 방식을 적용하여 두 결합된 속도 필드 간의 복잡한 의존성을 무시합니다. 이러한 단순한 전략은 계산 비용이 많이 드는 학습, 느린 수렴, 특히 1 단계 추론에 대한 비최적의 생성 품질로 이어집니다.

방법론

저자들은 순간 속도 ( $v$ ) 와 평균 속도 ( $u$ ) 학습 간의 상호작용에 대한 상세한 분석을 기반으로 향상된 학습 전략을 제안합니다. 이 방법은 두 가지 주요 구성 요소로 이루어집니다:

가속된 순간 속도 형성:
$v$ 에 대한 견고한 기반을 신속하게 확립하기 위해, 저자들은 확산 학습에서 확립된 가속 기술을 채택합니다. 구체적으로 다음과 같은 방법을 사용합니다:
- 전용 시간 단계 샘플링: 표준 균일 샘플링을 사용자 정의 분포 (예: DTD, Denoising Task Difficulty-based) 로 대체하여 중요한 시간 단계에 학습을 집중시킵니다.
- 시간 의존적 손실 가중치 적용: 특정 학습 단계를 우선시하기 위해 $v$ -손실에 가중치 (예: MinSNR) 를 적용합니다.
  이러한 기술들은 학습 초기에 $v$ 가 잘 형성되도록 보장하기 위해 순간 속도 항 ( $L_v$ ) 에 적용됩니다.
점진적 평균 속도 가중치:
저자들은 학습 진행 ( $s \in [0, 1]$ ) 에 따라 진화하는 평균 속도 손실 ( $L_u$ ) 에 대한 점진적 가중치 방식을 도입합니다.
- 초기 단계: 가중치는 작은 시간 간격 ( $\Delta t = t - r$ ) 을 우선시합니다. 가중치 함수는 $\beta(\Delta t, s) = 1 - s + \lambda s(1 - \Delta t)$ 로 정의됩니다. 초기화 시 ( $s=1$ ), 이는 작은 $\Delta t$ 를 강력하게 선호하여 $v$ 의 형성을 강화하고 더 큰 간격에 대한 모델의 준비를 돕습니다.
- 후기 단계: 학습이 진행됨에 따라 ( $s \to 0$ ), 가중치는 모든 간격 길이에 걸쳐 균일한 분포로 전환됩니다. 이는 모델이 1 단계 생성에 필수적인 큰 간격에 걸쳐 정확한 평균 속도를 학습하도록 보장합니다.

이 통합은 MeanFlow 의 기존 적응형 손실 정규화를 존중하며, 호환성을 유지하기 위해 새로운 가중치 스케줄을 적응형 정규화 단계 이후에 적용합니다.

주요 관찰 및 기여

이 논문의 핵심 기여는 표준 MeanFlow 학습이 무시하는 세 가지 중요한 학습 역학에 대한 경험적 발견입니다:

순간 속도의 전제 조건: 평균 속도 ( $u$ ) 학습은 잘 정립된 순간 속도 ( $v$ ) 에 의존적입니다. $v$ 가 poorly formed 되거나 손상된 경우 (예: 노이즈 주입), $u$ -학습은 완전히 실패합니다. 반대로, $v$ 를 사전 학습하거나 우선시하면 후속 $u$ -학습을 크게 가속화하고 안정화시킵니다.
시간 간격 민감성: $u$ $u$ -학습이 $v$ $v$ 에 미치는 영향은 시간 간격 ( $\Delta t$ $Δ t$ ) 에 따라 달라집니다.
- 작은 $\Delta t$ : 작은 간격으로의 감독은 $v$ 의 구축 및 정제를 촉진합니다.
- 큰 $\Delta t$ : 큰 간격으로의 감독은 이미 학습된 $v$ 를 불안정하게 만들고 저하시킵니다.
- 시사점: 초기 학습 중 $v$ -학습을 방해하지 않도록 큰 간격 감독은 억제되어야 합니다.
초기화를 위한 작업 친화도: 작업 친화도 점수 (TAS) 분석은 작은 간격 $u$ -감독으로 사전 학습하는 것이 순수 $v$ -손실로 사전 학습하는 것보다 큰 간격 $u$ 학습에 더 유리한 초기화를 생성한다는 것을 보여줍니다. 작은 간격 감독은 1 단계 생성에 필요한 까다로운 큰 간격 체제에 대한 모델을 준비시키는 다리 역할을 합니다.

실험 결과

저자들은 DiT 아키텍처 (B/4, M/2, L/2, XL/2) 를 사용하여 ImageNet 256×256 벤치마크에서 그들의 방법을 평가했습니다.

성능 향상: 동일한 DiT-XL 백본과 240 학습 에포크를 사용하여 제안된 방법은 1-NFE(1 Noise Function Evaluation) FID 를 기존 MeanFlow 의 3.43에서 2.87로 감소시켜 16% 의 개선을 달성했습니다. 2-NFE FID 는 2.93 에서 2.64 로 개선되었습니다.
수렴 속도: 향상된 학습 체계는 기존 MeanFlow 기준선의 성능을 약 2.5 배 적은 학습 에포크로 달성합니다.
모델 효율성: 이 방법은 더 작은 백본 (DiT-L) 이 표준 MeanFlow 로 학습된 더 큰 DiT-XL 기준선과 동등한 성능을 내도록 허용합니다.
강건성: 개선 사항은 다양한 Classifier-Free Guidance (CFG) 구성과 모델 규모 전반에 걸쳐 일관됩니다.
Ablation 연구: 실험은 속도 가속 ( $v$ 용) 과 점진적 $L_u$ 가중치 모두 상호 보완적임을 확인했습니다. 둘 다 사용할 때 가장 좋은 결과가 나오며, 하나만 사용할 경우 부분적인 이득만 제공합니다.

중요성 및 주장

이 논문은 평균 속도 학습이 안정적인 순간 속도 기반에 의존한다는 점과 큰 시간 간격이 초기 학습에 불안정화 효과를 미친다는 MeanFlow 의 내부 역학을 이해함으로써, 소수 단계 생성 모델의 효율성과 품질을 크게 향상시킬 수 있다고 주장합니다.

저자들은 그들의 접근 방식이 복잡한 2 단계 증류 파이프라인이나 대규모 합성 데이터 없이도 효율적인 소수 단계 모델을 설계하기 위한 실용적인 기반을 제공한다고 주장합니다. 그들은 결합된 속도 필드의 학습을 더 잘 조정함으로써 고품질 실시간 생성이 가능하다고 결론지으며, 현재 흐름 기반 생성 모델의 학습 역학에는 아직 상당한 잠재력이 남아있음을 시사합니다.