🤖 machine learning

Continuous Adversarial MeanFlow Transfer

이 논문은 이질적인 사전 학습된 플로우 모델을 제한된 데이터로 새로운 도메인에 적응시키는 동시에 생성을 몇 단계의 샘플링으로 가속화하여, 최대 125배 적은 신경 함수 평가로 최첨단 품질을 달성하는 통합 프레임워크인 MeanFlow-Transfer와 Continuous Adversarial MeanFlow(CAMF)를 소개한다.

원저자: Yara Bahram, Zahra Dehghani, Mélodie Desbos, Eric Granger, Pablo Piantanida, Mohammadhadi Shateri

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yara Bahram, Zahra Dehghani, Mélodie Desbos, Eric Granger, Pablo Piantanida, Mohammadhadi Shateri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터는 산 너머로 지는 일몰부터 존재하지 않는 사람의 초상화에 이르기까지, 놀라울 정도로 실감 나는 이미지를 만들어내는 법을 배웠습니다. 흔히 생성 모델(generative models)이라 불리는 이 시스템들은 수백만 장의 사진 속에 담긴 통계적 패턴을 학습함으로써 작동합니다. 이들은 무작위적인 노이즈에서 시작하여 단계적으로 이를 정교하게 다듬어 나가며, 마침내 선명한 그림이 나타나게 합니다. 수년 동안 이 과정은 마치 느리고 신중한 조각 세션과 같았으며, 세부 사항을 제대로 구현하기 위해 수백 번의 미세한 조정을 필요로 했습니다. 결과물은 아름답지만, 이를 만드는 데 필요한 시간과 컴퓨팅 파워는 주요한 병목 현상이었습니다. 연구자들은 고품질의 이미지를 단 몇 단계 만에 만들어내기 위해 이 과정을 가속화하려고 노력해 왔으나, 하나의 고질적인 문제에 직면했습니다. 바로 이러한 이미지를 빠르게 만드는 도구들이 특정 형식에 갇혀 있다는 점입니다. 한 가지 유형의 패턴을 예측하도록 훈련된 모델은 다른 유형의 패턴을 예측하도록 쉽게 학습될 수 없으며, 고양이와 같은 특정 주제를 위해 설계된 모델은 속도나 품질을 잃지 않고 자동차와 같은 새로운 주제로 적응하는 데 어려움을 겪습니다.

ÉTS 몬트리올의 연구진은 이 두 가지 문제를 동시에 해결하는 새로운 접근 방식을 개발했습니다. 그들은 기존의 어떤 느린 이미지 생성기라도—그것이 원래 어떻게 구축되었는지와 상관없이—이를 가져와서 새로운 주제의 이미지를 만들도록 빠르게 적응시킬 수 있는 방법을 만들어냈으며, 이 과정 전체를 수백 배 더 빠르게 만들었습니다. 'MeanFlow-Transfer'라고 명명된 이들의 시스템은 보편적인 번역기 역할을 합니다. 이 시스템은 느린 사전 훈련 모델의 출력을 받아와서, 어떤 빠른 생성기도 이해할 수 있는 공유된 언어로 변환합니다. 이를 통해 시스템은 일반적인 이미지의 방대한 데이터셋으로 훈련된 모델로부터 시작하여, 아주 적은 양의 새로운 데이터만을 사용해 새나 자동차와 같은 특정 사물의 고품질 이미지를 즉각적으로 만들어낼 수 있도록 학습할 수 있습니다. 그 결과, 이 생성기는 이전에는 수백 단계가 필요했던 작업을 단 몇 단계 만에 날카롭고 상세한 이미지를 생성할 수 있게 되었습니다.

연구진은 이 빠른 이미지들이 서두르는 과정에서 미세한 디테일을 놓치지 않도록, 프로세스에 두 번째 단계를 추가했습니다. 그들은 '적대적 학습(adversarial training)'이라는 학습 기법을 사용하는 정교화 단계를 도입했습니다. 이 단계에서는 두 번째 신경망이 비평가 역할을 하여, 빠른 생성기가 만든 이미지와 실제 사진을 비교합니다. 이 비평가는 단순히 전체적인 형태가 맞는지만 확인하는 것이 아니라, 시작 노이즈와 최종 이미지 사이의 미묘한 변화를 살피며 이미지가 도달하기까지 거쳐온 여정이 타당한지를 점검합니다. 이는 시스템이 속도를 높이는 과정에서 흔히 흐릿해지는 미세한 디테일을 복구하는 데 도움을 줍니다. 이 번역 방법론에 비판적인 눈을 결합함으로써, 연구진은 자신들의 시스템이 원래의 느린 모델들과 대등하거나 심지어 능가하는 품질을 달면서도, 계산 단계를 최대 125배까지 줄일 수 있다는 것을 발견했습니다.

연구진은 서로 다른 내부 로직을 가진 네 가지 유형의 사전 훈련 모델을 가져와 새, 자동차, 예술 작품을 포함한 다섯 가지의 서로 다른 새로운 영역에 적응시키는 방식으로 이 방법을 테스트했습니다. 모든 경우에서, 시스템은 기존 모델의 지식을 새로운 주제로 성공적으로 전이시켰습니다. 표준 지표를 사용하여 이미지 품질을 측정했을 이 때, 새로운 시스템은 해당 과업을 위해 미세 조정된 기존 모델들과 대등하거나 혹은 더 나은 결과를 보여주었습니다. 아마도 가장 인상적인 점은, 이 시스템이 훨씬 적은 컴퓨션 파워를 사용하면서도 이 품질을 달성했다는 것입니다. 예를 들어, 새의 좋은 이미지를 만들기 위해 원래 250단계가 필요했던 모델은 이제 명료함을 잃지 않고 단 4단계 만에 이를 수행할 수 있게 되었습니다.

연구진은 또한 기존 모델들이 새로운 단계 스케줄을 따르도록 강제하는 방식—일부 다른 연구자들이 시도했던 방법—이 오히려 훈련을 불안정하게 만들고 결과를 악화시킨다는 사실을 발견했습니다. 대신, 그들의 성공은 모델들이 이미지를 생각하는 서로 다른 방식들을 하나의 공통된 움직임 묘사 방식으로 매핑하는 것에서 왔습니다. 그들은 이 접근 방식이 이미지가 형성되는 근저의 물리 법칙을 존중하기 때문에 작동한다는 것을 증명했습니다. 나아가, 이미지 생성의 전 과정을 점검하는 그들의 정교화 기법은 최종 순간만을 점검하던 기존 방식의 자연스러운 확장임을 보여주었습니다. 점검 사이의 시간 단계가 작아짐에 따라, 그들의 방법은 기존의 더 단순한 버전으로 매끄럽게 전환되며, 이는 그들의 새로운 접근 방식이 이전의 것보다 더 강력하고 유연한 버전임을 입증합니다.

이 연구가 중요한 이유는 빠른 이미지 생성이 특정 유형의 모델이나 주제에 갇혀 있던 장벽을 제거하기 때문입니다. 이전에는 새로운 유형의 이미지를 위한 빠른 생성기를 원한다면 처음부터 다시 시작하거나 품질 저하를 감수해야 했습니다. 이제, 단 하나의 프레임워크가 다양하고 강력한 기존 모델들을 가져와서 어떤 새로운 작업에도 적합한 빠르고 특화된 도구로 바꿀 수 있습니다. 연구진은 자신들의 방법을 사용함으로써, 아주 적은 양의 데이터를 사용하여 새로운 영역을 위한 고품질 생성기를 만드는 것이 가능하다는 것을 입증했으며, 이는 고급 이미지 합성 기술을 훨씬 더 접근 가능하고 효율적으로 만듭니다. 이 발견은 생성형 AI의 미래가 더 크고 느린 모델을 만드는 것이 아니라, 우리가 이미 가지고 있는 모델을 더 똑똑하게 적응시키고 가속화하는 방법을 찾는 데 있음을 시사합니다.

기술 요약: 연속적 적대적 평균 흐름 전이 (MF-T + CAMF)

문제 정의

본 논문은 사전 학습된 생성 모델(확산 또는 흐름 기반)을 제한된 데이터가 있는 새로운 도메인으로 전이할 때 발생하는 두 가지 주요 과제를 다룹니다:

이질적인 파라미터화 및 가속화: 사전 학습된 생성기들은 다양한 출력 파라미터화(입력 $x$ , 노이즈 $\epsilon$ , 순간 속도 $v$ , 또는 평균 속도 $u$ 예측)를 사용합니다. 기존의 가속화 방법들은 특정 파라미터화에 종속되어 있어, 이질적인 모델들을 위한 공통된 적응 대상이 부재합니다. 또한, 표준적인 적응 방식은 비용이 많이 드는 다단계 샘플링 절차를 그대로 유지하므로 인터랙티브한 애플리케이션에 제약을 줍니다.
적은 단계 생성에서의 블러링(Blurring): 샘플링 단계를 줄일 때, 회귀 기반 모델들은 가능한 출력값들을 평균화하는 경향이 있어 이미지가 흐릿해지는 현상이 발생합니다. 적대적 정교화(Adversarial refinement)는 적은 단계의 품질 향상에 효과적이지만, 기존의 연속적 적대적 흐름 모델(CAFM)은 순간 속도를 위해 설계되었습니다. 이는 유한 구간 평균 속도를 예측하는 MeanFlow(MF) 모델에는 직접 적용될 수 없어 표현상의 간극을 만듭니다.

방법론

저자들은 2단계 프레임워크인 **MeanFlow-Transfer (MF-T)**와 **Continuous Adversarial MeanFlow (CAMF)**를 제안합니다.

1. MeanFlow-Transfer (MF-T)

MF-T는 이질적인 소스 모델을 타겟 도메인의 적은 단계 MeanFlow 생성기로 적응시키기 위한 통합 인터페이스 역할을 합니다.

속도 매핑 (Velocity Mapping): 노이즈 스케줄을 정렬하는 대신(저자들은 이것이 도메인 변화 시 불안정해진다는 것을 발견함), MF-T는 소스 모델의 출력(즉, $x, \epsilon, v, u$ )을 공유된 순간 속도 표현으로 매핑합니다.
초기화: 이렇게 복구된 속도는 타겟 MeanFlow 생성기( $u_\theta$ )를 초기화합니다. 단일 타임스텝 소스(예: 표준 DiT)의 경우, 이를 MF 모델로 변환하기 위해 아키텍처에 두 번째 타임스텝 입력을 추가합니다.
학습: 초기화된 생성기는 Improved MeanFlow (iMF) 목적 함수를 사용하여 타겟 도메인에서 미세 조정됩니다. 이는 적응과 가속화를 하나의 학습 루프로 통합하여, 소스 모델을 적은 단계의 생성기로 압축합니다.

2. Continuous Adversarial MeanFlow (CAMF)

CAMF는 회귀 평균화로 인한 블러링 문제를 해결하여 적응된 MF 생성기를 정교화하기 위해 설계된 사후 학습 단계입니다.

유한 구간 판별 (Finite-Interval Discrimination): 순간 속도를 판별하는 CAFM와 달리, CAMF는 MF가 예측하는 유한 구간 평균 속도를 판별합니다.
메커니즘: 생성기는 상태 $z_t$ 를 예측된 종점 $\hat{z}_r = z_t - (t-r)u_\theta$ 로 이동시킵니다. 스칼라 포텐셜 판별기 $D_\psi$ 는 구간 $[r, t]$ 동안 실제 종점( $z_r$ )과 예측된 종점( $\hat{z}_r$ ) 사이의 포텐셜 변화를 비교합니다.
목적 함수: 적대적 손실은 최소제곱 게임을 사용하여 실제 궤적과 가짜 궤적에 대한 포텐셜의 평균 변화( $A_\psi$ )를 대조합니다.
이론적 보장: 저자들은 구간 $t-r$ 이 0으로 수렴함에 따라 CAMF 기준이 순간 CAFM 기준으로 엄격하게 축소됨을 증명하여 일관성을 보장합니다.
안정성: 드리프트를 방지하기 위해 포텐셜 값에 센터링 페널티를 적용하며, 원시 종점 적대적 흐름 모델(raw-endpoint adversarial flow models)에서 요구되는 그래디언트 페널티나 리셋 과정을 피합니다.

주요 기여

MF-T: 어떤 파라미터화( $x, \epsilon, v, u$ )를 가진 사전 학습된 소스라도 공유된 속도 인터페이스를 통해 고품질의 적은 단계 MeanFlow 생성기로 적응시키는 학습 레시피를 제공합니다. 저자들은 파라미터 매핑이 스케줄 정렬보다 도메인 변화 시 더 안정적임을 입증했습니다.
CAMF: 유한 구간 평균 속도로 연속적 적대적 학습을 확장하는 적대적 사후 학습 목적 함수입니다. 이는 회귀 평균화로 인해 손실된 미세한 디테일을 복구하며, CAFM를 일반화함을 증명했습니다.
통합 프레임워크: MF-T와 CAMF의 결 조합은 이질적인 모델을 높은 충실도와 현저히 감소된 샘플링 비용으로 새로운 도메인에 전이할 수 있게 합니다.

실험 결과

본 프레임워크는 네 개의 ImageNet 사전 학습 소스 모델(DiT- $\epsilon$ , SiT- $v$ , JiT- $x$ , iMF- $u$ )을 다섯 개의 타겟 도메인(ArtBench, Caltech, CUB-Birds, Food, Stanford-Cars)에 적응시키는 데 평가되었습니다.

성능 vs 미세 조정 (Fine-Tuning): MF-T + CAMF는 완전히 미세 조정된(FT) 교사 모델의 품질(FID 및 FDD로 측정)과 일치하거나 이를 능가하면서, 최대 **125배 적은 신경 함수 평가(NFE)**를 요구합니다.
- 예시: SiT의 경우, 이 방법은 4 NFE에서 FID 10.30을 달 기록했으며, 이는 250단계 교사 모델(FID 10.47)과 대등한 수준입니다.
- 예시: DiT의 경우, 8 NFE에서 10.62 FID를 달성하여 250단계 교사 모델(11.87 FID)과 일치하는 성능을 보였습니다.
적대적 정교화: CAMF는 MF-T의 적은 단계 FID를 평균 29% 개선했습니다.
절제 연구 (Ablations):
- CAMF를 MF-T 적응 후에 적용하는 것이 소스 모델에 직접 적용하는 것보다 효과적이었습니다.
- 스케줄 정렬(Transport-v)은 도메인 변화 시 학습을 불안정하게 만든 반면, 속도 매핑(DDPM-v)은 일반화 성능을 향상시켰습니다.
- 최적 운송(Optimal-transport) 정규화는 해로운 것으로 나타나 제외되었습니다.

의의 및 주장

본 논문은 모든 파라미터화를 가진 사전 학습된 생성기를 고품질의 샘플 효율적인 타겟 도메인 생성기로 적응시키기 위한 통합 프레임워크를 제공한다고 주장합니다.

효율성: 많은 단계의 미세 조정을 통한 품질 저하 없이 빠른 인터랙티브 생성을 가능하게 함으로써 "가속화 격차"를 해결합니다.
범용성: 특정 소스 아키텍처나 파라미터화에 국한되었던 기존 방법들의 한계를 극복합니다.
품질: 유한 구간 속도로 적대적 학습을 확장함으로써, 회귀 기반의 적은 단계 모델이 일반적으로 흐릿하게 만드는 지각적 디테일을 복구합니다.

저자들은 본 방법이 생성을 4단계까지 가속화하지만, 데이터가 풍부한 소스 도메인에서 보이는 1~2단계 품질에는 아직 도달하지 못했으며, 제한된 데이터 하에서의 고충실도 단일 단계 생성이 여전히 해결해야 할 과제로 남아 있다고 언급했습니다. 향후 연구 과제로 고해상도 및 텍스트-이미지/비디오 모달리티에 대한 확장을 제안했습니다.