🤖 machine learning

Gradual Fine-Tuning for Flow Matching Models

이 논문은 타겟 샘플만을 사용하여 플로우 매칭(flow matching) 모델을 타겟 분포에 안정적이고 효율적이며 다양하게 적응시키는 이론적으로 근거가 있는 온도 제어 어닐링 프레임워크인 점진적 미세 조정(Gradual Fine-Tuning, GFT)을 소개하며, 이는 수렴도와 생성 품질 측면에서 기존 방식들을 능가한다.

원저자: Gudrun Thorkelsdottir, Arindam Banerjee

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gudrun Thorkelsdottir, Arindam Banerjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아름다운 풍경화를 그리는 법을 수년간 익힌 숙련된 화가(이것은 당신의 사전 학습된 모델입니다)가 있다고 상상해 보세요. 이제 당신은 이 화가에게 특정 가족의 초상화를 그리는 법을 가르치고 싶습니다(이것은 당신의 타겟 분포입니다). 당신은 화가에게 보여줄 가족의 사진첩을 가지고 있지만, 그 과정에서 화가가 풍경화 그리는 법을 잊어버리거나 고유한 화풍을 잃지 않기를 바랍니다.

이 논문은 이 화가가 혼란에 빠지거나 솜씨를 잃지 않고 부드럽게 전환할 수 있도록 돕는 **점진적 미세 조정(Gradual Fine-Tuning, GFT)**이라는 새로운 방법을 소개합니다.

다음은 논문이 이 문제와 해결책을 쉬운 비유를 사용하여 설명하는 방식입니다.

문제: "갑작스러운 도약"

현재, 만약 당신이 화가에게 새로운 사진들을 보여주며 "기존의 것은 다 잊어버리고, 이것만 해"라고 말하며 초상화를 배우게 하려 한다면, 이는 종종 잘못될 수 있습니다.

불안정성: 화가는 혼란에 빠져 몸을 떨며, 엉망이고 혼란스러운 그림을 그려낼 수 있습니다.
기술 상실: 화가가 풍경화 훈련을 통해 배운 매끄러운 붓터치를 잊어버려, 딱딱하거나 부자연스러운 초상화를 그리게 될 수 있습니다.
비효 efficiency: 새로운 화풍을 익히는 데 오랜 시간이 걸리며, 화가는 나쁜 습관의 굴레에 갇힐 수 있습니다.

다른 방법들은 "보상"(예를 들어, 좋은 초상화를 그렸을 때 화가에게 금메달을 주는 것)을 추가하여 이를 해결하려 하지만, 논문은 이러한 방식이 종로 불안정하고, 피드백을 받기 위해 화가가 전체 그림 작업 과정을 시뮬레이션해야 하며, 매우 느릴 수 있다고 주장합니다.

해결책: "점진적인 경사로" (GFT)

저자들은 **점진적 미세 조정(GFT)**을 제안합니다. 갑작스러운 도약 대신, 화가의 초점을 풍경화에서 초상화로 서서히 기울게 만드는 온도 조절이 가능한 경사로를 상상해 보세요.

온도 조절 노브 ( $\beta$ ): "온도"라고 적힌 노브를 생각해보세요.
- 높은 온도 (시작): 노브가 높게 설정되어 있습니다. 화가는 "기존의 풍경 스타일을 대부분 유지하되, 가족 사진을 아주 살짝만 참고해라"라는 지시를 받습니다. 화가는 작고 안전한 조정을 수행합니다. 핵심 기술이 보호되고 있기 때문에 당황하지 않습니다.
- 냉각 단계 (중간): 훈련이 진행됨에 따라 노브를 천천히 낮춥니다. 이제 화가는 더 많은 변화를 허용받습니다. 화가는 자신의 풍경화 기술과 새로운 초상화 스타일을 혼합하기 시작합니다.
- 제로 온도 (종료): 노브가 완전히 내려갔습니다. 이제 화가는 온전히 가족 사진에 집중합니다. 변화가 서서히 이루어졌기 때문에, 화가는 원래의 기술을 잃지 않았으며 전환은 매끄럽습니다.
수학적 마법: 논문은 만약 이 "냉각" 과정을 올바르게 수행한다면, 화가가 수학적으로 보장된 방식으로 당신이 원했던 정확한 가족 초상화를 그려낼 것이라고 증명합니다. 이는 마치 절벽 끝으로 뛰어내리는 대신, 완만한 곡선 도로를 따라 A 지점에서 B 지점으로 안내하는 GPS와 같습니다.

왜 이것이 더 나은가 (결과)

논문은 이 방법을 실제 세계의 작업(의료 영상 스타일 변경 또는 위성 사진 적응 등)에 테스트했으며, 다음과 같은 결과를 얻었습니다.

안정성: 화가는 "발작"을 일으키지 않았습니다. 학습 과정은 다른 방법들처럼 격하게 요동치지 않고 안정적이고 예측 가능했습니다.
속도: 화가는 새로운 스타일을 더 빠르고 효율적으로 배웠습니다.
다양성: 화가는 단순히 가족 사진을 지루하고 반복적으로 복제하는 데 그치지 않았습니다. 그들은 새로운 대상을 적응시키면서도 원래 스타일의 다양성과 풍부함을 유지했습니다.
효율성: 논문은 또한 이 방법이 "적은 단계(few-step)" 기술과도 잘 작동함을 보여줍니다. 화가가 품질 저하 없이 스무 번의 붓질 대신 한두 번의 붓질만으로 초상화를 완성할 수 있다고 상상해 보세요. GFT는 이를 가능하게 합니다.

"비법": 최적 운송 (Optimal Transport)

논문은 최적 운송(Optimal Transport) 결합(coupling)이라는 개념을 사용한다고 언급합니다. 우리의 비유에서, 이것은 화가에게 모든 풍경 속 나무와 특정 가족 구성원의 머리카락을 짝지어주는 구체적인 지도를 제공하는 것과 같습니다. 기존의 스타일을 새로운 스타일로 변환하는 방법을 추측하는 대신, 화가는 직접적이고 효율적인 경로를 따릅니다. 이는 새로운 이미지를 생성하는 것을 훨씬 빠르게 만듭니다.

요약

**점진적 미세 조정(Gradual Fine-Tuning)**은 AI 모델이 새로운 데이터에 적응하도록 가르치는 새로운 방법입니다. 갑작스럽고 혼란스러운 변화를 강요하는 대신, "냉각 일정(cooling schedule)"을 사용하여 모델을 기존의 지식에서 새로운 목표로 부드럽게 안내합니다. 그 결과, 모델은 안정적이고, 빠르며, 다양하고, 수학적으로 원하는 결과에 도달하도록 보장됩니다. 이는 수영 선수를 깊은 물에 던져버리는 것과, 얕은 곳에서부터 천천히 물속으로 걸어 들어가며 수영을 가르치는 것의 차이입니다.

기술 요약: 플로우 매칭 모델을 위한 점진적 미세 조정 (Gradual Fine-Tuning)

문제 정의

사전 학습된 플로우 매칭(Flow Matching) 모델을 미세 조정하는 것은 데이터가 제한적이거나, 분포가 진화하거나, 계산 제약이 있는 시나리오에서 상당한 과제를 안겨줍니다. 최근 보상 기반 미세 조정(예: Adjoint Matching, 강화 학습 접근 방식)의 발전이 유망한 성과를 보여주었으나, 이들은 종ered종 이론적 한계와 실질적인 불안정성을 겪습니다. 구체적으로, 기존 방법들은 이론적 정확성, 학습 안정성, 추론 효율성 및 다양성 보존을 동시에 보장하는 데 자주 실패합니다.

중요하면서도 아직 충분히 탐구되지 않은 설정은 타겟 분포로부터 직접적인 샘플을 사용할 수 있는 경우(예: 도메인 적응 또는 데이터셋 드리프트)입니다. 이 경우 외부 보상 함수를 사용할 필요가 없습니다. 이러한 맥맥락에서 표준 미세 조정은 사전 학습된 모델을 단순히 초기화 단계로만 취급하여, 모델이 학습한 역학(예: 짧은 확률 경로)을 간과하며, 이는 높은 불안정성과 잠재적인 모드 붕괴(mode collapse)로 이어집니다. 따라서 사전 학습된 모델의 유익한 특성을 보존하면서 새로운 타겟 분포에 적응하는 균형을 맞추는 원칙적인 프레임워크가 필요합니다.

방법론: 점진적 미세 조정 (Gradual Fine-Tuning, GFT)

저자들은 온도 제어 시퀀스를 생성하기 위해 어닐링된 정규화(annealed regularization)를 활용하는 프레임워크인 **점진적 미세 조정(GFT)**을 제안합니다. 이 접근 방식은 사전 학습된 역학(dynamics)과 타겟 역학 사이를 부드럽게 보간합니다.

이론적 정식화

GFT는 확률 흐름(stochastic flows)에 의해 유도된 경로 공간에서의 최적화 문제로부터 유도됩니다. 이 목적 함수는 미세 조정된 프로세스 $P_\theta$ 와 타겟 프로세스 $P_q$ 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 최소화하며, $P_\theta$ 와 사전 학습된 프로세스 $P_{\theta_0}$ 사이의 KL 발산에 의해 정규화됩니다.

$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$

여기서 $\beta \in \mathbb{R}^+$ 는 온도 파라미터입니다.

정리 4.1은 이 목적 함수를 최소화하는 것이 타겟 벡터 필드 $v_q$ 와 사전 학습된 벡터 필드 $v_{\theta_0}$ 의 볼록 결합(convex combination)인 폐쇄형 최적 드리프트 $v^*_\theta$ 를 산출함을 입증합니다.

$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$

어닐링된 정규화(Annealed Regularization): 수렴을 달성하기 위해, GFT는 $\beta$ 를 높은 초기값에서 $0^+$ 로 점진적으로 감소시키는 시간 의존적 냉각 스케줄을 채택합니다.

높은 $\beta$ : 사전 학습된 모델로부터의 이탈을 강력하게 억제하여, 조기 붕괴를 방지하고 안정성을 보장합니다.
**낮은 $\beta$ ( $\to 0^+MATH2 \mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$ $

이 정식화는 비조건부 목적 함수의 이론적 보장을 유지하면서도, 생성 효율을 높이기 위한 효율적인 결합(OT 등)을 사용할 수 있게 합니다.

적은 단계 추론(Few-Step Inference)으로의 확장

이 프레임워크는 적은 단계의 추론을 가능하게 하는 평균 흐름(Mean Flow, MF) 모델로 자연스럽게 확장됩니다. 저자들은 MF 모델을 위한 최적 평균 속도 필드 또한 볼록 결합 형태를 따른다는 것을 증명하여, GFT가 이론적 정확성을 희생하지 않고도 1단계 또는 몇 단계 생성에 적용될 수 있음을 보여줍니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

이론적 수렴: GFT가 표준 가정 하에서 타겟 분포로 수렴한다는 것과, 온도 $\beta$ 에 의존하는 명시적인 수렴 속도를 갖는다는 것을 증명했습니다.
결합 등가성(Coupling Equivalence): GFT가 임의의 소스-타겟 결합에 조건화될 때 동일한 결과를 낸다는 것을 확립하여, 추론 효율성을 높이는 학습 기술(예: OT)의 사용을 가능하게 했습니다.
적은 단계 확장: 이론적 보장을 훼손하지 않으면서 적은 단계 추론 방법(예: Mean Flow)을 위한 미세 조정으로의 자연스러운 확장을 입증했습니다.
경험적 우월성: GFT가 다른 방법들과 대등하거나 더 우수한 생성 품질을 달면서도 개선된 학습 안정성, 생성 다양성 및 일관되게 짧은 확률 경로를 제공함을 종합적인 실험 검증을 통해 보여주었습니다.

실험 결과

저자들은 WILDS 벤치마크 데이터셋(Camelyon17, RxRx1, FMoW) 및 2D 시뮬레이션 데이터에서의 교차 도메인 및 인도메인 적응을 포함한 다양한 설정에서 GFT를 평가했습니다.

안정성 및 수렴: GFT는 표준 CFM 미세 조정 및 보상 기반 방법(예: Adjoint Matching)에 비해 현저히 높은 안정성을 보였습니다. 순간 분산(instantaneous variance) 및 에포크와 FID 사이의 스피어먼 상관관계 지표는 단조적이고 안정적인 수렴을 나타냈습니다.
생성 품질: 교차 도메인 적응에서 GFT는 표준 미세 조정과 대등한 FID 점수를 달성하면서도 평균 경로 길이는 더 짧았으며, 이는 더 효율적인 추론을 의미합니다. 인도메인 적응에서 GFT는 전체 미세 조정의 정확도와 일치하면서도 더 낮은 경로 길이를 유지했습니다.
다양성: 2D 이봉 가우시안(bimodal Gaussian) 타겟에서 GFT와 표준 CFM은 높은 다양성을 가지고 두 모드를 모두 커버했습니다. 반면, Adjoint Matching과 같은 보상 기반 방법은 모드 붕괴를 겪으며 샘플이 단일 모드 내에 밀집되는 현상을 보였습니다.
효율성: GFT는 CFM의 시뮬레이션 프리(simulation-free) 학습 효율성을 유지했습니다. Adjoint Matching은 각 단계마다 값비싼 ODE 시뮬레이션을 요구하여 학습 시간이 한 자릿수 이상 더 걸린 반면, GFT는 효율성을 유지했습니다.
적은 단계 추론: Mean Flow 모델에 적용되었을 때, GFT는 반복적 모델과 대등한 FID를 달성하면서도 추론 시 모델 평가 횟수(NFE)를 50-100배 감소시켰습니다.
정규화 제어: 최소 온도 $\beta$ 를 변화시키는 실험을 통해 최종 FID와 평균 경로 길이 사이의 제어 가능한 트레이드오프를 밝혀냈으며, 이를 통해 사용자가 생성 정확도와 추론 속도 사이의 균형을 명시적으로 조정할 수 있게 했습니다.

의의 및 주장

본 논문은 GFT를 분포 변화 하에서 플로우 매칭 모델의 확장 가능한 적응을 위한 단순하면서도 이론적 근거가 확실하고 실질적으로 효과적인 대안으로 포지셔닝합니다.

저자들은 GFT가 다음의 핵심 요구사항을 충족함으로써 기존 문헌의 중요한 공백을 메운다고 주장합니다:

이론적으로 정확함: 제어 가능한 속도로 올바른 타겟 분포로 수렴함을 증명했습니다.
안정적임: 표준 미세 조정에서 흔히 발생하는 진동과 불안정성을 피하고 매우 단조적인 수렴을 보입니다.
효율적임: CFM의 시뮬레이션 프리 학습을 유지하며, OT 결합 및 적은 단계 방법을 통한 효율적인 추론을 지원합니다.
다양함: 사전 학습된 모델의 다양성을 보존하여 보상 기반 접근 방식에서 나타나는 모드 붕골을 방지합니다.

고품질 사전 학습과 미세 조정 사이의 간극을 메움으로써, GFT는 미세 조정 결과에 대한 미세한 제어가 필요한 복잡하고 데이터 중심적인 도메인에 생성 모델을 적응시키기 위한 강력한 솔루션을 제공합니다. 이 연구는 플로우 기반 생성 모델의 확장 가능한 적응을 위한 토대를 마련합니다.