🤖 machine learning

A Flow Matching Algorithm for Many-Shot Adaptation to Unseen Distributions

본 논문은 속도장에 대한 기저 함수를 학습하고 추론 시 목표 샘플을 이 기저에 투영함으로써 생성 모델을 미지의 분포에 효율적이고 학습 없이 적응시킬 수 있는 알고리즘인 흐름 매칭을 위한 함수 투영 (FP-FM) 을 제안합니다.

원저자: Tyler Ingebrand, Ruihan Zhao, Kushagra Gupta, David Fridovich-Keil, Sandeep P. Chinchali, Ufuk Topcu

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tyler Ingebrand, Ruihan Zhao, Kushagra Gupta, David Fridovich-Keil, Sandeep P. Chinchali, Ufuk Topcu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마스터 셰프가 10 가지 종류의 파스타로 구성된 '테이스트 메뉴'와 같이 특정 요리 세트에 탁월한 능력을 지니고 있다고 상상해 보세요. 스파게티, 라자냐, 페투치네를 어떻게 만드는지 정확히 알고 있습니다. 왜냐하면 이 셰프가 이 요리들을 여러 번 만드는 모습을 직접 지켜봤기 때문입니다.

이제 부엌에 들어가 "이전에 보여준 적 없는 비밀 가족 레시피로 만든 새로운 파스타를 원합니다. 하지만 여기 최종 결과물의 사진 세 장이 있습니다"라고 말한다고 가정해 보십시오.

오늘날 대부분의 AI 모델은 새로운 사진을 보여줄 때마다 처음부터 다시 훈련을 받아야 하는 셰프들과 같습니다. 그들은 그 한 가지 특정 요리를 만들기 위해 새로운 요리를 맛보고, 연습하고, 전체 조리 방식을 다시 배워야 합니다. 이는 많은 시간과 노력이 필요합니다.

문제점:
이 논문은 FP-FM(Flow Matching 을 위한 함수 투영)이라는 새로운 방법을 소개합니다. 이 방법은 전체 모델을 재훈련할 필요 없이 소수의 예시 샘플만으로 AI 가 새로운, 이전에 보지 못한 분포 (그 비밀 가족 파스타와 같은) 를 생성하도록 가르치는 문제를 해결합니다.

해결책: "보편적 레시피 북"
셰프를 재훈련시키는 대신, FP-FM 은 초기 훈련 과정에서 AI 가 "보편적 레시피 북"(기저 함수 집합이라고 함)을 구축하도록 가르칩니다.

동작의 도서관: 셰프가 "시계 방향으로 저어주기", "소금 넣기", "팬 뒤집기", "약불로 천천히 끓이기"와 같은 기본 조리 동작 세트를 학습한다고 상상해 보세요. 이것이 바로 기저 함수입니다.
비밀 소스 (계수): 셰프가 특정 요리를 만들고자 할 때, 새로운 동작을 발명하지 않습니다. 대신 각 동작을 얼마나 사용할지 결정할 뿐입니다.
- 스파게티를 만들 때: "시계 방향으로 저어주기 (100%), 소금 넣기 (50%), 팬 뒤집기 (0%)."
- 라자냐를 만들 때: "시계 방향으로 저어주기 (20%), 소금 넣기 (80%), 팬 뒤집기 (100%)."

FP-FM 의 작동 원리:
AI 에게 새로운 목표 분포 (비밀 파스타) 의 몇 가지 예시를 주면, FP-FM 은 셰프에게 새로운 동작을 가르치지 않습니다. 대신 그 새로운 요리를 재현하기 위해 기존 동작들의 완벽한 **혼합 비율 (계수)**을 빠르게 계산합니다.

이 논문은 셰프의 지능과 조리 속도 사이의 절충안을 제공하는 이 "레시피 북"의 세 가지 버전을 제안합니다.

정적 FP-FM ("만능" 셰프):
이 셰프는 시작 시점에 레시피 혼합 비율을 한 번 계산합니다. 조리가 매우 빠르지만, 새로운 요리가 매우 복잡하거나 기이하다면 셰프가 진행 중에 레시피를 조정할 수 없기 때문에 세부 사항을 정확히 맞추는 데 어려움을 겪을 수 있습니다. 마치 타이머를 설정하고 자리를 뜨는 것과 같습니다. 간단한 것에는 작동하지만 복잡한 것에는 실패합니다.
시간적 FP-FM ("시간 인지형" 셰프):
이 셰프는 조리 과정이 시간에 따라 변한다는 것을 인식합니다. "소금 넣기"에 대한 레시피는 조리 과정의 시작과 끝에서 다를 수 있습니다. 이 셰프는 조리 과정의 매 단계 (각 시간 단계) 에서 레시피 혼합 비율을 다시 계산합니다. 이로 인해 요리의 맛이 훨씬 좋아지고 더 복잡한 맛을 처리할 수 있지만, 시간을 추적하는 데 약간의 정신적 에너지가 더 필요합니다.
동적 FP-FM ("마스터 테이스터" 셰프):
이것이 가장 진보된 버전입니다. 이 셰프는 매 순간 냄비를 살펴보고 현재 음식이 어떻게 보이는지에 따라 레시피를 조정합니다. 소스가 너무 걸쭉하면 그 즉시 물을 넣고, 너무 묽으면 그 즉시 약불로 끓입니다.
- 결과: 이 셰프는 가장 기이하고 보지 못한 레시피조차도 가장 정확하고 충실한 요리를 만들어냅니다.
- 비용: 지속적으로 혼합 비율을 재평가하기 때문에 가장 많은 정신적 에너지 (연산) 가 필요합니다.

결과:
저자들은 이 셰프들을 다양한 "메뉴"로 테스트했습니다.

2D 아크 및 MNIST(간단한 것부터 중간 정도까지): 동적 셰프 (동적 FP-FM) 가 다른 셰프들이 놓친 세부 사항을 포착하면서 새로운 숫자와 모양의 가장 정확한 이미지를 생성했습니다.
ImageNet(고급 요리): 복잡한 고해상도 이미지에서도 동적 셰프가 가장 좋은 결과를 냈습니다. 흐릿해지거나 가짜 세부 사항을 만들어내지 않고 목표 예시와 가장 유사한 이미지를 생성했습니다.

핵심 요약:

재훈련 불필요: 새로운 데이터를 몇 시간 동안 "학습"해야 하는 기존 방법과 달리, FP-FM 은 올바른 동작 혼합 비율을 찾기 위해 간단한 수학 계산 (최소 제곱 투영) 만 수행함으로써 즉시 적응합니다.
추측보다 우수: 텍스트 설명이나 간단한 레이블을 기반으로 새로운 요리를 추측하려는 방법보다 성능이 뛰어납니다.
절충안: 셰프를 선택할 수 있습니다. 속도가 필요하다면 정적 버전을 선택하십시오. 최고 품질이 필요하고 약간의 추가 연산을 감수할 수 있다면 동적 버전을 선택하십시오.

요약하자면, FP-FM 은 AI 에게 레고 블록 세트 (기저 함수) 와 새로운 성의 사진 몇 장을 제공하는 것과 같습니다. 새로운 블록을 만들기 위해 완전히 새로운 공장을 짓는 대신, AI 는 기존 블록을 어떻게 조립해야 새로운 성을 완벽하게 만들 수 있는지 정확히 파악합니다.

기술 요약: 흐름 매칭을 위한 함수 투영 (FP-FM)

문제 정의

생성 모델링, 특히 확산 (diffusion) 과 흐름 매칭 (flow matching) 을 통한 생성 모델링은 고품질의 합성 데이터를 생성하는 데 성공을 거두었습니다. 그러나 다수 샷 적응 (many-shot adaptation) 에서 중요한 과제가 남아 있습니다. 이는 추가적인 학습이나 미세 조정 (fine-tuning) 없이 해당 분포의 샘플 포인트 집합만을 사용하여 새로운, 이전에 보지 못한 목표 분포에 생성 모델을 효율적으로 적응시키는 능력입니다.

전통적인 조건부 생성은 종종 명시적인 조건 변수 (예: 자연어 프롬프트 또는 클래스 레이블) 에 의존합니다. 알려진 클래스에는 효과적이지만, 이러한 변수는 특정 시각적 예시 (예: 특정 인물의 이미지 생성) 로 정의된 목표 분포나 고정된 어휘로 쉽게 설명할 수 없는 복잡한 혼합 분포의 경우 불충분합니다. 또한, 표준 미세 조정 접근법은 새로운 분포마다 그라디언트 단계를 요구하여 계산 비용이 많이 들며, 이는 저지연 (low-latency) 응용 프로그램을 방해합니다.

저자들은 모델이 학습 중에 $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ 분포 군을 학습해야 하며, 학습 중에는 보지 못했던 새로운 분포 $p^\iota_X$ 의 샘플을 받은 후, 해당 분포에서 효율적으로 샘플을 생성해야 하는 설정을 제안합니다.

방법론: 흐름 매칭을 위한 함수 투영 (FP-FM)

FP-FM 의 핵심 통찰은 함수 인코더 (Function Encoder) 관점을 사용하여 흐름 매칭 (Flow Matching) 프레임워크 내에서 적응 문제를 재정의하는 것입니다. 단일 속도장을 학습하거나 이산 변수에 조건을 부여하는 대신, FP-FM 은 학습 분포에 의해 유도된 속도장 공간을 spanning 하는 기저 함수 집합을 학습합니다.

이론적 기반

흐름 매칭: 모델은 노이즈 분포 $X_0 \sim \mathcal{N}(0, I)$ 를 목표 분포 $X_1 \sim p_X$ 로 이동시키는 속도장 $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ 를 학습합니다.
함수 공간: 속도장의 집합 $\mathcal{V}$ 는 힐베르트 공간으로 간주됩니다. 흐름 매칭의 손실 함수 (평균 제곱 오차) 는 이 공간에서의 제곱 노름에 해당합니다.
기저 학습: FP-FM 은 학습 분포의 속도장을 spanning 하는 $k$ 개의 기저 함수 $\{g_i\}_{i=1}^k$ 를 학습합니다 (신경망으로 매개변수화됨).
투영을 통한 적응: 샘플이 주어진 새로운 목표 분포에 적응하기 위해, 알고리즘은 학습된 기저에 대한 목표 속도장의 최소제곱 투영 (least-squares projection) 을 통해 계수 $c_\iota$ 를 계산합니다. 이 투영에 필요한 내적은 목표 분포에서 제공된 샘플을 사용하여 근사화되므로, 실제 속도장을 분석적으로 알 필요가 없습니다.

세 가지 변형

이 논문은 표현력 (expressivity) 과 계산 비용 사이의 절충안을 제공하는 FP-FM 의 세 가지 변형을 소개합니다:

정적 FP-FM (Static FP-FM):
- 메커니즘: 계수 $c_\iota$ 는 주어진 분포에 대해 상수입니다. 속도장은 $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$ 로 근사됩니다.
- 한계: 분포와 그 속도장 사이의 선형 관계를 가정합니다. 연속성 방정식은 비선형이므로, 이 변형은 학습된 속도장의 선형 결합 범위를 벗어난 보이지 않는 분포 (혼합 또는 새로운 지지체) 에는 어려움을 겪습니다.
시간적 FP-FM (Temporal FP-FM):
- 메커니즘: 계수가 시간 의존적이 됩니다, $c_\iota(t)$ . 근사는 $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$ 입니다.
- 개선: 계수가 시간에 따라 변하도록 허용함으로써, 모델은 연속성 방정식의 비선형 역학을 더 잘 포착할 수 있으며, 보이지 않는 분포에 대한 일반화를 크게 향상시킵니다.
동적 FP-FM (Dynamic FP-FM):
- 메커니즘: 계수는 상태 및 시간 의존적입니다, $c_\iota(x, t)$ . 근사는 $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$ 입니다.
- 구현: 이는 모든 상태 $x$ 와 시간 $t$ 에서 국소적인 최소제곱 문제를 풀어야 합니다. 저자들은 중요도 샘플링 (importance sampling) 을 사용하여 조건부 기대값 $\mathbb{E}[X_1 - X_0 | X_t = x]$ 를 효율적으로 계산하는 정리 (정리 1) 를 유도하여, 실제 속도장에 직접 접근할 필요성을 우회합니다.
- 성능: 가장 높은 표현력을 제공하며, 복잡한 보이지 않는 지지체와 혼합을 높은 충실도로 모델링할 수 있습니다.

주요 기여

알고리즘적 혁신: FP-FM 을 제안하여, 명시적인 조건 변수 대신 목표 분포 샘플에 직접 조건을 부여함으로써 미세 조정 없이 보이지 않는 분포에 대한 제로샷 적응을 가능하게 합니다.
이론적 통합: 함수 인코더를 흐름 매칭과 성공적으로 통합하여, 분포 가중 내적을 사용하여 속도장을 학습된 기저에 투영합니다.
표현력 - 계산 스펙트럼: 정적, 시간적, 동적 변형을 도입하여 모델 표현력과 추론 지연 시간 사이의 조절 가능한 절충안을 제공합니다.
효율적 추정: 동적 변형에 필요한 조건부 기대값을 위한 몬테카를로 기반 추정기 (정리 1) 를 유도하여 상태 의존적 계수 계산을 실현 가능하게 합니다.

실험 결과

저자들은 2D Arcs(저차원 시각화), MNIST(구조화된 이미지), ImageNet(고규모, 고차원) 의 세 가지 데이터셋에서 FP-FM 을 평가했습니다. 무조건부 흐름 매칭, 조건부 흐름 매칭, 분류기 유도, 분포 유도, 그리고 표준 미세 조정과 비교했습니다.

일반화: FP-FM 변형은 보이지 않는 분포 (Unseen Distributions, UD) (학습 클래스의 혼합) 와 보이지 않는 지지체 (Unseen Support, US) (완전히 새로운 클래스 또는 모양) 에서 일관되게 베이스라인을 능가합니다.
- 2D Arcs 에서 동적 FP-FM 은 가장 높은 정밀도 (UD 에서 0.976, US 에서 0.734) 를 달성하여, 혼합이나 새로운 지지체로 일반화하지 못하는 미세 조정 및 조건부 베이스라인을 크게 능가했습니다.
- MNIST 에서 동적 FP-FM 은 보이지 않는 숫자 '9'를 포함한 모든 분할에서 최고의 정밀도, 재현율, FID 를 달성했습니다.
- ImageNet 에서 동적 FP-FM 은 보이지 않는 클래스에 대해 최고 품질의 이미지를 생성하는 반면, 정적 및 시간적 변형은 메모리 제약과 낮은 표현력으로 인해 한계를 보였습니다.
효율성:
- FP-FM 은 새로운 분포마다 그라디언트 하강이 필요한 미세 조정보다 훨씬 빠릅니다.
- 동적 FP-FM 은 샘플별 계수 계산으로 인해 정적/시간적 변형 및 조건부 모델보다 계산 비용이 더 많이 들지만, 전체 미세 조정보다는 여전히 빠릅니다.
지표: 결과는 계수 계산의 표현력이 증가함에 따라 (정적 $\to$ 시간적 $\to$ 동적) 보이지 않는 분포를 포착하는 능력이 향상된다는 명확한 경향을 보여줍니다. 특히 정밀도 (데이터 매니폴드의 과도한 근사 방지) 에서 두드러집니다.

중요성과 주장

이 논문은 FP-FM 이 조건부 생성에 대한 기존 접근 방식에 대한 실용적이고 효과적인 대안이라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

조건 변수 제거 필요성 해소: 이는 피사체 주도 생성 (subject-driven generation) 과 같은 작업에 더 직관적인, 샘플로만 정의된 분포에 모델이 적응할 수 있게 합니다.
계산 효율성: 미세 조정에 필요한 비싼 그라디언트 단계 없이 새로운 분포에 빠르게 적응할 수 있게 합니다.
보이지 않는 지지체 처리: 고정된 어휘나 클래스 레이블에 의존하는 표준 조건부 모델과 달리, FP-FM 은 함수 공간 구조를 활용하여 나선형 분포나 새로운 숫자 클래스와 같은 완전히 새로운 지지체로 일반화할 수 있습니다.

저자들은 함수 공간 관점을 사용하여 샘플에 명시적으로 조건을 부여하는 것이 보이지 않는 분포에 생성 모델을 적응시키기 위한 실현 가능한 첫걸음이며, 충실도와 계산 비용 사이의 균형을 맞춘 다양한 솔루션을 제공한다고 결론지었습니다. 그들은 성능이 제공된 샘플의 수와 품질에 의존하며, 이 방법이 단순한 조건부 모델보다 약간 더 비용이 든다는 한계를 인정합니다.