💻 computer science

The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

본 논문은 사전 학습된 표현 공간에서 훈련된 판별자를 활용하여 플로우 매칭(flow matching) 모델을 교정하기 위한 최적의 보상 신호를 제공함으로써, 값비싼 인간 선호 데이터에 의존하지 않고도 이미지 충실도와 의미론적 일관성을 크게 향상시키는 방법론인 판별자 유도 강화학습(Discriminator-Guided RL, DRL)을 제안한다.

원저자: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 화가에게 그림 그리는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 실제 풍경, 동물, 사물이 담긴 수백만 장의 사진을 보여줍니다. 로봇은 이 사진들 사이에서 픽셀이 어떻게 변하는지를 예측하며 그 '흐름(flow)'을 모방함으로써 학습하려고 노력합니다. 이것이 현대 AI 이미지 생성기가 학습하는 표준적인 방식입니다.

하지만 이 논문의 저자들은 이상한 문제를 발견했습니다. 로봇이 수백만 장의 사진을 보고 난 후에도, 로봇의 그림은 종종 '어색해' 보인다는 것입니다. 손가락 개수가 너무 많거나, 얼굴이 흐릿하거나, 사물이 녹아내린 것처럼 보일 수 있습니다. 이는 분명히 훈련 사진에 존재했던 결함들이지만, 로봇은 이를 완벽하게 학습하지 못했습니다.

이를 해결하기 위해 연구자들은 보통 **강화 학습(Reinforcement Learning, RL)**을 활용합니다. 이것은 인간 비평가를 고용하는 것과 같습니다. 로봇이 그림을 그리면, 비평가가 "이건 마음에 들지만, 저건 너무 밝아요"라고 말하고, 로봇은 그에 따라 조절하는 방식입니다. 문제는 인간 비평가를 고용하는 것이 비용이 많이 들고 느리며, 그들의 의견은 주관적이라는 점입니다 (그들은 단순히 기분이 좋아서 밝은 색을 좋아할 수도 있지, 그것이 반드시 사실적이기 때문은 아닙니다).

저자들은 대담한 질문을 던집니다: 로봇이 이미 수백만 장의 실제 사진을 보았다면, 무엇이 '실제'인지 가르치기 위해 왜 굳이 인간 비평가가 필요할까요?

그들은 로봇의 초기 학습 방식(이를 '플로우 매칭(Flow Matching)'이라 부릅니다)이 마치 지도만 보고 운전법을 배우려는 것과 같다고 주장합니다. 당신은 도로의 규칙은 알지만, 차가 옆으로 밀려나거나 도로가 휘어지는 것을 실제로 느껴본 적은 없습니다. 수학적으로는 완벽하게 작동할지 몰라도, 현실 세계에서는 아주 작은 오차들이 쌓여 결국 로봇이 도로 밖으로 벗어나게 만듭니다.

해결책: '판별자(Discriminator)' 코치

저자들은 **판별자 유도 강화 학습(Discriminator-Guided RL, DRL)**이라는 새로운 방법을 제안합니다. 인간을 고용하는 대신, 그들은 로봇에게 실제 사진과 가짜 사진의 차이를 찾아내는 데 전문가인 '코치'를 붙여줍니다. 하지만 여기에는 반전이 있습니다. 이 코치는 픽셀을 직접 보는 것이 아니라, 이미지의 의미를 봅니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다:

'의미'를 보는 안경: 로봇과 코치가 모두 특수한 안경(DINOv2와 같은 '사전 학습된 표현 공간')을 쓰고 있다고 상상해 보세요. 이 안경은 색상이나 픽로를 보는 것이 아니라, 개념을 봅니다. 이들은 "개", "자동차", "얼굴"을 봅니다. 픽셀이 약간 더 붉은지 혹은 푸른지와 같은 미세한 디테일은 무시합니다.
코치의 역할: 코치는 이 안경을 통해 실제 사진과 로봇이 생성한 사진을 관찰합니다. 그리고 묻습니다. "이것이 진짜 개처럼 보이는가, 아니면 로봇이 추측한 개의 모습인가?" 코치는 인간의 선호도(예: "이 개가 귀여운가?")에는 관심이 없습니다. 오직 **"이것이 진짜 개인가?"**만을 따집니다.
보상: 로봇의 사진이 안경을 통해 보았을 때 진짜 개처럼 보인다면, 코치는 높은 점수를 줍니다. 만약 이상해 보인다면 점수는 낮아집니다.
학습: 로봇은 이 점수를 사용하여 자신의 화풍을 조정합니다. 로봇은 단순히 픽셀의 세계가 아니라, 개념의 세계에서 실제 데이터의 '형태'와 일치하도록 학습합니다.

이것이 왜 중요한 일인가

이 논문은 단 한 명의 인간도 "이게 좋다"라고 말하지 않았음에도 불구하고, 이 방법이 놀라울 정도로 잘 작동한다는 것을 보여줍니다.

'표류(Drift)' 현상을 해결합니다: 교과서만 베끼는 학생이 아니라, 스승의 실수를 통해 배우는 학생처럼, 로봇은 실제 데이터의 '이상적인' 분포와 자신의 출력을 비교함으로써 스스로의 오류를 바로잡는 법을 배웁니다.
더 저렴하고 빠릅니다: 수백만 장의 이미지를 평가하기 위해 인간에게 비용을 지불할 필요가 없습니다. '코치'는 데이터 자체에 의해 훈련된 수학적 도구일 뿐입니다.
이미지를 더 선명하게 만듭니다: 실험 결과, 이 훈련을 거친 로봇이 생성한 이미지는 훨씬 더 사실적이었습니다. 손가락은 곧게 펴졌고, 얼굴은 더 뚜렷해졌으며, 사물은 녹아내리지 않았습니다.
더 나은 토대를 마련합니다: 만약 나중에 인간의 선호도(예: "개를 행복해 보이게 만들어줘")를 추가하고 싶다면, 이 'DRL'로 학습된 로봇에서 시작하는 것이 두 번째 단계에서 훨씬 더 쉽고 효과적입니다. 로봇은 이미 현실의 기초를 마스터했으므로, 인간 비평가는 단지 성격(personality)을 다듬기만 하면 됩니다.

핵심 요약

이 논문은 더 나은 이미지를 만들기 위한 '보상'이 이미 데이터 속에 숨겨져 있었다고 주장합니다. 초기 학습 방식은 그것을 찾아내기에 너무 서툴렀을 뿐입니다. 현실의 '구조'(특수 안경을 통한)를 이해하는 '코치'를 사용함으로써, 로봇은 무엇이 '실제'인지 알려주는 값비싼 인간의 피드백 없이도 스스로 더 나은 화가가 될 수 있습니다.

핵심 요점: 로봇에게 무엇이 진짜 고양이인지 알려주기 위해 인간이 필요하지 않습니다. 로봇에게 진짜 고양이와 가짜 고양이를 수학적으로 구별할 수 있는 도구를 준다면 말입니다. 이 논문은 그렇게 하는 것이 로봇의 예술을 훨씬 더 훌륭하게 만든다는 것을 증명합니다.

기술 요약: Flow Matching을 위한 판별기 유도 강화학습 (Discriminator-Guided RL)

문제 정의

Flow 기반 및 Score-matching 모델은 시뮬레이션이 필요 없는 회귀 기반 학습 목적 함수 덕분에 생성 모델링의 지배적인 패러다임이 되었습니다. 그러나 이러한 모델들은 일반적으로 다단계 파이프라인을 통해 학습됩니다. 먼저, 데이터 분포 $q$ 에 대해 flow 또는 score matching(FSM)을 사용하여 베이스 모델을 적합시킨 후, 두 번째 단계로 바람직한 영역으로 모델을 기울이기 위해 강화학습(RL)을 적용합니다. 이때 정의되는 영역은 보상 $r(x)$ 에 의해 결정됩니다.

본 논문은 이 패러다임에서 구조적 불일치를 식별합니다. FSM 손실 함수는 훈련 시의 주변 분포(marginals) 하에서 속도(velocity) 또는 스코어 필드의 $\ell_2$ 회귀 오차를 최소화하지만, 데이터에 이론적으로 존재함에도 불구하고 시각적 실재감(visual realism), 일관된 객체 구조, 물리적으로 올바른 움직임과 같은 데이터의 고유한 특성을 복구하는 데는 종종 실패합니다. 결과적으로, 실무자들은 이러한 특성을 복구하기 위해 선호도 기반의 RL에 의존하게 됩니다. 이러한 접근 방식은 두 가지 이유로 문제가 됩니다:

구조적 실패: 모델이 왜 매칭 손실을 통해 데이터로부터 이러한 특성을 직접 학습하지 못하고, 이를 복구하기 위해 RL을 필요로 하는지는 의문입니다.
비용 및 혼재: 보상 훈련은 일반적으로 값비싼 인간 선호 데이터를 요구하며, 이는 객관적인 데이터 실재감과 주관적인 주석자의 성향을 혼재시킵니다.

저자들은 매칭 목적 함수가 이러한 특성을 포착하지 못하는 이유가 "훈련-테스트 불일치"(모델의 롤아웃 분포가 아닌 훈련 시의 주변 분포에서 오차가 누적됨)와 "기하학적 불일치"(속도 공간에서의 작은 오차가 샘플 품질/보상 공간에서의 큰 오차로 이어질 수 있음) 때문이라고 주장합니다.

방법론: 판별기 유도 강화학습 (Discriminator-Guided RL, DRL)

본 논문은 인간의 선호 데이터에 의존하지 않고 flow matching 모델을 교정하는 방법인 **판별기 유도 강화학습 (DRL)**을 제안합니다. 핵심 통찰은 베이스 모델 $p_{base}$ 를 타겟 분포 $q$ 와 정렬하기 위한 최적의 보상이 로그 밀도 비율 $\log(q(x)/p_{base}(x))$ 라는 것입니다. 이 비율은 계산이 불가능하므로, DRL은 판별기를 사용하여 이를 추정합니다.

DRL 파이프라인는 두 단계로 구성됩니다:

1단계: 표현 공간에서의 보상 추정

직접 픽셀 공간에서 판별기를 훈련시키는 대신(이는 통계적으로 어렵고 의미론적으로 신뢰할 수 없음), DRL은 사전 학습된 자기 지도 학습(SSL) 표현 공간에서 판별기를 훈련시킵니다.

동결된 인코더 $\phi$ (예: DINOv2)가 이미지를 특징 공간 $Z$ 로 매핑합니다.
판별기 $D$ 는 인코딩된 표현 $\phi(x)$ 를 사용하여 실제 데이터 샘크 $x \sim q$ 와 베이스 모델 샘플 $x_{fake} \sim p_{base}$ 를 구별하도록 훈련됩니다.
보상 함수는 이 판별기의 로짓(logit)으로 정의됩니다: $\hat{r}(x) = \log(D(\phi(x)) / (1 - D(\phi(x))))$ .
이론적 근거: 보상을 SSL 공간으로 제한함으로써, DRL은 제약된 최적화 문제를 해결합니다. 즉, $\phi$ 를 통한 푸시포워드(pushforward)가 $q$ 의 푸시포워드와 일치하도록 하는 동시에, $p_{base}$ 와 가장 가까운(KL 발산 관점에서) 분포 $p$ 를 찾습니다. 이는 인코더에 의해 가시화되는 의미론적으로 유의미한 축을 따라 교정이 이루어지도록 보장합니다.

2단계: Adjoint Matching을 통한 KL-정규화 RL

추정된 보상 $\hat{r}$ 은 KL-정규화 RL을 통해 베이스 모델을 미세 조정하는 데 사용됩니다.

목적은 궤적 분포의 KL 발산을 최소화하면서 기대 보상을 최대화하는 것입니다.
저자들은 궤적 수준의 목적 함수를 샘플링 과정을 통한 그래디언트 전파를 통해 최적화하는 최첨단 알고리즘인 Adjoint Matching을 활용합니다.
편향되지 않은 엔드포인트 틸팅(endpoint tilting)을 위해 필요한 메모리리스(memoryless) SDE에서 안정적인 훈련을 보장하기 위해, 저자들은 Local Linear Integrator를 도입합니다. 이 인티그레이터는 오프셋이 있는 표준 Euler-Maruyama 이산화보다 드리프트 및 확산 계수가 발산하는 $t=0$ 근처의 수치적 강성(stiffness)을 더 효과적으로 처리합니다.

주요 기여

매칭 한계에 대한 이론적 분석: 본 논문은 훈련-테스트 분포 변화와 속도 공간의 기하학과 샘플 공간의 보상 기하학 간의 불일치로 인해, flow/score matching 손실이 보상 갭(관심 속성)에 대한 제어를 보장하지 못함을 보여주는 공식적인 분석을 제공합니다.
판별기 유도 RL (DRL): 동결된 SSL 표현 공간에서 훈련된 판별기를 사용하여 보상 신호를 생성하는 새로운 프레임워크를 제안합니다. 이를 통해 모델은 인간 선호 레이블 없이 데이터의 속성을 복구할 수 있습니다.
Local Linear Integrator: RL 훈련에 사용되는 메모리리스 SDE를 위한 새로운 수치적 인티그레이터로, 초기 시간대의 노름 폭발(norm blow-up)을 방지하고 샘플링 품질과 훈련 안정성을 모두 향상시킵니다.
실증적 검증: 다양한 아키텍처(SiT, JiT, REPA, RAE)와 특징 공간(DINOv2, DINOv3, SigLIP, Inception)에 대해 DRL이 분포 정렬 및 이미지 품질을 크게 개선함을 입증했습니다.

결과

저자들은 네 가지 ImageNet 사전 학습된 flow 모델에 대해 DRL을 평가했습니다. 주요 결과는 다음과 같습니다:

분포 정렬: DRL은 Fréchet Distance (FD)를 크게 감소시킵니다. 예를 들어, SiT의 경우 DINOv3 공간에서의 가이던스 프리(guidance-free) FD가 88.2에서 19.3으로 떨어졌습니다. 모든 모델과 특징 공간에 걸쳐, DRL은 CFG(Classifier-Free Guidance) 없이도 일관되게 정렬을 개선했습니다.
선호 데이터 없는 이미지 품질: DRL은 훈련 과정에서 전혀 사용되지 않은 홀드아웃(held-out) 인간 선호 보상 모델(ImageReward, HPSv2, PickScore, Aesthetics) 점수를 개선했습니다. 이는 DRL이 표준 매칭 손실이 놓치는 "실재감" 속성을 성공적으로 복구했음을 시사합니다.
선호도 정렬을 위한 개선된 기초: DRL이 이후의 선호도 기반 RL(PRL)을 위한 시작점으로 사용될 때, 보상과 이미지 충실도 사이의 우수한 파레토 프런티어(Pareto frontier)를 제공합니다. DRL은 데이터로부터 복구 가능한 구조적 교정을 흡수하여, PRL이 저수준의 아티팩트(예: 과도한 채도, 과도한 밝기)를 수정하는 대신 순수한 주관적 선호에 집중할 수 있게 합니다.
증류 갭(Distillation Gap): DRL 교사 모델의 샘플로 훈련된 학생 모델이 5천만 개의 샘플을 본 후에도 교사의 성능을 복제할 수 없음을 실험을 통해 확인했습니다. 이는 이러한 속성을 복구하기 위해서는 샘플뿐만 아니라 RL 목적 함수 자체가 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 flow 기반 모델을 위한 RL 사후 훈련(post-training)이 단순히 외부 선호도를 최적화하기 위한 도구가 아니라, 표준 매칭 기반 목적 함수가 불완전하게 포착한 데이터 내의 구조를 복구하기 위한 보완적 메커니즘으로 간주되어야 한다고 주장합니다.

사전 학습된 표현 공간의 판별기를 사용함으로써, DRL은 다음과 같은 보상 신호를 제공합니다:

데이터 속성과 정렬됨: 주관적인 인간 선호도가 아닌 데이터 분포를 직접 타겟팅합니다.
기하학적으로 건전함: 보상 랜드스케이프 상에서 직접 최적화함으로써 속도 공간의 장애물을 우회합니다.
효율적임: 사전 학습에 필요한 계산량을 크게 줄이고 선호 데이터 수집 비용을 피할 수 있습니다.

저자들은 매칭 목적 함수와 RL이 서로 상충하는 목표를 가진 방법이 아니라, 훈련 데이터의 효용을 극대화하기 위한 두 가지 보완적인 도구라고 결론짓습니다. 이 연구는 고품질 생성을 위한 "보상"이 종종 "데이터 안에 이미 존재"하고 있지만, 이를 완전히 실현하기 위해서는 온-폴리시(on-policy)의 보상 유도 메커니즘이 필요함을 시사합니다.