💻 computer science

Representation Distribution Matching for One-Step Visual Generation

이 논문은 대규모 배치 크기를 통한 분포 매칭 최적화와 게임 현상을 방지하기 위한 견고한 다중 인코더 평가 지표를 통해 ImageNet에서 최첨단 성능를 달ien하고 FLUX.2와 같은 다단계 모델을 향상시키는 일단계 시각 생성 패러다임인 Improved Representation Distribution Matching (iRDM)을 소개한다.

원저자: Lan Feng, Wuyang Li, Eloi Zablocki, Matthieu Cord, Alexandre Alahi

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lan Feng, Wuyang Li, Eloi Zablocki, Matthieu Cord, Alexandre Alahi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 느린 요리에서 즉석 라면으로

완벽한 그림을 그리고 싶다고 상상해 보세요.

기존 방식 (확산 모델 - Diffusion Models): 이것은 요리사가 복잡한 스튜를 천천히 요리하는 것과 같습니다. 요리사는 무작위 노이즈(정적)가 담긴 냄비에서 시작하여, 맛이 딱 적당해질 때까지 20~30분(단계) 동안 재료를 단계적으로 추가하고 저으며 맛을 봅니다. 한 그릇을 만드는 데 시간이 오래 걸립니다.
목표: 저자들은 천천히 만든 스튜만큼이나 맛있는 "마법의 즉석 라면"을 만들고 싶어 합니다. 단 **단 한 번의 단계(one single step)**만으로 말이죠.

이 논문은 이를 실현하는 iRDM(개선된 표현 분포 매칭, improved Representation Distribution Matching)이라는 새로운 방법을 소개합니다. 이 방법은 단계별로 가이드해 줄 "스승" 모델 없이도 고품질 이미지를 즉각적으로 생성하도록 모델을 훈련시킵니다.

구현 방법: 기계의 두 가지 "조절 노브(Knob)"

저자들은 기존의 "즉석" 생성기 시도들이 잘못된 노브를 돌리고 있었기 때문에 실패했다는 점을 깨달았습니다. 그들은 품질을 제어하는 두 가지 주요 "노브"(설계 축)를 식별했습니다.

1. "어떻게 비교할 것인가" 노브 (비교 축)

생성기를 가르치려면, 생성된 결과물을 실제 사진과 비교해야 합니다.

기존의 실수: 이전 방식들은 흐릿하고 저해상도인 자(예: Fréchet distance)를 사용하거나, 실제 사진 중 아주 작은 표본만을 보는 자를 사용했습니다. 이는 마치 오케스트라 전체를 판단하기 위해 단 한 명의 바이올린 연주자가 아주 짧은 순간 연주하는 소리만 듣고 판단하려는 것과 같았습니다.
해결책 (Nyström Attraction): 저자들은 클래식한 "최대 평균 편차(Maximum Mean Discrepancy, MMD)" 지표가 사실 매우 훌륭하지만, 사람들이 그것을 잘못 사용하고 있었다는 것을 깨달았습니다. 그들은 다음과 같이 문제를 해결했습니다.
- 참조 데이터 고정 (Freezing the Reference): 매번 무작위로 몇 장의 실제 사진을 보는 대신, 128만 장의 전체 데이터셋을 압축하여 완벽한 "요약 지도"(Nyström reference라고 불림)로 만들고 이를 고정했습니다. 이는 무엇이 "실제"인지에 대한 완벽하고 변하지 않는 청사진을 갖는 것과 같습니다.
- 대규모 배치 (Big Batches): 생성기가 명확한 그림을 그리려면 한 번에 수천 장의 이미지(배치 크기 2,000 이상)를 봐야 한다는 것을 깨달았습니다. 작은 배치는 소음이 너무 많습니다. 마치 붐비는 방 안에서 속삭임을 들으려고 애쓰는 것과 같습니다.

2. "무엇을 측정할 것인가" 노브 (표현 축)

비교하는 방법을 갖추었다면, 이제 어떤 특징을 측정할지 결정해야 합니다.

함정 (시스템 악용하기): 만약 하나의 "심판"(단일 AI 인코더)만을 사용하여 이미지를 채점한다면, 생성기는 속임수를 쓸 것입니다. 생성기는 특정 심판을 속이는 법을 배우게 됩니다. 이는 수학을 실제로 할 줄은 모르면서 특정 선생님의 시험 문제 정답만 외워버린 학생과 같습니다. 학생은 만점을 받겠지만, 이미지는 여전히 사람 눈에는 가짜처럼 보입니다.
해결책 (균형 잡힌 패널): 저자들은 "심판 패널"(14개의 서로 다른 AI 인코더)을 사용했습니다. 단순히 점수를 평균 내는 것이 아니라, 특별한 "라그랑주 컨트롤러"(스마트한 균형 시스템)를 사용했습니다.
- 비유: 물을 담고 있는 나무 판자(심판들)로 된 양동이를 상상해 보세요. 물의 높이(품질)는 가장 짧은 판자의 높이에 달려 있습니다. 만약 한 명의 심판이라도 이미지가 가짜라고 말하면, 그 이미지는 전체적으로 가짜가 됩니다. 이 시스템은 생성기가 쉬운 심판을 만족시키는 것이 아니라, 가장 까다로운 심판을 만족시키도록 강제합니다. 이는 속임수를 방지합니다.

결과: "마법의 즉석 라면"

이러러한 해결책들을 결 조합하여, 그들은 iRDM을 만들었습니다. 결과는 다음과 같습니다.

ImageNet (표준 이미지)에서: 기존 모델을 가져와 이를 1단계 생성기로 변환했습니다. 이 모델은 그들의 새로운, 속이기 어려운 지표(SWr14)를 기준으로 세계 최고의 1단계 생성기가 되었습니다.
- 지표: 그들은 14개의 서로 다른 렌즈를 통해 이미지를 바라보는 "인간 선호도 시뮬레이터"인 SWr14라는 새로운 테스트를 만들었습니다. 실제 사진의 점수는 완벽한 1.0입니다. 그들의 모델은 1.30을 기록하며 현실에 매우 근접했고, 다른 모든 1단계 모델들을 앞질렀습니다.
- 인간의 입맛: 별도의 AI(PickScore)를 통해 그들의 이미지와 기존 최고 모델들을 비교했을 때, 인간(AI 대리인을 통해)은 새로운 모델을 71%의 확률로 선호했습니다.
FLUX.2 (텍스트-투-이미지)에서: 유명하고 고품질인 4단계 모델인 FLUX.2를 가져와 이를 1단계 모델로 "사후 훈련(post-trained)"했습니다.
- 놀라운 결과: 새로운 1단계 버전은 명령 수행 능력(GenEval 점수 0.794에서 0.826으로 상승) 측면에서 원래의 4단계 버전보다 오히려 더 뛰어났습니다.
- 속도: 이 훈련은 강력한 GPU를 사용하여 약 90시간 만에 완료되었습니다.

이것이 왜 중요한가 (논문에 따르면)

속임수 방지: 가장 큰 돌파구는 모델이 "시스템을 악용"하는 것을 막았다는 점입니다. 다양한 고정된 인코더 패널과 균형 잡힌 최적화 전략을 사용함으로써, 모델은 단순히 특정 지표를 속이는 것이 아니라 실제로 진짜처럼 보이도록 만들어야 합니다.
스승이 필요 없음: 다른 빠른 방법들이 단계별로 가이드해 줄 느리고 복잡한 스승 모델을 필요로 하는 것과 달리, 이 방법은 출력물을 고정된 현실의 지도와 직접 비교함으로써 학습합니다.
"1단계"의 현실: 좋은 이미지를 만들기 위해 20단계가 필요하지 않다는 것을 증명했습니다. 단지 "실제다움"을 측정하는 올바른 방법만 있으면 됩니다.

요약 비유

당신은 로봇에게 완벽한 사과를 그리는 법을 가르치려 한다고 상상해 보세요.

기존 방식: 로봇에게 사진을 보여주고, 그다음 약간 흐릿한 버전을 보여주고, 그다음 더 흐릿한 버전을 보여주며 원래의 모습이 무엇이었을지 단계별로 추측하게 합니다.
이 논문의 방식: 당신은 로봇에게 완벽하게 고정된 "사과 청사진"(Nyström reference)과 14명의 전문가 미술 비평가 패널(인코더)을 줍니다. 그리고 로봇에게 말합니다. "사과를 그려봐. 만약 14명의 비평가 중 단 한 명이라도 가짜 같다고 하면 너는 탈락이야. 가장 까다로운 비평가를 만족시킨다면, 너는 승리하는 거야."
결과: 로봇은 단 한 번의 즉각적인 획으로 완벽한 사과를 그리는 법을 배우며, 그 결과는 너무나 훌륭해서 가장 까다로운 비평가조차 그것이 실제 사진인지 가짜인지 구분할 수 없게 됩니다.

기술 요약: 단일 단계 시각적 생성을 위한 표현 분포 매칭 (Representation Distribution Matching)

문제 정의

생성 모델링의 근본적인 목표는 생성기의 출력 분포를 데이터 분포와 일치시키는 것입니다. 확산(Diffusion) 및 플로우(Flow) 모델은 여러 단계에 걸친 노이징 과정을 역전시키는 법을 학습함으로써 이를 암시적으로 달성하지만, 최근의 접근 방식들은 단 한 번의 네트워크 평가만으로 이를 명시적이고 직접적으로 수행하고자 합니다. 이러한 "단일 단계(one-step)" 생성기들은 온라인 교사(online teacher), 적대적 모델(adversary), 또는 시뮬레이션된 궤적(simulated trajectories)에 의존하지 않고, 동결된 사전 학습된 인코더 하에서 생성된 특징 분포와 실제 특징 분포를 일치시키고자 합니다.

그러나 기존의 단일 단계 방법론들은 설계 선택 사항들을 공동으로 고정해 버리기 때문에, 어떤 특정 구성 요소가 품질을 주도하는지 불분ci 명확하지 않습니다. 또한, 최대 평균 편차(Maximum Mean Discrepancy, MMD)와 같은 고전적인 분포 매칭 목적 함수는 이전에는 경쟁력 있는 생성기를 훈련하기에는 너무 약하다고 치부되기도 했으며, 단일 인코더 평가 지표는 생성기가 특정 인코더의 점수만을 최적화하여 시각적으로는 가짜 이미지를 생성하면서도 높은 점수를 얻는 "게이밍(gaming)" 현상에 취약합니다.

방법론: 표현 분포 매칭 (Representation Distribution Matching, RDM)

본 논문은 **표현 분포 매칭(RDM)**을 두 가지 설계 축, 즉 분포를 비교하는 방법과 비교되는 표현의 공간으로 정의되는 패러다임으로 정식화합니다. 이 두 축을 따라 통제된 연구를 통해 저자들은 **개선된 RDM (iRDM)**을 제안합니다.

1. 비교 축 (The Comparison Axis)

MMD의 재평가: 저자들은 MMD가 본질적으로 약한 것이 아니라 이전에 잘못 추정되었음을 입증합니다. 그들은 다음과 같은 구체적인 추정 전략을 제안합니다:
- 정밀한 배치 내 반발 (Exact Within-Batch Repulsion): 반발 항(모드 붕괴를 방지함)은 생성된 배치( $B \times B$ 커널 합)에 대해 정확하게 계산됩니다.
- 나이스트롬 인력 (Nyström Attraction): 인력 항(데이터로 끌어당김)은 **나이스트롬 커널 평균 임베딩(Nyström kernel mean embedding)**을 사용하여 전체 훈련 세트에 대해 추정됩니다. 매 단계마다 참조 데이터를 재샘플링하는 대신(이는 노이즈를 유발함), 전체 훈련 세트(예: 128만 개의 ImageNet 이미지)를 4,096개의 고정된 랜드마크로 한 번에 압축합니다. 이는 데이터 분포에 대한 분산이 없는 요약본을 제공합니다.
배치 크기: 생성된 배치 크기가 핵심 변수로 식별되었습니다. 더 큰 배치는 추정치를 개선하지만, 고정된 연산 예산 내에서 옵티마이저 스텝 수를 줄입니다. 저자들은 표준적인 관행을 훨씬 상회하는 최적의 크기(2,048 이상, 구체적으로 ImageNet의 경우 5,120, FLUX의 경우 10,240)를 찾아냈습니다. 메모리 관리를 위해 그래디언트 캐싱(Gradient caching)이 사용됩니다.
조건부 작업 (Conditional Tasks): 텍스트-투-이미지(Text-to-image)의 경우, 이미지 주변 분포(marginal)만 매칭하는 것이 아니라 캡션과 이미지 특징의 **결합 법칙(joint law)**을 매칭합니다. 이를 통해 프롬프트 충실도가 목적 함수의 일부가 되도록 보장합니다.

2. 표현 축 (The Representation Axis)

단일 인코더의 문제: 단일 인코더는 "게이밍"될 수 있습니다. 생성기는 특정 인코더의 실제 데이터 점수보다 거리를 낮출 수 있지만, 결과물은 시각적으로 가짜일 수 있습니다(예: 일부 클래스는 수정했지만 다른 클래스에는 아티팩트를 남겨두는 경우).
다양한 인코더 배터리: 게이밍을 방지하기 위해, iRDM은 14개의 사전 학습된 인코더(DINOv2, SigLIP, CLIP 등 포함)로 구성된 다양한 패널과 대조하여 매칭합니다.
제약된 최적화 (Constrained Optimization): 균등한 가중치 부여 대신, 저자들은 비례 라그랑주 컨트롤러(proportional Lagrangian controller)(Stooke et al., 2020 기반)를 사용합니다. 이 컨트롤러는 가중치를 동적으로 조정합니다: 실제 데이터 하한선을 위반하는(충족하기 가장 어려운) 인코더의 가중치는 높이고, 이미 만족되었거나 과적합된 인코더의 가중치는 낮춥니다. 이를 통해 생성기가 어려운 특징 공간을 무시할 수 없도록 보장합니다.

3. 평가 지표: SWr14

학습 손실을 게이밍하지 않고 성능을 평가하기 위해, 저자들은 14개의 인코더에 대해 평균을 낸 슬라이스드 와서스틴(Sliced-Wasserstein) 거리인 SWr14를 도입합니다.

이는 훈련 과정에서 사용된 MMD와는 독립적입니다.
실제 검증 데이터는 구조적으로 1.0의 점수로 스케일링됩니다.
프레셰 거리(Fréchet distance)나 MMD보다 게이밍하기 어렵습니다.

주요 기여

통합 프레임워크 (RDM): 본 논문은 단일 단계 생성을 비교와 표현이라는 두 축에 의해 제어되는 설계 공간으로 정식화하여, 방법론의 품질 상한선이 단순한 아이디어가 아닌 구체적인 설계 선택에 의해 결정됨을 밝힙니다.
최첨단 기술을 위한 간단한 레시피 (iRDM): 각 축을 독립적으로 변화시킴으로써, 저자들은 최적의 구성(정밀한 배치 내 반파, 고정된 전체 데이터 참조에 대한 나이스트롬 인력, 대규모 신선한 배치, 조건부 작업을 위한 결합 이미지-텍스트 매칭, 인코더 균형을 위한 제약된 최적화)을 식별합니다.
게이밍에 강한 지표: 훈련 손의 메커니즘을 공유하지 않는 14개 인코더에 대한 최적 운송(optimal-transport) 지표인 SWr14를 도입하여 견고한 평가 표준을 제공합니다.

결과

ImageNet-256 생성

SWr14 점수: iRDM은 이전 최고 단일 단계 생성기(pMF-H FD-SIM, 2.05)를 크게 앞지르고 실제 데이터 하한선인 1.0에 근접하는 최첨단 SWr14 점수 1.30을 달성했습니다.
인간 선호도: 학습에 사용되지 않은 인간 선호도 프록시인 PickScore를 통해 평가했을 때, iRDM은 이전 최고 단일 단계 생성기(FD-SIM)보다 **71.2%**의 샘플에서 더 선호되었습니다. 특히, 이는 PickScore에서 실제 사진(held-out real photographs)을 능가한 첫 번째 단일 단계 모델입니다(승률 63.6%).

텍스트-투-이미지 사후 학습 (FLUX.2)

이 레시피를 40억 파라미터 규모의 4단계 **FLUX.2 [klein]**를 단일 단계 생성기로 사후 학습시키는 데 적용했습니다.
GenEval: 단일 단계 iRDM 모델은 4단계 교사 모델(0.794)을 앞질러 0.826을 달성했습니다.
PickScore: 단일 단계 모델은 4단계 버전(22.58)보다 높은 22.76을 기록했습니다.
효율성: 이러한 결과는 온라인 교사나 보상 모델 없이 약 90 H200 GPU-시간 만에 달성되었습니다.

의의 및 주장

본 논문은 **표현 분포 매칭(Representation Distribution Matching)**이 고품질의 단일 단계 생성을 위한 실행 가능한, 교사가 필요 없는(teacher-free) 패러다임임을 주장합니다. 그 의의는 다음과 같습니다:

MMD의 신비 해소: MMD가 (나이스트롬 인력 + 정밀한 반발과 함께) 올바르게 추정될 때 강력한 목적 함수가 될 수 있음을 보여줍니다.
보상 해킹(Reward Hacking) 방지: 단일 인코더 매칭은 불충분하며, 진정한 사실성을 보장하기 위해서는 다양한 인코더 배터리에 대한 균형 잡힌 제약 최적화가 필요함을 입증합니다.
효율성: 단순한 분포 매칭 목적 함수를 사용하여, 4단계 확산 모델을 정렬(GenEval)과 인간 선호도(PickScore) 측면에서 교사 모델을 능가할 뿐만 아니라 뛰어넘는 단일 단계 모델로 증류(distill)할 수 있음을 증명합니다. 이는 적대적 훈련이나 궤적 증류의 복잡함 없이 가능했습니다.

저자들은 최선의 단일 단계 생성기(SWr14 1.30)와 새로운 실제 데이터 추출값(1.0) 사이에 여전히 격차가 존재함을 겸허히 인정하며, 이는 멀티 스케일 커널 및 더 풍부한 조건부 결합(conditional couplings)에 대한 향후 연구 과제를 시사합니다.