기술 요약: 추론 시 스케일링의 아이디어가 생성적 사전 학습 알고리즘에 이득을 줄 수 있음

문제 정의

생성적 사전 학습 분야는 현재 모델을 이산 신호(discrete signals)를 위한 자기회귀(autoregressive) 모델과 연속 신호(continuous signals)를 위한 확산(diffusion) 모델로 엄격히 구분하는 개념적 "가짜 이분법(false dichotomy)"에 의해 저해되고 있습니다. 저자들은 이러한 구분이 모델 패밀리와 데이터 표현, 학습 목적 함수, 그리고 추론 절차를 혼동하고 있기 때문에 오해의 소지가 있다고 주장합니다.

식별된 핵심 문제는 현재의 알고리즘적 진보가 정체되어 있다는 점인데, 이는 연구자들이 **추론 절차(inference procedure)**가 효율적으로 스케일링할 수 있는지 먼저 확인하지 않은 채 학습 목적 함수(예: 크로스 엔트로피 대 노이즈 제거 스코어 매칭)를 우선시하기 때문입니다. 구체적으로, 본 논문은 다음과 같이 주장합니다:

1. 추론 용량의 한계: 학습 목적 함수는 필요한 인자(예: 타겟 타임스텝)를 누락하거나 잘못된 인수 분해 가정(예: 다중 토큰 예측에서의 나이브한 독립성)을 부과하는 추론 맵을 보완할 수 없습니다.
2. 정렬되지 않은 스케일링: 이 분야에는 "추론 시 스케일링(inference-time scaling)"을 위한 통일된 프레임워크가 부족하며, 이는 시퀀스 확장(sequence expansion)(출력의 성장)과 상태 정제(state refinement)(현재 상태의 수정)라는 두 가지 별개의 축으로 간주되어야 합니다.

방법론 및 프레임워크

본 논문은 학습 목적 함수보다 추론 절차를 우선적으로 설계하는 새로운 분석 프레임워크를 제안합니다. 저자들은 추론 시 스케일링의 두 가지 주요 축을 다음과 같이 정의합니다:

1. 시퀀스 확장 (Sequence Expansion): 생성되는 토큰, 위치 또는 추론 단계의 수를 늘리는 것입니다. 이는 LLM과 같은 자기회귀 모델의 주요 스케일링 메커니즘이며, 여기서 연산량은 생성 길이에 따라 스케일링됩니다.
2. 상태 정제 (State Refinement): 반드시 길이를 늘리지 않으면서 기존의 객체를 반복적으로 업데이트하는 것입니다. 이는 확산 모델의 주요 스케일링 메커니즘이며, 여기서 연산량은 이산화 오차(discretization error)를 줄이기 위한 디노이징 또는 솔버(solver) 단계의 수에 따라 스케일링됩니다.

저자들은 이 두 축이 특정 모델 패밀리에 독점적인 것이 아니라고 주장합니다. 대신, 유의미한 대조는 크로스 엔트로피로 학습된 이산 토큰과 확산 스타일의 목적 함수로 학습된 연속 토큰 사이의 관계, 그리고 이를 샘플링하기 위해 사용되는 특정 추론 알고리즘 간의 관계에 있습니다.

주요 기술적 분석

논문은 현재의 방법들이 추론 파라미터화에 따라 어떻게 실패하거나 성공하는지 보여주기 위해 이 "추론 우선(inference-first)" 관점을 세 가지 특정 영역에 적용합니다.

1. DDIM의 한계와 타겟 타임(Target-Time) 인자

• 문제점: (정류 흐름(rectified flow) 정식화 하에서의) 표준 DDIM 스타일 샘플러는 1단계 업데이트 $x_s = x_t + (s-t)v_\theta(x_t, t)$를 정의합니다. 속도 네트워크(velocity network) $v_\theta$는 일반적으로 현재 상태 $x_t$와 소스 타임 $t$만을 입력으로 받습니다.
• 결함: 네트워크는 타겟 타임 $s$를 입력으로 받지 못합니다. 수학적으로 부분 미분 $\frac{\partial DDIM}{\partial s} = v_\theta(x_t, t)$는 $s$에 독립적입니다. 이는 모델이 (컨시스턴시 트레이닝(consistency training)을 사용하더라도) 단일 단계에서 특정 타겟 $s$로 매핑하는 함수를 학습할 능력이 없음을 의미합니다.
• 해결책: 네트워크 입력에 타겟 타임 $s$를 주입함으로써 모델이 솔루션으로의 직접적인 점프를 근사할 수 있게 합니다. 이 간단한 수정은 유도 모멘트 매칭(Inductive Moment Matching, IMM)과 결래 결합되어, 확산 모델보다 품질은 유지하면서도 10배 이상 효율적인 단일 단계 알고리즘을 가능하게 합니다.

2. 다중 토큰 예측(MTP)과 결합 분포

• 문제점: MTP는 병렬로 여러 토큰을 예측하여 지연 시간을 줄이는 것을 목표로 합니다. 그러나 현재의 구현체들은 종종 이 토큰들을 독립적으로 샘플링(나이브 베이즈 가정)하며, 토큰들의 **결합 분포(joint distribution)**를 표현하는 데 실패합니다.
• 결함: 독립적 샘플링은 토큰 간의 상관관계(예: 포커 핸드 리스트에서 "하이 카드"와 "투 페어"는 유효하지만, "하이 하우스"는 유효하지 않음)를 무시합니다. 이는 모델이 주변 확률(marginal probabilities)은 정확하더라도 유효한 조합을 생성할 수 없는 용량 제한을 만듭니다.
• 현재의 워크아라운드: 셀프 스펙큘레이티브 디코딩(self-speculative decoding)이나 추론 시 MTP 헤드를 폐기하는 방식은 이러한 용량 제한을 휴리스틱하게 "교정"하려고 시도합니다.
• 시사점: 진정한 효율성을 위해서는 거부 샘플링(rejection sampling)이나 사후 교정에 의존하는 대신, 토큰 의존성을 고려하는(잠재적으로 소프트 셀프 리비전 또는 토큰 의존성을 직접 예측하는) 추론 알고리즘이 필요합니다.

3. 플로우 맵(Flow Maps)과 장거리 추론

• 변화: 최근 문헌(예: Boffi 등의 Flow Map Matching)은 효율적인 몇 단계 생성(few-step generation)이 단순히 미세한 속도장(infinitesimal velocity field)을 학습하는 것이 아니라, **이중 시간 수송 맵(two-time transport map, $t$에서 $s$로)**을 학습해야 함을 시사합니다.
• 통찰: 모델은 국소적인 벡터장을 수치적으로 적분하는 대신, 장거리 추론 이동을 직접 파라미터화해야 합니다. 여기에는 숏컷 모델(Shortcut Models), 평균 흐름(Mean Flows), 궤적 분포 매칭(Trajectory Distribution Matching, TDM) 등이 포함됩니다.
• 원칙: 이러한 방법들은 공통된 추론 형태를 공유합니다: 즉, 국소 역학에 의해 유도된 유한한 수송(finite transport)을 직접 학습함으로써 긴 도약(long jumps)을 모델 클래스 내에서 실행 가능하게 만듭니다.

주요 기여

1. 이분법의 재구성: 본 논문은 생성형 AI의 근본적인 대조가 "자기회귀 대 확산"이 아니라, 데이터 표현(이산/연속), 학습 목적 함수(크로스 엔트로피/확산), 그리고 추론 절차(확장/정제) 사이의 상호작용임을 확립합니다.
2. 추론 우선 설계 원칙: 학습 방법이 추론 맵의 근본적인 결함을 고칠 수는 없다고 주장합니다. 만약 샘플러가 필요한 인자(타겟 타임 변수 등)를 누락하거나 잘못된 인수 분해를 강요한다면, 어떤 학습 목적 함수도 그 결과로 발생하는 용량 제한을 완전히 해결할 수 없습니다.
3. 통합된 스케일링 축: "시퀀스 확장"과 "상태 정제"를 이산 및 연속 도메인 모두에 적용 가능한 생성적 사전 학습 알고리즘을 평가하기 위한 보편적인 척도로 도입합니다.
4. 기술적 진단: 타겟 타임 조건화가 없는 표준 DDIM 샘플러가 왜 몇 단계 생성에서 실패하는지, 그리고 왜 나이브한 다중 토큰 예측이 결합 분포를 포착하지 못하는지에 대한 구체적인 수학적 진단을 제공합니다.

결과 및 증거

본 논문은 저자들이 직접 생성한 새로운 실험 결과를 제시하는 대신, 주장을 뒷받침하기 위해 최근 문헌의 증거를 종합합니다:

• 유도 모멘트 매칭 (IMM): [ZES25]를 인용하여, 입력을 타겟 타임 $s$와 함께 구성하고 모멘트 매칭을 사용하는 것이 샘플 품질을 유지하면서도 표준 확산 모델보다 10배 이상 효율적인 단일 단계 알고즘을 생성함을 보여줍니다.
• 플로우 맵 문헌: Boffi, Albergo, Vanden-Eijnden [BAVE24, BAVE25] 등의 연구를 인용하여, 이중 시간 수송 맵(flow maps)을 학습하는 것이 국소 속도장을 적분하는 것보다 몇 단계 생성을 위한 더 자연스러운 대상임을 입증합니다.
• 병렬 디코딩의 한계: [KGO+25, ZGZ+26]를 인용하여, 확산 LLM에서의 병렬 디코딩이 인수 분해된 근사치로 인해 의존성이 높은 경우 품질을 저하시키는 경우가 많음을 보여줌으로써, 토큰 의존성을 존중하는 추론 알고리즘의 필요성을 검증합니다.

의의 및 주장

본 논문은 분야의 초점이 고립된 학습 목적 함수를 최적화하는 것에서 스케일링 가능하고 표현력이 풍부한 추론 절차를 설계하는 것으로 옮겨가야 한다고 주장합니다.

• 겸허한 주장: 저자들은 모든 생성 문제를 해결했다고 주장하는 것이 아닙니다. 대신, "알고리즘적 진보는 추론 시 효율성, 즉 시퀀스 확장과 상태 정제의 두 축을 따라 이루어져야 한다"고 주장합니다.
• 설계의 필수 요소: 핵심 결론은 사전 학습 알고리즘이 추론 절차를 먼저 염두에 두고 설계되어야 한다는 것입니다. 만약 추론 맵이 구조적으로 타겟 분포를 표현할 수 없다면(예: 타겟 타임 변수가 누락되었거나 독립성을 가정하는 경우), 학습이 이를 보완할 수 없습니다.
• 미래 방향: 본 논문은 향후 생성적 사전 학습 알고리즘이 시퀀스 확장과 상태 정제의 축을 따라 얼마나 효율적으로 스케일링되는지, 그리고 그들의 추론 파라미터화가 선택한 상태 공간 내에서 안정적이고 효율적인 장거리 상태 전이를 표현할 수 있는지에 의해 평가되어야 한다고 제언합니다.

요약하자면, 본 논문은 차세대 생성 모델이 단순히 현재의 확산 또는 자기회귀 아키텍처를 확장하는 것에서 오는 것이 아니라, 효율적인 장거리 상태 전이와 시퀀스 확장을 허용하도록 추론 메커니즘을 재설계하는 것에서 올 것이라고 상정합니다.