기술 요약: 탐색적 모델링 (Explorative Modeling)

1. 문제 정의

딥러닝 혁명은 엔드 투 엔드 학습(중간 단계를 수동으로 설계하지 않고 데이터로부터 직접 과업을 학습하는 것)이 분해된 단계별 파이프라인보다 우수하다는 것을 입증했습니다. 그러나 생성 모델링은 여전히 중요한 예외로 남아 있습니다. 현대적인 디퓨전(Diffusion) 및 자기회귀(Autoregressive) 네트워크와 같은 모델들의 능력에도 불구하고, 이들은 엔드 투 엔드로 학습되지 않습니다.

핵심 문제는 생성 모델링이 다봉 분포(multimodal probability distributions, 여러 개의 뚜렷한 정점이나 모드를 가진 분포)를 다루어야 한다는 점에 있습니다. 기존의 확장 가능한 접근 방식들(예: 디퓨전, 자기회귀)은 "모드 블러링(mode blurring)"—모델이 여러 유효한 모드의 평균을 예측하여 실제 데이터 포인트와 일치하지 않는 샘플을 생성하는 현상—을 피하기 위해 **생성 절차를 인수분해(factoring)**합니다. 즉, 생성을 여러 개의 작고 거의 단봉인(unimodal) 단계(예: 디노이징 단계 또는 토큰 단위 예측)로 나눕니다. 이는 효과적이긴 하지만, 훈련과 추론 사이에 불일치를 발생시킵니다:

• 훈련: 모델은 특정 궤적이나 부분적인 데이터에 조건화된 단일 단계를 예측합니다.
• 추론: 모델은 수백 또는 수천 단계에 걸쳐 언롤링(unrolled)됩니다.
  이러한 불일치는 **노출 편향(exposure bias)**을 초래하며, 모델이 훈련 분포에서 벗어남에 따라 오류가 누적되어 진정한 엔드 투 엔드 생성을 방해합니다.

현재의 스케일링 법칙(scaling laws)은 두 가지 축, 즉 파라미터(모델 용량)와 데이터(훈련 볼륨)에 집중하고 있습니다. 본 논문은 이러한 축들이 세 번째 핵심 용량인 생성적 표현력(Generative Expressivity)(모델의 훈련 목적 함수가 포착할 수 있는 뚜렷한 모드의 수)을 놓치고 있다고 주장합니다. 표준적인 재구성 모델(reconstructive models)에서 생성적 표현력은 훈련 목적 함수에 의해 고정되며(종종 직접 회귀의 경우 $E=1$로 효과적임), 이는 모델과 데이터가 아무리 커지더라도 성능 병목 현상을 일으킵니다.

2. 방법론: 탐색적 모델링 (Explorative Modeling)

저자들은 생성 절차 대신 훈련 루프를 인수분해하는 새로운 패러다임인 **탐색적 모델링(XMs)**을 소개합니다.

핵심 메커니즘

단일 생성이 타겟과 일치하도록 강제하는 대신(이는 평균화를 초래함), XMs는 훈련 중에 탐색 단계를 도입합니다:

1. 후보 생성: 각 훈련 단계에서 모델은 동일한 잠재 입력(예: 노이즈)으로부터 $K$개의 후보 샘플($\hat{y}_1, \dots, \hat{y}_K$)을 생성합니다.
2. 선택: 모델은 재구성 손실 $J$를 사용하여 실제 데이터 $x$와 가장 가까운 후보를 식별합니다.
3. 최적화: 모델은 선택된 최적의 일치 항목에 대해서만 업데이트되며, 선택된 후보에 대한 손실을 최소화합니다.

형식적으로, 데이터 샘플 $x$에 대해 목적 함수는 다음과 같습니다:
$$L(\theta) = \min_{i \in \{1, \dots, K\}} J(\hat{y}_i, x)$$

변형

논문은 두 가지 방향의 탐색을 정의합니다:

• 순방향 XM (Forward XM): 데이터 타겟 $x$를 고정하고 $K$개의 생성된 후보를 탐색합니다. 이는 "질량 덮기(mass-covering)" 방식(재현율 우선)이지만, 단계당 $K$번의 순방향 패스가 필요하므로 계산 비용이 많이 듭니다.
• 역방형 XM (Reverse XM): 단일 생성 샘플 $\hat{y}$를 고정하고 데이터셋으로부터 $K$개의 데이터 타겟을 탐색합니다. 이는 "모드 탐색(mode-seeking)" 방식(정밀도 우선)이며, 엔트로피 제약이 없으면 모드 붕괴(mode collapse)의 위험이 있지만 계산 비용은 더 저렴합니다(순방향 패스 1회).

이론적 함의

• 생성적 표현력: 탐색은 모델의 생성적 표현력을 1에서 최소 $K$까지 증가시킵니다. $K$개의 후보 중 최적의 일치 항목을 선택함으로써, 손실 최소화 대상은 데이터의 흐릿한 평균에서 실제 데이터의 모드로 이동합니다.
• 대체 가능성(Substitutability): 본 논문은 탐색(via exploration)을 통해 훈련 루프를 인수분해하는 것이 생성 절차를 인수분해하는 것을 대체할 수 있다고 상정합니다. 탐색($K$)이 증가함에 따라 최적의 생성 단계(jumps) 수는 감소하며, 이를 통해 모델을 더 엔드 투 엔드 방식으로 만들 수 있습니다.

3. 주요 기여

1. 새로운 패러다임: 다봉 분포를 처리하기 위해 훈련 루프를 인수분해하여 엔드 투 엔드 생성을 가능하게 하는 탐색적 모델링의 도입.
2. 세 번째 사전 훈련 축: 탐색이 파라미터 및 데이터와 함께 확장 가능한 축임을 입증. 다른 두 축과 달리, 이는 직접적으로 생성적 표현력을 확장합니다.
3. 엔드 투 엔드 재구성: XMs가 훨씬 적은 추론 단계로도 제어 작업에서 디퓨전 성능과 일치하는 독립적인 엔드 투 엔드 생성 모델로 기능할 수 있음을 증명.
4. 계산-일반화 트레이드오프: 추가적인 계산량을 탐색에 사용하는 것이 과적합과 노출 편향을 줄임으로써 일반화 능력을 직접적으로 향상시킨다는 증거 제시.

4. 실험 결과

저자들은 연속형(이미지, 비디오) 및 이산형(언어) 도메인 전반에서 기존 베이스라인(디퓨전, 플로우 매칭, 점프 모델, 마스크드 디퓨전 언어 모델)에 탐색을 추가하여 XMs를 평가했습니다.

효율성 이득

• FLOP 효율성: RAE 베이스라인 대비 4.1배, SiT 베이스라인 대비 최대 52% 개선됨.
• 샘플 효율성: 베이스라인 성능에 도달하는 데 필요한 데이터가 6.2배 적음.
• 파라미터 효율성: 5개의 모드를 탐색한 Large 모델이 탐색 없이 47% 더 많은 파라미터를 가진 XLarge 모델보다 뛰어난 성능을 보임.
• 스케일링 트렌드: 효율성 이득은 규모가 커질수록 증가함. 계산량이 3배 증가했을 때(SiT에서 RAE 설정으로 이동), 효율성 이득은 2배 이상 증가함.

성능 향상

• 이미나 생성: XRAE(Explorative RAE)는 가이던스(guidance) 없이도 ImageNet (256x256)에서 1.43 FID라는 SOTA에 근접한 성적을 거두었으며, 이는 이전 SOTA 레시피의 가이디드 베이스라인들을 능가하는 수치임.
• 비디오 생성: 탐색을 늘릴수록 FVD 점수가 단조롭게 향상됨.
• 언어: 마스크드 디퓨전 언어 모델에 탐색을 적용한 XMDLM은 전반적으로 Perplexity-Entropy 프런티어를 개선함.
• 일반화: 비디오 생성 작업에서 탐색을 늘리면 과적합이 감소하여, 탐색이 없을 때보다 더 나은 최소 FVD(30.0 vs 37.5)를 달-성함.

엔드 투 엔드 능력

• 로보틱스 (행동 복제): 탐색적 정책(Explorative Policy)은 Robomimic 작업에서 100배 적은 추론 계산량(100단계의 1회 순방향 패스)으로 Diffusion Policy와 대등한 성능을 보임.
• 월드 모델링: 탐색적 월드 모델은 Maze2D 작업에서 16~256배 적은 추론 계산량으로 Diffuser와 대등한 성능을 보임.

스케일링 법칙

• 데이터 스케일링: 탐색을 통한 성능 향상은 데이터 규모가 커짐에 따라 7%에서 36%로 상승함.
• 모델 스케일링: 모델 크기가 커짐에 따라 이득은 13%에서 23%로 상승함.
• 엔드 투 엔드 전환: 탐색이 증가함에 따라 더 적은 생성 단계(더 많은 엔드 투 엔드)를 가진 모델의 성능이 좋아졌으며, 이는 탐색이 생성 절차의 인수분해를 대체할 수 있음을 확인시켜 줌.

5. 의의 및 주장

본 논문은 탐색적 모델링이 생성 AI의 근본적인 병목 현상인 생성적 표현력의 확장을 해결한다고 주장합니다.

• 우도(Likelihood)를 넘어: 저자들은 모델의 표현력이 1(평균 예측)로 제한되어 있다면 우도를 최적화하는 것만으로는 불충분하다고 주장합니다. XMs는 뚜렷한 모드를 포착하는 능력을 최적화합니다.
• 진정한 엔드 투 엔드 학습: 훈련 루프를 인수분해함으로써, XMs는 추론 중에 훈련 시와 정확히 동일하게 샘플링할 수 있게 하여, 현재의 디퓨전 및 자기회귀 모델을 괴롭히는 노출 편향과 훈련-추론 불일치를 제거합니다.
• 확장성: 결과는 탐색 없이 훈련된 현재의 파운데이션 모델들이 계산 최적 성능(compute-optimal performance)에 미치지 못하고 있음을 시사합니다. 논문은 모델이 확장됨에 따라 병목 현상이 파라미터/데이터에서 생성적 표현력으로 이동할 것이며, 따라서 탐색이 미래의 스케일링을 위한 필수 요소가 될 것이라고 상정합니다.
• 겸허한 주장: 저자들은 특히 고도의 다봉성 데이터(원시 이미지 등)에 대해 Forward XM이 계산 비용이 많이 들고, 자기회귀 LLM은 잠재 변수 주입 문제로 인해 탐색과 통합하기 어렵다는 한계를 인정합니다. 이들은 향후 고다봉성 작업을 위한 더 확장 가능한 솔루션으로 Reverse XM이 될 수 있음을 언급합니다.

요약하자면, 이 논문은 모델이 무엇을 생성할 수 있는지(탐색을 통해)를 확장하는 것이 모델이 무엇을 표현하고(파라미터) 배울 수 있는지(데이터)를 확장하는 것만큼이나 중요함을 입증하며, 완전한 엔드 투 엔드 생성 모델링을 향한 경로를 제시합니다.