[기술 요약] 시각적 생성 모델의 구성적 일반화(Compositional Generalization)를 결정하는 요인: 연속적 학습 목적 함수의 중요성

1. 문제 정의 (Problem Statement)

시각적 생성 모델(Diffusion, Transformer 등)은 고해상도 이미지를 생성하는 데 탁월하지만, 구성적 일반화(Compositional Generalization) 능력, 즉 학습 과정에서 보지 못한 개념들의 새로운 조합(예: 학습 시에는 '빨간 원', '파란 사각형'만 보았으나, 테스트 시 '파란 원'을 생성하는 능력)을 수행하는 데에는 한계가 있습니다.

현재 생성 모델 분야는 크게 두 가지 패러다임으로 나뉘어 있습니다:

• 연속적 확산 모델 (Continuous Diffusion Models, 예: DiT): 연속적인 잠재 공간(Latent space)에서 작동.
• 이산적 마스크 모델 (Discrete Masked Models, 예: MaskGIT): 이산적인 토큰(Token)과 범주형(Categorical) 분포를 사용.

본 연구는 **"어떤 설계 선택이 모델의 구성적 일반화 능력을 결정하는가?"**라는 근본적인 질문을 던지며, 두 패러다임 간의 성능 격차가 발생하는 원인을 규명하고자 합니다.

2. 연구 방법론 (Methodology)

연구진은 설계 요소를 세 가지 축(Tokenizer, Generative Model, Conditioning Signal)으로 분류하고, 이를 체계적으로 격리하여 개별 요소의 인과적 효과를 분석하는 프레임워크를 구축했습니다.

주요 실험 설계:

• 모델 간 보간(Interpolation): DiT와 MaskGIT 사이의 차이점(토크나이저 종류, 마스킹 전략, 손실 함수, 출력 분포의 연속성 등)을 하나씩 변경하며 성능 변화를 관찰했습니다.
• 데이터셋: 합성 데이터(Shapes2D, Shapes3D), 실제 얼굴 데이터(CelebA), 비디오 데이터(CLEVRER-Kubric), 자율주행 비디오(CoVLA), 그리고 언어 모델 테스트(Points24)를 통해 실험의 범용성을 검증했습니다.
• 평가 지표: 생성된 결과물이 의도한 속성(색상, 모양 등)을 정확히 포함하는지 측정하기 위해 선형 프로브(Linear Probe) 정확도를 사용했습니다.

제안된 개선 방법 (JEPA 기반 보조 손실):

이산적 모델(MaskGIT)의 한계를 극복하기 위해, JEPA(Joint Embedding Predictive Architecture) 개념을 도입했습니다. 이산적 토큰 예측(Categorical NLL)과 함께, 중간 레이어의 연속적 잠재 표현을 예측하는 **연속적 보조 손실(Continuous Auxiliary Loss)**을 추가하여 모델이 더 풍부한 의미적 구조를 학습하도록 유도했습니다.

3. 핵심 기여 및 결과 (Key Contributions & Results)

연구 결과 (Findings):

1. 출력 공간의 연속성이 핵심 (Finding 1 & 2): 토크나이저의 종류(VAE vs VQ-VAE)나 마스킹 전략은 구성적 일반화에 큰 영향을 미치지 않았습니다. 결정적인 차이는 **"출력 분포가 연속적인가(Continuous) 아니면 이산적인가(Discrete)"**에 있었습니다. 연속적 분포를 학습하는 모델(DiT, MAR, GIVT)은 강력한 일반화 능력을 보였으나, 범주형 분포를 학습하는 MaskGIT은 실패했습니다.
2. 완전한 조건화의 중요성 (Finding 3): 학습 시 속성 정보가 양자화(Quantized)되거나 일부 누락(Concept Dropout)될 경우, 모델은 새로운 조합을 생성하지 못하고 학습 데이터 중 가장 유사한 샘플을 복제(Memorization)하려는 경향을 보였습니다.
3. JEPA를 통한 이산 모델의 개선 (Finding 4): MaskGIT에 연속적 보조 손실을 추가했을 때, 구성적 일반화 성능이 크게 향상되었습니다. 기계론적 해석(Mechanistic Interpretability) 결과, 이 방식은 어텐션 헤드의 다의성(Polysemanticity)을 줄이고, 각 개념에 특화된 **분리된 회로(Disentangled Circuits)**를 형성하도록 돕는 것으로 나타났습니다.

도메인 확장성:

• 비디오 및 세계 모델: 자율주행 비디오(CoVLA) 실험에서도 연속적 목적 함수를 가진 모델이 새로운 주행 시나리오(예: 밤+우회전)를 훨씬 더 잘 생성함을 확인했습니다.
• 언어 모델로의 전이: 언어 모델에서도 이산적 추론(CoT)보다 연속적 잠재 공간에서의 추론(COCONUT)이 구성적 산술 문제 해결에 더 효과적임을 보여줌으로써, 본 연구의 통찰이 시각을 넘어 범용적임을 시사했습니다.

4. 연구의 의의 (Significance)

본 논문은 생성 모델의 설계 방향에 있어 중요한 이정표를 제시합니다.

• 설계 지침 제공: 단순히 시각적 품질(Fidelity)을 높이는 것을 넘어, 모델이 개념을 체계적으로 분해하고 재조합할 수 있도록 하려면 연속적인 학습 목적 함수를 사용하는 것이 필수적임을 입증했습니다.
• 이산 모델의 한계 극복: 이산적 토큰 기반 모델의 효율성을 유지하면서도, 연속적 표현 학습을 결합함으로써 구성적 일반화 문제를 해결할 수 있는 실질적인 방법론(JEPA 보조 손실)을 제안했습니다.
• 신뢰할 수 있는 AI: 개념의 조합을 정확히 제어할 수 있는 모델은 창의적 작업뿐만 아니라, 예측 가능하고 신뢰할 수 있는 인공지능(Causal/Trustworthy AI)을 구축하는 데 핵심적인 역할을 할 것입니다.