Mirai: Autoregressive Visual Generation Needs Foresight

이 논문은 autoregressive 시각 생성 모델의 수렴 속도와 생성 품질을 향상시키기 위해 미래 토큰 정보를 학습 과정에 주입하는 'Mirai' 프레임워크를 제안하고, 이를 통해 LlamaGen-B 의 수렴 속도를 최대 10 배 가속화하고 FID 점수를 개선했음을 보여줍니다.

핵심

이 논문은 **"거울 (Mirai)"**이라는 새로운 기술을 통해 이미지 생성 AI 가 더 빠르고 더 잘 그림을 그릴 수 있게 만든 연구입니다.

한마디로 요약하면: **"앞을 내다보며 (Foresight) 그림을 그리면, 엉망이 되는 걸 미리 막을 수 있다"**는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 AI 의 문제: "눈 가리고 퍼즐 맞추기"

기존의 autoregressive(자기회귀) 방식의 이미지 생성 AI 는 눈을 가리고 퍼즐 조각을 하나씩 맞춰가는 사람과 같습니다.

• 상황: 퍼즐의 첫 번째 조각을 붙입니다. 그다음 두 번째 조각을 붙입니다.
• 문제: AI 는 "지금 이 조각의 바로 옆에 뭐가 올까?"만 생각합니다. 전체 그림이 어떻게 생길지는 모릅니다.
• 결과: 처음에는 잘 맞춰지다가, 나중에 전체 그림을 보니 머리가 몸통과 떨어지거나, 연기가 엉뚱한 방향으로 피어오르는 기괴한 그림이 나옵니다. (논문 Fig 1 의 로켓 발사 장면처럼 말이죠.)
• 왜? AI 는 '지금'과 '다음'만 보고 그렸기 때문에, 전체적인 구조 (전체적인 구도) 를 잊어버린 채 조각을 붙였기 때문입니다.

2. Mirai 의 해결책: "미래를 미리 보는 안경"

연구팀이 제안한 **Mirai(일본어로 '미래'라는 뜻)**는 이 AI 에게 **"앞을 내다보는 능력"**을 심어줍니다.

• 비유: 이제 AI 는 눈을 가린 채 퍼즐을 맞추는 게 아니라, 앞에 놓인 완성된 그림 (또는 그 그림의 일부) 을 살짝 엿보며 조각을 맞추는 것입니다.
• 작동 원리:
  • AI 가 "지금 이 조각을 붙일 때, 3 칸 뒤에는 어떤 모양이 와야 할지"를 미리 알고 있습니다.
  • 하지만 그림을 그리는 과정 (추론) 에는 여전히 하나씩만 그립니다. (그냥 속도가 빨라진 게 아니라, '생각'이 더 똑똑해진 것입니다.)
  • 마치 건축가가 건물을 지을 때, 1 층을 짓는 순간 10 층이 어떻게 될지 미리 설계도에서 확인하며 기초를 다지는 것과 같습니다.

3. 두 가지 방식: "스스로 배운 미래" vs "선배의 지도"

논문은 이 '미래를 보는 능력'을 두 가지 방식으로 구현했습니다.

1. Mirai-E (Explicit, 명시적):
   • 비유: AI 가 스스로 과거의 학습 데이터를 기억해서 "앞으로 이렇게 될 거야"라고 예측하는 방식입니다.
   • 특징: AI 가 스스로 만든 '평균적인 미래 모습'을 참고합니다.
2. Mirai-I (Implicit, 암시적):
   • 비유: **이미 완성된 그림을 잘 아는 '선배 (DINOv2 라는 다른 AI)'**가 옆에서 "여기 저기 이렇게 그려야 전체가 예쁘다"라고 조언해주는 방식입니다.
   • 특징: AI 는 선배의 조언을 들으며 자신의 내부 상태를 조정합니다.

4. 놀라운 성과: "10 배 빠른 학습, 더 멋진 그림"

이 기술을 적용한 결과, 놀라운 일이 일어났습니다.

• 학습 속도 10 배 가속: 기존 AI 가 400 번의 연습 (Epoch) 을 해야 했던 것을, Mirai 를 쓰면 40 번만 연습해도 같은 실력을 냅니다. 마치 10 년을 공부해야 할 것을 1 년 만에 마스터한 것과 같습니다.
• 화질 향상: 그림의 전체적인 구조가 훨씬 일관됩니다. 로켓의 연기가 자연스럽게 피어오르고, 새의 머리와 몸통이 연결됩니다.
• 비용 절감: AI 가 더 적은 연산량으로 더 좋은 결과를 내므로, 전기도 덜 쓰고 돈도 아낄 수 있습니다.

5. 결론: 왜 이 연구가 중요한가?

이 논문은 **"이미지를 그리는 AI 는 '지금'만 보지 말고, '미래'를 보아야 한다"**는 사실을 증명했습니다.

기존에는 AI 가 하나씩 단어를 이어가듯 픽셀을 이어가는 방식이 당연시되었지만, Mirai 는 **"전체적인 구도를 미리 염두에 두고 (Foresight) 하나씩 그려나가야 진짜 좋은 그림이 나온다"**는 통찰을 주었습니다.

한 줄 요약:

"미래를 미리 내다보며 그림을 그리면, AI 는 엉망이 되는 실수를 줄이고 훨씬 빠르고 아름다운 그림을 그릴 수 있다."

이 기술은 앞으로 우리가 사용하는 이미지 생성 AI 들이 더 똑똑하고, 더 빠르고, 더 자연스럽게 작동하는 데 큰 기여를 할 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 자기회귀 (AR) 시각 생성의 한계: 기존의 시각 생성 모델 (예: LlamaGen) 은 이미지를 이산 토큰 (discrete tokens) 시퀀스로 변환하고, 다음 토큰 예측 (Next-Token Prediction, NTP) 을 통해 학습합니다. 이는 언어 모델링에서는 효과적이지만, 시각 데이터에는 적합하지 않을 수 있습니다.
• 국소적 일관성 vs 전역적 불일치: AR 모델은 엄격한 인과적 (causal) 감독 (현재까지의 토큰만 보고 다음 토큰을 예측) 에 의존합니다. 이로 인해 모델은 국소적으로는 일관된 이미지를 생성할 수 있지만, 전체적인 구조 (Global Structure) 를 유지하는 데 어려움을 겪습니다. 예를 들어, 새의 머리와 몸이 분리되거나 연기가 비현실적으로 퍼지는 등의 문제가 발생합니다.
• 수렴 속도 저하: 미래의 정보 (Foresight) 가 전혀 없는 상태에서 학습하므로, 전역적인 맥락을 이해하고 구조를 계획하는 데 많은 에포크 (Epoch) 가 소요되어 학습이 느리게 진행됩니다.

2. 방법론 (Methodology: Mirai)

저자들은 AR 모델이 학습 단계에서 **미래 정보 (Foresight)**를 활용하면 인과적 구조를 해치지 않으면서도 전역적 일관성을 향상시킬 수 있다는 가설을 제시하고, 이를 구현한 프레임워크 Mirai(일본어로 '미래'를 의미) 를 제안했습니다.

핵심 아이디어: 미래 정보의 주입 (Foresight Injection)

Mirai 는 모델의 아키텍처나 추론 (Inference) 과정을 변경하지 않고, 학습 단계에서만 미래 정보를 내부 표현 (Internal Representation) 에 정렬 (Align) 시킵니다. 추론 시에는 추가적인 오버헤드 없이 기존 AR 방식과 동일하게 동작합니다.

3 가지 주요 실험 축 (Diagnostic Axes)

저자들은 다음과 같은 세 가지 축을 통해 최적의 설계 공간을 탐색했습니다:

1. 주입 수준 (Injection Level): 미래 정보를 출력 토큰 예측 단계에 주입하는지, 아니면 모델의 **내부 표현 (Hidden States)**에 주입하는지.
   • 결과: 출력 수준 (Output-level) 에서 미래 토큰을 직접 예측하면 (Multi-Token Prediction 방식) 경량 경쟁으로 인해 학습이 저하됨. 내부 표현 수준에서 미래 정보와 정렬하는 것이 가장 효과적임.
2. 포지셔닝 (Positioning): 미래 정보를 1 차원 (Raster Scan) 순서로 배치할지, 2 차원 이미지 그리드 구조에 맞춰 배치할지.
   • 결과: 시각 데이터의 기하학적 특성을 반영한 2 차원 그리드 (2D Grid) 기반의 미래 정보 주입이 공간적 일관성을 훨씬 잘 유지함.
3. 미래 정보의 출처 (Source): 미래 정보를 명시적 (Explicit) 으로 제공하는지, 암시적 (Implicit) 으로 제공하는지.
   • 결과: 양방향 (Bidirectional) 인코더나 모델 자체의 EMA(Exponential Moving Average) 를 활용하여 미래 정보를 추출하는 것이 효과적임.

Mirai 의 두 가지 변형 (Instantiations)

1. Mirai-E (Explicit Foresight):
   • AR 모델의 EMA(Exponential Moving Average) 버전을 사용하여 미래 토큰 시퀀스를 생성합니다.
   • 현재 위치의 내부 표현을 2 차원 그리드 상의 특정 미래 위치 (예: 오른쪽, 아래쪽 등) 의 토큰과 명시적으로 정렬합니다.
   • 인과적 구조를 유지하면서도 구체적인 미래 위치 정보를 제공합니다.
2. Mirai-I (Implicit Foresight):
   • 사전 학습된 **양방향 인코더 (예: DINOv2)**를 사용하여 전체 이미지에서 특징을 추출합니다.
   • 양방향 어텐션은 전체 이미지의 맥락을 포함하므로, 각 토큰 위치의 특징은 암시적으로 미래 정보를 포함합니다.
   • AR 모델의 내부 표현을 동일한 위치의 양방향 인코더 특징과 정렬합니다.

손실 함수 (Loss Function)

총 손실 함수는 다음 토큰 예측 손실 ($L_{NTP}$) 과 미래 정보 정렬 손실 ($L_{Foresight}$) 의 합입니다.
$$L_{Mirai} = L_{NTP} + \lambda L_{Foresight}$$
여기서 $L_{Foresight}$는 AR 모델의 내부 표현과 미래 정보 (Foresight) 간의 코사인 유사도를 최대화하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 시각 AR 모델에 대한 체계적 연구: 미래 정보 (Foresight) 를 시각 AR 모델에 통합하는 효과성을 체계적으로 분석하고, 예측 수준이 아닌 내부 표현 수준에서의 정렬이 우월함을 입증했습니다.
2. Mirai 프레임워크 제안: 아키텍처 변경 없이 학습 효율과 생성 품질을 동시에 향상시키는 새로운 프레임워크를 제안했습니다.
3. 성능 혁신: Mirai 를 적용함으로써 학습 수렴 속도를 획기적으로 단축하고 생성 품질을 개선했습니다.

4. 실험 결과 (Results)

• 수렴 속도 가속:
  • Mirai-I는 LlamaGen-B 의 수렴 속도를 최대 10 배까지 가속화했습니다 (40 에포크 학습으로 400 에포크 학습한 베이스라인과 유사한 성능 달성).
  • Mirai-E는 약 5 배의 수렴 속도 향상을 보였습니다.
• 생성 품질 향상 (ImageNet 256x256):
  • FID (Fréchet Inception Distance) 점수가 LlamaGen-B 의 5.34 에서 Mirai-I 적용 시 4.34로 크게 개선되었습니다.
  • IS (Inception Score) 또한 향상되어 생성된 이미지의 품질과 다양성이 증가했음을 보여줍니다.
• 규모 확장성:
  • LlamaGen-B, L, XL 등 다양한 모델 크기와 384x384 고해상도에서도 Mirai 의 효과가 일관되게 입증되었습니다.
  • 다른 AR 아키텍처 (PAR) 에 적용 시에도 성능 향상이 확인되어 방법론의 일반성을 입증했습니다.
• 시각화 분석:
  • t-SNE 시각화 결과, Mirai 를 적용한 모델은 내부 표현이 2 차원 공간 구조를 더 잘 유지하며 (부드러운 색상 필드), LlamaGen-B 의 경우 공간 구조가 깨지는 현상 (급격한 색상 변화) 이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인과성과 미래 정보의 조화: 이 연구는 시각 생성에서 "인과적 (Causal)"인 추론과 "미래 정보 (Foresight)" 기반의 학습이 상충되지 않으며, 오히려 미래 정보를 학습 신호로 활용함으로써 인과적 모델링의 한계를 극복할 수 있음을 보였습니다.
• 효율적인 학습 패러다임: 별도의 추론 오버헤드 없이 학습 시간과 컴퓨팅 비용을 획기적으로 줄이면서 고품질 이미지를 생성할 수 있는 새로운 방향을 제시했습니다.
• 향후 연구 방향: 시각적 자기회귀 모델이 단순히 다음 토큰을 예측하는 것을 넘어, 전역적인 구조를 계획할 수 있는 "예지력 (Foresight)"이 필수적임을 강조합니다.

이 논문은 생성형 AI, 특히 자기회귀 기반 이미지 생성 모델의 성능 한계를 극복하고 학습 효율성을 높이기 위한 중요한 통찰을 제공합니다.