Lumos-1: On Autoregressive Video Generation with Discrete Diffusion from a Unified Model Perspective

본 논문은 1D RoPE 의 한계를 극복하기 위해 MM-RoPE 를 도입하고, 비효율적인 다음 토큰 디코딩 문제를 해결하기 위해 프레임 간 손실 불균형을 보정하는 자기회귀 이산 확산 강제 기법을 적용하여, 제한된 컴퓨팅 자원으로도 기존 최첨단 모델들을 능가하는 성능을 달성한 통합형 자기회귀 비디오 생성 모델 'Lumos-1'을 제안합니다.

핵심

Lumos-1: 비디오를 만드는 '마법의 책' 이야기

안녕하세요! 오늘 소개해 드릴 논문은 **'Lumos-1'**이라는 이름의 새로운 인공지능에 대한 것입니다. 이 AI 는 텍스트를 입력하면 동영상을 만들어내는 능력을 가지고 있습니다. 마치 해리포터의 '루모스 (Lumos)' 마법처럼, 어두운 화면을 밝히고 상상력을 현실로 끌어내는 마법 같은 기술이에요.

이 기술이 왜 특별하고 어떻게 작동하는지, 복잡한 수식 없이 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존의 문제점)

과거의 비디오 생성 AI 들은 마치 매우 느린 독서 선생님과 같았습니다.

• 한 글자씩 읽기 (Next-token decoding): 문장을 만들 때 "사과"라고 말하면, 그다음 "가"를, 그다음 "다"를 순서대로 하나씩 만들어냈어요. 비디오를 만들 때도 프레임 (화면) 을 하나씩 순서대로 그리기 때문에 시간이 매우 오래 걸렸죠.
• 별개의 시스템: 언어를 이해하는 AI 와 영상을 만드는 AI 가 따로 놀아서, 두 시스템을 합치려면 복잡한 공사가 필요했어요.

Lumos-1은 이 문제를 해결하기 위해 **LLM(거대 언어 모델)**이라는 '만능 두뇌'를 비디오 제작에 적용했습니다. 하지만 단순히 언어 모델을 비디오에 넣는다고 해서 잘 되는 게 아니에요. 두 가지 큰 장벽이 있었죠.

---

2. Lumos-1 의 마법 비법 1: "시간과 공간의 나침반" (MM-RoPE)

AI 가 비디오를 이해하려면 '시간 (시간의 흐름)'과 '공간 (화면의 위치)'을 동시에 파악해야 합니다. 기존 AI 들은 이 나침반을 잘못 들고 있었어요.

• 기존의 나침반 (1D RoPE): 책의 페이지 번호만 알려주는 나침반이에요. "1 페이지, 2 페이지..."만 알지, 책장 속의 그림이 위쪽인지 아래쪽인지, 시간이 흐르면서 어떻게 변하는지는 모릅니다.
• 나쁜 3D 나침반 (Naive 3D RoPE): 시간, 높이, 너비를 모두 알려주려고 했지만, **주파수 (정보의 세밀함)**가 고르지 못했어요. 마치 라디오 주파수를 조절할 때, '시간' 소리는 너무 크게, '공간' 소리는 너무 작게 들려서 소리가 찢어지는 것과 같았죠.

Lumos-1 의 해결책: MM-RoPE (마법의 나침반)
이것은 균형 잡힌 나침반입니다.

• 균형 잡힌 주파수: 시간, 높이, 너비 모든 정보를 골고루, 그리고 정교하게 처리할 수 있도록 주파수를 재배치했습니다.
• 확대경 효과: 텍스트와 영상의 크기가 다르기 때문에 (텍스트는 길고 영상은 짧음), 이 나침반은 영상의 위치 정보를 텍스트와 잘 어울리도록 **적절히 확대 (Scaling)**해줍니다.
• 결과: AI 는 이제 "이 장면에 3 초 뒤에는 어떤 변화가 일어나고, 화면 오른쪽 위에는 무엇이 있을지"를 아주 정확하게 예측할 수 있게 되었습니다.

---

3. Lumos-1 의 마법 비법 2: "한 번에 다 그리는 화가" (AR-DF)

기존 방식은 한 번에 한 줄씩 그림을 그리는 화가처럼 느렸습니다. Lumos-1 은 화면 전체를 동시에 그리고 수정하는 화가처럼 작동합니다. 이를 위해 '이산 확산 (Discrete Diffusion)' 기술을 사용했습니다.

• 문제: "뒷구멍으로 훔쳐보기" (Loss Imbalance)

  • AI 가 비디오를 만들 때, 10 번째 장면을 그릴 때 1~9 번째 장면을 이미 다 알고 있습니다. 그래서 AI 는 "앞장면을 베끼면 되겠네"라고 생각하며 게으름을 피우기 쉽습니다. (정보 누출)
  • 이러면 AI 는 앞부분은 잘 그리지만, 시간이 지날수록 영상이 뻔해지고 움직임이 부자연스러워집니다.

• 해결책: "타임 튜브 가림막" (Temporal Tube Masking)

  • Lumos-1 은 훈련할 때 특이한 가림막을 씌웁니다. 1 번째 장면의 특정 부분을 가렸다면, 10 번째 장면의 똑같은 위치도 함께 가립니다.
  • 비유: 마치 10 초 뒤의 장면을 그릴 때, 1 초 전의 장면을 보지 못하게 가리고, 대신 "이전 장면의 흐름을 기억해서 추론해라!"라고 강요하는 것입니다.
  • 추론 (실제 생성) 시: AI 가 그림을 그릴 때도, 마치 훈련할 때처럼 일부만 가린 상태로 그림을 완성합니다. 이렇게 하면 AI 는 앞장면을 단순히 복사하지 않고, 진짜로 시간의 흐름과 움직임을 학습하게 됩니다.

---

4. Lumos-1 의 성과: 적은 비용, 큰 성과

이 모든 마법을 합쳐서 Lumos-1 은 놀라운 결과를 냈습니다.

• 효율성: 다른 거대 모델들이 수천 개의 GPU 를 쓰고 수억 개의 데이터를 쓸 때, Lumos-1 은 48 개의 GPU와 6 천만 개의 이미지/1 천만 개의 비디오만으로 훈련되었습니다. (약 1000 분의 1 수준의 비용!)
• 성능: 텍스트로 이미지를 만드는 것 (T2I), 이미지로 비디오를 만드는 것 (I2V), 텍스트로 비디오를 만드는 것 (T2V) 모두에서 최상위권 성능을 보여줍니다.
• 유연성: 텍스트 설명을 입력하면, "붉은 옷을 입은 스키어가 눈 덮인 산을 내려온다"거나 "새가 나뭇가지를 물어와 둥지를 짓는다"는 등 복잡한 장면도 자연스럽게 만들어냅니다.

---

요약: Lumos-1 이란 무엇인가?

Lumos-1 은 **"비디오를 만드는 데 특화된 언어 모델"**입니다.

1. 나침반을 고쳐서 (MM-RoPE): 시간과 공간의 흐름을 정확히 이해하게 했습니다.
2. 그림 방식을 바꾼서 (AR-DF): 한 줄씩 그리는 게 아니라, 전체를 동시에 보고 수정하며 움직임을 자연스럽게 만들게 했습니다.
3. 효율을 높여서: 적은 비용으로도 최고의 품질을 냈습니다.

이 기술은 앞으로 우리가 상상하는 모든 영상을 AI 가 쉽고 빠르게 만들어주는 **'만능 영상 제작 스튜디오'**의 시초가 될 것입니다. 마치 해리포터가 마법 지팡이로 빛을 내듯, Lumos-1 은 텍스트라는 주문으로 생동감 넘치는 영상을 만들어내는 마법 지팡이 같은 존재입니다!

기술 요약

Lumos-1: 이산적 확산 (Discrete Diffusion) 을 활용한 단일 모델 관점의 자기회귀 비디오 생성에 대한 기술 요약

이 논문은 대규모 언어 모델 (LLM) 아키텍처를 기반으로 하여 텍스트, 이미지, 비디오 생성을 통합적으로 수행할 수 있는 새로운 자기회귀 (Autoregressive, AR) 비디오 생성 모델인 Lumos-1을 제안합니다. 기존 AR 비디오 생성 모델들이 겪는 아키텍처의 비일관성, 외부 텍스트 인코더 의존성, 그리고 생성 효율성 문제를 해결하기 위해 **이산적 확산 (Discrete Diffusion)**과 MM-RoPE, AR-DF라는 세 가지 핵심 기술을 도입했습니다.

1. 문제 정의 (Problem)

기존의 자기회귀 비디오 생성 연구는 다음과 같은 주요 한계점을 가지고 있었습니다:

• 아키텍처 불일치: LLM 기반의 통합 모델 (Unified Model) 과 호환되지 않는 독자적인 아키텍처를 사용하거나, 외부 텍스트 인코더 (Text Encoder) 에 의존하는 경우가 많았습니다.
• 생성 효율성 저하: 텍스트 생성에 최적화된 '다음 토큰 예측 (Next-token prediction)' 방식을 비디오에 그대로 적용할 경우, 프레임당 토큰 수가 방대하여 생성 지연 (Latency) 이 심하고 계산 비용이 prohibitive 하게 높습니다.
• 시공간 모델링의 부적합: 텍스트용인 1 차원 위치 인코딩 (1D RoPE) 은 비디오의 복잡한 3 차원 시공간 상관관계를 모델링하기에 부적합하며, 기존 3D RoPE 는 주파수 스펙트럼 분배가 불균형하여 성능 저하를 초래했습니다.
• 학습 불균형: 마스크 기반 예측 학습 시, 후속 프레임의 토큰이 이전 프레임의 정보를 쉽게 복제 (Copy) 할 수 있어 손실 (Loss) 이 불균형하게 낮아지고, 이로 인해 시간적 역동성 (Temporal Dynamics) 학습이 저하되는 문제가 발생했습니다.

2. 방법론 (Methodology)

2.1 MM-RoPE (Multimodal Rotary Position Embedding)

비디오 데이터의 시공간 특성을 LLM 아키텍처에 효과적으로 주입하기 위해 제안된 새로운 위치 인코딩 기법입니다.

• 문제점: 기존 3D RoPE 는 시간 (Temporal) 차원에 높은 주파수 대역을 할당하고 공간 (Height/Width) 차원에 낮은 주파수 대역을 할당하여, 공간적 세부 사항을 모델링하는 데 한계가 있었습니다.
• 해결책:
  • 분산 주파수 할당 (Distributed Frequency Allocation): 시간, 높이, 너비 정보를 위해 여러 개의 '메타 MM-RoPE' 구성 요소를 사용하여 주파수 스펙트럼을 고르게 분배합니다. 이를 통해 국소적 및 전역적 의존성을 모두 효과적으로 모델링합니다.
  • 전략적 스케일링 (Strategic Scaling): 텍스트와 비주얼 토큰의 위치 범위 차이를 균형 있게 맞추기 위해, 잠재 공간 (Latent Space) 의 3D 위치를 압축 비율에 따라 RGB 공간으로 스케일링합니다.
  • 호환성: 텍스트 토큰에는 기존 LLM 의 RoPE 를 유지하여 언어 학습 능력을 보존하고, 비주얼 토큰에만 MM-RoPE 를 적용합니다.

2.2 AR-DF (Autoregressive Discrete Diffusion Forcing)

비디오 생성의 효율성과 품질을 동시에 확보하기 위해 도입된 학습 및 추론 전략입니다.

• 학습 전략 (Temporal Tube Masking):
  • 기존 무작위 마스크는 후속 프레임이 이전 프레임의 정보를 단순히 복사하는 '단순화 (Shortcut)' 학습을 유도하여 시간적 학습을 방해했습니다.
  • 이를 해결하기 위해 Temporal Tube Masking을 도입했습니다. 이는 첫 번째 프레임에서 생성된 마스크 패턴을 시간 축을 따라 모든 프레임에 동일하게 적용하는 방식으로, 공간적 정보 누출을 방지하고 모델이 진정한 시간적 역동성을 학습하도록 강제합니다.
• 추론 전략 (Inference-time Masking):
  • 학습 시와 추론 시의 불일치로 인한 화질 저하를 방지하기 위해, 추론 시에도 학습과 동일한 부분 관측 (Partial Observation) 패턴을 유지합니다. 즉, 생성된 프레임의 일부 토큰을 다시 마스킹하여 모델이 맥락을 재학습하도록 하여 프레임 품질과 움직임의 일관성을 유지합니다.

2.3 아키텍처 및 학습

• LLM 기반 통합 모델: Llama 아키텍처를 기반으로 하며, QK-Norm 을 통합하여 학습 안정성을 높였습니다.
• 이산 토크나이저: Cosmos Tokenizer 를 사용하여 시공간 압축 (8x8x4) 을 수행하고, 텍스트와 비주얼 토큰을 통합된 코드북 (129,536 개) 으로 처리합니다.
• 단계별 학습 (Stage-wise Training): 텍스트 - 이미지, 이미지 - 비디오, 그리고 고품질 데이터에 대한 SFT(지도 미세조정) 단계를 거쳐 점진적으로 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. Lumos-1 제안: 이산적 확산을 활용한 순수 LLM 기반의 통합 비디오 생성 아키텍처를 최초로 체계적으로 제안했습니다.
2. MM-RoPE 개발: 3D RoPE 의 주파수 불균형 문제를 해결하고, 텍스트와 비주얼 모달리티 간의 균형을 맞춘 새로운 위치 인코딩 기법을 고안했습니다.
3. AR-DF 도입: 비디오의 공간적 중복성과 시간적 인과성을 고려한 학습 (Temporal Tube Masking) 과 추론 (Inference-time Masking) 전략을 통해 학습 불균형 문제를 해결하고 생성 효율성을 극대화했습니다.
4. 효율적인 성능 달성: 48 개의 GPU 만으로 6 천만 장의 이미지와 1 천만 개의 비디오를 학습하여, Show-o2, COSMOS-Video2World, OpenSoraPlan 등 기존 최첨단 모델들을 능가하거나 견줄 만한 성능을 달성했습니다.

4. 실험 결과 (Results)

• GenEval (텍스트 - 이미지): Show-o2, EMU3, Fluid 등 주요 AR 모델 및 확산 모델 (SD-XL, FLUX) 대비 우수한 성능을 보였습니다. 특히 위치 (Position) 와 속성 바인딩 (Attribute Binding) 에서 뛰어난 언어 이해 능력을 입증했습니다.
• VBench-I2V (이미지 - 비디오): COSMOS-Video2World(100M 데이터, 10,000 H100 사용) 와 유사한 성능을 내면서, Lumos-1 은 10M 데이터와 48 H20 GPU 만으로 학습되었습니다.
• VBench-T2V (텍스트 - 비디오): OpenSoraPlan 과 경쟁 가능한 품질을 보여주었으며, 객체 중심 지표 (Object Class, Color) 에서 특히 강점을 보였습니다.
• 효율성: 다음 토큰 예측 방식에 비해 마스크 기반 병렬 추론을 통해 생성 속도가 크게 개선되었으며, MM-RoPE 는 1D RoPE 대비 약 3.5~4.1% 의 지연만 발생시켰습니다.

5. 의의 및 결론 (Significance)

Lumos-1 은 **단일 모델 (Unified Model)**이 텍스트 이해와 시각적 생성을 동시에 수행할 수 있는 가능성을 강력하게 입증했습니다.

• 아키텍처 단순화: 별도의 텍스트 인코더나 복잡한 하이브리드 구조 없이 순수 LLM 아키텍처만으로 고품질 비디오 생성이 가능함을 보였습니다.
• 효율성: 제한된 컴퓨팅 자원 (48 GPU) 과 데이터로도 최첨단 성능을 달성하여, 대규모 비디오 생성 모델의 접근성을 높였습니다.
• 미래 지향성: 이 연구는 텍스트, 이미지, 비디오를 통합적으로 이해하고 생성하는 차세대 멀티모달 AI 의 기반을 마련하며, 향후 더 큰 규모로 확장 가능한 청사진을 제시합니다.

결론적으로, Lumos-1 은 자기회귀 비디오 생성 분야에서 MM-RoPE와 AR-DF를 통해 해결된 기술적 난제들을 통해, 효율적이고 강력한 통합 멀티모달 모델의 실현 가능성을 제시한 중요한 연구입니다.