Helios: Real Real-Time Long Video Generation Model

헬리오스 (Helios) 는 단일 GPU 에서 실시간으로 분 단위의 장편 비디오를 생성하면서도 드래프팅 현상 없이 고품질을 유지하는 최초의 14B 비디오 생성 모델입니다.

핵심

헬리오스 (Helios): "140 억 개의 뇌세포"를 가진 실시간 비디오 마법사

이 논문은 **'헬리오스 (Helios)'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 단순히 짧은 영상을 만드는 것을 넘어, 수십 분에서 몇 시간 동안 이어지는 긴 영상을 실시간으로, 그리고 매우 자연스럽게 만들어내는 세계 최초의 140 억 파라미터 (14B) 모델입니다.

기존의 AI 영상 생성 기술이 가진 한계를 깨뜨린 헬리오스의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 헬리오스는 어떤 모델인가요? (속도와 품질의 기적)

상상해 보세요. 거대한 도서관 (140 억 개의 지식) 을 가진 천재 화가가 있습니다. 보통 이런 천재 화가는 그림 한 장을 그리는데 몇 시간이 걸립니다. 하지만 헬리오스는 단순한 스케치북 (작은 모델) 보다 훨씬 더 많은 지식을 가지고 있으면서도, 그림을 그리는 속도는 그보다 훨씬 빠릅니다.

• 기존의 문제: 다른 140 억 파라미터 모델들은 1 초에 0.3 장 정도만 그립니다 (매우 느림). 반면, 헬리오스는 1 초에 19.5 장을 그립니다. 이는 140 억 모델이면서 130 억 배나 빠른 속도를 내는 것과 같습니다.
• 비유: 마치 F1 레이싱카 엔진을 달고 있지만, 연료 효율은 자전거만큼 좋은 차를 만든 것과 같습니다.

2. 긴 영상을 만들 때 생기는 '기억 상실증' (드리프트) 을 어떻게 해결했나요?

AI 가 긴 영상을 만들 때 가장 큰 문제는 **'드리프트 (Drift)'**입니다. 이는 영화가 10 분 넘어가면 주인공 얼굴이 변하거나, 배경이 뭉개지거나, 이야기가 엉뚱한 방향으로 흘러가는 현상입니다.

기존 방법들은 이 문제를 해결하기 위해 "과거의 실수를 메모장에 적어두고 다시 확인한다 (Self-Forcing)"거나 "중요한 장면을 따로 저장한다"는 복잡한 방법을 썼습니다. 하지만 헬리오스는 아예 그런 복잡한 메모장 없이도 기억을 잃지 않습니다.

• 해결책 1: 첫 번째 프레임을 '닻 (Anchor)'으로 사용
  • 비유: 배가 바다에서 표류하지 않도록 닻을 내리는 것과 같습니다. 헬리오스는 영상의 첫 번째 장면을 가장 중요한 '전체적인 분위기'를 잡는 닻으로 고정합니다. 시간이 지나도 이 닻이 있기 때문에 영상의 색감이나 분위기가 갑자기 변하지 않습니다.
• 해결책 2: 과거의 기억을 '부정확하게' 훈련
  • 비유: 아이가 어릴 때 부모님이 "엄마가 실수할 수도 있으니, 엄마가 잘못 말해도 네가 스스로 판단해 봐"라고 가르치는 것과 같습니다. 헬리오스는 훈련할 때 과거의 영상에 일부러 노이즈 (흐릿함, 밝기 변화) 를 섞어서 가르칩니다. 이렇게 하면 실제 영상을 만들 때 과거의 영상이 완벽하지 않아도 AI 가 스스로 적응하며 흔들리지 않게 됩니다.

3. 어떻게 이렇게 빠른 속도를 낼 수 있나요? (압축의 미학)

140 억 파라미터 모델은 보통 컴퓨터 메모리를 너무 많이 차지해서 한 번에 많은 영상을 만들 수 없습니다. 헬리오스는 '압축' 기술을 통해 이 문제를 해결했습니다.

• 과거의 기억을 요약하기 (Multi-Term Memory Patchification)
  • 비유: 10 년 전의 일기장을 다 읽을 필요는 없습니다. **어제 일 (단기 기억)**은 디테일하게, **어제보다 오래된 일 (중기 기억)**은 요약해서, **10 년 전 일 (장기 기억)**은 핵심 키워드만 기억하면 됩니다. 헬리오스는 과거의 영상을 이렇게 계층적으로 압축해서 기억합니다. 덕분에 메모리 사용량은 줄었지만, 중요한 정보는 모두 기억합니다.
• 그림을 그리는 순서 바꾸기 (Pyramid Unified Predictor Corrector)
  • 비유: 거대한 벽화를 그릴 때, 처음부터 벽돌 하나하나를 세밀하게 그리지 않습니다. 먼저 **대략적인 윤곽 (저해상도)**을 그리고, 점점 중간 크기, 마지막으로 **정교한 디테일 (고해상도)**을 채워 넣습니다. 헬리오스는 이렇게 작은 것에서 큰 것으로 순서대로 그리기 때문에 계산량이 획기적으로 줄어듭니다.

4. 실시간으로 대화하듯 영상을 만들 수 있나요? (인터랙티브 생성)

헬리오스는 사용자가 영상 생성 도중에도 **"아니, 저기 배경을 바다로 바꿔줘"**라고 말하면 즉시 반영할 수 있습니다.

• 비유: 다른 AI 들은 영화가 다 찍히고 나서 편집하는 식이라면, 헬리오스는 라이브 방송처럼 실시간으로 지시사항을 반영합니다. 사용자가 명령을 바꿀 때 영상이 갑자기 끊기거나 깜빡이지 않고, 자연스럽게 이어집니다.

5. 헬리오스의 핵심 요약

1. 속도: 140 억 파라미터 모델이면서 1 초에 19.5 장 생성 (실시간).
2. 길이: 수백 프레임 (수십 분) 이어도 주인공이 변하지 않고 일관된 영상 생성.
3. 효율: 복잡한 메모리 관리나 특수 하드웨어 없이 일반 GPU(H100) 하나로도 작동.
4. 유연성: 텍스트, 이미지, 기존 영상 모두를 입력받아 새로운 영상을 만들 수 있음.

결론

헬리오스는 **"거대한 지식을 가진 천재가, 자전거처럼 가볍고 빠르게, 그리고 오랫동안 기억력을 잃지 않고 그림을 그리는 기술"**이라고 할 수 있습니다. 이 기술은 게임 엔진, 인터랙티브 스토리텔링, 그리고 미래의 '가상 세계 (World Model)'를 만드는 데 핵심적인 역할을 할 것으로 기대됩니다.

기술 요약

Helios: 실시간 장편 비디오 생성을 위한 14B 모델 기술 요약

1. 문제 정의 (Problem)

기존의 비디오 생성 모델 (Diffusion Transformers) 은 다음과 같은 한계를 가지고 있습니다:

• 비실시간성 및 짧은 생성 시간: 대부분의 모델은 5~10 초의 짧은 클립을 생성하는 데에도 수십 분이 소요되며, 실시간 (Interactive) 생성이 불가능합니다.
• 장편 생성 시 드리프트 (Drifting) 현상: 비디오가 길어질수록 프레임 간 일관성이 깨지고, 색상, 위치, 질감이 급격히 변하거나 반복되는 모션이 발생하는 '드리프트' 문제가 심각합니다. 이를 해결하기 위해 'Self-forcing', 'Error-banks' 등 복잡한 기법이나 긴 학습 시간 (Rollout) 이 필요합니다.
• 고비용 및 확장성 부족: 14B(140 억 파라미터) 규모의 고품질 모델을 실시간으로 구동하려면 KV-cache, 양자화, 희소 어텐션 등 표준 가속 기술이 필수적이었으며, 이를 위해서는 대규모 병렬 학습 인프라가 필요했습니다.

2. 방법론 (Methodology)

Helios 는 14B 파라미터의 오토레거시 (Autoregressive) 디퓨전 모델로, 다음과 같은 세 가지 핵심 혁신을 통해 문제를 해결합니다.

2.1. 무한 생성을 위한 통합 역사 주입 (Unified History Injection)

• 표현 제어 (Representation Control): 이진 방향 (Bidirectional) 모델에서 오토레거시 생성기로 전환합니다. 역사적 컨텍스트 (XHist) 와 노이즈가 있는 컨텍스트 (XNoisy) 를 연결하여 입력합니다.
  • XHist 가 모두 0 이면 텍스트 - 비디오 (T2V), 마지막 프레임만 있으면 이미지 - 비디오 (I2V), 그 외는 비디오 - 비디오 (V2V) 로 자동 전환됩니다.
• 가이드 어텐션 (Guidance Attention): 역사적 컨텍스트는 노이즈 제거 대상이 아닌 '가이드' 역할을 하도록 설계합니다.
  • 역사적 토큰의 타임스텝을 0 으로 고정하고, 자기 어텐션 (Self-attention) 에서 역사적 키 (Key) 에 'amp' 토큰을 곱하여 중요도에 따라 증폭/감쇠시킵니다.
  • 크로스 어텐션 (Cross-attention) 은 노이즈 컨텍스트에만 적용하여 불필요한 의미 중복을 방지합니다.

2.2. 드리프트 방지 전략 (Easy Anti-Drifting)

복잡한 휴리스틱 없이 학습 단계에서 드리프트를 시뮬레이션하여 해결합니다.

• 상대적 RoPE (Relative RoPE): 절대적 위치 인코딩 대신 상대적 인덱싱을 사용하여, 긴 비디오 생성 시에도 회전 위치 임베딩 (RoPE) 의 주기성과 멀티헤드 어텐션 간의 충돌을 줄이고 반복 모션을 방지합니다.
• 첫 번째 프레임 앵커 (First-Frame Anchor): 학습 및 추론 시 첫 번째 프레임을 역사적 컨텍스트에 항상 포함시켜, 전체 비디오의 색상 및 분포가 급격히 변하는 '컬러 시프트'를 억제합니다.
• 프레임 인식 손상 (Frame-Aware Corrupt): 학습 시 역사적 프레임에 노출 조절, 노이즈 추가, 다운샘플링/업샘플링 등을 무작위로 적용하여 모델이 불완전한 역사적 정보에서도 견고하게 작동하도록 훈련시킵니다.

2.3. 심층 압축 흐름 (Deep Compression Flow)

계산 비용을 1.3B 모델 수준으로 낮추어 실시간 생성을 가능하게 합니다.

• 멀티-텀 메모리 패치피케이션 (Multi-Term Memory Patchification): 역사적 컨텍스트를 단기, 중기, 장기로 나누고, 시간적 거리가 멀어질수록 더 큰 커널로 압축합니다. 이를 통해 토큰 수를 일정하게 유지하면서 긴 컨텍스트를 처리합니다.
• 피라미드 통합 예측기 - 수정기 (Pyramid Unified Predictor Corrector): 저해상도에서 고해상도로 점진적으로 샘플링하는 다중 스케일 ODE 기반 생성 과정을 도입합니다. 초기 단계는 저해상도로 효율성을, 후기 단계는 고해상도로 품질을 확보합니다.
• 적대적 계층적 증류 (Adversarial Hierarchical Distillation):
  • 순수 교사 강제 (Pure Teacher Forcing): 긴 Self-rollout 없이 실제 데이터를 역사적 컨텍스트로만 사용하여 학습 효율을 높입니다.
  • 단계적 역방향 시뮬레이션 (Staged Backward Simulation): 다중 스케일 추정을 통해 학습 안정성을 높입니다.
  • 적대적 사후 학습 (Adversarial Post-Training): GAN 목적 함수를 추가하여 증류된 모델이 교사 모델의 성능 한계를 넘어 실제 데이터 분포에 더 잘 적응하도록 합니다.

2.4. 인프라 최적화

• 메모리 최적화: EMA 파라미터를 샤딩 (ZeRO-3) 하고, 비동기 VRAM 해제 및 'Cache Grad' 기법을 사용하여 80GB GPU 메모리 내에서 14B 모델 4 개를 동시에 로드하고 학습할 수 있게 했습니다.
• 커널 최적화: Flash Normalization 및 Flash RoPE 를 Triton 으로 구현하여 메모리 트래픽을 줄이고 처리 속도를 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 실시간 14B 모델: 단일 NVIDIA H100 GPU 에서 19.5 FPS로 실행되는 최초의 14B 비디오 생성 모델입니다. (기존 1.3B 증류 모델보다 빠르거나 동급의 속도를 유지하면서 품질은 월등히 높음)
2. 드리프트 없는 장편 생성: Self-forcing, Error-banks, 키프레임 샘플링 등 일반적인 드리프트 방지 기법 없이도 분 단위 (minute-scale) 의 일관된 비디오를 생성합니다.
3. 표준 가속 기술 불필요: KV-cache, 양자화, 희소 어텐션 등 표준 가속 기술 없이도 실시간 성능을 달성했습니다.
4. 단일 GPU 학습: 병렬 처리나 샤딩 프레임워크 없이도 이미지 확산 모델 수준의 배치 크기로 14B 모델을 학습할 수 있는 메모리 최적화 기법을 제시했습니다.
5. HeliosBench: 실시간 장편 비디오 생성을 평가하기 위한 새로운 벤치마크 (240 개 프롬프트, 4 가지 길이 구간) 를 공개했습니다.

4. 실험 결과 (Results)

• 품질: 짧은 비디오 (81 프레임) 와 긴 비디오 (1440 프레임) 모두에서 기존 증류 모델 (Distilled models) 을 압도하며, 베이스 모델 (Base models) 과도 경쟁하는 품질을 보입니다. 특히 자연스러움 (Naturalness) 과 의미 일치도 (Semantic) 에서 탁월한 성능을 기록했습니다.
• 속도: 14B 모델임에도 불구하고 19.53 FPS 를 달성하여, 동급 모델 (Wan 2.1 14B) 보다 약 52 배 빠르고, 1.3B 증류 모델들보다도 빠르거나 동급입니다.
• 드리프트: 1440 프레임 이상의 긴 비디오에서도 색상, 모양, 의미의 일관성을 유지하며, 기존 방법들에서 흔히 보이는 심한 드리프트 현상이 관찰되지 않았습니다.
• 사용자 연구: 인간 평가에서 기존 실시간 장편 생성 모델들 대비 일관되게 높은 선호도를 받았습니다.

5. 의의 (Significance)

Helios 는 비디오 생성 분야에서 '고품질'과 '실시간성'이라는 상충되는 목표를 동시에 달성한 획기적인 모델입니다.

• 게임 엔진 및 인터랙티브 생성: 실시간으로 긴 비디오를 생성할 수 있어 게임 내 컷신 생성, 인터랙티브 스토리텔링 등에 직접 적용 가능한 잠재력을 가집니다.
• 월드 모델 (World Model) 의 진보: 무한한 시간적 일관성을 가진 비디오 생성은 미래의 월드 모델 개발에 중요한 기반이 됩니다.
• 접근성: 복잡한 병렬 학습 인프라 없이도 단일 GPU 로 대규모 모델을 학습하고 추론할 수 있게 함으로써, 연구 및 개발의 진입 장벽을 낮췄습니다.

이 논문은 비디오 생성 기술이 단순한 짧은 클립 생성을 넘어, 실시간으로 제어 가능한 장편 콘텐츠 생성의 새로운 패러다임을 제시했다는 점에서 큰 의의가 있습니다.