컴퓨터가 마치 꿈을 꾸듯 프레임 단위로 영화를 만들어내어, "스케이트보드를 타는 고양이"라는 단순한 문장을 고화질 비디오로 바꾸는 세상을 상상해 보십시오. 이 마법은 **디퓨전 트랜스포머(Diffusion Transformer)**라고 불리는 인공지능 덕분에 가능합니다. 이것을 순수한 정적 노이즈로 가득 찬 캔버스에서 시작하여, 단계별로 조금씩 정돈하여 선명한 그림을 만들어내는 디지털 화가라고 생각하십시오. 이러한 그림들이 실제처럼 보이고 부드럽게 움직이게 하려면, AI는 단순히 이미지만 이해하는 것이 아니라 사물이 시간이 흐름에 따라 어떻게 변하는지도 이해해야 합니다.

하지만 문제가 하나 있습니다. AI가 더 똑똑해지고 사실적으로 변할수록, 자신의 명령어를 기억하기 위해 더 많은 "두뇌 능력"을 필요로 한다는 점입니다. 이를 컴퓨터 과학에서는 **메모리(Memory)**라고 부릅니다. 마치 걸작을 그리려고 하는데, 새로운 붓질을 할 때마다 그림의 전체 역사를 머릿속에 담고 있어야 하는 상황과 같습니다. 만약 그림이 너무 커지면, 당신의 뇌는 그 모든 것을 담아낼 수 없게 됩니다. 가장 진보된 비디오 제작 AI의 경우, 단 하나의 비디오를 만들기 위해 필요한 "명령어"(가중치)와 "생각"(활성화 값)이 너무 방대하여 일반적인 사무실에 있는 가장 강력한 슈퍼컴퓨터조차 감당할 수 없습니다. 이는 하나의 벽을 만듭니다. 연구자들은 이 거대한 AI에게 새로운 기술을 가르치고 싶어 하지만, 컴퓨터는 시작하기도 전에 공간이 부족해집니다.

이것이 바로 그 벽을 깨기 위해 설계된 영리한 시스템인 MegaSlide-DiT의 이야기입니다. 연구진은 다음과 같은 간단한 질문을 던졌습니다: 만약 컴퓨터가 한 번에 전체 그림을 머릿속에 담아둘 필요가 없다면 어떨까? 전체 1,050억 개의 파라미터를 가진 AI를 단일 그래픽 카드에 쑤셔 넣으려 하는 대신(이는 1테라바이트 이상의 공간을 필요로 하며, 단일 카드가 가진 용량을 훨씬 초과합니다), 그들은 AI가 장기 기억을 컴퓨터의 메인 RAM(워크스테이션의 "책상")에 보관하고, 바로 다음 단계에 필요한 아주 작은 조각만을 불러오는 시스템을 구축했습니다.

이것이 제대로 작동하게 하려면, AI가 비디오를 "보는" 방식도 바꿔야 했습니다. 보통 비디오를 이해하기 위해 AI는 전체 클립의 모든 픽셀을 다른 모든 픽셀과 비교하려고 시도합니다. 이는 마치 학생이 한 문장을 이해하기 위해 책의 모든 페이지를 동시에 읽으려는 것과 같습니다. 이는 매우 느리고 메모리를 많이 소모합니다. MegaSlide-DiT는 이를 3D 디포머블 슬라이드 어텐션(3D Deformable Slide Attention) 시스템으로 대체합니다. 대신 책 전체를 읽는 대신, AI가 이야기의 흐름을 따라 눈을 미끄러지듯 움직이며, 주변의 캐릭터와 그들의 즉각적인 환경이 어떻게 상호작용하는지에만 집중하도록 학습하는 것입니다. AI는 정적인 배경은 무시하고 움직임을 따라 시선을 "미끄러뜨리는(slide)" 법을 배웁니다.

그 결과는 어떠했을까요? 팀은 1.5 TB의 RAM을 갖춘 단일 고성능 워크스테이션에서 1,050억 개의 파라미터를 가진 대규모 비디오 모델을 성공적으로 적응시켰습니다. 그들은 모델을 처음부터 만든 것이 아니라, 단일 그래픽 카드에서도 새로운 것을 가르칠 수 있다는 것을 증명했습니다. 데이터를 적시에(just-in-time) 그래픽 카드로 넣고 빼는 스트리밍 방식과 "슬라이딩" 어텐션 기술을 사용하여, 1080p 해상도의 256프레임 비디오를 생성해 냈습니다. 이 시스템이 완벽한 것은 아닙니다. 때때로 매우 빠른 장면 전환이나 멀리 떨어진 물체를 다루는 데 어려움을 겪기도 하지만, 이는 고품질 비디오 AI의 미래가 무한한 예산을 가진 거대 기술 기업의 전유물이 아니라, 정말 좋은 워크스테이션과 영리한 아이디어를 가진 연구자들의 몫이 될 수 있음을 보여줍니다.

문제점: "너무 커서 들어가지 않는" 벽

연구진은 일반적인 컴퓨터가 이러한 거대 비디오 모델을 처리하는 데 있어 가로막는 두 가지 거대한 장애물을 식별하는 것부터 시작했습니다.

첫째, **파라미터 메모리 벽(Parameter Memory Wall)**이 있습니다. 1,050억 개의 파라미터를 가진 모델을 실행하려면 "가중치"(학습된 지식)를 다양한 형식으로 저장해야 합니다. 컴퓨터가 계산할 수 있는 반정밀도(half-precision) 가중치, 수학적 안정성을 유지하기 위한 풀 정밀도(full-precision) "마스터" 가중치, 그리고 효율적인 학습을 위한 두 세트의 "모멘텀" 숫자가 필요합니다. 논문은 1,050억 개 파라미터 모델의 경우, 이 데이터가 약 1.47 TB의 지속적인 데이터를 추가한다고 계산했습니다. 최고 수준의 그래픽 카드(예: NVIDIA H200)는 약 141 GB의 자체 초고속 메모리만을 가지고 있습니다. 이는 도서관을 신발 상자에 넣으려는 것과 같습니다.

둘째, **활성화 메모리 벽(Activation Memory Wall)**이 있습니다. AI가 비디오를 처리할 때, 비디오를 "토큰"이라고 불리는 작은 조각들로 나눕니다. 1080p 해상도의 256프레임 비디오는 200만 개 이상의 토큰을 생성합니다. 표준 AI 어텐션 메커니즘은 모든 토큰을 다른 모든 토큰과 연결하려고 시도합니다. 이에 필요한 메모리는 토큰 수의 제곱($O(N^2)$)에 비례하여 증가합니다. 이 정도로 긴 비디오의 경우, AI의 "생각"을 유지하는 데 필요한 메모리가 그래픽 카드의 전체 메모리를 압도하여 컴퓨터가 충돌(메모리 부족, 즉 "OOM")을 일으키게 됩니다.

해결책: "적시 전달" 시스템

팀의 솔루션인 MegaSlide-DiT는 시스템 엔지니어링 기법에 의존합니다: 모델을 그래픽 카드에 계속 두지 마십시오.

대신, 그들은 그래픽 카드(GPU)를 AI의 현재 레이어에 필요한 것만 보유하는 빠르고 상태가 없는(stateless) 작업자로 취급합니다. 거대한 1.47 TB의 모델 데이터는 더 느리지만 훨씬 큰 메인 시스템 RAM(DDR5)에 머뭅니다(그들의 설정에서는 1.5 TB).

프로세스는 다음과 같이 단계별로 진행됩니다:

1. 스케줄러(The Scheduler): 컴퓨터의 메인 프로세서(CPU)가 관리자 역할을 합니다. CPU는 AI가 레이어별로 비디오를 처리해야 한다는 것을 알고 있습니다.
2. 스트리밍(Streaming): 그래픽 카드가 현재 레이어에 대한 작업을 마치기 전에, CPU는 다음 레이어의 가중치를 메인 RAM에서 그래픽 카드로 보내기 시작합니다. 이 작업은 백그라운드에서 일어납니다.
3. 교체(The Swap): 그래픽 카드가 현재 레이어를 마치는 즉시, 기존 가중치를 내보내고 방금 전달받은 새 가중치를 가져옵니다.
4. 업데이트(The Update): 그래픽 카드가 "그래디언트"(모델을 개선하는 방법)를 계산하는 작업을 마치면, 그 숫자들을 CPU로 보냅니다. 그러면 CPU는 표준 수학 명령어(AVX-512)를 사용하여 메인 RAM에 있는 거대한 마스터 가중치를 업데이트합니다.

이 "스트리밍" 접근 방식 덕분에 그래픽 카드는 전체 모델을 보유할 필요가 없습니다. 오직 현재 레이어의 가중치에 대한 아주 작은 조각(약 2 GB)과 현재 처리 중인 비디오 데이터만을 보유합니다.

"슬라이딩" 어텐션: 움직임을 따라가다

두 번째 주요 혁신은 **3D 디포머블 슬라이드 어텐션(3D-DSA)**입니다.

표준 비디오 모델에서 AI는 맥락을 이해하기 위해 비디오 전체를 한꺼번에 봅니다. 이것이 $O(N^2)$ 문제입니다. MegaSlide-DiT는 AI가 시선을 "미끄러뜨리도록" 함으로써 이를 바꿉니다.

• 디포머블(Deformable, 변형 가능한): 고정된 박스(창문)를 보는 대신, AI는 움직이는 물체를 따라 자신의 "창"을 늘리고 이동시키는 법을 배웁니다. 공이 화면을 가로질러 구르고 있다면, AI의 어텐션 창도 공을 따라 움직입니다.
• 3D: 이는 시간(프레임), 높이, 너비에 걸쳐 동시에 이루어집니다.
• 로컬(Local, 국소적): AI는 전체 비디오가 아닌 작은 이웃 토큰(로컬 윈도우)만을 봅니다.

논문은 이것이 별도의 "광학 흐름(optical flow)" 맵(움직임을 나타내는 기술적 지도)을 만드는 것이 아님을 명시합니다. 대신, AI는 어디를 봐야 할지를 암묵적으로 학습합니다. 이는 카메라 기사가 러너의 속도를 수학적으로 먼저 계산하는 것이 아니라, 본능적으로 러너를 따라 팬(pan)을 하는 것과 같습니다. 이를 통해 메모리와 계산 복잡도를 이차(quadratic)에서 **선형(linear, $O(N)$)**으로 줄여, 비디오가 길어짐에 따라 메모리 요구량이 폭발하는 대신 천천히 증가하게 만듭니다.

연구 결과: 무엇을 발견했는가?

팀은 NVIDIA H200 GPU(141 GB 메모리)와 1.5 TB DDR5 RAM을 갖춘 단일 워크스테이션에서 시스템을 테스트했습니다. 그들은 이를 "Dense" 모델(모든 것을 GPU에 유지하려는 모델) 및 고정된, 움직이지 않는 윈도우를 사용하는 "Swin" 모델과 비교했습니다.

1. 단일 머신에서 작동함:
가장 중요한 발견은 그들이 단일 머신에서 1,050억 개의 파라미터를 가진 모델을 성공적으로 적응시켰다는 것입니다.

• 메모리 사용량: MegaSlide-DiT 시스템은 256프레임 비디오에 대해 약 115 GB의 GPU 메모리를 사용했습니다. "Dense" 모델은 단 64프레임에서 메모리 부족(OOM)으로 멈췄습니다.
• 속도: 훈련의 한 단계(순방향 및 역방향 패스)는 약 3.1초가 걸렸습니다. 데이터를 전송하는 동안 컴퓨터가 생각하는 "비동기(async)" 스트리밍 기술이 없었다면, 속도는 크게 떨어졌을 것이며 효율성(MFU)은 **61%**에서 **28%**로 급감했을 것입니다. 이는 데이터 전송 시간을 숨기는 것이 얼마나 중요한지를 입증합니다.

2. 품질은 대등함:
팀은 비디오가 텍스트 프롬프트와 얼마나 잘 일치하는지, 그리고 시간이 흐름에 따라 비디오가 얼마나 일관적인지를 측정하는 VBench 벤치마크를 사용하여 비디오 품질을 테스트했습니다.

• 64프레임에서 MegaSlide-DT는 (256프레임에서 실행될 수 없었던) "Dense" 모델과 거의 동일한 성능을 보였습니다.
• 256프레임에서 MegaSlide-DT는 "Swin" 모델(고정 윈도우)보다 시간적 일관성(temporal consistency) 측면에서 더 뛰어난 성능을 보였습니다. 고정 윈도우는 "블록 아티팩트"를 만들고 움직임을 부드럽게 추적하지 못한 반면, 디포머블 어텐션은 움직임을 자연스럽게 따라갔습니다.

3. "학습"의 중요성:
슬라이딩 윈도우의 "학습" 기능을 껐을 때(AI가 고정 윈도우를 사용하도록 강제했을 때) 비디오 품질이 떨어지는 실험을 진행했습니다. 시간적 일관성 점수가 0.83에서 0.67로 떨어졌습니다. 이는 어디를 봐야 할지를 학습하는 능력이 긴 비디오를 위해 필수적임을 시사합니다.

4. 스케일 업(Scaling Up):
그들은 원리가 유지되는지 확인하기 위해 H100 NVL(94 GB 메모리를 가진 약간 작은 GPU)에서 더 작은 버전의 시스템을 테스트했습니다.

• 그들은 "Dense" 모델이 256프레임에서 메모리 제한으로 인해 충돌하는 반면, MegaSlide-DT는 성공적으로 확장됨을 확인했습니다.
• 고정 윈도우를 사용하는 "Swin" 모델은 구조화된 움직임 데이터에서 실제로 **발산(diverge, 학습 실패)**한 반면, 학습된 오프셋을 사용하는 MegaSlide-DT는 계속해서 개선되었습니다.
• 비동기 스트리밍 방식의 속도 향상은 모델의 크기가 커질수록 증가하여, 280억 개 파라미터 모델의 순방향 패스에서 2.11배의 속도 향상을 기록했습니다.

한계 및 시사점

논문은 이 시스템이 하지 못하는 부분에 대해서도 주의 깊게 언급합니다.

• 대역폭 제한을 해결하지는 못함: 시스템은 여전히 CPU와 GPU 사이에서 데이터가 얼마나 빨리 이동할 수 있는지(PCIe)에 의해 제한됩니다. 모델이 너무 크거나 비디오가 너무 길면, 전송 시간이 여전히 속도를 늦출 수 있습니다.
• 많은 RAM이 필요함: 1,050억 개의 파라미터 모델을 실행하려면 여전히 1.5 TB의 RAM이 필요합니다. 이는 비싸며 고사양 워크스테이션에서만 사용 가능하며, 일반 소비자용 노트북에서는 불가능합니다.
• 로컬 vs 글로벌: AI가 로컬 이웃만을 보기 때문에, 때때로 장거리 연결을 놓칠 수 있습니다. 예를 들어, 두 물체가 서로 멀리 떨어져 있고 상호작용해야 하는 경우, 로컬 어텐션은 이를 놓칠 수 있습니다.
• "처음부터" 학습하는 방식이 아님: 이 논문은 사전 학습된 모델의 *적응(adaptation, 미세 조정)*을 보여줍니다. 그들은 단일 GPU에서 1,050억 개 모델을 처음부터 학습시킨 것이 아닙니다. 그것은 훨씬 더 오랜 시간이 걸리고 더 많은 자원이 필요할 것입니다.

요약

MegaSlide-DT는 세계 최대 규모의 비디오 AI 모델을 다루기 위해 반드시 거대한 슈퍼컴퓨터 클러스터가 필요한 것은 아니라는 점을 증명합니다. 메모리의 "무거운 짐"을 메인 시스템 RAM으로 옮기고, 움직임을 따라가는 영리한 "슬라이딩" 어텐션 메커니즘을 사용함으로써, 연구자들은 단일 고성능 워크스테이션에서도 이러한 거대 모델을 미세 조정할 수 있습니다. 이는 스마트한 엔지니어링이 있다면 "메모리 벽"이 막다른 길이 아니라, 단지 다른 열쇠가 필요한 문일 뿐이라는 것을 보여주며, 고해상도 비디오 생성을 민주화하기 위한 실용적인 발걸음을 내디뎠음을 보여줍니다.