Inferix: A Block-Diffusion based Next-Generation Inference Engine for World Simulation

제공된 논문에 기반하여, 세계 시뮬레이션을 위해 설계된 차세대 추론 엔진인 Inferix에 대한 상세한 기술적 요약을 다음과 같이 제시합니다.

1. 문제 제기

장기적, 물리적으로 현실적이며 상호작용 가능한 비디오를 생성할 수 있는 World Models(세계 모델) 의 등장에는 기존 프레임워크가 적절히 해결하지 못하는 중대한 추론 병목 현상이 존재합니다:

• 현재 패러다임의 한계:
  • 표준 비디오 확산 (DiT): KV 캐싱 없이 양방향 어텐션을 사용합니다. 병렬화가 가능하지만 긴 시퀀스에는 비효율적이며, 고정된 길이에 제한되고 시간이 지남에 따라 '드리프트 (drifting)'되거나 문맥을 망각하는 경향이 있습니다.
  • 자기회귀 (AR) 모델: 가변 길이와 KV 캐싱을 지원하지만, 순차적 디코딩 (비병렬화) 으로 인해 고통을 받으며 일반적으로 확산 모델에 비해 생성 품질이 낮습니다.
• "블록 - 확산 (Block-Diffusion)" 간극: 자기회귀와 확산을 결합한 준자기회귀 Block-Diffusion 패러다임은 KV 캐싱과 블록 내 병렬화를 통해 비디오를 블록 단위로 생성함으로써 해결책을 제시합니다. 그러나 이 패러다임을 대규모로 효율적으로 지원할 전담 인프라가 부족합니다.
• 자원 제약: 대규모 모델 (예: 14B 파라미터) 로 분 단위 비디오를 생성하는 것은 GPU 메모리(방대한 KV 캐시 누적로 인해) 와 계산 시간(예: 단일 H20 GPU 에서 5 초 분량의 비디오 생성에 수 시간 소요) 에 전례 없는 압박을 가합니다.
• 평가 부족: 분 단위 비디오 생성의 시간적 일관성과 품질을 평가하기 위해 특별히 설계된 표준화된 세밀한 벤치마크가 존재하지 않습니다.

2. 방법론: Inferix 프레임워크

Inferix 는 Block-Diffusion 디코딩 패러다임을 최적화하도록 구축된 전용 추론 엔진입니다. 그 아키텍처는 다음과 같은 핵심 구성 요소들을 통합합니다:

A. 핵심 디코딩 패러다임

Inferix 는 준자기회귀 (Block-Diffusion) 디코딩을 활용합니다:

1. 블록 생성: 모델은 반복적 탈노이즈를 통해 노이즈로부터 클린 비디오 블록을 생성합니다.
2. KV 캐싱: 표준 확산과 달리 Inferix 는 이전에 생성된 블록들의 문맥을 포함하는 Global KV Cache를 유지합니다.
3. 반복 루프: 블록이 생성된 후, 해당 블록의 KV 정보가 캐시를 업데이트하여 다음 블록의 문맥을 제공합니다. 이를 통해 일관성을 유지하고 드리프트를 방지하면서 임의 길이 생성이 가능해집니다.

B. 시스템 최적화 기법

계산 및 메모리 요구 사항을 처리하기 위해 Inferix 는 다음을 활용합니다:

• 고급 병렬화:
  • Ulysses 스타일 시퀀스 병렬화: 메모리 발자국을 줄이기 위해 독립적인 어텐션 헤드를 GPU 간에 분할합니다.
  • Ring Attention: 극도로 긴 시퀀스를 확장 가능하게 처리하기 위해 링 토폴로지로 어텐션 연산을 분배합니다.
• 지능형 KV 캐시 관리:
  • 블록 단위 메모리 관리를 지원하는 통합 인터페이스를 제공합니다.
  • 슬라이딩 윈도우 접근 및 선택적 글로벌 문맥 가져오기를 지원합니다.
  • GPU 사용량을 최적화하기 위해 Latent Store(Multi-latent Attention 용) 와 메인 메모리로의 오프로딩을 통합합니다.
• 가속 및 양자화:
  • 저비트 계산을 위해 DAX Quantization을 활용합니다.
  • 탈노이즈 단계를 가속화하기 위해 희소 어텐션 및 중복성 감소를 지원합니다.
• 동적 상호작용:
  • 연속 프롬프트 지원: 새로운 비디오 세그먼트로 프롬프트를 전환할 때 크로스 어텐션 캐시를 지워 동적 내러티브 제어를 가능하게 합니다.
  • 비디오 스트리밍: RTMP 및 WebRTC 프로토콜을 통한 실시간 스트리밍을 지원합니다.

C. InterVBench (평가 벤치마크)

장기 비디오에 대한 평가 표준의 부재를 해결하기 위해 팀은 InterVBench를 구축했습니다:

• 데이터셋: DanceTrack, GOT-10k 등 다양한 출처의 1,000 개의 고해상도 분 단위 비디오 (50 초 이상) 로 구성되며, GPT-4o 가 생성한 캡션이 2~3 초마다 주석으로 첨부되어 있습니다.
• 지표:
  • Video Drift Error (VDE): 시간에 따른 상대적 품질 저하를 측정하기 위해 MAPE 에서 영감을 받은 통합 지표입니다.
  • VDE 하위 지표: 선명도, 운동, 미적 요소, 배경, 그리고 주제 일관성입니다.
  • 통합: VDE 를 Subject/Background Consistency, Motion Smoothness 등 표준 VBench 지표와 결합하여 전체적인 평가를 수행합니다.

3. 주요 기여

1. 차세대 추론 엔진: LLM 스타일의 효율성 (KV 캐싱) 과 비디오 확산 품질 사이의 간극을 연결하는 최초의 Block-Diffusion 세계 모델 전용 엔진입니다.
2. 확장 가능한 아키텍처: 긴 시퀀스 비디오 생성에 맞게 특별히 조정된 적응형 병렬화 (Ulysses/Ring Attention) 및 유연한 KV 관리 (오프로딩, 압축) 구현입니다.
3. InterVBench: 엄격한 인간 - 루프 검증을 수행하고 분 단위 비디오 생성을 평가하기 위한 새로운 "Drift Error" 지표를 갖춘 대규모 벤치마크입니다.
4. 상호작용 기능: 실시간 비디오 스트리밍, 동적 프롬프트 전환, 그리고 <5% 의 오버헤드로 내장된 성능 프로파일링 기능입니다.
5. 오픈 생태계: 다양한 모델 (MAGI-1, CausVid, Self Forcing) 을 지원하며 연구자들이 자체 블록 - 확산 모델을 통합할 수 있는 통합 인터페이스를 제공합니다.

4. 결과 및 성능

• 효율성: 이 엔진은 장기 비디오 생성의 계산적 장벽을 크게 낮춥니다. 예를 들어, 단일 H20 GPU 에서 14B 모델로 5 초 분량의 비디오를 생성하는 데 기존에는 약 6,800 초가 소요되었던 문제를 분산 추론과 양자화를 통해 해결합니다.
• 일관성: KV 캐싱을 재도입함으로써 Inferix 는 장기적 확산에서 흔히 발생하는 "드리프트 및 망각" 문제를 완화하여 시간 경과에 따른 안정적인 정체성과 장면 일관성을 보장합니다.
• 유연성: 고정 길이 확산 모델이 달성할 수 없는 가변 길이 생성 및 동적 내러티브 제어를 성공적으로 지원합니다.

5. 의의

Inferix 는 World Models 인프라에 있어 패러다임 전환을 의미합니다:

• LLM 중심 비전을 넘어: 시각적 세계 시뮬레이션을 위한 전용 인프라를 구축함으로써 현재 LLM 중심의 비전 모델을 넘어선 것으로, 추론 및 물리적 이해에서의 창발적 능력을 열어줍니다.
• 몰입형 시뮬레이션 가능화: 장기 생성의 메모리 및 계산 병목 현상을 해결함으로써 Inferix 는 에이전트 AI, 임베디드 AI, 그리고 게이밍 분야에서 고품질, 상호작용적이며 물리적으로 타당한 세계 시뮬레이션을 접근 가능하게 만듭니다.
• 표준화: InterVBench 의 도입은 차세대 장기 비디오 모델을 엄격하게 평가하고 비교할 수 있는 필수 도구를 커뮤니티에 제공하여 더 빠른 연구 발전을 촉진합니다.

요약하자면, Inferix 는 단순한 최적화 도구가 아니라 Block-Diffusion 패러다임을 확장하도록 설계된 기반 플랫폼으로, 짧은 비디오 클립에서 몰입형 장기 세계 시뮬레이션으로의 전환을 가능하게 합니다.