일반적인 영상은 마치 방 안의 작은 창문을 통해 밖을 보는 것과 같습니다. 창문 너머로 지나가는 사람이나 차는 보이지만, 창문 밖의 나머지 풍경은 보이지 않습니다.
하지만 Argus는 이 작은 창문 (입력 영상) 을 보고, **"아, 저기 창문 왼쪽에는 나무가 있고, 오른쪽에는 건물이 있겠구나"**라고 상상해서 **전체 방 (360 도 공간)**을 완벽하게 그려냅니다.
기존 기술의 한계: 기존 AI 는 창문 밖의 풍경을 그릴 때, 창문에서 멀어질수록 그림이 뭉개지거나 엉뚱한 것이 나타났습니다. 마치 창문 밖을 상상하라고 했을 때, 벽을 그리는 것과 비슷했죠.
Argus 의 능력: Argus 는 창문 밖의 풍경을 그릴 때, **실제 세상의 법칙 (도로는 곧게 뻗고, 차는 같은 차선을 유지한다)**을 이해하고 있기 때문에, 창문 밖의 풍경도 자연스럽게 이어집니다.
🧩 2. 어떻게 배웠을까요? "360 도 영상이라는 보물창고"
이 모델은 어떻게 그렇게 똑똑해졌을까요? 바로 인터넷에 널려 있는 360 도 영상을 공부했기 때문입니다.
데이터 정제 (보물 정돈): 인터넷에 있는 360 도 영상은 너무 많지만, 품질이 제각각입니다. 연구팀은 이 중에서 가장 선명하고 좋은 영상들만 골라내어 (필터링) 학습용 교재로 만들었습니다.
가상 카메라 운동 (연기 연습): 실제 사람이 카메라를 흔들며 걷는 모습을 360 도 영상에서 추출해서, AI 가 "사람이 어떻게 움직이는지"를 자연스럽게 배우도록 훈련시켰습니다.
🛠️ 3. 세 가지 비밀 무기 (기술적 핵심)
Argus 가 완벽한 영상을 만들기 위해 사용한 세 가지 비법은 다음과 같습니다.
시점 정렬 (나침반 맞추기):
영상 속 카메라가 위아래로 흔들리면, AI 는 "어디가 하늘이고 어디가 땅인지" 헷갈립니다.
Argus 는 입력된 영상의 흔들림을 계산해서, 하늘은 항상 위로, 땅은 항상 아래로 오도록 영상을 정리해줍니다. 이렇게 하면 AI 가 풍경의 구조를 훨씬 쉽게 이해할 수 있습니다.
블렌딩 디코딩 (양쪽에서 그림 그리기):
360 도 영상은 왼쪽 끝과 오른쪽 끝이 실제로는 붙어있는 원형입니다. 하지만 AI 가 그림을 그릴 때 이 경계선에서 끊어지거나 찢어지는 현상이 생길 수 있습니다.
Argus 는 원래 영상과 180 도 뒤집힌 영상을 동시에 그려서, 두 그림을 부드럽게 섞어줍니다. 마치 두 장의 사진을 겹쳐서 경계선을 없애는 것처럼 말이죠.
동적인 이해 (미래 예측):
차가 화면에서 사라지면, Argus 는 "아, 저 차는 저기서 계속 직진해서 사라졌구나"라고 추측합니다. 단순히 빈 공간을 채우는 게 아니라, 사물의 움직임과 물리 법칙을 이해해서 미래를 예측합니다.
🌟 4. 이 기술로 무엇을 할 수 있을까요? (실생활 응용)
이 기술은 단순히 멋진 영상을 만드는 것을 넘어, 다양한 분야에서 쓰일 수 있습니다.
흔들리는 영상 Stabilization (흔들림 제거):
보통 흔들리는 영상을 고치려면 화면을 잘라내야 (Crop) 해서 화각이 좁아집니다. 하지만 Argus 는 주변의 숨겨진 공간까지 만들어내서 화면을 흔들리지 않게 고정하면서도, 전체 풍경을 잃지 않습니다. 마치 흔들리는 카메라를 들고 있어도, AI 가 주변을 채워주어 마치 삼각대에 고정된 것처럼 보이는 효과입니다.
카메라 각도 자유자재 (가상 카메라):
이미 찍힌 영상에서도 "저기 오른쪽에 뭐가 있을까?"라고 궁금하면, 화면을 돌려서 (회전시켜서) 새로운 각도에서 볼 수 있습니다. 마치 그 장소에 직접 가서 돌아다니는 것과 같습니다.
상호작용형 질문 (Interactive VQA):
예: "저 차가 횡단보도를 건넜을까?"라는 질문을 받았을 때, 기존 AI 는 화면 밖을 못 봐서 "모르겠다"고 답할 수 있습니다. 하지만 Argus 는 화면을 돌려서 차의 앞바퀴가 횡단보도 위에 있는지 확인하고 정확한 답을 줄 수 있습니다.
가상 조명 (Dynamic Lighting):
생성된 360 도 영상을 배경으로 삼아, 가상의 물체 (예: 금속 공) 에 실제처럼 반사광을 비출 수 있습니다. 게임이나 영화 제작에 유용하게 쓰일 수 있습니다.
💡 요약
Argus는 "작은 창문 (일반 영상) 을 보고 전체 방 (360 도 영상) 을 상상하는 마법사"입니다. 기존 AI 가 창문 밖을 그릴 때 엉뚱한 그림을 그렸다면, Argus 는 실제 세상의 법칙을 배워서 창문 밖의 풍경을 자연스럽게 이어줍니다. 이 기술은 흔들리는 영상을 고치고, 찍지 않은 각도를 만들어내며, 우리가 영상을 보는 방식을 완전히 바꿀 잠재력을 가지고 있습니다.
1. 문제 정의 (Problem)
기존의 한계: 현재의 비디오 생성 모델들은 텍스트나 이미지 프롬프트로부터 고품질의 비디오를 생성할 수 있지만, 출력은 고정된 좁은 시야 (narrow field-of-view) 로 제한됩니다. 이는 실제 세계의 자유로운 시점 이동과 공간적 맥락 이해를 방해하며, 장면의 일부만 볼 때 과거/미래의 내용을 추론할 때 시공간적 불일치 (spatio-temporal inconsistency) 를 초래합니다.
과제: 입력된 단일 시점 비디오를 기반으로, 해당 장면의 전체 360° 환경을 일관되게 확장 (extrapolate) 하여 생성하는 것입니다. 이는 입력 프레임에 보이지 않는 공간의 구조 (예: 도로의 연장선, 차량의 궤적) 를 추론하고, 시간적 역학 (동작) 을 유지해야 하므로 매우 어려운 과제로 간주됩니다.
기존 방법의 실패: 기존 비디오 아웃페인팅 (outpainting) 모델들은 시야가 넓어질수록 생성 품질이 급격히 저하되며, 360° 파노라마의 원형적 특성과 경계 일관성을 유지하지 못합니다.
2. 방법론 (Methodology)
저자들은 360° 비디오 데이터의 풍부한 자원을 활용하고, 기하학적 및 운동 지각 (motion-aware) 기술을 도입하여 Argus 모델을 개발했습니다.
A. 데이터 구축 및 필터링
데이터 소스: 온라인에 존재하는 방대한 360° 비디오 (360-1M 데이터셋) 를 활용합니다.
필터링 파이프라인: 품질이 낮은 데이터를 제거하고, 고품질의 360° 비디오와 이를 기반으로 추출된 시점 (perspective) 비디오 쌍을 283,863 개로 선별하여 학습 데이터를 구성했습니다.
B. 모델 아키텍처: 비디오 조건부 360° 확산 (Video-Conditioned 360° Diffusion)
기본 구조: Stable Video Diffusion (SVD) 기반의 잠재 확산 모델 (Latent Diffusion Model) 을 사용합니다.
입력 변환: 입력 시점 비디오를 360° 등각 투영 (equirectangular) 형식으로 변환합니다. (매핑되지 않은 영역은 검은색으로 채움).
조건부 생성: 입력 비디오의 특징 (CLIP feature) 과 타임스탬프를 Cross-Attention 을 통해 확산 네트워크에 조건 (condition) 으로 주어, 노이즈가 제거된 360° 비디오를 생성합니다.
C. 핵심 기술 (Key Techniques)
카메라 운동 시뮬레이션 (Camera Motion Simulation):
실제 360° 비디오에서 시점 비디오를 단순히 추출하는 것만으로는 복잡한 카메라 움직임을 학습하기 어렵습니다.
따라서 선형 드리프트 (linear drift), 진동 (oscillatory), 잡음 (noise) 항을 포함한 수학적 모델을 통해 자연스러운 인간 운동 패턴을 시뮬레이션하고, 이를 통해 현실적인 학습 쌍 (perspective-360° pair) 을 생성합니다.
시점 기반 프레임 정렬 (View-Based Frame Alignment):
입력 프레임을 등각 투영 맵의 중앙에 고정적으로 배치하면, 모델이 카메라의 회전과 왜곡을 암묵적으로 학습해야 하므로 학습이 어렵습니다.
SLAM 을 이용해 입력 비디오의 상대적 카메라 포즈를 추정하고, 이를 기준 프레임에 맞춰 정렬 (Euler angles 조정) 합니다. 이를 통해 하늘은 항상 위, 도로는 항상 아래 등 장면의 공간적 일관성을 유지하며 학습합니다.
블렌디드 디코딩 (Blended Decoding):
등각 투영 이미지의 좌우 경계 (360° 연결부) 에서 발생하는 아티팩트를 해결합니다.
원본 잠재 변수와 180° 회전된 잠재 변수를 각각 디코딩한 후, 픽셀 공간에서 경계에서 멀어질수록 가중치를 두는 방식으로 두 영상을 블렌딩합니다. 이를 통해 경계에서의 갑작스러운 변화를 완화합니다.
긴 비디오 생성 (Long Video Generation):
컨텍스트 인식 학습 (context-aware training) 을 통해 초기 S 프레임은 관찰 가능하게 하고, 이후 T-S 프레임을 예측하도록 훈련합니다. 추론 시에는 최근 예측을 컨텍스트로 사용하여 긴 시퀀스를 반복적으로 생성합니다.
3. 주요 기여 (Key Contributions)
최초의 비디오-to-360° 생성 모델: 단일 시점 입력에서 일관된 360° 파노라마 비디오를 생성하는 첫 번째 모델 (Argus) 을 제안했습니다.
새로운 데이터 활용: 360° 비디오라는 상대적으로 활용되지 않은 데이터 소스를 체계적으로 필터링하고 학습 파이프라인에 통합했습니다.
기하학적 및 운동 지각 기술: 시점 정렬, 운동 시뮬레이션, 블렌디드 디코딩 등 360° 생성의 고유한 문제 (왜곡, 경계 불일치, 시공간 일관성) 를 해결하기 위한 전용 모듈을 설계했습니다.
다양한 애플리케이션 가능성: 비디오 안정화, 시점 제어, 동적 환경 매핑, 상호작용형 시각적 질문 응답 (VQA) 등 다양한 하위 작업에서의 유효성을 입증했습니다.
4. 실험 결과 (Results)
정량적 평가:
공간적 일관성: 기존 360° 이미지 생성 모델 (PanoDiffusion) 과 비디오 아웃페인팅 모델 (Follow-Your-Canvas 등) 보다 PSNR, LPIPS, FVD(프레임 간 거리), 선 일관성 (Line Consistency) 등 모든 지표에서 우월한 성능을 보였습니다.
시각적 품질: VBench 기반의 이미징 품질, 미적 품질, 운동 부드러움 지표에서도 가장 높은 점수를 기록했습니다.
정성적 평가:
실제 환경 (In-the-wild): 다양한 카메라 운동 (회전, 이동, 흔들림) 이 포함된 실제 비디오에서도 자연스러운 360° 비디오를 생성했습니다.
객체 역동성 이해: 차량이 화면을 벗어났다가 다시 들어오는 등의 복잡한 동작을 입력 비디오만으로 추론하여 360° 공간에서 일관된 궤적으로 생성했습니다.
시각적 질문 응답 (VQA): 고정된 시점에서는 알 수 없었던 정보 (예: 차량이 횡단보도와 겹치는지 여부) 를 360° 생성 영상을 통해 시점을 회전시켜 확인함으로써, 기존 모델의 한계를 극복하고 정확한 판단을 가능하게 했습니다.
5. 의의 및 결론 (Significance & Conclusion)
시공간적 일관성의 혁신: 360° 생성은 장면의 전체를 한 번에 보여주므로, 기존 비디오 생성 모델이 겪는 '과거/미래의 불일치' 문제를 자연스럽게 해결합니다.
실용적 가치:
비디오 안정화: 크롭 (cropping) 없이 시야를 유지하며 흔들림을 보정할 수 있습니다.
인터랙티브 분석: 사용자가 원하는 시점에서 장면을 관찰하며 객체의 위치나 동작을 검증할 수 있습니다.
환경 매핑: 생성된 360° 비디오를 동적 환경 맵으로 사용하여 객체의 조명 재현 (relighting) 이 가능합니다.
한계: 현재 해상도 (512x1024) 가 4K 실사 파노라마보다 낮으며, 물리 법칙이나 형태 왜곡과 같은 아티팩트가 여전히 존재할 수 있습니다.
결론적으로, Argus 는 단일 시점 비디오를 360° 파노라마로 확장하는 새로운 패러다임을 제시하며, 공간 이해와 시공간 일관성을 갖춘 차세대 비디오 생성 기술의 중요한 진전을 보여줍니다.