매우 느린 인터넷 연결을 통해 친구에게 영화를 보내려고 노력하는 상황을 상상해 보세요. 전체를 다 보낼 수는 없으니, 압축을 해야 합니다. 컴퓨터 비전의 세계에서 과학자들은 영상을 흐릿하고 픽셀이 깨진 엉망진창인 상태로 만들지 않으면서 영상을 축소하는 최선의 방법을 찾기 위해 끊임없이 노력하고 있습니다. 한 가지 인기 있는 기술은 '무엇(what)'과 '어떻게(how)'를 분리하는 것입니다. 사람이 걷는 영상을 생각해 보세요: 사람의 얼굴과 옷(무엇)은 거의 변하지 않지만, 움직이는 다리(어떻로)는 매 초마다 변합니다. 기존 방식은 모든 움직임 정보를 하나의 단일하고 균일한 바구니에 담으려고 했습니다. 하지만 이것은 마치 느리게 움직이는 구름과 빠르게 날아다니는 벌새를 하나의 작은 상자에 함께 담으려는 것과 같습니다. 그렇게 하면 새의 디테일을 놓치거나 구름에 공간을 낭비하게 됩니다.

MotionStrata라는 제목의 이 논문은 바로 그 문제를 다룹니다. 연구진은 움직임을 하나의 크고 무질서한 더미로 취급하는 대신, 지질학적 층(strata)이나 다층 케이크처럼 층(layer)으로 조직해야 한다고 제안합니다. 그들은 "움직임 예산"을 두 개의 뚜렷한 부분으로 나누는 것을 제 제안합니다. 큰 변화(예: 풍경을 가로지르는 카메라 팬 동작)를 처리하는 글로벌(Global) 레이어와, 프레임 단위의 빠른 떨림(예: 벌새의 날갯짓)을 포착하기 위해 줌인하는 디테일(Detailed) 레이어입니다. 데이터를 이렇게 조직함으로써, 그들은 동일한 양의 데이터를 사용하여 훨씬 더 높은 품질로 영상을 재구성할 수 있음을 발견했습니다. 이는 정보를 '얼마나 많이' 가지고 있느냐만큼 '어떻게' 조직하느냐가 중요하다는 것을 증명합니다.

문제점: "원 사이즈 피츠 올(One-Size-Fits-All)"의 함정

당신이 화가에게 영화 장면을 설명하는 감독이라고 상상해 보세요. 화가는 선을 몇 개만 그릴 수 있습니다. 만약 당신이 "카메라가 왼쪽으로 천천히 움직이고, 아주 작은 벌레가 초당 50번 날개를 파닥거립니다"라고 말하면서 단일하고 균일한 지침을 준다면, 화가는 혼란에 빠질 수 있습니다. 그들은 벌레의 날개를 설명하는 데 모든 노력을 쏟느라 카메라의 움직임을 잊어버리거나, 혹은 그 반대의 상황이 발생할 수 있습니다.

오랫동안 비디오 압축 도구들은 이 혼란에 빠진 화가처럼 작동해 왔습니다. 그들은 영상 속의 모든 움직임을 가져와 하나의 균질한 데이터 스트림으로 압축했습니다. 논문은 이것이 비효율적이라고 주장합니다. 광범위한 장면 변화(예: 도로를 달리는 자동차)는 예측 가능하고 부드러운 반면, 아주 작은 디테일(예: 바람에 흔들리는 잎사귀)은 매 프레임마다 매우 특수하고 무작위적입니다. 이 둘을 동일한 "시간적 지원(temporal support)"(동일한 수준의 시간적 디테일) 안에 강제로 밀어 넣으면, 예측 가능한 부분에 공간을 낭비하거나 중요한 빠른 움직임의 디테일을 흐릿하게 만들게 됩니다.

해결책: 계층적 접근 방식

저자들은 움직임을 조직하는 새로운 방법인 MotionStrata를 소개합니다. 그들은 움직임 코드를 두 개의 특화된 레이어로 나눕니다:

1. 글로벌 모션 (전체적인 그림): 이 레이어는 타임랩스 사진과 같습니다. 장면의 광범위한 진화(카메라 팬, 방을 가로질러 걷는 사람, 또는 흘러가는 구름 등)를 포착합니다. 이러한 것들은 변화가 느리기 때문에, 시스템은 이를 짧은 타임라인에 걸쳐 요약하여 강력하게 압축합니다. 이것은 영상의 "비계(scaffold, 뼈대)" 역할을 합니다.
2. 디테일 모션 (세부 사항): 이 레이어는 고속 카메라와 같습니다. 이 레이어는 순간적으로 변하는 것들(파닥거리는 벌레, 깜빡이는 빛, 또는 물결)을 포착하기 위해 매 프레임과 완벽하게 정렬되어 있습니다. 이러한 디테일은 요약하기에는 너무나 특수하기 때문에, 전용 공간을 할당받습니다.

이것이 작동하게 만들기 위해, 시스템은 영리한 "주파수 가이드"를 사용합니다. 이는 마치 음향 엔지니어가 저음과 고음을 분리하는 것과 같습니다. 시스템은 수학적 필터(3D FFT)를 사용하여 비디오 데이터를 분리합니다. 부드러운 저주파 부분은 글로벌 레이어로 가고, 날카로운 고주파 부분은 디테일 레이어로 갑니다.

구현 방법: 2단계 댄스

연구진은 단순히 데이터를 나눈 것이 아니라, "코스 투 파인(coarse-to-fine, 거친 단계에서 세밀한 단계로)" 학습 전략을 사용하여 컴퓨터가 특정 순서로 학습하도록 가르쳤습니다.

• 1단계: 먼저, AI가 글로벌 모션을 숙달하도록 가르쳤습니다. 영상의 견고한 "비계(scaffold)"를 구축하기 위해 크고 느린 움직임을 먼저 학습하게 했습니다.
• 2단계: 비계가 구축되면, 그 부분을 "고정(freeze)"하고 디테일 모션을 도입했습니다. 이제 AI는 기존 구조 위에 빈틈을 채우고 디테일을 정교하게 다듬는 데에만 집중하면 됩니다.

이는 예술가가 나무와 새의 세부 사항을 추가하기 전에 풍경의 대략적인 윤곽을 스케치하는 것과 비슷합니다. 나무 몸통을 그리기 전에 잎사귀를 그리려 한다면 그림은 무너지고 맙니다. 디테일 단계에서 글로벌 레이어를 고정함으로써, 시스템은 큰 그림이 안정적으로 유지되는 동안 디테일이 더욱 선명해지도록 보장합니다.

결과: 더 나은 영상, 더 적은 데이터

팀은 MotionStrata를 다른 최고 수준의 비디오 압축 방식들과 비교 테스트했습니다. 그들은 16프레임 비디오 클립(짧은 조각) 데이터셋을 사용했으며, 재구성된 영상이 원본과 비교하여 얼마나 잘 보이는지를 측정했습니다.

• 결과: MotionStrata는 경쟁 모델들을 압도했습니다. 표준 테스트에서 이 모델은 PSNR 28.861(높을수록 좋은 이미지 품질 지표)과 rFVD 71.278(낮을수록 좋은 영상의 현실감 지표)을 달성했습니다.
• 비교: Reducio나 VidTwin 같은 다른 방식들은 이 지표에서 더 낮은 점수를 기록했습니다. 예를 들어, Reducio는 PSNA 26.484였고, VidTwin은 25.530이었습니다. 장면 전체와 미세한 디테일을 모두 명확하게 유지하는 MotionStrata의 능력은 상당한 우위를 점했습니다.
• "만약에" 테스트: 연구진은 시스템의 일부를 제거하여 어떤 일이 일어나는지 확인하는 "절제 연구(ablation studies)"도 수행했습니다.
  • 만약 글로벌 레이어를 제거하면, 영상은 부드럽고 광범한 움직임을 잃고 떨리는 듯한 모습을 보였습니다.
  • 만약 디테일 레이어를 제거하면, 영상은 부드럽기는 하지만 가장자리가 흐릿해져 움직이는 물체의 선명함을 잃었습니다.
  • 만약 단일하고 평평한 데이터 스트림(기존의 "원 사이즈 피츠 올" 방식)을 사용하려고 하면, 품질이 크게 떨어져 PSNR이 25.791에 불과했습니다.

이는 계층 구조가 단순히 화려한 기교가 아니라 필수적임을 확인시켜 주었습니다. 시스템이 영상을 충실하게 재구성하기 위해서는 두 레이어가 모두 협력해야 했습니다.

실험실 너머: 새로운 데이터에도 작동하는가?

연구진은 학습 데이터에만 머물지 않았습니다. 그들은 모델이 본 적 없는 영상인 UCF-101(인간 행동 데이터셋)과 RealEstate10K(집 영상) 클립으로 모델을 테스트했습니다. 추가 학습 없이도 모델은 여전히 우수한 성능을 보였으며, 이는 "계층적" 접근 방식이 특정 영상뿐만 아니라 다양한 유형의 움직임을 처리할 수 있는 견고한 방법임을 시사합니다.

또한 그들은 이 압축된 모션 데이터가 새로운 영상을 생성하는 데 사용될 수 있는지 확인했습니다. 그들은 MotionStrata 코드를 다른 AI 생성기에 연결했고, 시스템은 텍스트 설명을 기반으로 새롭고 일관된 비디오 클립을 성공적으로 만들어냈습니다. 이는 "글로벌 + 디테일" 형식이 다른 AI 시스템이 이해하고 사용할 수 있는 유연한 언어임을 보여줍니다.

결론

MotionStrata는 비디오를 압축하는 비결이 단순히 데이터를 더 꽉 짜내는 것이 아니라, 더 똑똑하게 조직하는 데 있다는 점을 시사합니다. 어떤 움직임은 느리고 광범위하며, 어떤 움직임은 빠르고 특수하다는 것을 인식하고 이들을 별개의 레이어로 취급함으로써, 시스템은 방대한 양의 데이터 없이도 장면의 부드러운 흐름과 디테일의 선명함이라는 영상의 "영혼"을 보존할 수 있습니다.

이 논문은 이것이 모든 비디오 압축에 대한 최종 해답이라고 주장하는 것은 아니며, 길고 고해상도의 영상을 생성하는 것은 여전히 도전 과제라고 언급합니다. 그러나 그들의 실험은 움직임을 계층적으로 조직하는 것이 강력한 설계 원칙임을 강력하게 시사합니다. 이는 디지털 세계에서 때때로 공간을 절약하는 최선의 방법은 모든 것을 동일한 상자에 담으려고 애쓰는 것이 아니라, 층을 쌓아 집을 짓는 것임을 상기시켜 줍니다.