A hierarchical general video matting framework towards temporal coherence

디지털 영상 편집의 세계에는 단순한 컷 편집과 복잡한 페인팅 사이의 어딘가에 위치한 지속적인 과제가 존재한다. 바로 움직이는 객체를 배경으로부터 완벽하게 정밀하게 분리해내는 것이다. 사람이 화면을 가로질러 걸어가거나 스카프가 바람에 휘날릴 때, 그 객체의 가장자리는 결코 날카롭고 깨끗한 선이 아니다. 그것은 종종 전경의 머리카락이나 천이 배경의 공기나 풍경과 뒤섞이는, 색상이 모호하게 혼합된 상태가 된다. 이 혼합을 실제처럼 보이게 하려면 편집자들에게는 단순한 흑백 마스크 이상의 것이 필요하다. 즉, 컴퓨터에게 모든 픽셀에서 배경이 얼마나 보이는지를 정확히 알려주는 정보의 층인 투명도 맵(transparency map)이 필요하다. 비디오 매팅(video matting)이라고 알려진 이 과정은 객체가 움직일 때 믿기 힘들 정도로 어려워진다. 만약 컴퓨터가 한 프레임의 투명도를 올바르게 계산했더라도 다음 프레임에서 약간이라도 틀리게 계산한다면, 그 결과는 환상을 깨뜨리는 깜빡임과 떨림이 있는 엉망진창인 상태가 된다. 수년 동안 지배적인 해결책은 방대한 양의 비디오 데이터를 인공지능에 입력하여 기계가 머리카락, 털, 천의 패턴을 학습하도록 기대하는 것이었다. 그러나 이러한 데이터 집약적인 시스템은 본 적 없는 객체에 직면했을 때 어려움을 겪는 경우가 많으며, 결과물이 흐릿하거나 매 순간 일관되지 않게 보일 수 있다.

하얼빈 상업 대학교의 연구진은 데이터에 대한 과도한 의존을 피하고 대신 연속된 프레임 간의 픽셀 사이의 수학적 관계에 집중하는 다른 경로를 제안했다. 그들의 연구는 비디오 매팅을 과거 사례에 기반한 추측 게임이 아니라, 즉각적인 시각적 증거를 바탕으로 가장 가능성 있는 해답을 찾는 구조화된 문제로 다루는 새로운 프레임워크를 도입한다. 그들은 색상과 위치가 한 프레임에서 다음 프레임으로 어떻게 변화하는지를 면밀히 분석함으로써, 컴퓨터가 실크나 연기 같은 복잡하고 반투명한 재료에 대해서도 이전에 "본 적"이 없더라도 높은 정확도로 객체의 투명도를 결정할 수 있다고 주장한다. 이 접근 방식은 다른 방식들을 괴롭히는 깜빡임 현상에 강하도록 설계되어, 추출된 객체가 마치 새로운 배경의 일부인 것처럼 부드럽고 자연스럽게 움직이도록 보장한다.

연구진은 이미지를 점진적으로 정교화하는 계층적 단계인 3단계 파이프라인으로 시스템을 구축했다. 과정은 넓은 그물을 던지는 필터 역할을 하는 전처리 단계로 시작된다. 전체 이미지를 한꺼번에 해결하려고 하는 대신, 시스템은 두 프레임을 나란히 놓고 어떤 픽셀이 명확하게 객체의 일부인지 또는 명확하게 배경의 일부인지를 탐색한다. 이는 두 프레임 간의 색상과 위치를 비교함으로써 수행되며, 어떤 픽셀이 "불투명"한지 또는 혼합되어 있는지를 식별한다. 이 단계는 불확실성을 제거하여 다음 단계를 위한 더 깨끗한 지도를 만드는 데 매우 중요하다. 시스템은 검색 전략을 조정할 수 있을 만큼 똑똑하다. 객체와 배경의 색상이 매우 다르면 일치하는 픽셀을 찾기 위해 더 멀리 탐색할 수 있지만, 색상이 비슷하면 실수를 피하기 위해 가까운 곳에 머문다. 이 초기 패스는 흐릿하고 불확실한 가장자리를 훨씬 더 날카로운 정의로 효과적으로 전환하여 최종 계산을 위한 견고한 토대를 마련한다.

시스템이 명확한 영역을 식별하고 나면, 최종 결과에 필요한 구체적인 색상 정보를 수집하기 위한 샘플링 단계로 넘어간다. 이 단계에서 컴퓨터는 알 수 없는 혼합된 픽셀들을 바라보며 다음과 같은 간단한 질문을 던진다. "알려진 전경과 배경의 어떤 색상들이 섞여서 이 특정 픽셀을 만들어냈을까?" 시스템은 주변 영역에서 샘플을 수집하며, 비디오의 움직임을 사용하여 이러한 샘플들이 한 프레임에서 다음 프레임으로 어떻게 이동하는지를 추적한다. 이것이 투명도를 다루는 이 방법의 탁월함이 빛나는 부분이다. 각 픽셀에 기여하는 전경과 배경의 정확한 색상을 기록함으로써, 시스템은 단순히 회색조를 추측하는 것이 아니라 원래의 색조를 유지한 채 객체를 재구성할 수 있다. 또한 시스템은 이 샘플들에 어느 정도의 신뢰를 둘지 결정하기 위해 신뢰도 척도를 사용하며, 이를 통해 최종 결과가 단순한 추측이 아니라 가용한 비디오 증거에 기반한 계산된 확률이 되도록 보장한다.

마지막 단계는 이웃한 픽셀 간의 관계를 존중하는 평활화(smoothing) 기술을 사용하여 모든 것을 하나로 합친다. 시스템은 초기 추측값과 샘플링된 색상 데이터를 가져와서 투명도 값이 이미지 전체에 걸쳐 점진적이고 논리적으로 변하도록 보장하는 솔버(solver)를 통과시킨다. 이 단계는 투명도가 다음 프레임과 부드럽게 정렬되도록 강제함으로써 비디오 매팅에서 흔히 발생하는 떨림 현상을 제거하는 데 필수적이다. 연구진은 명확한 영역을 먼저 식별하고, 정밀한 색상 샘플을 수집한 다음, 전이 과정을 부드럽게 만드는 이 세 가지 층을 결합함으로써 매우 정확하면서도 시각적으로 일관된 결과를 낼 수 있다는 것을 발견했다. 그들의 방법은 컴퓨터가 수백만 개의 사례로부터 학습하지만 특이한 경우에 실패할 수 있는 딥러닝의 "블랙박스"에 의존하지 않는다. 대신, 비디오 자체의 직접적인 수학적 논리에 의존한다.

테스트에서 연구진은 자신들의 새로운 프레임워크를 기존의 전통적인 방식 및 최신 데이터 기반 인공지능 모델과 비교했다. 그들은 복잡한 머리카락을 가진 사람이나 반투명한 가장자리를 가진 객체를 포함한 다양한 비디오 시퀀스를 사용하여 각 방법의 성능을 테스트했다. 결과는 그들의 접근 방식이 객체가 움직일 때의 부드러움을 유지하는 데 우수하며, 다른 방법들이 고전했던 깜빡임 현상을 효과적으로 제거한다는 것을 보여주었다. 일부 데이터 기반 모델들은 사람의 일반적인 형태를 파악하는 데는 뛰어났지만, 객체가 빠르게 움직일 때 가장자리가 흐릿해지거나 색상이 일관되지 않은 모습을 보였다. 반면, 새로운 프레임워크는 배경과 전경의 색상이 매우 유사한 까다로운 시나리오에서도 가장자리를 날카롭게 유지하고 색상을 정확하게 유지했다. 연구진은 또한 그들의 방법이 전경 객체를 성공적으로 추출하여 완전히 새로운 배경에 배치하는 합성(compositing) 과정을 기존의 최고 기술들과 대등하거나 능가하는 수준의 사실감으로 수행할 수 있음을 입증했다.

이 연구의 의의는 비디오 매팅의 "일반적인" 사례를 처리할 수 있는 능력에 있다. 대부분의 현재 시스템은 인간의 얼굴와 같은 특정 유형의 객체에 맞춰 훈련되어 있으며, 그 외의 것에 직면하면 어려움을 겪는다. 방대한 훈련 데이터셋의 필요성을 피함으로써, 이 새로운 방법은 재학습 없이도 흔들리는 나뭇가지부터 흐르는 천에 이르기까지 어떤 객체에도 적용될 수 있다. 연구진은 이것이 객체가 디지털 환경에 원활하게 통합되어야 하는 가상 현실(VR) 및 메타버스 분야에 특히 유용하다고 제안한다. 연구 결과는 픽셀 사이의 물리적 관계에 근거한 단계별 시각 데이터 분석이 딥러닝이 아직 정복하지 못한 복잡한 문제들을 해결할 수 있음을 보여준다. 논문은 이러한 계층적 접근 방식이 데이터 집약적인 방법들에 대한 신뢰할 수 있는 고품질의 대안을 제공하며, 때로는 움직이는 이미지를 이해하는 가장 효과적인 방법이 과거의 사례 라이브러리에 의존하는 것이 아니라 픽셀 그 자체를 면밀히 살펴보는 것임을 증명한다고 결론짓는다.