BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

디지털 영상의 세계에서, 간단한 명령만으로 현실을 편집할 수 있는 능력이 점점 커지고 있다. 번화한 거리의 녹화 영상을 보면서 컴퓨터에 특정 자동차를 지워달라고 요청하고, 나머지 장면은 완벽하게 온전한 상태로 남겨두는 상황을 상상해 보라. 수년 동안 이 기술의 이면에 있는 기술은 좁은 과업, 즉 물체가 있던 빈 공간을 채우는 것에 집중해 왔다. 이는 마치 화가가 벽의 구멍을 메울 때 주변 벽돌의 질감과 색상에 맞추려 노력하며 정성스럽게 다시 칠하는 것과 같다. 이러한 방식은 물체가 그저 그 자리에 놓여 있을 때는 잘 작동하지만, 물체가 세상과 상호작용했을 때는 종종 실패한다. 실제 물리적 세계에서 사물은 단순히 공간을 차지하는 데 그치지 않는다. 사물은 그림자를 드리우고, 빛을 반사하며, 방의 조도를 변화시키고, 발걸음에 의해 일어난 먼지나 물 위의 파문처럼 움직임의 흔적을 남긴다. 만약 물체를 제거하면서 이러한 물리적 결과물들을 남겨둔다면, 장면은 마치 유령이 프레임을 떠도는 것처럼 어색해 보인다.

한 연구팀은 진정한 영상 편집을 위해서는 단순히 구멍을 채우는 것 이상의 것, 즉 물체와 환경을 결합하는 인과관계에 대한 이해가 필요하다는 점을 깨달았다. 그들은 비디오 편집 도구를 테스트하는 새로운 방법인 '비욘드마스크(BeyondMasks)'를 도입했는데, 이는 컴퓨터에게 물체뿐만 아니라 그 물체가 만들어낸 보이지 않는 물리적 효과까지도 제거하도록 도전 과제를 부여한다. 이를 위해 그들은 절반은 컴퓨터로 생성하고 절반은 실제 세계에서 촬영한 180개의 영상 클립 모음집을 구축했다. 모든 클립에는 물체가 존재하는 '이전' 버전과 해당 물체가 아예 존재하지 않았던 '이후' 버전이 있어, 완벽한 정답지 역할을 한다. 이를 통해 그들은 컴퓨터가 무엇을 틀렸는지 정확히 파악할 수 있다. 그들은 가장 진보된 영상 도구들조차 빈 공간을 매우 사실적으로 보이게 만들 수는 있지만, 이차적인 효과를 제거하는 데 있어서는 지속적으로 실패한다는 것을 발견했다. 여우가 서 있던 자리에는 그림자가 남아 있거나, 램프를 삭제한 후에도 창문에 반사된 모습이 남아 있을 수 있다. 연구진은 현재의 기술이 물체와 그 물리적 흔적을 별개의 문제로 취급하고 있지만, 실제로는 하나라는 사실을 발견했다.

이러-한 실패를 측정하기 위해 연구팀은 비판적인 눈의 역할을 하는 새로운 채점 시스템을 개발했다. 단순히 얼마나 많은 픽셀이 완벽한 정답과 일치하는지를 세는 대신, 그들은 정교한 인공지능을 사용하여 영상을 관찰하고 장면이 물리적으로 일관성이 있는지 판단한다. 이 시스템은 두 가지를 확인한다. 물체가 완전히 사라졌는가, 그리고 환경이 물체가 없었던 것처럼 자연스러운 상태로 돌아갔는가? 오늘날 사용 가능한 가장 뛰어난 9개의 영상 편집 모델을 테스트했을 때, 결과는 시사하는 바가 컸다. 일부 모델은 전통적인 이미지 품질 측정 기준에서는 매우 높은 점수를 받았지만, 이 새로운 물리적 논리 테스트에서는 낮은 점수를 받았다. 예를 들어, 어떤 도구는 연못에서 오리를 성공적으로 지웠지만 오리가 만든 파문은 남겨두거나, 찻주전자를 제거했지만 탁자 위에 드리운 그림자는 남겨두기도 했다. 이 연구는 이러한 도구들이 여전히 빛과 물질의 물리학을 이해하는 데 어려움을 겪고 있음을 보여준다그다. 그들은 그럴듯해 보이는 배경을 환각처럼 만들어낼 수는 있지만, 물체가 유발하는 인과적 사건의 사슬에 대해서는 추론할 수 없다.

연구진은 또한 왜 이러한 실수가 발생하는지 조사했다. 그들은 많은 편집 도구가 단순히 물체가 있는 영역을 차단하고 컴퓨터에게 그곳에 무엇이 있어야 할지 추측하도록 요청하는 방식으로 작동한다는 것을 발견했다. 이 방식은 가치 있는 단서들을 버리는 행위이다. 만약 유리컵이 탁자 위에 놓여 있다면, 컴퓨터는 유리 너머로 탁자를 볼 수 있다. 만약 도구가 컵 전체를 완전히 가려버린다면, 컴퓨터는 그 탁자에 대한 시야를 잃게 되고 패턴을 추측해야 하며, 대개 이를 틀리게 된다. 이 연구는 향다면의 제거 시스템이 누락된 정보를 더 잘 복구하기 위해 단순한 마스크 기반의 인페인팅(inpainting)에만 의존하기보다 맥락 인식 추론을 통합해야 한다고 제안한다. 이 연구는 시각적으로 매끄러워 보이는 것과 실제로 물리적으로 올바른 것 사이의 상당한 간극을 강조한다. 영상 편집이 진정으로 실감 나게 느껴지려면, 기술이 단순한 이미지 수복을 넘어 물리 세계의 보이지 않는 규칙을 이해하는 단계로 나아가야 하며, 물체가 제거되었을 때 그 물체가 살았던 세계가 완벽한 일관성을 갖춘 상태로 돌아오도록 보장해야 함을 시사한다.