TBSG-Net: Temporal Bipartite Scene Graph Network for Fine-Grained Video Moment Retrieval

당신이 거대한 미편집 생일 파티 홈 비디오에서 특정 장면을 찾으려고 한다고 상상해 보십시오. 당신은 "아이가 촛불을 부는 순간"이라는 검색어를 입력합니다. 단순한 검색 엔진은 "아이", "불다", "양초"라는 단어를 찾아 그 단어들이 나타나는 모든 프레임을 찾아낼 것입니다. 하지만 그것만으로는 부족합니다. 당신은 아이가 단순히 케이크 근처에 서 있는 것이 아니라, 실제로 불을 '부는' 순간이 언제인지 알아야 하며, 그 동작이 단 하나의 정지된 사진이 아니라 시간의 흐로 인해 발생하는 일련의 과정임을 이해해야 합니다. 이것이 바로 "비디오 모먼트 리트리벌(Video Moment Retrieval, 비디오 순간 검색)"의 과제입니다. 이는 컴퓨터가 영상을 보고 평범한 영어 문장으로 설명된 이벤트의 정확한 시작과 종료 시간을 찾아내는 법을 배우는 컴퓨터 과학의 한 분야입니다. 이를 제대로 수행하기 위해서, 컴퓨터는 영상을 단순히 정지 사진의 묶음으로 취급하는 것을 멈추고, 시간이 흐름에 따라 사물이 어떻게 움직이고, 상호작용하며, 관계가 어떻게 변하는지를 이해하기 시작해야 합니다.

여기에 영상 검색을 위한 새로운 "탐정"인 TBSG-Net이 등장하여 까다로운 문제를 해결합니다. 그것은 바로 컴퓨터에게 단순한 '스냅샷'이 아닌 상호작용의 '이야기'를 이해하도록 가르치는 방법입니다. 이전의 방식들은 마치 사람이 컵을 들고 있는 사진 한 장을 찍고, 그다음 사진에서 물을 마시는 모습을 찍은 뒤, 이 두 순간을 완전히 별개이며 서로 관련 없는 사건으로 취급하는 것과 같았습니다. 그들은 흐름을 놓쳤습니다. TBSG-Net은 "동적 장면 그래프(Dynamic Scene Graph)"를 구축함으로써 판도를 바꿉니다. 이것을 살아있는 지도라고 생각해 보십시오. 컴퓨터는 단순히 "사람"과 "컵"을 정적인 객체로 보는 것이 아니라, 누가 누구를 잡고 있는지, 누가 무엇을 만지고 있는지, 그리고 결정적으로 그 상호작용이 얼마나 오래 지속되는지를 기록하며, 이들을 연극 속의 등장인물처럼 추적합니다. 이것은 재료 목록을 읽는 것과 실제 수프를 맛보며 레시피를 이해하는 것의 차이와 같습니다. 이러한 진화하는 관계와 구체적인 지속 시간을 매핑함으로써, TBSG-Net은 영상이 길고 무질서하더라도 특정 동작이 일어나는 정확한 초를 짚어낼 수 있습니다.

"정적" 스냅샷의 문제점

한동안 최고의 비디오 검색 도구들은 "정적 장면 그래프(Static Scene Graphs)"라고 불리는 것에 의존해 왔습니다. 만약 당신이 만화책을 보고 있다고 상상해 보십시오. 단 하나의 칸(panel)만 본다면, 당신은 사람이 컵을 들고 있는 것을 볼 수 있습니다. 당신은 "사람" + "들고 있음" + "컵"이라는 관계를 알 수 있습니다. 하지만 다음 칸으로 넘기면, 사람은 그 컵으로 물을 마시고 있을지도 모릅니다. 정적 시스템은 이들을 두 개의 분리되고 연결되지 않은 사진으로 봅니다. 그것은 "들고 있는 것"이 시간이 지나면서 "마시는 것"으로 변했다는 사실을 알지 못합니다. 또한 사람이 얼마나 오랫동안 컵을 들고 있었는지도 알지 못합니다. 아주 짧은 순간이었을까요? 아니면 1분 내내였을까요?

이러한 "시간적 역동성(temporal dynamics, 사물이 시간에 따라 어떻게 변하는지)"과 "명시적 시간 범위 인코딩(explicit time span encoding, 동작의 지속 시간을 아는 것)"의 결여는 컴퓨터가 복잡한 이벤트를 찾는 것을 어렵게 만들었습니다. 만약 당신이 "사람이 컵으로 물을 마시는 순간을 찾아줘"라고 요청한다면, 정적 시스템은 물을 마시는 동작의 지속 시간과 컵을 들고 있는 지속 시간을 구분하지 못하기 때문에, 사람이 컵을 집어 드는 순간이나 내려놓는 순간을 보여주며 혼란을 줄 수 있습니다.

TBSG-Net 솔루션: 시간 여행 지도

이를 해결하기 위해 연구진은 TBSG-Net(Temporal Bipartite Scene Graph Network)을 구축했습니다. 영상을 단순히 멈춰 있는 프레임으로 보는 대신, 이 시스템은 **동적 장면 그래프(Dynamic Scene Graph, DSG)**를 구축합니다. 이것을 영상의 실시간 움직이는 지도로 생각할 수 있습니다.

1. 동적 지도: 시스템은 영상을 관찰하며 객체(사람, 컵, 꽃 등)와 그들의 관계(들고 있음, 옆에 있음, 마심 등)를 추적합니다. 기존의 정적 지도와 달리, 이 지도는 영상이 재생됨에 따라 업데이트됩니다. 시스템은 사람이 컵에 접근하고, 잡고, 들어 올리고, 마시는 과정을 봅니다. 그리고 이 점들을 연결하여 하나의 연속적인 이야기로 만듭니다.
2. 타임스탬핑: 시스템은 이 동적 지도를 가져와 **시간적 이분 그래프 장면 그래프(Temporal Bipartite Scene Graph, TBSG)**라는 것으로 변환합니다. 이것은 한쪽에는 객체 목록이 있고 다른 한쪽에는 관계 목록이 있는 두 갈래의 지도를 만든다는 뜻입니다. 결정적으로, 모든 관계에 "시간 범위"를 부여합니다. 단순히 "사람이 컵을 들고 있다"라고 말하는 것이 아니라, "사람이 5초부터 12초까지 컵을 들고 있다"라고 말합니다. 이는 동작이 얼마나 지속되었는지 모르는 문제를 해결합니다.
3. 두뇌 (인코더): 지도가 구축되면, TBSG-Net은 이를 읽기 위해 특별한 "두뇌"를 사용합니다. 이 두뇌는 협력하는 두 부분으로 구성됩니다.
   • 트랜스포머(Transformer): 전체적인 흐름을 파악하는 데 뛰어난 AI 유형으로, 이벤트의 전역적인 흐름을 이해합니다.
   • 그래프 합성곱 네트워크(Graph Convolutional Network, GCN): 객체 간의 구체적인 연결을 파악하는 데 뛰어난 AI 유형으로, 객체 사이의 국소적인 세부 사항을 파악합니다.
   • 이들은 함께 작동하여 큰 이야기와 작은 세부 사항을 모두 이해함으로써, 컴퓨터가 상호작용이 정확히 언제 시작되고 끝나는지 알 수 있게 합니다.

연구 결과

연구진은 사람들이 일상적인 일을 하는 영상과 텍스트 설명이 포함된 Charades-STA를 포함한 여러 비디오 데이터셋에서 TBSG-Net을 테스트했습니다. 그들은 자신들의 새로운 시스템을 기존의 최고 성능 모델들(베이스라인)과 비교했습니다.

결과는 인상적이었습니다. TBSG-Net은 단순히 조금 더 나은 수준이 아니라, 특히 매우 구체적이고 짧은 순간을 찾아야 하는 작업에서 경쟁 모델들을 크게 압도했습니다.

• Charades-STA 데이터셋에서, 동일한 시각적 도구를 사용하는 이전 최고 방법과 비교했을 때, 올바른 순간을 찾는 정확도(R@1 at IoU=0.7로 측정)가 4.30% 향상되었습니다.
• 짧은 클립과 긴 클립 모두에서 작동하는지 테스트하는 더 어려운 버전인 Charades-STA-Len에서는 11.16% 상승했습니다.
• 이벤트가 영상의 어느 시점에 발생하는지와 상관없이 작동하는지 테스트하는 Charades-STA-Mom에서는 **42.32%**라는 엄청난 개선을 보였습니다.

논문은 이러한 성과가 관계가 시간에 따라 어떻게 변하는지를 모델링하고, 관계가 지속되는 시간을 명시적으로 인코딩하는 능력에서 직접적으로 기인한다고 설명합니다. 시스템에서 "동적 장면 그래프" 부분을 제거했을 때 성능이 크게 떨어졌는데, 이는 이 시간 추적 지도가 핵심 비법임을 증명합니다.

의의 (그리고 한계)

이 연구는 컴퓨터가 영상을 진정으로 이해하기 위해서는 시간을 정지 사진의 연속으로 취급하는 것을 멈추고, 상호작용의 흐르는 강물로 취급해야 한다는 점을 시사합니다. 누가, 무엇을, 누구에게, 그리고 얼마나 오래 하는지를 추적하는 지도를 구축함으로써, TBSG-Net은 훨씬 더 정밀하게 건더미 속에서 바늘을 찾아낼 수 있습니다.

저자들은 이것이 모든 비디오 문제를 즉각적으로 해결하는 마법의 탄환은 아니라는 점을 주의 깊게 언급했습니다. 그들은 특정 데이터셋에서 테스트를 진행했으며, 이 시스템은 명확한 객체와 관계가 있는 영상에서 가장 잘 작동한다는 것을 발견했습니다. 또한 시스템이 견고하다는 것도 보여주었습니다. 초기 "지도"에 오류(예: 관계 누락 또는 객체 오식별)가 있더라도 시스템은 붕괴되지 않습니다. 시스템은 노이즈를 유연하게 처리하지만, 오류가 너무 심각해지면 정확도가 다소 떨어질 수 있습니다.

요약하자면, TBSG-Net은 컴퓨터가 인간처럼 영상을 보는 법, 즉 단순히 무엇이 있는지를 보는 것이 아니라 사물이 어떻게 움직이고 변화하는지의 이야기를 이해하는 법을 가르치는 데 있어 한 단계 진전한 기술입니다. 이것은 컴퓨터가 마침내 우리 세상의 타이밍을 "이해"하도록 돕는 도구입니다.