💻 computer science

Tracking and Understanding Object Transformations

이 논문은 객체의 상태 변화를 통한 추적 문제를 해결하기 위해 "Track Any State" 태스크와 VOST-TAS 벤치마크를 소개하며, 유실된 트랙을 복구하고 진화하는 객체 역학을 설명하기 위한 의미론적 상태 그래프를 생성하는 제로샷 시스템인 TubeletGraph를 제안한다.

원저자: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

게시일 2026-01-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 사과 한 알이 조각조각 잘리거나, 애벌레가 나비로 변하는 장면입니다. 만약 당신이 일반적인 영화 카메라 촬영 기사라면, 사과가 잘리는 순간 그 '사과'를 놓칠 수도 있습니다. 왜냐하면 갑자기 빨갛고 둥근 것 하나가 아니라 다섯 개의 하얀 덩어리들을 보고 있기 때문입니다. 또한, 애벌레가 껍질 안으로 사라졌다가 나중에 나비가 나타나면 애벌레를 놓칠 수도 있습니다.

이것이 바로 **"Tracking and Understanding Object Transformations"**라는 논문이 해결하고자 하는 문제입니다. 코넬 대학교의 저자들은 현재의 컴퓨터 비전 시스템이 마치 서툰 영화 감독과 같다고 주장합니다. 이 시스템들은 캐릭터가 똑같이 생겼을 때는 잘 따라가지만, 캐릭터가 의상을 갈아입거나, 부서지거나, 변형되면 캐릭터를 완전히 놓쳐버립니다.

다음은 그들의 해결책인 TubeletGraph와 그 작동 방식에 대한 간단한 설명입니다.

문제점: 군중 속의 "실종된 사람"

현재의 추적 시스템은 주로 **외형(appearance)**에 크게 의존합니다. 그들은 "나는 빨간 사과를 보고 있다. 나는 그 빨간 사과를 따라가겠다"라고 말합니다. 하지만 사과가 잘리면 빨간 껍질은 사라지고 하얀 속살은 모습이 달라집니다. 그러면 시스템은 "빨간 사과가 사라졌다!"라고 생각하며 추적을 중단합니다. 그들은 이 하얀 조각들이 단지 새로운 상태가 된 '사과'일 뿐이라는 사실을 깨닫지 못합니다.

저자들은 특정한 패턴을 발견했습니다. 이러한 시스템들은 보통 **거짓 음성(false negatives)**을 발생시킨다는 것입니다. 즉, 물체가 실제로 형태만 바뀐 것인데도 물체가 사라졌다고 판단해 버리는 것입니다.

해결책: TubeletGraph (그물을 던지는 탐정)

저자들은 TubeletGraph라는 시스템을 만들었습니다. 이것은 단순히 한 사람만을 쫓는 것이 아니라, 넓게 그물을 던져 현장의 모든 것을 잡아낸 다음, 논리를 사용하여 누가 누구인지 파악하는 탐정이라고 생각하면 됩니다.

작동 방식은 세 단계로 이루어집니다.

1. 그물 던지기 (The "Tubelets")

특정 물체(예: 사과)만을 추적하는 대신, TubeletGraph는 전체 영상을 **"tubelets"**라고 불리는 작고 움직이는 조각들로 나눕니다.

비유: 영상이 강물이라고 상상해 보세요. 특정 잎사귀(사과) 하나만을 쫓는 대신, 시스템은 물속에 그물을 던져 나타나는 모든 잎사귀, 나뭇가지, 돌멩이를 다 잡아냅니다.
시스템은 원래의 사과를 추적할 뿐만 아니라, 나중에 나타나는 새로운 것들(사과 조각이나 거기서 나온 나비 등)도 추적하기 시작합니다.

2. 탐정의 논리 (근접성과 의미론)

이제 시스템에는 많은 다양한 트랙들이 섞인 "수프"가 생겼습니다. 이제 시스템은 이 새로운 트랙들이 원래의 물체에 속하는 것인지 파악해야 합니다. 이를 위해 두 가지 규칙을 사용합니다.

"포옹" 규칙 (공간적 근접성): 사과가 잘린다면, 조각들은 원래 사과가 있던 곳 바로 옆에 있을 것입니다. 만약 멀리 떨어진 곳에서 새로운 물체(예: 칼을 든 손)가 나타난다면, 그것은 사과의 일부가 아닐 가능성이 높습니다. 시스템은 확인합니다: "이 새로운 조각이 원래 사과와 가까이 있는가?"
"정체성" 규칙 (의미론적 일관성): 시스템은 "이 새로운 것이 이전 것의 버전으로서 타당한가?"라고 묻습니다.
- 적절한 매칭: 사과 조각은 사과 속살처럼 보입니다.
- 부적절한 매칭: 사과를 쥐고 있는 손은 손처럼 보이지, 사과처럼 보이지 않습니다.
- 비유: 당신이 강아지를 찾고 있는데 근처에서 골든 리트리버를 발견했다면, 당신은 "저게 내 강아지구나!"라고 말할 것입니다. 하지만 바로 옆에 고양이가 있다면, 설령 고양이가 아주 가까이 있더라도 "아니, 저건 내 강아지가 아니야"라고 말할 것입니다.

3. 이야기꾼 (상태 그래프)

시스템이 누락된 조각들(사과 조서 혹은 나비)을 복구하고 나면, 단순히 그것들을 추적하는 데 그치지 않고, 강력한 AI(대규모 언어 모델)에게 무슨 일이 일어났는지 설명하도록 요청합니다.

시스템은 "이전 상태"(온전한 사과)와 "이후 상태"(사과 조각)를 살펴봅니다.
그리고 AI에게 묻습니다: "여기서 무슨 일이 일민 것인가?"
AI는 답합니다: "사과가 잘려서 조각이 되었습니다."
시스템은 그 후 타임라인을 보여주는 지도(상태 그래프)를 그립니다: 사과 -> 잘림 -> 조각.

성과

이 논문은 **"Track Any State"**라는 새로운 과제를 제시합니다. 이는 단순히 물체를 쫓는 것이 아니라, 물체의 변화를 추적하고 그 변화를 설명하는 것에 관한 것입니다.

이를 테스트하기 위해, 그들은 사물이 변하는 과정(바나나 껍질을 까거나 토마토를 써는 등)을 담은 상세한 라벨이 붙은 VOST-TAS라는 새로운 데이터셋을 만들었습니다.

결과:

더 나은 추적 능력: 그들의 시스템인 TubeletGraph는 형태가 변하는 물체를 추적하는 데 있어 기존의 최고 수준 시스템(SAM2 등)보다 뛰어납니다. 이 시스템은 다른 시스템들이 놓쳐버리는 "누락된" 조각들을 복구해 냅니다.
더 나은 이해력: 단순히 물체 주위에 박스를 그리는 것을 넘어, 변형 과정을 텍스트로 설명해 냅니다 (예: "애벌레가 번데기에서 나왔다").
제로샷(Zero-Shot): 이 시스템은 모든 유형의 변형(예: "자르기"와 "껍질 까기"의 차이)에 대해 매번 다시 학습될 필요가 없습니다. 일반적인 지식을 사용하여 실시간으로 문제를 해결합니다.

요약

요컨대, 이 논문은 다음과 같이 말합니다. "현재의 컴퓨터는 물체가 변할 때 추적을 놓칩니다. 우리는 모든 것을 잡기 위해 넓게 그물을 던지고, 어떤 새로운 것들이 사실은 변장한 예전의 것인지 논리를 통해 파악하며, 그 변형이 어떻게 일어났는지 AI에게 이야기를 써달라고 요청하는 시스템을 만들었습니다."

이를 통해 컴퓨터는 "나비"와 "번데기"가 하나의 이야기 속에 있다는 것을 이해할 수 있고, "사과 조각"이 더 이상 원래의 과일처럼 보이지 않더라도 여전히 "사과"라는 것을 이해할 수 있게 됩니다.

기술 요약: 객체 변형 추적 및 이해 (Tracking and Understanding Object Transformations)

문제 정의: 모든 상태 추적하기 (Track Any State)

본 논문은 현재 컴퓨터 비전 시스템의 결정적인 한계점인, 심각한 상태 변형(예: 사과가 썰리는 과정, 번데기에서 나비가 나오는 과정)을 거치는 객체를 추적하는 능력의 부재를 다룹니다. 외형적 일관성에 크게 의존하는 기존의 객체 추적 방식은 객체의 기하학적 구조나 질감이 급격히 변할 때 일반적으로 실패하며, 이로 인해 추적 대상(target)을 놓치는 "거짓 음성(false negative)" 오류가 자주 발생합니다. 반대로, 기존의 상태 변화 인식 방법들은 변형된 이후의 객체들을 추적하기 위한 시공간적 접지(spatiotemporal grounding) 능력이 부족합니다.

이러한 간극을 메우기 위해 저자들은 Track Any State라는 새로운 과업을 도입합니다. 이는 비디오와 초기 객체 프롬프트(첫 프레임의 마스크)가 주어졌을 때, 시스템이 다음을 수행해야 함을 정의합니다:

추적(Track): 변형 과정을 거치는 동안 객체를 일관되게 추적하며, 여기에는 결과물로 나타난 모든 부분(예: 사과 코어와 썰린 조각들 모두를 추적)이 포함됩니다.
탐지 및 기술(Detect and Describe): 상태 변화를 탐지하고, 변형에 대한 구조화된 표현(시간, 동작 동사, 그리고 결과 객체)을 출력합니다.

방법론: TubeletGraph

저자들은 특정 작업에 대한 미세 조정(fine-tuning) 없이도 놓친 객체를 복구하고 변형에 대해 추론할 수 있도록 설계된 제로샷(zero-shot) 프레임워크인 TubeletGraph를 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 시공간 분할 (Tubelet 생성)

변형 후의 "놓친" 객체를 찾는 탐색 공간 문제를 극복하기 위해, 시스템은 비디오에 대해 조밀한 시공간 분할을 생성합니다:

초기 분할: 첫 프레임을 CropFormer를 사용하여 엔티티(entity) 단위로 분할하며, 여기에는 사용자가 제공한 프롬프트 마스크가 포함됩니다.
추적: 각 초기 엔티티는 SAM2를 사용하여 시간의 흐로 따라 전방향으로 추적됩니다.
동적 개시(Dynamic Initiation): 비디오가 진행됨에 따라, 시스템은 "빈 영역"(기존 트랙에 의해 커버되지 않은 픽셀)을 식별합니다. 이 영역에서 엔티티가 감지되면, 새로운 트랙("tubelet")이 시작됩니다.
결과: 이를 통해 비디오의 거의 모든 픽셀을 덮는 튜브렛(tubelet)의 "수프(soup)"가 생성되며, 이를 통해 변형 후의 객체(새로운 연결 성분으로 나타나는 것들)가 후보 트랙으로서 포착될 수 있도록 보장합니다.

2. 추론을 통한 후보 복구

모든 새로운 튜브렛이 변형된 대상 객체의 일부인 것은 아닙니다(예: 프레임 안으로 들어온 손). 시스템은 두 가지 사전 지식(prior)을 사용하여 후보를 필터링합니다:

공간적 근접성(Spatial Proximity): 변형된 객체가 원래 위치 근처에 머문다는 가정을 바탕으로, 시스템은 후보 트랙과 SAM2가 원래 프롬프트에 대해 예측한 여러 후보 마스크 사이의 중첩도를 계산합니다.
의미적 일관성(Semantic Consistency): 정체성의 의미가 보존된다는 가정(예: 번데기는 나비가 되는 것이지 새가 되는 것이 아님)에 기초하여, 시스템은 masked CLIP 특징을 사용하여 프롬프트 트랙과 후보 트랙 사이의 의미적 유사도를 계산합니다.
선택: 근접성과 의미적 임계값을 모두 만족하는 튜브렛만이 최종 추적 세트에 추가됩니다.

3. 상태 그래프 구축 (State Graph Construction)

새로운 유효한 트랙이 식별되면, 시스템은 이 출현을 상태 변형의 표식으로 간주합니다:

VLM 쿼리: 시스템은 초기 프레임과 새로운 트랙이 나타나는 프레임을 사용하여 다중 모달 대규모 언어 모델(GPT-4.1)에 질의합니다.
생성: LLM은 동작 동사(예: "자르다", "펼치다")와 결과 객체의 정체를 기술하도록 프롬프트됩니다.
그래프 출력: 이러한 기술 내용들은 파싱되어 변형 전 트랙, 변형 이벤트, 그리고 변형 후 트랙을 연결하는 구조화된 표현인 **상태 그래프(State Graph)**를 구축합니다.

주요 기여

과업 정식화: 객체 추적과 상태 변화 탐지 및 기술을 결합한 통합 과업인 Track Any State를 도입했습니다.
데이터셋: VOST 검증 세트에서 파생된 새로운 벤치마크 데이터셋인 VOST-TAS를 공개합니다. 이 데이터셋은 57개의 비디오 인스턴스, 108개의 주석 처리된 변형, 그리고 시간적 경계와 의미적 기술을 포함하는 293개의 결과 객체 주석을 포함합니다.
시스템: 시공간 분할을 통해 놓친 객체를 복구하고 시각-언어 추론을 통해 상태 그래프를 생성하는 제로샷 시스템인 TubeletGraph를 개발했습니다.

실험 결과

저자들은 VOST, VSCOS, M3-VOS, DAVIS 2017을 포함한 여러 벤치마크에서 TubeletGraph를 평가합니다.

추적 성능: TubeletGraph는 VOST 및 VSCOS에서 SOTA(최고 수준) 성능을 달야하며, 기본 SAM2 및 그 미세 조정된 변형 모델들을 능가합니다. 특히, 기본 SAM2보다 **Jaccard 지수(J)**를 2.5포인트 향상시켰으며, 비디오의 마지막 25% 프레임( $J_{tr}$ )에서 미세 조정된 SAM2를 앞질러 변형에 대한 우수한 강건성을 입증했습니다.
상태 그래프 품질: VOST-TAS 벤치마크에서 시스템은 43.1%의 시간적 국소화 정밀도와 81.8%의 동작 동사 의미 정확도를 달성했습니다. 전체적인 완전한 변형(시간적 + 의미적 + 공간적 모두 정확함)에 대한 재현율(recall)은 6.5%로 다소 낮지만, 저자들은 이것이 제약 없는 과업의 상당한 난이도를 반영한다고 언급했습니다.
절제 연구(Ablation Studies): 시스템이 하이퍼파라미터 변화에 강건함을 보여줍니다. 절제 연구를 통해 시공간 분할이 후보 검색에 필수적이며, 의미적 및 공간적 제약이 거짓 양성(false positive)을 필터링하는 데 필요함을 확인했습니다.

의의 및 주장

본 논문은 TubeletGraph를 다운스트림 애플리케이션을 위한 더 강력하고 정보가 풍부한 비전 시스템을 향한 단계로 포지셔닝합니다. 저자들의 주장은 다음과 같습니다:

제로샷 능력: 광범위한 도메인 특화 미세 조정이 필요한 방법들과 달리, TubeletGraph는 대상 변형 유형에 대한 학습 없이 작동하여 더 나은 일반화 성능을 제공합니다.
포괄적인 표현: 추적과 상태 그래프 생성을 결합함으로써, 시스템은 객체의 진화에 대한 완전한 표현을 제공하며, 이는 액션 그라운딩(예: 로봇이 썰린 사과의 전후 조건을 이해하는 것), 비디오 편집, 장면 모델링 등의 작업에 유용합니다.
오류 복구: 시스템은 놓친 객체를 복구하고 이를 사용하여 객체 손실을 일으킨 변형을 추론함으로써, 기존 추적기들의 "거짓 음성" 편향 문제를 명시적으로 해결합니다.

저자들은 약 7초/프레임의 높은 계산 비용과 기본 추적기(SAM2) 또는 VLM으로부터의 잠재적인 오류 전파를 한계점으로 인정합니다. 그들은 현재 실시간 적용은 제한적이지만, 로보틱스를 위한 학습 주석 생성이나 생물학적 발달 분석과 같은 오프라인 분석에 매우 가치 있는 시스템이라고 결론짓습니다.