Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation

이 논문은 사전 학습된 비디오 확산 모델을 테스트 시에 미세 조정하여 재학습 없이 단일 쿼리 마스크만으로 완전한 가림 상황에서도 유연한 제로샷 아모달 비디오 객체 분할을 수행하는 새로운 파이프라인 'TABE'를 제안합니다.

핵심

🎩 마술사의 장난감: "보이지 않는 공도 알고 있다"

상상해 보세요. 마술사가 탁자 위에 공을 올려놓고 컵으로 그 공을 가렸습니다.

• 일반적인 컴퓨터 (기존 기술): "아, 공이 컵 뒤에 숨었네. 컵이 있는 부분만 볼 수 있으니 공의 모양은 여기까지만 알고 있어."라고 생각합니다. 컵이 사라질 때까지는 공이 어디에 있는지, 어떻게 생겼는지 모릅니다.
• 이 논문의 TABE (새로운 기술): "아니야, 공은 컵 뒤에 완전히 있을 거야. 컵이 움직이기 전에도 공은 그 자리에 있고, 모양도 그대로일 거야."라고 상상해서 공의 전체 모양을 그려냅니다.

이것이 바로 아모달 (Amodal) 완성입니다. 인간의 뇌는 가려진 물체도 '있을 것'이라고 추측하며 계속 따라가지만, 기존 컴퓨터는 가려지면 '없던 것'으로 취급하거나 추적을 포기했습니다.

🧩 퍼즐 조각을 맞추는 방식: "가려진 부분을 채워 넣기"

이 연구팀 (Finlay G. C. Hudson, William A. P. Smith) 은 이 문제를 해결하기 위해 마치 퍼즐을 맞추듯 새로운 방법을 고안했습니다.

1. 첫 번째 조각 (시작점): 비디오의 첫 번째 프레임에서 우리가 추적하고 싶은 물체 (예: 공, 사람, 컵) 의 모습을 딱 한 번만 보여줍니다. 이때는 가려지지 않은 상태여야 합니다.
2. 비밀스러운 화가 (확산 모델): 컴퓨터는 이 물체가 가려진다고 해서 멈추지 않습니다. 대신, **"만약 이 물체가 컵 뒤에 숨어 있다면 어떻게 생겼을까?"**라고 상상하며 가려진 부분을 채워 넣습니다 (이를 '아웃페인팅'이라고 합니다).
   • 비유: 그림을 그리다가 캔버스 일부가 가려졌을 때, 화가가 가려진 부분의 나머지 그림을 상상해서 완성해 내는 것과 같습니다.
3. 실시간 학습 (테스트 시간 미세 조정): 이 시스템은 미리 모든 물체를 외운 게 아닙니다. 대신, 지금 보고 있는 그 물체에게만 집중해서 잠시 동안 학습합니다. 마치 "이 particular한 공은 이렇게 생겼구나"라고 그 순간에만 집중해서 기억하는 것과 같습니다.

🚫 왜 기존 기술은 실패했을까?

기존 기술들은 두 가지 큰 문제를 겪었습니다.

1. 데이터 부족: 가려진 물체의 '정답 (Ground Truth)'을 알려주는 데이터는 현실에서 구하기 매우 어렵습니다. (컵 뒤에 숨은 공이 정확히 어디에 있는지 알 수 없으니까요.)
2. 유연성 부족: 대부분 특정 물체 (예: 사람, 차) 만 인식하도록 훈련되어 있어, 처음 보는 물체나 복잡한 상황에서는 무너졌습니다.

✨ TABE 의 핵심 전략: "가상 시나리오"

이 연구의 핵심은 실제 데이터 없이도 추론할 수 있게 한 점입니다.

• 깊이 감지 (Depth Anything): "이 물체가 저 물체보다 앞에 있나, 뒤에 있나?"를 깊이 정보를 통해 판단합니다.
• 가상 가림 (Occlusion Labelling): 컴퓨터가 스스로 "여기는 가려진 구간이야"라고 판단하고, 그 구간을 채워 넣는 훈련을 합니다.
• 화이트 배경의 마법: 가려진 부분을 채울 때, 배경을 하얀색으로 만들어 물체만 선명하게 분리해냅니다. 이렇게 하면 가려진 부분도 물체의 일부로 자연스럽게 이어집니다.

🏆 결과: "누가 더 잘 따라갔나?"

이 기술 (TABE) 은 기존에 있던 최고의 기술들 (TCOW, SAM2 등) 보다 훨씬 잘 작동했습니다.

• 기존 기술: 물체가 가려지면 추적이 끊기거나, 가려진 부분을 무시하고 보이는 부분만 쫓아다닙니다.
• TABE: 물체가 완전히 가려져도 "아, 저기 뒤에 있을 거야"라고 계속 추적하며, 가려진 부분이 다시 드러날 때 이미 완벽한 모양으로 이어집니다.

📝 한 줄 요약

"이 기술은 가려진 물체를 '보이지 않는다고 포기'하는 대신, '보이지 않아도 있을 것'이라고 상상하며 그 전체를 그려내는, 컴퓨터 비전의 마술사입니다."

이 기술이 발전하면, 자율주행차가 보행자가 버스 뒤에 숨어 있는 것도 미리 예측하거나, 로봇이 책장 뒤에 숨은 장난감을 찾아내는 등 훨씬 더 똑똑하고 안전한 AI 를 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 컴퓨터 비전 모델은 가시적인 픽셀을 기반으로 객체의 위치를 파악하는 데는 탁월한 성능을 보이지만 (예: SAM2, Mask2Former), **가려진 (occluded) 객체의 위치와 형태를 예측하는 능력 (Amodal Completion)**에서는 큰 한계를 보입니다.

• 현실적 한계: 가려진 객체에 대한 실제 지상 진실 (Ground Truth) 데이터를 수집하는 것은 매우 어렵고 비용이 많이 듭니다. 또한, 가려진 부분의 형태를 정의하는 것 자체가 인간의 맥락 추론에 의존하기 때문에 모호할 수 있습니다.
• 기존 방법의 결함:
  • 기존 Amodal Instance Segmentation 모델들은 훈련 시 본 클래스 (class) 에만 국한되어 제로샷 (Zero-shot) 추론이 불가능합니다.
  • 기존 비디오 추적 모델들은 가려진 구간에서 객체를 재식별 (Re-ID) 하거나 추적하는 데 의존하지만, 이는 종종 비강건 (non-robust) 합니다.
  • 완전 가려진 (fully occluded) 프레임이 포함된 비디오 시퀀스에서는 기존 이미지 기반의 Amodal Completion 방법들이 실패하거나 불확실성이 큽니다.

2. 제안 방법론 (Methodology: TABE Pipeline)

저자들은 **TABE (Track Anything Behind Everything)**라는 새로운 파이프라인을 제안합니다. 이는 사전 훈련된 비디오 확산 모델 (Video Diffusion Model) 을 활용하여 제로샷 (Zero-shot) 방식으로 가시 영역 (modal) 에서 비가시 영역 (amodal) 을 생성해내는 (Outpainting) 접근법입니다.

핵심 단계:

1. 입력 및 초기화:

   • 첫 번째 프레임에서 객체가 완전히 보이는 시점 (Reference Frame) 에서 단일 쿼리 마스크 (Query Mask) 를 입력받습니다.
   • SAM2 와 같은 제로샷 분할 모델을 사용하여 각 프레임의 **가시 마스크 (Visible Mask)**를 생성합니다.

2. 타겟 영역 마스크 (Target Region Masks) 및 가려짐 라벨링:

   • 확산 모델이 불필요한 배경 요소를 생성하거나 환각 (hallucination) 을 일으키는 것을 방지하기 위해, 객체가 있을 가능성이 있는 타겟 영역 마스크를 정의합니다.
     • Monodepth 활용: Depth Anything v2 를 사용하여 깊이 지도를 생성하고, 가시 영역의 평균 깊이보다 얕은 (앞에 있는) 픽셀들을 후보로 선정합니다.
     • 시간적 연속성: 시계열적으로 연속된 바운딩 박스를 추정하여 객체의 가능한 범위를 제한합니다.
   • 가려짐 라벨링 (Occlusion Labelling): 가시 마스크의 경계에서 깊이 변화 방향을 분석하여, 객체의 실제 경계인지 아니면 가려짐 (occlusion) 경계인지를 계산합니다. 이를 통해 각 프레임이 '가려진 상태'인지 '가려지지 않은 상태'인지 라벨링합니다.

3. 테스트 시간 미세 조정 (Test-time Diffusion Model Fine-tuning):

   • 일반적인 확산 모델은 특정 객체의 특징을 잘 반영하지 못하므로, **테스트 시간 (Test-time)**에 입력된 비디오의 특정 객체에 맞춰 모델을 미세 조정합니다.
   • Realfill 및 LoRA 활용: Dreambooth 와 유사하게, Low Rank Adaptation (LoRA) 을 사용하여 모델의 가중치에 학습 가능한 잔차 모듈을 추가합니다.
   • 학습 전략:
     • 객체의 가시 부분만 남기고 나머지를 흰색 배경으로 설정합니다.
     • 무작위 바이너리 마스크를 적용하여 객체의 일부를 인위적으로 가립니다 (모델이 숨겨진 부분을 복원하도록 학습).
     • 객체 외부 영역에도 마스크를 적용하여 일관된 흰색 배경을 생성하도록 학습시킵니다.
     • 손실 함수 (Loss): 라벨링된 '가려지지 않은 (unoccluded)' 프레임에 대해서만 손실을 계산하여, 정의되지 않은 가려진 영역의 노이즈가 학습에 영향을 주지 않도록 합니다.

4. 생성 및 최종 분할:

   • 미세 조정된 확산 모델을 사용하여 가시 마스크를 기반으로 흰색 배경 위의 완전한 객체 (Amodal) 비디오를 생성 (Outpainting) 합니다.
   • 생성된 프레임에 다시 SAM2 를 적용하여 최종적인 Amodal 분할 마스크를 추출합니다.

3. 주요 기여 (Key Contributions)

1. TABE 파이프라인: 사전 훈련된 비디오 확산 모델을 활용하여, 클래스 레이블 없이 단일 쿼리 마스크만으로 제로샷 Amodal 비디오 분할을 수행하는 새로운 파이프라인을 제안했습니다.
2. 테스트 시간 미세 조정: 확산 모델을 재학습 (Retraining) 하지 않고, 테스트 시 특정 객체에 맞춰 LoRA 를 통해 미세 조정함으로써 객체의 고유한 특징을 학습하고 가려진 부분을 정확하게 복원합니다.
3. 강건한 가려짐 처리: Depth 정보와 시간적 연속성을 기반으로 타겟 영역을 제한하고 가려짐을 라벨링하여, 완전 가려진 프레임에서도 객체의 위치와 형태를 추론할 수 있도록 설계했습니다.
4. 오픈 소스: 모델과 코드를 공개하여 커뮤니티의 후속 연구를 장려합니다.

4. 실험 결과 (Results)

• 데이터셋: TAO-Amodal (실제 비디오 데이터셋) 의 커스텀 벤치마크 (첫 프레임에서 객체가 완전히 보이는 100 개 클립) 에서 평가되었습니다.
• 성능 비교:
  • 기존 방법들 (pix2gestalt, TCOW, SDAmodal, Amodal Expander 등) 과 비교하여 TABE 가 모든 지표 (AP@25, AP@50, AP@75) 에서 압도적인 성능을 보였습니다.
  • 특히, Amodal Expander 는 해당 클래스로 훈련된 모델임에도 불구하고 TABE 보다 성능이 낮았습니다. 이는 TABE 의 제로샷 일반화 능력의 우수성을 입증합니다.
  • SAM2 는 가시 영역만 예측하지만, 기존 Amodal 모델 (TCOW) 보다 오히려 Amodal 지표에서 더 좋은 성능을 보이는 경우가 있었는데, 이는 기존 Amodal 모델이 가려진 부분의 추론보다 가시 부분 추적에 의존했음을 시사합니다. TABE 는 이러한 문제를 해결하고 실제 Amodal 추론 능력을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 인간 인지 모방: 인간의 '객체 영속성 (Object Permanence)' 개념을 기계 학습 모델에 적용하여, 가려진 상황에서도 객체의 존재와 형태를 지속적으로 추적하고 예측할 수 있는 능력을 부여했습니다.
• 실용적 응용: 로봇 공학, 자율 주행, 증강 현실 (AR) 등 가려진 환경을 이해해야 하는 분야에서 객체 인식 및 추적의 정확도를 획기적으로 높일 수 있습니다.
• 데이터 의존성 해소: 방대한 Amodal 지상 진실 데이터가 필요하지 않고, 단일 프레임의 쿼리만으로 작동하므로 데이터 수집의 어려움과 비용 문제를 해결했습니다.
• 새로운 패러다임: 이미지/비디오 생성 모델 (Diffusion) 을 분할 (Segmentation) 과 추론 (Inference) 작업에 효과적으로 결합하는 새로운 접근법을 제시했습니다.

이 논문은 가려진 객체를 추적하고 완성하는 문제에서 기존 방법론의 한계를 극복하고, 생성형 AI 의 힘을 활용하여 강력한 제로샷 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.