VidEoMT: Your ViT is Secretly Also a Video Segmentation Model

이 논문은 복잡한 추적 모듈 없이 ViT 인코더만으로도 실시간 비디오 분할이 가능하도록, 이전 프레임의 쿼리를 재사용하고 새로운 쿼리와 융합하는 경량 메커니즘을 도입한 'VidEoMT'를 제안하여 기존 모델 대비 5~10 배 빠른 속도와 경쟁력 있는 정확도를 달성했다고 요약할 수 있습니다.

핵심

🎥 비디오 segmentation 의 비밀: "ViT 가 사실은 추적자였다?"

이 논문은 **"비디오 속 사물을 잘라내고 (분할), 그 사물이 다음 장면에서도 같은 사물인지 추적하는 작업"**을 훨씬 더 간단하고 빠르게 할 수 있는 새로운 방법, VidEoMT를 소개합니다.

기존의 복잡한 방법들을 버리고, **"단순함의 힘"**으로 승부한 이야기입니다.

---

1. 기존 방식: "정교한 공장"의 문제점

기존의 비디오 분할 모델들은 마치 거대한 공장처럼 작동했습니다.

• 분할 담당자 (Segmenter): 한 장의 사진에 있는 사물을 찾아서 잘라냅니다.
• 추적 담당자 (Tracker): "어, 저 사물이 다음 장면에서도 같은 사물일까?"라고 고민하며 복잡한 수학적 계산과 추가 장치를 동원해 사물을 쫓아다닙니다.
• 문제점: 이 두 담당자가 서로 다른 부서에서 일하며, 그 사이를 연결하는 **복잡한 컨베이어 벨트 (추적 모듈)**가 필요했습니다. 덕분에 정확도는 높았지만, 속도가 매우 느리고 컴퓨터 자원을 많이 잡아먹었습니다.

2. 새로운 아이디어: "한 명으로 모든 일을 해결하라"

저자들은 의문을 가졌습니다. "과연 이렇게 복잡한 공장이 정말 필요할까?"
그들은 거대하게 훈련된 **ViT(Vision Transformer)**라는 AI 모델을 주목했습니다. 이 모델은 수많은 이미지로 미리 학습되어 있어, 사물을 보는 눈이 매우 예리합니다.

저자는 **"이 예리한 눈만 있으면, 추적 담당자까지 겸할 수 있지 않을까?"**라고 생각했습니다.

3. VidEoMT 의 핵심 비법: "메모리 카드"와 "새로운 친구"

VidEoMT 는 복잡한 공장 장비를 다 치우고, 단 하나의 ViT 모델만 남겼습니다. 그런데 어떻게 추적은 할까요? 두 가지 간단한 비법이 있습니다.

🧩 비법 1: "메모리 카드 전달 (Query Propagation)"

• 상황: 이전 장면에서 '고양이'를 봤다면, 다음 장면에서도 그 고양이를 기억해야 합니다.
• 기존 방식: 복잡한 추적기를 통해 고양이의 특징을 분석하고 다음 장면으로 보내는 과정이 필요했습니다.
• VidEoMT 방식: "이전 장면에서 본 고양이 정보를 (질문 형태인 Query) 바로 다음 장면으로 쏙 전달합니다."
  • 마치 메모리 카드를 다음 장면에 꽂아주는 것처럼, 이전의 정보가 그대로 흘러가서 "아, 이 고양이는 계속 여기 있구나"라고 자연스럽게 인식하게 합니다.

🆕 비법 2: "새로운 친구 초대 (Query Fusion)"

• 문제: 만약 메모리 카드만 전달하면, **새로 등장한 사물 (예: 갑자기 튀어 나온 개)**은 어떻게 찾을 수 있을까요?
• VidEoMT 방식: 전달된 정보 (이전 장면의 고양이) 에 **새로운 친구들을 찾을 수 있는 '학습된 질문 (Learnable Queries)'**을 섞어줍니다.
  • "이전 고양이는 기억하고, 새로운 개도 찾아보자!"
  • 이 두 가지를 섞어서 (Fusion) ViT 에 넣으면, ViT 는 과거의 기억과 새로운 발견을 동시에 처리할 수 있게 됩니다.

4. 결과: "스피드 레이스"에서 압도적 승리

이 간단한 구조가 얼마나 강력한지 실험 결과로 증명했습니다.

• 속도: 기존 최고 성능 모델 (CAVIS) 보다 5 배에서 10 배 더 빠릅니다.
  • 기존 모델이 초당 15 장을 처리했다면, VidEoMT 는 초당 160 장을 처리합니다! (영화 한 장을 보는 동안 10 장 이상의 장면을 분석하는 속도)
• 정확도: 속도가 10 배 빨라졌는데, 정확도는 거의 떨어지지 않았습니다. 오히려 일부 기준에서는 더 좋기도 했습니다.
• 비유: 기존 방식이 고급 스포츠카라면, VidEoMT 는 경량 레이싱 카입니다. 엔진 (ViT) 만 믿고 불필요한 장비를 다 떼어냈더니, 오히려 더 빠르고 효율적이게 되었습니다.

5. 결론: "복잡함은 더 이상 필수불가결하지 않다"

이 논문의 핵심 메시지는 **"거대하고 잘 훈련된 AI 모델 (ViT) 이라면, 복잡한 추가 장치 없이도 비디오 속 사물을 잘라내고 추적할 수 있다"**는 것입니다.

• 과거: "추적을 하려면 복잡한 추적기가 필요하다."
• 현재 (VidEoMT): "아니, 그냥 잘 훈련된 AI 가 기억력을 발휘하면 추적도 자연스럽게 된다."

이 기술은 실시간 비디오 분석, 자율 주행, 스마트폰 앱 등 빠른 처리가 필요한 모든 분야에 혁신을 가져올 것으로 기대됩니다.

---

한 줄 요약:

복잡한 추적 장비를 다 버리고, "기억력"이 뛰어난 AI 하나만 남겼더니, 비디오 분할이 10 배 빨라졌고 정확도도 그대로 유지되었다! 🚀🐱🐶

기술 요약

1. 문제 정의 (Problem)

기존의 온라인 비디오 분할 (Video Segmentation) 모델들은 일반적으로 **프레임 단위 분할기 (Per-frame Segmenter)**와 **복잡한 전용 추적 모듈 (Specialized Tracking Modules)**을 결합하여 작동합니다.

• 현재의 한계: 이러한 접근 방식은 높은 정확도를 달성하지만, 아키텍처의 복잡성이 증가하고 계산 오버헤드가 커져 실시간 처리 속도가 느려집니다.
• 연구 동기: 최근 연구에 따르면, 대규모 데이터로 사전 학습된 일반적인 비전 트랜스포머 (ViT) 인코더는 특수한 모듈 없이도 이미지 분할을 정확하게 수행할 수 있습니다. 저자들은 비디오 분할 역시 복잡한 추적 모듈 없이, 강력한 사전 학습된 ViT 인코더만으로도 분할과 객체 추적 (Temporal Association) 을 동시에 수행할 수 있을 것이라고 가정했습니다.

2. 방법론 (Methodology)

저자는 **Video Encoder-only Mask Transformer (VidEoMT)**를 제안합니다. 이는 별도의 추적기 (Tracker) 나 복잡한 디코더 없이 단일 ViT 인코더 내에서 분할과 시간적 일관성을 모두 해결하는 아키텍처입니다.

핵심 구성 요소 및 전략

1. 단순화된 아키텍처 (Encoder-only Design):

   • 기존 SOTA 모델 (예: CAVIS) 의 복잡한 분할기 (ViT-Adapter, Mask2Former 디코더 등) 와 추적기 (ReID 레이어, 컨텍스트 인식 특징 등) 를 제거합니다.
   • 대신 EoMT (Encoder-only Mask Transformer) 방식을 기반으로 하여, 학습 가능한 쿼리 (Learnable Queries) 를 ViT 인코더의 마지막 레이어에 주입하고 직접 분할 예측을 수행합니다.

2. 쿼리 전파 (Query Propagation):

   • 인코더만으로는 시간적 연속성을 유지하기 어렵습니다. 이를 해결하기 위해 **이전 프레임의 객체 쿼리 (Track Queries)**를 현재 프레임의 ViT 인코더 입력으로 재사용합니다.
   • 이를 통해 추가적인 계산 비용 없이 프레임 간 정보 흐름을 가능하게 하여 시간적 일관성을 확보합니다.

3. 쿼리 퓨전 (Query Fusion):

   • 단순히 이전 쿼리만 전파하면 새로 등장하는 객체를 감지하지 못하는 문제가 발생합니다.
   • 이를 해결하기 위해 **전파된 쿼리 (Propagated Queries)**와 **새로운 학습 가능한 쿼리 (Learnable Queries)**를 선형 레이어를 거쳐 요소별 덧셈 (Element-wise Addition) 으로 결합합니다.
   • 이 전략은 과거의 시간적 맥락을 유지하면서도 새로운 객체 등장에 대한 적응성을 동시에 보장합니다.

4. 학습 전략:

   • 기존 Mask2Former 와 동일한 손실 함수 (분류용 Cross-entropy, 분할용 Binary Cross-entropy 및 Dice loss) 를 사용합니다.
   • 시간적 일관성을 위한 그라운드 트루 매칭 전략 (DVIS++ 방식) 을 적용하여, 객체가 처음 등장하는 프레임에서 쿼리에 매칭되고 이후 프레임에서는 동일 쿼리가 유지되도록 합니다.

3. 주요 기여 (Key Contributions)

1. VidEoMT 아키텍처 제안: 분할과 시간적 연관성을 단일 ViT 인코더 내에서 통합한 단순하고 효율적인 비디오 분할 모델을 제안했습니다.
2. 복잡한 모듈의 불필요성 입증: 충분히 크고 잘 사전 학습된 ViT 는 비디오 분할을 위한 특수한 추적 모듈 (트래커, ReID 레이어 등) 의 기능을 대체할 수 있음을 실험적으로 증명했습니다.
3. 압도적인 효율성 달성: 단순한 인코더 전용 아키텍처를 통해 SOTA 수준의 정확도를 유지하면서 기존 모델 대비 5 배에서 10 배 이상 빠른 속도 (최대 160 FPS) 를 달성했습니다.

4. 실험 결과 (Results)

논문은 YouTube-VIS 2019/2021/2022, OVIS, VIPSeg, VSPW 등 6 개의 주요 벤치마크에서 VidEoMT 를 평가했습니다.

• 속도 및 효율성:
  • ViT-Large 백본을 사용할 때, 기존 SOTA 모델 (CAVIS 등) 대비 약 10 배 이상 빠른 160 FPS를 기록했습니다.
  • 계산량 (FLOPs) 감소보다는 하드웨어 최적화 (Transformer 아키텍처의 효율성) 로 인한 실제 처리 속도 (FPS) 향상이 두드러졌습니다.
• 정확도:
  • YouTube-VIS 2019: CAVIS (AP 68.9) 대비 VidEoMT 는 AP 68.6으로 거의 동급의 정확도를 유지했습니다.
  • YouTube-VIS 2022: CAVIS (AP 39.5) 보다 높은 AP 42.6을 기록했습니다.
  • VPS (VIPSeg) 및 VSS (VSPW): 다른 비디오 분할 태스크에서도 경쟁력 있는 정확도를 유지하며 속도가 5~19 배 빨라졌습니다.
• 모델 크기의 영향:
  • 모델 크기가 커질수록 (ViT-S → ViT-B → ViT-L), VidEoMT 와 복잡한 모델 간의 정확도 격차가 줄어들며, ViT-L 기준 VidEoMT 는 작은 모델의 SOTA 보다도 정확도가 높으면서 훨씬 빠릅니다.
• 사전 학습의 중요성:
  • 대규모 사전 학습 (DINOv2, DINOv3, EVA-02) 을 사용할 때 VidEoMT 의 성능이 극대화되며, 작은 규모의 사전 학습 (ImageNet-1K) 에서는 성능 격차가 벌어집니다. 이는 강력한 사전 학습이 특수 모듈의 대체를 가능하게 함을 시사합니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 비디오 분할 분야에서 "분할기 + 추적기"라는 복잡한 분해 구조가 필수가 아님을 보여줍니다. 강력한 사전 학습된 비전 기초 모델 (VFM) 은 자체적으로 시간적 추론 능력을 학습할 수 있음을 입증했습니다.
• 실시간 응용 가능성: 160 FPS 의 처리 속도는 온라인 비디오 처리, 자율 주행, 실시간 모니터링 등 지연 시간이 중요한 다양한 응용 분야에서 혁신적인 변화를 가져올 수 있습니다.
• 간결함과 효율성: 불필요한 모듈을 제거하고 단일 ViT 인코더로 통합함으로써, 하드웨어 최적화가 용이하고 에너지 효율적인 솔루션을 제공합니다.

요약하자면, VidEoMT는 복잡한 추적 모듈 없이도 강력한 사전 학습된 ViT 만으로 비디오 분할의 SOTA 성능을 달성하면서도 속도를 획기적으로 개선한 획기적인 연구입니다.