Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

이 논문은 비디오 시간적 위치 결정 (VTG) 작업에서 훈련 없이도 쿼리 관련 증거와 프레임 간 연결성을 보존하는 '의미론적 증거 할당' 전략을 통해 토큰 가지치기 효율성을 극대화하는 SemVID 프레임워크를 제안합니다.

핵심

🎬 배경: 왜 이 연구가 필요한가요?

상상해 보세요. 1 시간짜리 긴 다큐멘터리가 있고, AI 에게 **"누가 언제 창문으로 뛰어갔는지 찾아줘"**라고 요청했다고 칩시다.

기존의 AI 는 이 영상을 분석할 때, 영상의 모든 프레임 (화면) 을 1 초도 빠뜨리지 않고 다 확인합니다. 마치 수사관이 사건 현장의 모든 CCTV 영상을 1 초 단위로 쭉 보며 메모를 하는 것과 비슷하죠.

• 문제점: 영상 길이가 길어지면 AI 가 처리해야 할 데이터가 기하급수적으로 늘어납니다. 마치 수사관이 1000 장의 사진 중 900 장은 그냥 배경 (하늘, 벽) 이라는 걸 알면서도 다 확인해야 하는 꼴이라, 시간이 너무 오래 걸리고 비용이 많이 듭니다.

💡 해결책: SemVID (스마트한 증거 수집 팀)

이 논문은 **"불필요한 건 버리고, 중요한 것만 골라내자"**는 아이디어를 제시합니다. 하지만 단순히 '중요한 것'만 고르면 안 됩니다. 이유가 있어야 하죠.

저자들은 기존 방법들의 실수를 지적하며 두 가지 핵심 원칙을 세웠습니다.

1. 증거의 연속성 (Evidence Chain) 유지하기

• 기존 방법의 실수: "창문"이라는 단어와 가장 비슷한 장면 (예: 창문이 선명한 한 장) 만 골라냅니다. 하지만 사건은 시간의 흐름입니다. "창문으로 뛰어가는" 순간은 '달리는 모습' -> '손이 닿는 순간' -> '창문이 열리는 순간'으로 이어지는 연속된 이야기입니다.
• SemVID 의 접근: 중요한 순간 (사건 발생 직전과 직후) 을 놓치지 않으면서, 그 사이를 이어주는 연결 고리도 함께 챙깁니다. 마치 수사관이 핵심 증인 (사건 발생 순간) 만이 아니라, 사건이 어떻게 흘러갔는지 보여주는 중간 과정 (연결 고리) 도 함께 기록하는 것과 같습니다.

2. 세 가지 역할의 '정보 토큰' (Token) 으로 나누기

SemVID 는 영상을 분석할 때, 모든 화면을 똑같이 보는 게 아니라 세 가지 역할을 가진 '정보 조각'으로 나누어 선택합니다.

1. 주인공 토큰 (Object Tokens):
   • 역할: 질문의 핵심이 되는 사물을 잡습니다. (예: "창문", "사람", "가방")
   • 비유: 수사팀이 핵심 용의자나 증거물을 집중적으로 조사하는 것 같습니다. 중복된 사진은 버리고, 다양한 각도의 핵심 증거만 모읍니다.
2. 이동/연결 토큰 (Motion Tokens):
   • 역할: 장면이 변하는 순간, 움직임이 있는 부분을 잡습니다. (예: 사람이 뛰기 시작하는 순간, 손이 움직이는 순간)
   • 비유: 사건이 어떻게 진행되었는지 보여주는 '과도기' 기록입니다. 단순히 정지된 사진만 있으면 "어떻게 창문으로 갔는지"를 알 수 없죠. 이 토큰들은 사건과 사건을 이어주는 다리 (Bridge) 역할을 합니다.
3. 배경 토큰 (Context Tokens):
   • 역할: 전체적인 분위기나 배경을 유지합니다. (예: 방 전체, 벽)
   • 비유: 현장의 전체적인 맥락을 잊지 않게 해주는 '지휘관' 같은 역할입니다. 너무 많은 것을 잘라내면 "어디서 일어난 일인지"를 모를 수 있으니, 최소한의 배경은 남겨둡니다.

🚀 SemVID 가 어떻게 작동하나요? (간단한 과정)

1. 예산 나누기 (Budget Allocation):
   • 영상 전체를 다 볼 수 없으니, 어떤 구간에 더 많은 '관찰 시간'을 할당할지 정합니다.
   • 질문과 관련된 구간에 더 많은 시간을 주고, 그 사이를 이어주는 '변화'가 많은 구간에도 시간을 배분합니다. (예: "창문"이 나올 것 같은 구간 + 사람이 뛰어가는 구간)
2. 역할별 선택 (Token Selection):
   • 할당된 시간 안에서 위에서 말한 주인공, 이동, 배경 토큰들을 지능적으로 골라냅니다.
   • 특히 중복을 피합니다. (같은 창문 사진이 10 장 있으면 1 장만 고름)

🏆 결과: 얼마나 빨라졌나요?

이 방법을 적용한 결과, 놀라운 성과가 나왔습니다.

• 속도: 영상을 처리하는 속도가 약 5.8 배 빨라졌습니다. (비행기가 이륙 전 준비 시간을 1 시간에서 10 분으로 줄인 것과 비슷합니다.)
• 정확도: 처리하는 정보량을 87.5% 줄였음에도 (100 개 중 12.5 개만 남김), 정확도는 95% 이상 유지되었습니다.
• 핵심: 단순히 정보를 줄인 게 아니라, 연결고리가 끊어지지 않도록 지능적으로 골라냈기 때문에 가능한 일입니다.

📝 한 줄 요약

"긴 영상을 분석할 때, AI 가 모든 장면을 다 보지 않고도, '핵심 사건'과 '그 사이를 이어주는 흐름'을 똑똑하게만 골라내면, 속도는 6 배 빨라지고 정확도는 거의 떨어지지 않는다!"

이 연구는 앞으로 우리가 긴 영상을 검색하거나 요약할 때, AI 가 훨씬 빠르고 저렴하게 도와줄 수 있는 길을 열었습니다. 마치 수사관이 불필요한 서류는 다 버리고, 사건 해결에 꼭 필요한 증거와 흐름만 깔끔하게 정리해 주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 비디오 시간적 위치 결정 (Video Temporal Grounding, VTG) 은 긴 비정형 비디오 내에서 언어 쿼리와 관련된 사건의 시작 및 종료 시간을 찾는 작업입니다. 최근 비디오 - 언어 모델 (VLM) 을 활용하여 성능이 향상되었으나, 비디오를 수천 개의 패치 토큰으로 토큰화하고 어텐션 비용이 시퀀스 길이에 따라 2 차적으로 증가함에 따라 추론 비용이 매우 높습니다.
• 현황: 비디오 질문 답변 (VideoQA) 과 같은 작업에서는 훈련 없이 시각적 토큰을 가지치기 (Pruning) 하는 방법이 성공적으로 적용되었습니다. 그러나 이를 VTG 에 단순히 적용하면 성능이 급격히 저하됩니다.
• 근본적인 원인:
  • VideoQA: 단일 정보 프레임에서 답변이 가능한 경우가 많아, 시각적 중복성 (Redundancy) 만 제거하면 됩니다.
  • VTG: 사건의 경계 (Boundary) 를 정확히 파악하고 시간의 흐름에 따른 사건 진화를 추론하기 위해 시간적으로 일관된 증거 (Temporal Coherence) 와 프레임 간 연결성 (Cross-frame Connectivity) 이 필수적입니다.
  • 기존 가지치기 방법들은 중요한 경계 증거를 삭제하거나 프레임 간 연결 고리를 끊어, VTG 에 필요한 '증거 사슬 (Evidence Chain)'을 파괴합니다.

2. 제안 방법: SemVID (Methodology)

저자들은 VTG 에 특화된 두 가지 가지치기 원칙을 제시하고, 이를 기반으로 SemVID라는 훈련 없는 (Training-free) 가지치기 프레임워크를 제안합니다.

핵심 원칙

1. 증거 유지 (Evidence Retention, ER): 쿼리에 중요한 패치, 특히 사건 경계 부근의 증거를 보존해야 합니다.
2. 연결성 강도 (Connectivity Strength, CS): 장기적인 증거 집합을 위해 토큰 수준에서 프레임 간 연결성을 유지해야 합니다.

SemVID 의 작동 원리

SemVID 는 각 프레임에 대한 토큰 예산을 할당하고, 세 가지 역할 (Role) 을 가진 토큰을 선택하여 컴팩트하지만 일관된 토큰 서브셋을 구성합니다.

1. 프레임 수준 예산 할당 (Frame-Level Budget Allocation):

   • 단순히 균일하게 분배하는 대신, 쿼리 - 프레임 관련성 (Query-Frame Relevance) 과 프레임 간 변화 (Inter-frame Variation) 를 균형 있게 고려하여 각 프레임에 할당할 토큰 수를 결정합니다.
   • 이를 통해 긴 비디오에서 토큰이 없는 구간이 생기거나, 중요한 경계 구간이 과도하게 잘리는 것을 방지합니다.

2. 역할 인식 토큰 선택 (Role-Aware Token Selection):
   할당된 예산 내에서 세 가지 유형의 토큰을 선별합니다.

   • 객체 토큰 (Object Tokens): 쿼리와 관련된 다양한 증거를 보존합니다. 단순한 관련성 점수만으로는 중복된 객체가 선택될 수 있으므로, 최대 한계 관련성 (Maximal Marginal Relevance, MMR) 알고리즘을 사용하여 쿼리 관련성과 비중복성 (다양성) 을 동시에 최적화합니다.
   • 모션 토큰 (Motion Tokens): 상태 전환 (State Transitions) 을 포착하고 프레임 간 중계 (Relay) 역할을 합니다. 시간적 특징의 변화가 큰 영역을 식별하되, 쿼리 관련성과 결합하여 배경의 불필요한 움직임은 필터링합니다. 이는 증거 사슬의 연결성을 강화합니다.
   • 컨텍스트 토큰 (Context Tokens): 장면의 연속성을 유지하기 위한 안정적인 앵커 역할을 하는 소수의 토큰입니다. 장면의 전반적인 맥락을 제공하여 과도한 가지치기로 인한 추론 단절을 방지합니다.

3. 주요 기여 (Key Contributions)

1. VTG 특화 가지치기 원칙 정립: VTG 에서는 단순한 정보 압축이 아닌, 증거 유지 (ER) 와 연결성 강도 (CS) 가 성능의 핵심임을 규명했습니다.
2. SemVID 프레임워크 제안: 훈련 없이 적용 가능하며, 역할 인식 (Role-aware) 토큰 선택을 통해 위 두 가지 목표를 명시적으로 최적화하는 새로운 방법을 제시했습니다.
3. 성능 - 효율성 트레이드오프 달성: 기존 가지치기 방법들 (VisionZip, FastVID 등) 보다 낮은 토큰 비율에서도 VTG 정확도를 크게 유지하며, 추론 속도를 획기적으로 개선했습니다.

4. 실험 결과 (Results)

• 벤치마크: Charades-STA, ActivityNet-Grounding 등 주요 VTG 벤치마크에서 Qwen3-VL, Qwen2.5-VL, LLaVA-OneVision 등 다양한 모델로 평가했습니다.
• 정확도:
  • 12.5% 토큰 유지 시: 원래 mIoU 의 95.4% 를 유지하며, 기존 최선 방법 (SOTA) 들을 압도했습니다. (예: Qwen3-VL-4B 기준, VisionZip 은 49.3%, FastVID 는 82.2% 유지에 그침)
  • 25% 토큰 유지 시: 거의 손실 없는 압축 (96.9% mIoU 유지) 을 달성했습니다.
• 효율성:
  • Prefill 속도: 원본 대비 5.8 배 의 가속화를 달성했습니다.
  • 메모리: 긴 비디오 처리 시 다른 방법들 (FastV 등) 이 OOM (Out-of-Memory) 에 빠지는 반면, SemVID 는 경량화된 유사도 계산을 통해 안정적으로 실행되었습니다.
• 지표 분석: SemVID 가 높은 ER(증거 유지) 과 CS(연결성) 지수를 기록한 것이 높은 VTG 성능의 직접적인 원인임을 증명했습니다. 특히 모션 토큰이 프레임 간 연결성을 유지하는 데 결정적인 역할을 함을 어블레이션 연구를 통해 확인했습니다.

5. 의의 및 결론 (Significance)

• VTG 의 실용성 제고: 긴 비디오를 처리할 때 발생하는 계산 비용 장벽을 해결하면서도, VTG 에 필수적인 시간적 추론 능력을 보존하는 실용적인 솔루션을 제공합니다.
• 증거 사슬의 중요성 강조: 단순한 토큰 삭제가 아닌, '어떤 토큰이证据 (Evidence) 로서 어떤 역할 (객체, 모션, 컨텍스트) 을 하는지'를 고려한 구조화된 가지치기의 필요성을 입증했습니다.
• 범용성: VTG 에 최적화되었지만, VideoQA 작업에서도 우수한 성능을 보여주어 다양한 비디오 - 언어 이해 작업에 적용 가능한 범용 가지치기 전략임을 시사합니다.

결론적으로, 이 논문은 SemVID를 통해 훈련 없는 토큰 가지치기가 VTG 에서 단순히 속도를 높이는 것을 넘어, 시간적 증거 사슬 (Evidence Chain) 을 유지함으로써 정확도까지 향상시킬 수 있음을 보여주었습니다.