기술 요약: 시간적 행동 국소화를 위한 마스킹 확산 비전-언어 모델

문제 정의

시간적 행동 국소화 (TAL) 는 정제되지 않은 비디오 내에서 목표 이벤트를 인식하고 그 시작 및 종료 시간을 정확하게 국소화하는 것을 요구합니다. 최근 비전-언어 모델 (VLM) 은 의미론적 추론과 언어 조건부 출력을 개선했지만, 일반적으로 자기회귀 (AR) 디코더에 의존합니다. 이러한 AR 모델은 토큰을 엄격하게 왼쪽에서 오른쪽으로 생성하므로 구조적 한계가 발생합니다: 일단 토큰 (예: 타임스탬프 경계) 이 생성되면 미래의 의미론적 맥락에 기반하여 수정될 수 없습니다. 이 "왼쪽에서 오른쪽으로의 고착"은 모델이 시간적 경계와 의미론적 설명을 공동으로 정제하는 것을 방해하여, 특히 엄격한 시간적 교차율 (tIoU) 기준 하에서 최적이지 않은 정밀도를 초래합니다.

기존 접근법은 TAL 을 시각적 제안 분류/회귀 작업 (언어 사전 지식 부재) 으로 취급하거나 AR 기반 VLM 을 사용 (양방향 정제 부재) 합니다. 전체 응답 시퀀스 (의미론적 텍스트와 시간적 경계 모두 포함) 가 생성 과정에서 계속 편집 가능하도록 허용하는 프레임워크가 필요합니다.

방법론: MDVLM-TAL

저자들은 TAL 작업에 **마스킹 확산 비전-언어 모델 (MDVLMs)**을 적용한 MDVLM-TAL 프레임워크를 제안합니다. 자기회귀 생성 대신, 이 모델은 완전히 마스킹된 응답으로 시작하여 양방향 어텐션을 사용하여 토큰을 반복적으로 노이즈 제거합니다. 이를 통해 의미론적 토큰과 경계 시간 토큰이 최종 단계까지 공동으로 정제될 수 있습니다.

표준 마스킹 확산과 TAL 작업 간의 특정 불일치를 해결하기 위해 저자들은 세 가지 주요 기술 구성 요소를 도입합니다:

1. 아키텍처 개요

시스템은 표준 Video-LLM 설계를 따릅니다:

• 인코더: 고정된 비전 인코더 (SigLIP) 와 텍스트 인코더가 입력 비디오와 쿼리를 처리합니다.
• 압축기: 학습 가능한 토큰 압축기가 시각 토큰의 차원을 축소합니다.
• 백본: 마스킹 확산 언어 모델 (LLaDA-8B 기반) 이 노이즈 제거기로 작동합니다.
• 맥락: 비디오 토큰, 텍스트 토큰, 특수 경계 토큰이 멀티모달 맥락으로 연결됩니다. 모델은 각 확산 단계 $t$에서 깨끗한 토큰 분포 $p_\theta(x_0 | x_t, C, t)$를 예측합니다.

2. 계획된 훈련 목표

표준 마스킹 확산은 모든 위치를 무작위로 균일하게 손상시킵니다. 그러나 저자들은 TAL 에서 경계 토큰 (타임스탬프) 은 충분한 의미론적 맥락이 복구된 후에만 신뢰할 수 있음을 관찰했습니다. 추론 동작과 훈련을 정렬하기 위해 그들은 다음을 제안합니다:

• 경계 인식 마스킹: 순방향 손상 과정에서 시간적 경계 토큰을 의미론적 토큰보다 더 오래 마스킹 상태로 유지하는 정책입니다. 이는 확산 단계 초기에 경계 토큰이 노출될 확률이 낮도록 유형별 유지 확률을 정의함으로써 달성됩니다.
• 단계 가중 재구성: 재구성 손실은 미세한 시간적 단서가 중요한 낮은 노이즈 단계 (역과정의 후반부) 에 더 높은 가중치를 두어, 모델이 시간 토큰의 "늦은 노출" 동작을 연습하도록 보장합니다.

3. 단계별 IoU 보상

표준 교차 엔트로피 손실은 토큰 식별 오류를 동일하게 패널티 부과하여, 정답이 $\langle t_{43} \rangle$일 때 $\langle t_{47} \rangle$와 $\langle t_0 \rangle$ 예측을 구별하지 못합니다. 이를 해결하기 위해 저자들은 중첩 인식 감독 신호를 도입합니다:

• 소프트 IoU 점수: 각 노이즈 제거 단계에서 모델은 토큰 분포에서 유도된 예상 시작 및 종료 위치를 기반으로 소프트 중첩 점수를 계산합니다.
• 게이트 메커니즘: IoU 보상은 시작 및 종료 경계 토큰이 모두 노출된 후에만 활성화되어 불완전한 세그먼트로부터의 노이즈 있는 감독을 방지합니다.
• 통합 목표: 최종 손실은 표준 교차 엔트로피, 계획된 훈련 손실, 그리고 IoU 보상을 결합하여 역방향 노이즈 제거 궤적 중 시간적 중첩의 단조로운 개선을 장려합니다.

주요 기여

1. 정식화: 이 논문은 TAL 을 마스킹 확산 시퀀스 생성 작업으로 정식화하여, 고정된 왼쪽에서 오른쪽으로의 디코딩 대신 의미론적 및 경계 토큰의 양방향 정제를 가능하게 합니다.
2. 계획된 훈련 목표: 추론 역동성과 일치하도록 의미론적 토큰에 비해 시간 토큰의 복구를 지연시키기 위해 경계 인식 마스킹과 단계 가중 재구성을 사용하는 새로운 훈련 전략입니다.
3. 단계별 IoU 보상: 중간 노이즈 제거 상태에 중첩 인식 감독을 주입하여 시간적 국소화 정밀도를 개선하는 업데이트에 보상을 제공하는 메커니즘입니다.
4. 실증적 성능: 이 방법은 자기회귀 VLM 베이스라인과 전문화된 판별 TAL 검출자 모두보다 우수한 성능을 입증했습니다.

실험 결과

이 모델은 ActivityNet-1.3, THUMOS-14, ActivityNet-RTL의 세 가지 벤치마크에서 평가되었습니다.

• 클로즈드 세트 국소화 (ActivityNet-1.3 및 THUMOS-14): MDVLM-TAL(8B 백본 사용) 은 최첨단 판별 검출기 (예: TriDet, CLTDR) 와 생성 베이스라인 (DiffTAD) 을 능가했습니다. 특히 엄격한 tIoU 임계값 (예: 0.7 및 0.95) 에서 가장 높은 평균 정밀도 (mAP) 를 달성하여 우수한 경계 정밀도를 나타냈습니다.
• 추론 기반 국소화 (ActivityNet-RTL): 이 모델은 더 작은 8B 백본을 사용함에도 불구하고 국소화 품질 (mIoU) 과 설명 품질 (Score) 모두에서 가장 강력한 이전 Video-LLM 베이스라인 (LITA-13B) 을 능가했습니다.
• 어블레이션 연구:
  • 계획된 훈련: 의미론적 토큰 이후에 시간 토큰을 노출시키는 것 (추론 우선 일정) 은 초기에 노출시키는 것보다 더 높은 mIoU 를 산출했습니다.
  • 게이팅: IoU 보상은 두 경계 토큰이 모두 존재한 후에만 활성화되도록 게이트될 때 가장 효과적이었습니다.
  • 손실 균형: 계획된 훈련, 게이트된 IoU 보상, 전체 시퀀스 교차 엔트로피의 조합은 상호 보완적인 이점을 제공했으며, 전체 모델이 최상의 결과를 달성했습니다.

중요성과 주장

이 논문은 MDVLM-TAL 이 대규모 언어 모델의 맥락 이해 능력과 행동 국소화의 정확한 시간적 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 전체 응답이 편집 가능한 구조화된 시퀀스 생성 문제로 국소화를 재정의함으로써, 모델은 의미론적 증거와 시간적 증거가 서로를 정제할 수 있도록 합니다.

저자들은 국소화 품질이 최종 출력뿐만 아니라 노이즈 제거 궤적에도 의존한다고 강조합니다. 제안된 "계획된 훈련"과 "단계별 IoU 보상"은 모델이 정확한 경계에 고착하기 전에 의미론적 맥락을 우선시하도록 학습하도록 보장합니다. 이 접근법은 국소화, 캡션 작성, 추론이 분리된 모듈이 아닌 단일 양방향 정제 생성 과정의 일부로 취급되는 통합된 비디오-언어 모델 클래스를 지향합니다. 이러한 결과는 자기회귀 제약에서 벗어나는 것이 생성형 비디오 이해에서 시간적 정밀도를 개선할 수 있는 실현 가능한 경로임을 시사합니다.