기술 요약: 근거 기반 긴 영상 질의응답을 위한 VideoTreeSearch (VTS)

1. 문제 정의

본 논문은 모델이 긴 영상에 대한 질문에 답하는 동시에, 그 답변을 뒷받침하는 짧은 시간적 구간(증거)을 동시에 찾아내야 하는 근거 기반 긴 영상 질의응답(Grounded Long Video Question Answering, Grounded LVQA) 문제를 다룹니다.

기존의 에이전트 방식들은 일반적으로 단일 연속 동작인 crop_video(start, end)를 사용하는 다회차 탐색으로 이 문제를 프레임화합니다. 저자들은 이러한 방법들에서 두 가지 결정적인 구조적 결함을 식별했습니다:

1. 비대칭적 액션 공간 (Asymmetric Action Space): 크로핑(cropping)은 자연스럽게 탐색 범위를 좁히지만(coarse-to-fine), 미세 단계에서 거친 단계로 되돌아가는(fine-to-coarse) 원시 동작(primitive)이 부족합니다. 에이전트가 잘못된 영역을 선택하면 쉽게 회복할 수 없으며, 이는 조기 수렴으로 이어집니다.
2. 평면적 탐색 공간 (Flat Search Space): 연속적인 타임스탬프 회귀(regression)는 에이전트가 영상의 계층적 분해 없이 가공되지 않은 픽셀로부터 증거를 국지화하도록 강제합니다. 이는 탐색 공간을 체계적이지 않게 만들며, 일관된 세그먼트가 어디에 위치하는지에 대한 의미론적 사전 지식(semantic priors)을 결핍하게 합니다.

결과적으로, 기존 방법들은 초기 실수로부터 회복하는 데 실패하거나, 관련 증거가 전체 지속 시간 중 아주 작은 부분만을 차지하는 긴 영상에서 정밀한 국지화에 어려움을 겪습니다.

2. 방법론: VideoTreeSearch (VTS)

저자들은 **VideoTreeSearch (VTS)**를 제안하며, 이는 Grounded LVQA를 적응형 시간 트리(adaptive temporal tree) 상에서의 반복적이고 자기 수정적인 탐색으로 재정의합니다.

2.1 적응형 시간 트리 구축

균등한 프레임 샘플링 대신, VTS는 의미론적으로 일관된 비디오 세그먼트에 대응하는 노드를 갖는 비균등 트리를 구축합니다.

• 경계 검출 (Boundary Detection): 트리는 CLIP 임베딩을 사용하여 시각적 장면 변화를 감지함으로써 구축됩니다. 주어진 세그로에 대해 1 fps로 프레임을 샘플링하고, 연속된 임베딩 간의 코사인 유사도를 계산합니다. 시각적 변화가 적응형 임계값을 초과하는 지점에 경계를 배치합니다.
• 구조 (Structure): 루트(root)는 전체 영상을 나타냅니다. 중간 노드는 거친 입도의 세그먼트이며, 리프(leaf) 노드는 미세한 입도의 후보들입니다. 한 노드의 자식 노드들은 해당 부모 구간의 겹치지 않는 분할(partition)을 형성합니다.
• 지연 실체화 (Lazy Materialization): 트리는 추론 중에 지연 방식으로 구축됩니다. 탐색 공간을 작게 유지하기 위해 방문한 노드의 루트와 자식 노드들만 실체화됩니다.

2.2 트리 기반 액션 공간 (Tree-Grounded Action Space)

에이전트는 탐색과 자기 수정을 명시적으로 분리하여 네 가지 이산적 연산을 통해 트리를 탐색합니다:

1. zoom_in(c): $c$번째 자식 세그먼트로 내려갑니다 (coarse-to-fine 좁히기).
2. zoom_out(): 부모 노드로 올라갑니다 (fine-to-coarse 되돌아가기).
3. shift(s): 동일한 부모 아래에 있는 $s$번째 형제(sibling)로 이동합니다.
4. answer(ŷ, [ts, te]): 최종 답변과 국지화된 증거 구간과 함께 탐색을 종료합니다.

이 설계는 되돌아가기(backtracking)를 암묵적이고 어려운 행동에서 명시적이고 학습 가능한 원시 동작으로 전환합니다.

2.3 학습 파이프라인

학습에는 올바른 경로뿐만 아니라 실수를 통한 회복을 위한 지도 학습도 필요한데, 이는 표준 데이터셋에는 존재하지 않습니다. 저자들은 **궤적 합성 파이내라인(trajectory synthesis pipeline)**을 도입합니다:

• 합성 (Synthesis): 컨트롤러는 잘못된 브랜치로 의도적인 우회(detour)를 한 후 회복(zoom_out 및 shift 사용)하는 궤적을 생성합니다.
• 지도 미세 조정 (SFT): 에이전트는 이러한 궤적을 모방하도록 학습됩니다. 결정적으로, 손실(loss)은 선택적으로 적용됩니다. 모델은 전체 "우회 및 회복" 시퀀스를 컨텍스트로 관찰하지만, 오직 바람직한 움직임(올바른 zoom-in, 회복 동작, shift)에 대해서만 감독을 받습니다. 궤적 내의 의도적인 실수는 컨텍스트 역할을 하지만 손실 계산에서는 마스킹됩니다.
• 강화 학습 (RL): SFT 이후, 정책은 국지화 정확도(Temporal IoU)와 답변 정확도에 기반한 보상을 사용하는 GRPO를 통해 정교화됩니다.

3. 주요 기여

1. 프레임워크: 연속적 회귀가 아닌 의미론적 트리 상의 계층적 탐색으로 Grounded LVQA를 규정한 VTS를 도입했습니다.
2. 액션 프리미티브: 이전의 크로핑 방식의 비대칭성을 해결하기 위해 되돌아가기와 자기 수정을 명시적으로 가능하게 하는 이산적 zoom_in, zoom_out, shift 액션을 제안했습니다.
3. 학습 전략: "우회 및 회복" 궤적을 생성하여, 에이전트가 실제 정답 데이터에는 없는 회복 패턴을 학습할 수 있게 하는 새로운 궤적 합성 파이프라인을 제공했습니다.
4. 실증적 검증: 명시적인 계층적 탐색과 되돌아가기가 긴 영상 작업의 성능을 향상시키는 핵심 메커즘임을 입증했습니다.

4. 실험 결과

VTS는 세 가지 Grounded LVQA 벤치마크(CG-Bench, Haystack-LVBench, Haystack-Ego4D)와 세 가지 일반적인 긴 영상 QA 벤치마크(Video-MME, MLVU, LVBench)에서 평가되었습니다.

Grounded LVQA 성능

• CG-Bench: VTS는 16.8 mIoU와 36.4% 정확도를 달성하여, 가장 강력한 이전 에이전트 베이스라인인 LongVT보다 +12.5 mIoU 및 +19.0 정확도 높게 나타났습니다.
• Haystack-Ego4D: VTS는 18.4 T-F1 및 66.1% 정확도를 달성하여, 최상의 베이스라인보다 +7.4 T-F1 앞섰습니다.
• 효율성: 우수한 성능에도 불구하고, VTS는 균등 샘플링 베이스라인(384 프레임)이나 캡셔너-LLM 에이전트(450 프레임)보다 평균적으로 더 적은 프레임(328 프레임)을 처리했습니다.

일반 긴 영상 QA 전이 (General Long-Video QA Transfer)

학습된 탐색 정책은 명시적인 grounding 학습 없이도 일반 QA 작업으로 전이되었습니다:

• VTS는 Video-MME, MLVU, LVBench에서 모든 이전 에이전트 베이스라인을 능가했으며, LVBench에서는 최대 +7.1 정확도 포인트의 이득을 보였습니다.

절제 연구 (Ablation Studies)

• 되돌아가기 (Backtracking): zoom_out과 shift를 제거했을 때(되돌아가기 불가) 모든 지표에서 성능이 크게 저하되어, 자기 수정이 매우 중요하다는 것을 확인했습니다.
• 트리 vs 평면 (Tree vs. Flat): 계층적 트리를 균등한 세그먼트의 평면적 트리로 교체했을 때 QA 정확도가 저하되어, 다중 스케일 탐색의 가치를 입증했습니다.
• 궤적 합성 (Trajectory Synthesis): "우회 및 회복" 궤적으로 학습하는 것이 최적 경로만을 통한 학습보다 훨씬 높은 성능(+6.4 mIoU)을 보였습니다.

5. 의의 및 주장

본 논문은 **긴 영상에 대한 탐색을 적응형 트리로 구조화하는 것이 긴 호흡의 영상 추론을 위한 유용한 귀납적 편향(inductive bias)**이라고 주장합니다. 주요 의의는 "연속적 회귀"에서 "이산적 탐색"으로 패러다임을 전환했다는 점에 있으며, 이를 통해 다음을 달성했습니다:

1. 탐색과 수정의 분리: 되돌아가기를 암묵적이고 불안정한 능력이 아닌, 명시적이고 학습 가능한 행동으로 만들었습니다.
2. 의미론과의 정렬: 시각적 장면 경계에 탐색을 근거함으로써, 모델이 임의의 타임스탬프가 아닌 의미론적으로 일관된 단위 위에서 추론하게 합니다.
3. 회복 가능성 확보: 잘못된 하강(descent)을 명시적으로 "취소"할 수 있는 능력은, 단 한 번의 실수가 돌이킬 수 없는 맥락 손실로 이어질 수 있는 긴 영상 환경에서 에이전트가 오류를 처리할 수 있게 합니다.

저자들은 VTS가 주로 증거 국지화를 위해 학습되었지만, 트리 기반 탐색 정책이 더 넓은 범위의 긴 영상 이해 작업에 효과적으로 일반화된다는 점을 들어, 계층적이고 자기 수정적인 탐색 메커니즘이 광범위한 영상 추론에 유익함을 시사하며 결론을 맺습니다.