💻 computer science

Your VLM Already Knows When: Training-Free Temporal Grounding by Asking Yes or No

이 논문은 직접적인 타임스탬프 회귀를 거친 후 정교해지는 이진 질문 전략으로 대체함으로써 기존 모델들을 크게 능가하는 학습이 필요 없는 템포럴 그라운딩 방법인 FV-Action을 소개하며, 이를 통해 VLM의 실패가 지각적 한계가 아닌 태스크 인터페이스에서 기인한다는 점을 밝혀낸다.

원저자: Ji Huang, Barry Devereux, Hui Wang

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ji Huang, Barry Devereux, Hui Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 비디오를 보고 무슨 일이 일어나고 있는지 정확하게 말해줄 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 만약 당신이 "강아지가 공을 쫓아가고 있나요?"라고 물으면, 이 친구는 완벽한 자신감을 가지고 "네!"라고 대답할 것입니다. 이것이 바로 **멀티모달 거대 언语言 모델(VLM)**의 세계입니다. 이미지를 보고 텍스트를 읽어 이를 결합하여 세상을 이해하는 컴퓨터들이죠. 하지만 이 직업에는 '시간적 비디오 그라운딩(Temporal Video Grounding)'이라는 까다로운 부분이 있습니다. 단순히 무엇이 일어나고 있는지를 아는 것뿐만 아니라, 그것이 언제 일어나는지를 알아야 하는 작업입니다. 편집되지 않은 긴 비디오에서 특정 사건의 정확한 시작 초와 종료 초를 지목해야 합니다. 마치 몇 가지 음을 흥얼거리는 것만으로 3시간짜리 믹스테이프에서 특정 노래를 찾아내는 것과 같습니다. 과학자들은 로봇에게 "12.5초에 시작해서 18.2초에 끝난다"와 같은 숫자를 내뱉도록 요청함으로써 이 일을 가르치려 노력해 왔습니다. 하지만 오랫동안 가장 똑똑한 로봇들조차 이 작업에 매우 서툴렀으며, 종종 터무니없는 숫자를 내놓거나 완전히 틀린 숫자를 말하면서도 매우 확신에 찬 태도를 보이곤 했습니다.

"당신의 VLM은 이미 알고 있다"라는 제목의 이 논문은 왜 이 로봇들이 시간을 말하는 데 실패하는지를 조사하고 놀라울 정도로 간단한 해결책을 발견했습니다. 저자들은 문제가 로봇이 '눈이 멀었거나' 비디오를 이해하지 못해서가 아니라는 것을 발견했습니다. 문제는 로봇에게 던지는 질문에 있었습니다. 로봇에게 특정 소수점 숫자를 '회귀(regression, 계산)'하라고 요구하는 것은, 사람에게 온도계 없이 커피의 정확한 온도를 맞혀보라고 하는 것과 같습니다. 아마도 그럴듯한 숫자를 추측할 수는 있겠지만, 그것은 그저 추측일 뿐입니다. 대신, 연구진은 로봇에게 비디오의 짧은 클립들에 대해 단순한 "예/아니오" 질문을 던지면("이 클립이 강아지가 공을 쫓아가는 장면을 보여주나요?"), 로봇이 정확한 순간을 포착하는 데 믿기 힘들 정도로 정확해진다는 것을 발견했습니다. 이 예/아니오 질문으로 비디오를 스캔하여 최적의 지점을 찾아냄으로써, 연구진은 로봇에게 새로운 것을 가르치지 않고도 한 주요 테스트에서 로봇의 정확도를 형편없는 3.8%에서 엄청난 56.8%로 끌어올렸습니다.

자신만만하게 틀리는 로봇의 미스터리

이야기는 좌절스러운 관찰에서 시작됩니다. 연구진이 강력한 비디오 모델들에게 사건이 언제 일어났는지 물었을 때, 모델들은 종종 완전히 틀린 답을 내놓았습니다. 하지만 이상한 점은, 모델들이 자신만만하게 틀렸다는 것입니다. AI의 세계에서 우리는 보통 모델이 불확uncertainty(불확실성)가 낮으면 실수를 할 수도 있다고 생각합니다. 하지만 이 모델들은 틀렸을 때조차 '불확실성'(기술적으로는 매우 확신하고 있다는 의미)이 매우 낮았습니다. 마치 학생이 수학 시험을 보면서 2+2=5라고 100% 확신하며 답을 적는 것과 같았습니다. 연구진은 모델의 자체적인 '신뢰도'를 이용해 이러한 오류를 잡아낼 수 있는지 테스트했지만, 작동하지 않았습니다. 모델들이 틀린 답에 대해서도 너무나 확신했기에, 어떤 '신뢰도 체크'로도 정답과 오답을 구분해 낼 수 없었습니다.

이는 저자들에게 큰 깨달음을 주었습니다. 로봇은 사건을 보지 못해서 실패한 것이 아니었습니다. 로봇이 실패한 이유는 어떻게 답변하도록 요구받았는지 때문이었습니다.

마법의 스위치: "숫자 맞히기"에서 "예/아니오 게임"으로

이 논문은 실패의 원인이 인터페이스, 즉 우리가 로봇에게 말을 거는 방식에 있다고 주장합니다.

기존 방식 (회귀): 우리는 로봇에게 소수점 타임스탬프(예: "12.45초")를 생성하라고 요청합니다. 문제는 이러한 구체적인 숫자들이 로봇이 학습한 데이터에 자주 등장하지 않는다는 점입니다. 그래서 질문을 받으면, 로봇은 시각적 증거가 아니라 언어적 패턴에 기반하여 그럴싸해 보이는 숫자를 추측하는 방식으로 돌아갑니다. 이는 누군가에게 미스터리 박스의 정확한 무게를 맞춰보라고 하는 것과 같습니다. 그들은 실제 무게를 재는 것이 아니라, 그냥 "5.2파운드"라고 말할 수도 있는데, 왜냐하면 그것이 합리적인 추측처럼 들리기 때문입니다.
새로운 방식 (이진 VQA): 연구진은 다른 접근 방식을 시도했습니다. 로봇에게 숫자를 요구하는 대신, 비디오의 짧은 클립들에 대해 단순한 예 또는 아니오 질문을 던졌습니다: "이 클립이 해당 사건을 보여줍니까?"

그들은 범죄 현장을 스캔하는 탐정처럼 작동하는 FV-Action이라는 시스템을 구축했습니다.

거친 스캔 (Coarse Scan): 시스템은 비디오를 넓게 조망하며, 비디오를 덩어리로 나누고 로봇에게 "이 덩어리에 사건이 일어나고 있습니까?"라고 묻습니다.
정밀 스캔 (Fine Scan): "예"라는 답변을 얻은 덩어리를 찾으면, 시스템은 그 영역으로 줌인하여 더 작고 정밀한 덩로 나누어 다시 동일한 질문을 던집니다.
승자: 시스템은 정확한 "예" 점수(예: 0.85와 0.86의 차이)에는 관심이 없습니다. 오직 **순위 매기기(ranking)**에만 집중합니다. 어떤 덩어리가 가장 강력한 "예"를 얻었습니까? 바로 그곳이 사건이 일어난 곳입니다.

결과는 충격적이었습니다. 숫자를 묻는 것에서 예/아니오 질문을 던지는 것으로 전환했을 때, 정확도가 폭발적으로 상승했습니다. 한 모델(InternVL2-8B)의 경우, 점수가 **3.8%에서 53.4%**로 뛰었습니다. 또 다른 모델(Qwen2.5-VL-7B)의 경우, **28.4%에서 56.8%**로 올랐습니다. 이는 로봇의 '두뇌'(모델 가중치)가 전혀 변하지 않은 상태에서도 일어난 일이었습니다. 그들은 로봇에게 새로운 데이터를 학습시키지 않았습니다. 단지 그들이 하는 게임의 규칙을 바꿨을 뿐입니다.

여전히 완벽하지 않은 두 가지 이유

이 엄청난 개선에도 불구하고, 시스템은 완벽하지 않습니다. 저자들은 남은 실수들을 마치 기계의 두 개의 톱니바퀴처럼 두 가지 뚜렷한 카테고리로 분류했습니다.

인지 축 (The Perception Axis - "눈"): 때때로 로봇은 사건을 명확하게 보지 못합니다. 비디오가 흐릿하거나 동작이 매우 미묘하다면, 로봇은 맞는 클립과 틀린 클립을 구분하지 못할 수 있습니다. 이는 전적으로 로봇의 '시각' 능력이 얼마나 좋은지에 달려 있습니다. 더 똑똑한 로봇 모델로 교체한다면 이 부분은 자동으로 개선됩니다.
기하학 축 (The Geometry Axis - "자"): 이것은 시각의 문제가 아니라 수학의 문제입니다. 시스템은 특정 지점을 선택하고 그 주변에 고정된 크기의 창(예: 20초짜리 박스)을 그립니다. 만약 찾고자 하는 사건이 5초 동안만 지속되는데 박스가 20초라면, 박스는 너무 커지게 되고, 수학적으로는 당신이 실패한 것으로 간 정해집니다. 설령 당신이 정확한 지점을 찾았더라도 말이죠. 저자들은 이 실패가 예측 가능하다는 것을 보여주었습니다. 사건의 크기와 당신의 박스 크기를 안다면, 단순한 나눗셈만으로도 당신이 얼마나 자주 실패할지 정확히 계산할 수 있습니다.

핵심 요약

이 논문은 "마법"이 로봇을 더 똑똑하게 만드는 데 있었던 것이 아니라, 올바른 질문을 던지는 것에 있었다고 결론짓습니다. 로봇이 스스로 생성할 줄 모르는 숫자를 추측하게 만드는 것을 멈추고, 대신 "예/아니오"를 판단하는 본연의 능력을 사용하게 함으로써, 연구진은 로봇이 이미 가지고 있던 숨겨진 재능을 끌어냈습니다.

또한, 로봇이 숙련되기 위해 수년간 훈련받을 필요는 없다는 것도 보여주었습니다. 그저 예/아니오 질문을 통해 "뜨겁다/차갑다(Hot or Cold)" 게임을 하도록 만들면 됩니다. 이 시스템이 여-긴 비디오에서 매우 짧은 사건을 다루는 데 여전히 어려움을 겪고 있지만(기하학 문제 때문에), 이는 로봇이 무언가가 언제 일어나는지 이해하는 데 있어 가장 큰 장벽이 지식의 부족이 아니라, 단지 잘못된 인터페이스라는 것을 입증합니다. 때로는 슈퍼 인텔리전트 로봇을 고치는 가장 좋은 방법은, 로봇에게 수학을 시키는 것이 아니라 단순한 게임을 하도록 요청하는 것입니다.

기술 요약: 당신의 VLM은 이미 알고 있다: '예/아니오' 질문을 통한 학습 없는 시공간적 근거 제시 (Temporal Grounding)

1. 문제 정의

시공간적 비디오 근거 제시(Temporal Video Grounding, TVG)는 긴 비디오 내에서 자연어 쿼리로 설명된 이벤트의 구체적인 시작 및 종료 타임스탬프 $[s, e]$ 를 찾아내는 것을 요구합니다. 멀티모달 거대 언어 모델(MLLM)은 시각적 추론에는 뛰어나지만, 소수점 형태의 타임스탬프를 직접 회귀(regression)하는 작업에서는 체계적으로 실패합니다.

본 논문은 결정적인 실패 모드를 식별했습니다:

확신에 찬 환각 (Confident Hallucination): 강력한 VLM(예: InternVL2-8B)은 타임스탬프를 요청받았을 때 매우 낮은 정확도(예: Charades-STA에서 R@0.5 기준 3.8%)를 보입니다. 결정적으로, 이러한 오류의 77~80%는 낮은 출력 엔트로피를 특징으로 하는 "확신에 찬" 오류입니다.
비효ive한 불확실성 탐지: 모델이 확신을 가지고 틀리기 때문에, 엔트로피 기반의 오류 탐지 메커니즘은 무작위 분류기보다 성능이 떨어집니다 (F1 < 0.36).
병목 현상: 이 실패는 지각 능력의 부족 때문이 아니라 포맷 불일치(format mismatch) 때문입니다. 사전 학습 코퍼스에는 언어 조건부 소수점 타임스탬프의 특정 분포가 부족하며, 이로 인해 모델은 언어적 사전 지식에 의존하여 그럴듯하지만 근거 없는 값을 생성하게 됩니다.

2. 방법론: FV-Action

저자들은 타임스탬프 회귀를 완전히 우회하는 학습이 필요 없는 프레임워크인 FV-Action을 제안합니다. 모델에게 숫자를 생성하라고 요구하는 대신, 모델의 기존 변별 능력을 활용하여 이진 질문(binary questions)을 판단하도록 합니다.

핵심 메커니즘

이 프레임워크는 동결된(frozen) VLM을 **"이 클립이 {query}를 보여주는가?"**라는 이진 질문에 답하는 측정 도구로 취급합니다.

파이프라인은 세 단계로 작동합니다:

조밀한 스캐닝 (Coarse Scanning):
- 비디오를 균등하게 배치된 중심점을 가진 $K_c$ 개의 클립으로 나눕니다.
- 각 클립은 5개의 프레임( $F=5$ , 대칭 추출)으로 표현됩니다.
- 동결된 백본은 각 클립에 대해 이진 VQA에 답합니다.
- 시스템은 첫 번째 생성된 토큰(Yes/No 표면 형태)의 로짓(logits)에서 확률 $P(\text{Yes})$ 를 읽습니다.
- 핵 핵심 통찰: 시스템은 절대적인 교정된(calibrated) 값보다는 비디오 내 클립들 간의 확률 **순위(ranking)**에 의존합니다. 이를 통해 교정이 제대로 되지 않은 모델도 효과적인 스캐너로 기능할 수 있습니다.
피크 국지화 (Peak Localization):
- 비최대 억제(Non-maximum suppression, NMS)를 통해 조밀한 확률 곡선에서 상위 $N_p$ 개의 후보 피크를 선택합니다.
- 정밀 스캔(Fine scan) 단계에서는 각 후보의 주변 영역을 $K_f$ 개의 추가 클립으로 재검사합니다.
- 결합 점수(조밀한 점수와 정밀한 점수의 기하 평균)를 통해 최종 피크 $t^*$ 를 선택합니다.
윈도우 생성 (Window Generation):
- 최종 출력은 $t^*$ 를 중심으로 하는 고정 너비의 윈도우 $W$ 입니다.
- $W$ 는 학습 데이터 통계에서 유도된 도메인 사전 지식(예: Charades-STA의 경우 8초, ActivityNet의 경우 80초)이며, 학습되는 것이 아닙니다.

설계 근거

학습 없음 (No Training): 백본은 동결된 상태를 유지하며, 시공간적 감독(temporal supervision)이나 미세 조정(fine-tuning)을 사용하지 않습니다.
교정보다 순위 (Ranking over Calibration): 이 방법은 모델이 정밀한 확률을 출력할 것을 요구하기보다, 클립들을 올바르게 정렬하는 능력(변별력)을 활용합니다.
균등 샘플링 (Uniform Sampling): 시각적 돌출도(salience)가 행동의 시작과 반드시 일치하지 않으므로, 프로브(probe)를 적응형이 아닌 균등하게 배치합니다.

3. 주요 기여

A. 시공간적 환각에 대한 진단 연구

본 논문은 MLLM의 시공전적 실패가 에피스테믹 불확실성(epistemic uncertainty)이 아닌 체계적인 포맷 환각임을 입증했습니다.

발견: 잘못된 예측의 77~80%가 낮은 엔트로피를 가집니다.
시사점: 신뢰도 임계값으로는 정답과 오답을 구분할 수 없습니다. 실패는 생성 인터페이스 자체에 내재되어 있습니다.

B. 인터페이스 병목 현상

동일한 동결 백본과 입력을 사용하여 통제된 실험을 통해, 저자들은 인터페이스가 제한 요소임을 증명했습니다.

결과: 타임스탬프 회귀를 이진 VQA 스캐닝으로 교체함으로써, 4개의 백본(InternVL2, Qwen2.5-VL, LLaVA-NeXT, mPLUG-Owl3) 전체에서 R@0.5를 28~50 퍼센트 포인트 향상시켰습니다.
예시: InternVL2-8B는 출력 포맷을 변경하는 것만으로 Charades-STA에서 3.76%에서 53.39% R@0.5로 급증했습니다.

C. 두 축의 실패 분해 (Two-Axis Failure Decomposition)

잔여 오류는 두 개의 분리 가능한 축으로 분해됩니다:

지각 축 (Perception Axis): 백본의 클립당 변별력에 의해 결정됩니다. 이는 배포 전 "오라클 갭(oracle gap)"(정답 클립과 오답 클립 간의 $P(\text{Yes})$ 차이)을 통해 측정할 수 있습니다. 더 강력한 백본일수록 더 나은 근거 제시가 가능합니다.
기하학 축 (Geometry Axis): 고정된 출력 윈도우 $W$ $W$ 와 이벤트 너비 $g$ $g$ 사이의 적합도에 의해 결정됩니다.
- 분석적 예측 가능성: 정확도는 $\min(W, g) / \max(W, g)$ 비율에 의해 분석적으로 예측 가능합니다. 만약 이벤트가 가능한 범위 $[W/2, 2W]$ 밖에 있다면, 피크 국지화 품질과 상관없이 이론적으로 R@0.5는 0이 됩니다.
- 시사점: 후처리(스무딩, 대비 수정 등)는 기하학적 오류를 해결할 수 없으며, 오직 윈도우 크기를 조정하거나 백본을 바꾸는 것만이 해결책입니다.

D. FV-Action 성능

Charades-STA: 56.8% R@0.5를 달성하여, 동일 백본의 네이티브 시공간 파이프라인(53.6%) 및 이전의 모든 학습 없는 방식들을 능가했습니다.
제로샷 일반화: TACoS에서 학습된 모델들을 능가하며, ActivityNet Captions 및 QVHighlights에서 별도의 시공간적 감독 없이 직접 예측 방식보다 개선된 성능을 보였습니다.

4. 실험 결과

데이터셋	지표	FV-Action (Qwen2.5-VL)	최선 성능의 기존 학습 없는 방식	최선 성능의 지도 학습 방식 (참고용)
Charades-STA	R@0.5	56.8%	40.0% (BTDP)	63.2% (OmniVTG)
ActivityNet	R@0.5	26.7%	34.0% (GranAlign)*	50.7% (TimeMarker)
TACoS	R@0.5	13.0%	N/A (Zero-shot)	35.0% (UniVTG)
QVHighlights	R1@0.5	43.0%	61.9% (GranAlign)*	53.9% (Moment-DETR)

*참고: GranAlign과 BTDP는 멀티 모델 파이프라인(캡셔닝 + LLM 정렬)을 사용하는 반면, FV-Action은 단일 VLM을 사용합니다.

주요 관찰 사항:

백본 독립성: 인터페이스 이득(+28 ~ +50 pp)은 테스트된 모든 아키텍처에서 유지되었습니다.
기하학적 한계: 이벤트 길이가 매우 다양하게 나타나는 ActivityNet의 경우, 고정 윈도우로 인해 짧은 이벤트에서 구조적 실패가 발생합니다. 적응형 윈도우 변형은 짧은 이벤트에는 도움이 되지만 긴 이벤트에는 해가 되어, 결과적으로 중립적인 이득을 가져옵니다. 이는 기하학적 축이 고정 윈도우 방식의 강력한 제약임을 확인시켜 줍니다.
비용: 이 방법은 학습을 추론 비용(샘플당 36~120회의 포워드 패스)과 맞바꿉니다. 하지만 레이블이나 그래디언트 업데이트는 필요하지 않습니다.

5. 의의 및 주장

본 논문은 VLM 내부에 이미 "근거 제시 능력"이 존재하지만, 생성 인터페이스에 의해 가려져 있다고 주장합니다.

패러다임 전환: TVG가 모델에게 수치 회귀자로 동작할 것을 요구할 필요가 없음을 보여줍니다. 과업을 이진 변별 문제로 재구성함으로써, 모델의 잠재된 시공간적 이해를 끌어낼 수 있습니다.
진단적 유용성: 두 축의 분석은 실무자에게 처방적인 도구를 제공합니다. 배포 전에 "지각 축"(오라클 갭)을 측정하여 더 강력한 백본이 필요한지 판단하거나, "기하학 축"(이벤트 너비 분포)을 분석하여 출력 윈도우 규칙을 조정해야 하는지 결정할 수 있습니다.
범위의 한계: 저자들은 한계점도 인정합니다: 이 방법은 테스트 타임 연산에 의존하며, 복합 쿼리(여러 이벤트) 처리에 어려움이 있고, 적응형 윈도우를 사용하더라도 이벤트 지속 시간이 매우 이질적인 데이터셋에서의 기하학적 불일치를 완전히 해결할 수는 없습니다.

요약하자면, 본 논문은 지각 능력이 아니라 인터페이스가 VLM의 시공간적 근거 제시의 병목 현상이라고 주장하며, 단순한 학습 없는 이진 스캐닝 전략이 일반 목적 VLM과 특화된 지도 학습 시스템 사이의 성능 격차를 대부분 회복할 수 있음을 보여줍니다.