💻 computer science

TLG: Temporal-Logic Grounding for Video Question Answering via Source-Annotation Reconstruction and Category-Targeted Reasoning

이 논문은 소스 주석으로부터 행동 타임라인을 재구성하고 시간 논리 프로그램을 실행함으로써 TimeLogic Challenge에서의 비디오 질의응답 성능을 크게 향상시킨 3단계 시스템인 TLG를 소개하며, 모델 크기를 키우는 것보다 실제 주석을 활용하는 것이 시간적 접지(temporal grounding)의 한계를 극복하는 핵심임을 입증한다.

원저자: Ali Alavi

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Alavi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오 속에 숨겨진 단서들을 풀어내야 하는 미스터리를 해결하고 있다고 상상해 보세요. 질문은 단순히 "무슨 일이 일어났는가?"가 아닙니다. "그 사람이 빵을 자르기 전에 우유를 냉장고에 넣었는가, 아니면 후에 넣었는가?" 혹은 "그 사람이 물이 끓는 동안 항상 냄비를 저었는가?"와 같은 것입니다.

이것이 바로 TimeLogic의 도전 과제입니다. 이는 컴퓨터에게 단순히 보이는 사물을 넘어, 비디오 속 사건들의 정확한 순서와 타이밍을 이해하도록 요구하는 테스트입니다.

다음은 이 논문이 이 문제와 그 해결책을 쉬운 비유를 사용하여 설명하는 방식입니다.

문제: "흐릿한 카메라" 효과

현재의 AI 모델(비디오 언어 모델)은 비디오를 볼 때 가장 중요한 스냅샷만을 기억하는 사람과 같습니다. 만약 당신이 "개가 고양이가 점프하기 전에 짖었나요?"라고 묻는다면, 그들은 종종 무작위로 추측합니다. 왜 그럴까요? 그들은 비디오를 연속적인 타임라인이 아니라 "프레임의 가방(bag of frames)"—즉, 사진들의 더미—로 취급하기 때문입니다. 그들은 개와 고양이가 있다는 것은 볼 수 있지만, 개가 정확히 언제 짖었는지는 짚어내지 못합니다. 그들은 무엇이 거기 있는지는 잘 알지만, 그것이 언제 일어났는지는 파악하는 데 서툽니다.

해결책: TLG (Temporal-Logic Grounding)

저자들은 TLG라고 불리는 3단계 탐정 시스템을 구축했습니다. AI에게 시간을 완벽하게 "보는" 법을 가르치는 것(그들이 불가능하다는 것을 발견한 방식) 대신, 가능한 한 "치트 시트(족보)"를 사용하는 시스템을 만들었습니다.

TLG를 다음과 같은 3단계 팀으로 생각해보세요.

1단계: "치트 시트" 탐정 (심볼릭 솔버)

이것이 주인공입니다. 연구진은 테스트에 사용된 비디오들이 이미 "스크립트"나 "주석"(사람이 작성한 상세한 기록부와 같은 것)을 가지고 있는 기존 데이터셋에서 왔다는 점을 깨달았습니다.

작동 방식: AI에게 비디오를 보고 타이밍을 추측하라고 요청하는 대신, TLG는 비디오 ID를 기록부에서 찾아냅니다. 이는 모든 동작의 정확한 시작 및 종료 시간(예: "계란 깨기: 0:05–0:10")을 찾아냅니다.
마법 같은 점: 일단 이 정확한 시간을 확보하면, AI는 더 이상 "생각"하거나 "볼" 필요가 없습니다. 그저 단순한 수학(예: 0:05가 0:10보다 앞선지 확인하는 것)을 수행할 뿐입니다. 계산기처럼 문제를 완벽하게 풀어냅니다.
함정: 이것은 비디오에 기록부 항목이 있을 때만 작동합니다. 특정 동작이 기록부에 없다면, 이 탐정은 "모르겠다"라고 말해야 합니다.

2단계: "제너럴리스트" 탐정 (오픈 VLM)

"치트 시트"를 사용할 수 없을 때, 시스템은 질문을 강력한 표준 AI 모델(Qwen2.5-VL-32B)로 전달합니다.

작동 방식: 이 AI는 비디오를 시청하고 자신이 보는 것에 기반하여 답변을 시도합니다. 일반적인 질문에는 능숙하지만, 정밀한 타이밍에는 여전히 어려움을 겪습니다.
전략: 시스템은 AI가 이미 어느 정도 잘 해내는 "예/아니오" 질문에 대해 이 AI를 사용합니다.

3단계: "스페셜리스트" 탐정 (프런티어 모델)

연구진은 "제너럴리스트" AI가 특정 유형의 질문, 즉 객관식(네 가지 옵션 중 올바른 순서를 골라야 하는 경우)에서 매우 취약하다는 것을 발견했습니다.

해결책: 치트 시트가 실패했을 때 이 까다로운 객관식 질문을 처리하기 위해, 시스템은 훨씬 더 똑똑하고 비싼 AI(Gemini-3.1-Pro)로 질문을 보냅니다.
결과: 이 값비싼 전문가에게는 어려운 질문만 보내어, 전체 테스트 비용을 약 10달러 정도로 낮게 유지하면서도 점수를 크게 높였습니다.

거대한 발견: "실제 노트"가 "더 큰 뇌"를 이긴다

이 논문에서 가장 놀라운 발견은 무엇이 작동하지 않았는가입니다.

실패한 실험: 연구진은 AI가 비디오를 보고 스스로 타임라인을 만들어내는(자신만의 기록부를 쓰는 것과 같은) 시스템을 구축하려고 시도했습니다. 그들은 세 가지 다른 강력한 모델을 사용하여 이를 시도했습니다.
결과: 모두 실패했습니다. AI가 직접 질문에 답하게 두는 것보다 성능이 더 나빴습니다.
교훈: 단순히 모델을 더 크거나 똑똑하게 만든다고 해서 AI에게 "시간"을 완벽하게 이해하도록 가르칠 수는 없습니다. 완벽한 타이밍을 얻는 유일한 방법은 찾아볼 수 있는 실제 인간이 작성한 노트(주석)를 갖는 것입니다.

성적표

TLG 이전: 강력한 AI 모델은 약 **47%**의 정답률을 보였습니다 (사실상 찍는 수준).
TLG 이후: 시스템은 **71.37%**의 정답률을 기록했습니다.
비법: 점수의 가장 큰 도약은 "세밀한(fine-grained)" 인간의 노트(상세한 기록부)를 사용하고, 그 후 가장 어려운 질문만을 비싼 AI에게 보낸 데서 왔습니다.

요약

이 논문은 이 특정 유형의 비디오 퍼즐에 있어서, 더 똑똑한 뇌가 필요한 것이 아니라 더 나은 지도(map)가 필요하다고 주장합니다. 알려진 비디오에 대한 조회 시스템과 알려지지 않은 비디오를 위한 스마트한 AI를 결합함으로써, 그들은 누구보다 더 잘 TimeLogic 챌린지를 해결했으며, 이는 정확한 데이터(지도)가 단순히 더 큰 모델(뇌)을 갖는 것보다 더 중요하다는 것을 증명했습니다.

기술 요약: TLG (Temporal-Logic Grounding)를 이용한 비디오 질의응정 (Video Question Answering)

문제 정의

본 논문은 비디오 상의 시간적 논리 추론을 위한 벤치마크인 TimeLogic Challenge를 다룹다. 이 과제는 모델이 16가지의 공식적인 시간 연산자(예: BEFORE, AFTER, UNTIL, ALWAYS, CO-OCCUR)를 사용하여 이벤트 간의 관계(예: 선행, 동시 발생, 지속 시간)를 결정할 것을 요구하며, 불리언(Yes/No) 및 4지 선다형 형식을 모두 포함한다.

저자들은 기존의 엔드 투 엔드(end-to-end) 비디오-언어 모델(VLM)들이 지식의 부재가 아닌 그라운딩 격차(grounding gap) 문제를 겪고 있다고 지적한다. 기존 VLM들은 비디오를 "프레임의 가방(bag of frames)"처럼 취급하여 단일 프레임 편향(single-frame bias)을 보이며, 이로 인해 타임라인 상에서 동작을 신뢰성 있게 로컬라이즈(localize)하지 못해 우연 수준(~50%)에 가까운 성능을 보인다. 핵심 과제는 언어를 이해하거나 객체를 인식하는 것이 아니라, 동작을 정확한 시간 간격(temporal intervals)에 매핑하는 것이다.

방법론: TLG 파이프라인

제안된 솔루션인 **TLG (Temporal-Logic Grounding)**는 신경망 기반의 인지보다 결정론적 논리를 우선시하도록 설계된 3단계 시스템이다. 이 시스템은 TimeLogic 질문들이 소스 데이터셋의 공개된 시간 주석(public temporal annotations)의 결정론적 함수라는 관찰에 기초한다.

1단계: 기호적 재구성 및 실행 (Symbolic Reconstruction and Execution)

주석 재구성 (Annotation Reconstruction): 각 비디오에 대해, TLG는 비디오 ID를 소스 데이터셋의 공개 주석에 매핑하여 동작 타임라인 $T_v = \{(a_i, s_i, e_i)\}$ $T_{v} = {(a_{i}, s_{i}, e_{i})}$ 를 재구성한다.
- CrossTask: 단계 경계(step-boundary) 주석을 사용한다 (커버리지 100%).
- Breakfast: 거친(coarse) 48개 클래스 레이블 대신 178개 클래스의 세밀한 세그멘테이션(예: "reach knife")을 활용한다.
- STAR/AGQA: Charades의 액션 세그먼트와 Action Genome의 상태 관계를 병합하고 상황 그래프(situation-graph) 코드를 도출한다.
퍼지 그라운딩 (Fuzzy Grounding): 매칭 모듈은 질문의 구절(예: 동명사)과 주석 레이블(예: 명령문) 사이의 불일치를 처리하기 위해 토큰-자카드 유사도(token-Jaccard similarity)와 동사 인지 페널티를 사용한다. 복합 레이블은 카멜 케이스(camel-case)와 숫자를 기준으로 분리된다.
기호적 실행 (Symbolic Execution): 질문을 시간 논리 프로그램으로 파싱한다. 시스템은 구간 산술(interval arithmetic)을 사용하여 이러한 프로그램을 결정론적으로 실행한다. 만약 명명된 동작이 주석에서 발견되지 않으면, 1단계는 **기권(abstain)**한다.

2단계: 오픈 VLM 폴백 (Open VLM Fallback)

1단계에서 주석 부재로 인해 기권된 질문들을 위해, 시스템은 강력한 오픈 소스 VLM(Qwen2.5-VL-32B)으로 폴백(fallback)한다. 이 모델은 FPS 방식의 프레임 샘플링과 시간 추론 프롬프트를 사용한다. 이는 주석이 없는 약 43%의 질문을 처리하는 핵심 역할을 수행한다.

3단계: 카테고리 타겟형 프런티어 추론 (Category-Targeted Frontier Reasoning)

저자들은 카테고리별 VLM 성능을 경험적으로 측정하였으며, VLM이 객관식(MC) 질문(정확도 19–57%)에는 약하지만 불리언(boolean) 질문(정확도 73–79%)에는 강하다는 것을 발견했다.

라우팅 전략 (Routing Strategy): 모든 폴백 질문을 더 큰 모델로 보내는 대신, TLG는 오직 기권된 객관식 질문(및 약한 불리언/UNTIL 카테고리)만을 프런티어 추론 모델(Gemini-3.1-Pro)로 라우팅한다.
비용 제어: 이 단계는 낮은 미디어 해상도(이미지당 256 토큰)와 낮은 사고 예산(thinking budget)을 사용하여, 전체 테스트 세트에 대해 약 $10의 비용을 발생시킨다.

주요 기여

TLG 시스템: 비디오를 소스 주석에 매핑하여 정확한 기호적 해결을 수행하고, 신경 모델을 타겟팅된 폴백으로만 사용하는 3단계 아키텍처를 제시한다.
카테고리 타겟형 라우팅: VLM의 약점(객관식 질문)을 격리하고 이를 프런티어 모델로 오프로딩(offload)하는 동시에, 강점이 있는 카테고리(불리언)는 로컬의 저렴한 VLM에 유지하는 전략을 사용한다.
그라운딩 대 규모에 대한 절제 실험 (Ablation on Grounding vs. Scale): 실제 주석이 정확도의 주요 동력이며, 모델 규모를 키우거나 모델 기반의 타임라인 재구성을 시도하는 것이 한계 효용 체감 또는 실패를 초래한다는 것을 보여주는 광범sel한 실험을 수행했다.
성능: 71.37%의 테스트 정확도를 달ek하여 VLM 베이스라인 대비 +24.5의 절대적 이득을 얻었으며, 리더보드 최상위권과 3점 차이 이내로 진입했다.

실험 결과

베이스라인 vs. TLG: 통합 VLM 베이스라인(Qwen3-VL-8B)은 46.9%를 달성했다. 전체 TLG 시스템은 71.37%에 도달했다.
구성 요소 분석:
- 기호적 재구성: CrossTask, Action Genome, Breakfast의 세밀한 주석으로부터 기호적 논리를 추가함에 따라 정확도가 점진적으로 향상되었다. 특히 Breakfast의 세밀한 주석만으로도 +6.2 포인트의 상승을 가져온 반면, 거친(coarse) 레이블은 거의 기여하지 못했다(~0).
- 모델 규모: 베이스 VLM을 8B에서 32B로 업그레이드했을 때 하이브리드 시스템은 +2.6 포인트만 개선되었다. 72B/78B와 같은 더 큰 모델은 메모리 문제나 퇴행적 출력으로 어려움을 겪었다.
- 모델 기반 재구성의 실패: 기권된 질문에 대해 VLM이 타임라인을 직접 재구성하도록 시도했을 때(주석을 찾는 대신), 홀리스틱하게 답변하게 했을 때(67.37%)보다 낮은 정확도(67.10%)를 보였다. 이는 시간적 그라운딩이 주석 없이는 해결할 수 없는 근본적인 병목 현상임을 확인시켜 준다.
- 타겟형 프런티어: 약한 성능을 보이는 MC 카테고리만을 Gemini-3.1-Pro로 라우팅함으로써 최종적으로 +4.0 포인트를 추가했다.

의의 및 주장

본 논문은 시간 논리 비디오 QA를 인지(perception) 문제가 아닌 주석 재구성(annotation reconstruction) 문제로 재정의해야 한다고 주장한다.

그라운딩은 줄일 수 없는 요소이다 (Grounding is Irreducible): 저자들은 모델 스케일을 키우거나 신경망을 통해 타임라인을 재구성하는 것만으로는 시간적 그라운딩을 학습할 수 없으며, 이는 근본적으로 실제 정답 시간 주석의 가용성에 달려 있다고 결론짓는다.
주석의 지배력: 결과는 "더 큰 모델이 아니라 실제 주석이 정확도를 주도한다"는 것을 보여준다. 가장 큰 성능 향상은 모델 크기가 아니라 Breakfast와 같은 세밀한 소스 주석에 접근하고 정밀한 카테기 라우팅을 적용했을 때 나타났다.
효율성: 시스템은 최소한의 비용(API 호출에 약 $10)으로 최첨단 성능에 근접하며, 이는 순수 엔드 투 엔드 학습보다 하이브리드 기호-신경 접근 방식이 이 특정 추론 작업에 더 효과적임을 입증한다.

리더보드 최상위(74.47%)와의 남은 격차는 약 220개의 질문이 어떤 공개 소스 데이터셋에도 존재하지 않는 동작을 참조하고 있어, 시스템이 시간을 신뢰성 있게 그라운딩할 수 없는 모델에 의존해야 하는 주석 접근 격차(annotation-access gap) 때문인 것으로 분석된다.