💻 computer science

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

이 논문은 비디오 튜토리얼을 따르는 MLLM 기반 GUI 에이전트의 능력을 평가하기 위한 새로운 벤치마크인 VG-GUIBench를 소개하며, VideoQA와 비디오 가이드 에이전트 작업 모두에서 성능을 크게 향상시키는 작업 주도적 및 장면 인식 키프레임 추출 알고리즘인 TASKER를 제안한다.

원저자: Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 기계를 수리하는 법이나 새로운 비디오 게임을 플레이하는 법을 배우려고 하는데, 가진 설명서라고는 오직 3시간짜리 영상뿐이라고 상상해 보십시오.

처음부터 끝까지 영상을 다 보려고 하면 지루해질 것이고, 기술자가 나사를 푸는 방법을 보여주는 그 결정적인 1초를 놓칠 가능성이 높습니다. 그렇다고 무작위로 몇 초씩 골라서 본다면, 기술자가 그냥 주변을 걷거나 벽을 응시하는 장면만 보게 될 수도 있으며, 이는 문제 해결에 아무런 도움이 되지 않습니다.

이 논문은 컴퓨터가 이러한 긴 영상을 효율적으로 시청하는 법을 가르치는 새로운 방법을 소개하며, 크게 두 가지 부분으로 구성됩니다: 새로운 "테스트"와 새로운 "스마트 뷰어(Smart Viewer)"입니다.

파트 1: 새로운 테스트 (VG-GUI-Bench)

저자들은 현재의 AI 비디오 이해 테스트들이 "빨간 차를 몇 대 봤나요?" 또는 "셔츠 색깔이 무엇인가요?"라고 묻는 것과 같다는 점을 발견했습니다. 이는 단순하고 피상적인 질문입니다. 이러한 질문들은 AI가 실제로 영상으로부터 기술을 학습하고 이를 나중에 사용할 수 있는지를 테스트하지 못합니다.

그래서 그들은 VG-GUI-Bench라는 새로운 테스트를 만들었습니다.

비유: AI에게 "휴대폰 앱에서 비밀번호를 변경하는 방법"에 대한 영상 튜토리얼을 보여준다고 가정해 봅시다. 그다음, AI에게 단순한 퀴즈를 내는 대신, 실제로 다른 휴대폰 앱에 들어가서 비밀번호를 직접 변경해 보라고 시키는 것입니다.
목표: 이것은 AI가 영상을 시청하고, 단계별 절차를 이해한 뒤, 컴퓨터 화면에서 인간 에이전트처럼 동일한 작업을 수행할 수 있는지 테스트합니다.

파트 2: 스마트 뷰어 (TASKER)

이러한 작업의 가장 큰 문제는 긴 영상에는 "불필요한 부분(중복 프레임)"이 가득하며, 중요한 부분은 중간에 숨겨져 있다는 점입니다. AI에게 너무 많은 프레임을 입력하면 혼란을 겪게 되고, 너무 적게 입력하면 핵심을 놓치게 됩니다.

저자들은 TASKER(Task-driven And Scene-aware Keyframe searchER)라는 도구를 만들었습니다. TASKER를 카메라가 아니라, 매우 똑똑한 탐정 또는 지도를 든 등산객이라고 생각하십시오.

TASKER가 어떻게 작동하는지는 다음의 몇 가지 비유를 통해 알 수 있습니다.

1. 영상의 "나무(Tree)" 구조
영상을 선형적(초 단위)으로 보는 대신, TASKER는 영상을 하나의 나무처럼 취급합니다.

먼저 전체 영상을 '줄기'로 시작합니다.
영상을 큰 덩어리인 '가지'로 나눕니다.
정답을 담고 있는 정확한 '잎(프레임)'을 찾을 때까지 이 덩어리들을 점점 더 작은 조각들로 계속 나누어 나갑니다.

2. 두 가지 유형의 "스마트" 검색
TASKER는 어떤 가지를 다음에 탐색할지 결정하기 위해 특수한 AI 두뇌(MLLM)를 사용합니다. 이는 마치 탐정이 두 가지 다른 단서를 사용하는 것과 같습니다.

"무엇을 찾고 있는가?" 전략 (Task-Driven): AI는 "사람이 비밀번호를 입력하는 부분을 찾아야 해. 영상의 어느 부분이 그 모습과 가장 유사할까?"라고 자문합니다. 그리고 가장 관련성이 높은 구간을 확대하여 조사합니다.
"무엇이 변했는가?" 전략 (Scene-Aware): AI는 "장면이 가장 많이 변한 곳이 어디지?"라고 묻습니다. 만약 영상이 주방에서 거실로 바뀐다면, 이는 큰 변화입니다. TASKER는 큰 변화가 일어나는 지점에서 보통 중요한 일이 발생한다는 것을 알고 있으므로, 그 지점들을 조사합니다.

3. "알게 되면 멈춰라" 규칙
대부분의 검색 알고리즘은 정해진 한계에 도달할 때까지 실행됩니다. 하지만 TASKER는 더 똑똑합니다. TASKER는 내부적인 "신뢰도 측정기"를 가지고 있습니다.

몇 개의 핵심 프레임을 살펴본 후, AI는 스스로에게 묻습니다: "질문에 답하기에 충분한 정보를 얻었는가?"
만약 "네, 100% 확신합니다"라고 답한다면, 즉시 검색을 중단합니다.
만약 "아직 잘 모르겠습니다"라고 답한다면, 더 깊이 파고듭니다.
이점: 이 방식 덕분에 TASKER는 다른 방법들이 영상의 100%를 보는 동안, 단 **15%**의 프레임만 사용하여 정답을 찾아낼 수 있습니다.

결과

저자들이 이 "스마트 탐정(TASKER)"을 단순한 영상 질문과 복잡한 "기술 학습" 작업(VG-GUI-Bench)에 테스트했을 때:

기존의 최고 방법들보다 더 높은 점수를 기록했습니다.
이 과정에서 훨씬 더 적은 프레임만을 살펴보았기에, 실행 속도가 훨씬 빠르고 비용도 저렴합니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "현재의 AI 영상 시청자들은 너무 멍청하거나(핵심을 놓치거나), 너무 느립니다(모든 것을 다 봐야 함). 우리는 AI가 영상으로부터 실제로 기술을 배울 수 있는지 확인하기 위한 새로운 테스트를 만들었으며, 지루한 부분은 건너뛰고 문제를 해결하기 위해 영상의 정확히 어느 부분을 보아야 하는지 아는 새로운 '스마트 탐정(TASKER)'을 만들었습니다."

기술 요약: 일반화된 키프레임 추출을 통한 VideoQA와 비디오 가이드 에이전트 작업 간의 가교 형성

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 비디오 질의응답(VideoQA) 벤치마크에서 상당한 성공을 거두었으나, 현재의 평가 패러다임은 주로 객체, 속성, 단기 동작 인식과 같은 "저수준(low-level)" 인지에 집중되어 있습니다. MLLM이 비디오 튜토리얼로부터 "고수준(high-level)" 절차적 지식을 학습하고, 이 지식을 새로운 장기(long-horizon) 에이전트 작업에 일반화하여 적용할 수 있는지 평가하는 데에는 결정적인 격차가 존재합니다.

또한, VideoQA와 비디오 가이드 에이전트 작업 모두에 공통적인 병목 현상이 존재합니다: 바로 작업 관련 시간적 콘텐츠를 효과적으로 추출하는 것입니다. 긴 비디오는 중복된 구간을 많이 포함하고 있는 반면, 핵심적인 절차적 증거는 매우 짧을 수 있습니다. 단순한 프레임 샘플링 전략(예: 균등 샘플링)은 중요한 순간을 놓치거나 과도한 중복을 초래하여, 추론 성능과 계산 효율성을 저하시키는 경우가 빈번합니다.

2. 방법론

2.1 VG-GUI-Bench: 새로운 벤치마크

저자들은 고수준 비디오 이해에 대한 평가 부족을 해결하기 위해 VG-GUI-Bench(Video-Guided GUI Benchmark)를 도입했습니다.

목적: MLLM 기반 GUI 에이전트가 비디오 튜토리얼을 따라 GUI 상호작용 작업을 수행할 수 있는지 평가합니다.
구조: 각 항목은 특정 GUI 작업과 그에 대응하는 튜토리얼 비디오를 쌍으로 구성합니다 (예: 비디오 시연을 바탕으로 비밀번호를 재설정하기 위해 UI를 탐색하는 작업).
액션 공간(Action Space): CLICK, SCROLL, TYPE, PRESS (시스템 키), ZOOM, FINISH를 포함하는 표준화된 액션 공간을 정의합니다.
지표:
- 정확도(Accuracy): 가중 점수 (올바른 액션 유형에 0.3, 올바른 인자에 0.7 부여).
- 완료율(Completion): 에피소드당 올바르게 실행된 단계의 비율.
- 효율성(Efficiency): 예측 단계당 소비된 입력 프레임의 평균 수.
- 성능 향상율(Performance Improvement Rate, PIR): 비디오 입력이 제공되었을 때와 제공되지 않았을 때의 정확도 차이를 측정합니다.

2.2 TASKER: 작업 중심 및 장면 인식 키프레임 탐색기 (Task-driven And Scene-aware Keyframe searchER)

저자들은 문제를 트리 구조의 그래프 탐색으로 프레임워크화한 일반화된 키프레임 추출 알고리즘인 TASKER를 제안합니다. 모든 프레임에 대해 특징을 미리 계산하는 대신, TASKER는 탐색 과정 중에 정보를 선택적으로 추출합니다.

탐색 목표: 질문에 답하거나 에이전트 작업을 완료할 수 있도록 충분한 정보 세트를 가진 키프레임을 식별합니다.
노드 확장: 비디오를 처음에 $M$ 개의 세그먼트(노드)로 나눕니다. 알고리즘은 비용 함수에 따라 확장(세분화)할 노드를 반복적으로 선택합니다.
비용 함수 및 변형:
- TASKER-GBFS (Greedy Best-First Search): 작업 중심(Task-Driven). MLLM은 누락된 시각적 정보를 식별함으로써 목적지(정답)까지의 "거리"를 추정합니다. 이 방식은 누락된 정보가 포함될 가능성이 가장 높은 세그먼트를 확장합니다.
- TASKER-Dijkstra: 장면 인식(Scene-Aware). MLLM은 가장 큰 장면 변화(장면, 인물 또는 활동의 전환)가 발생하는 세그먼트를 식별합니다. 이러한 세그먼트는 더 많은 정보를 담고 있다고 간주되어 우선순위를 갖습니다.
- TASKER-A*: 하이브리드(Hybrid). 작업 관련성( $h(n)$ )과 장면 역동성( $g(n)$ )을 결 모두 결합하여, 두 기준을 모두 충족하는 세그먼트에 우선순위를 둡니다.
- TASKER-BFS: MLLM 가이드 비용 평가 없이 너비 우선 확장을 수행하는 단순한 변형으로, MLLM 오버헤드가 우려될 때 사용됩니다.
종료 및 신뢰도: 개방형 비디오 작업에서는 전통적인 결정론적 종료가 어렵습니다. TASKER는 두 가지 MLLM 기반 신뢰도 추정기를 사용하는 투표 메커니즘을 채택합니다:
1. 자기 평가(Self-Evaluation): 모델이 자신의 답변과 추론 과정을 스스로 검토하여 신뢰도 점수를 출력합니다.
2. 시간적 요약(Temporal Summarization): 모델이 샘플링된 프레임의 캡션을 응집력 있는 비디오 개요로 요약하고, 다시 정답을 예측하여 두 번째 신뢰도 점수를 출력합니다.
  탐색은 두 점수 모두 임계값 $C$ 를 초과할 때만 종료됩니다.
프레임 검증: 새로 드러난 프레임은 시각적 중복성과 작업 관련성을 검사받습니다. 중복된 프레임은 폐기되며, 중복된 프레임만을 생성하는 세그먼트는 재탐색을 방지하기 위해 "동결 집합(frozen set)"에 추가됩니다.

3. 주요 기여

비디오 이해의 분류 체계: 저자들은 저수준 VideoQA(인식)와 고수준 비디오 가이드 에이전트 작업(절차적 학습 및 전이)을 연결하는 2단계 계층 구조를 제 제안하며, "비디오 인컨텍스트 러닝(Video In-Context Learning)"의 역할을 강조합니다.
VG-GUI-Bench: 비디오 튜토리얼로부터 GUI 상호작용으로의 절차적 지식 전이를 체계적으로 평가하기 위해 설계된 새로운 벤치마크로, 표준화된 액션 공간을 갖춘 1,000개의 테스트 케이스를 특징으로 합니다.
TASKER 알고리즘: 프레임 선택을 일반화된 그래프 탐색 문제로 취급하는 훈련이 필요 없는(training-free) 제로샷 키프레임 추출 방법입니다. 이는 작업 관련성과 장면 역동성 사이의 균형을 동적으로 조절하여 정보가 풍부한 프레임을 식별합니다.

4. 실험 결과

VideoQA 벤치마크

TASKER는 EgoSchema(전체 세트)와 NExT-QA에서 평가되었습니다.

성능: GPT-4를 기본 LLM으로 사용할 때, TASKER는 EgoSchema에서 **63.1%**의 정확도를 기록했으며(최고 베이스라인인 VideoTree보다 2.0% 높음), NExT-QA에서는 **77.4%**를 기록했습니다(최고 베이스라인보다 1.8% 높음).
효율성: TASKER는 보이는 프레임만을 처리합니다. EgoSchema에서 TASKER는 약 1/4의 프레임만을 사용하면서도 VideoTree와 동일한 수준의 정확도(66%)를 달성했습니다.
일반화: 이 방법은 오픈 소스 MLLM(Qwen3-VL)을 사용할 때도 다른 베이스라인(VideoAgent 및 VideoTree 포함)을 일관되게 능가했습니다.

VG-GUI-Bench 결과

베이스라인 비교: VG-GUI-Bench에서 TASKER-A*는 키프레임 선택 방법 중 가장 높은 전체 정확도(40.96%)와 성능 향상율(0.618)을 기록하며 VideoTree와 VideoAgent를 앞질렀습니다.
작업 완료: TASKER-Dijkstra는 **74.39%**의 완료율을 달 기록하였으며, 이는 "오라클 키프레임(Oracle Keyframe)" 상한선인 76.32%에 근접한 수치로, 높은 작업 완료도를 유지하면서도 효과적으로 중복 프레임을 제거할 수 있음을 입증했습니다.
효율성: TASKER 변형 모델들은 균등 샘플링 및 다른 동적 선택 방법들과 비교했을 때, 더 높은 정확도를 달성하면서도 단계당 요구되는 프레임 수를 일관되게 적게 사용했습니다.

5. 의의 및 주장

본 논문은 일반화된 키프레임 추출이 얕은 수준의 VideoQA와 복잡한 장기 에이전트 작업 사이의 격차를 메우는 핵심 메커니즘이라고 주장합니다. 키프레임 선택을 MLLM에 의해 유도되는 그래프 탐색 문제로 공식화함으로써, TASKER는 정확도와 프레임 효율성을 모두 개선하는 훈련이 필요 없는(training-free) 솔루션을 제공합니다.

저자들은 자신들의 접근 방식이 추론(VideoQA)과 실행(에이전트 작업) 모두에 적용 가능한 통합된 시간적 정보 선택 메커니즘을 제공한다고 강조합니다. 실험 결과는 효과적인 비디오 이해가 단순히 모델의 용량뿐만 아니라, 정보가 풍부한 시간적 콘텐츠를 전략적으로 선택하는 능력에 달려 있음을 보여주며, TASKER는 작업 중심 및 장면 인식 탐색 전략을 통해 이 문제를 해결합니다. 이 연구는 이러한 방법론이 광범적인 재학습 없이도 모델이 비디오로부터 실행 가능한 지식을 추출하고 이를 다운스트림 작업에 적용할 수 있게 하는 잠재력을 가지고 있음을 시사합니다.