💬 NLP

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

이 논문은 쿼리 인식 프레임 스코어링을 위해 소형 언어 모델을 활용하고, 기존의 포인트 단위 및 고정 기준 방식의 한계를 극복하기 위해 학생-교사 상호 학습을 포함하는 미분 가능한 세트 수준 목적 함수를 사용하는 엔드 투 엔드 학습 가능 프레임워크인 HFS를 제안하며, 이를 통해 비디오 이해 벤치마크에서 우수한 성능을 달성한다.

원저자: Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 영화를 이해하는 법을 가르치려 한다고 상상해 보세요. 당신은 9분짜리 영상을 가지고 있지만, 로봇의 뇌는 한 번에 아주 작은 스냅샷 정보만을 담을 수 있습니다. 만약 당신이 영상의 모든 프레임을 보여준다면, 로봇의 뇌는 너무 많은 데이터로 인해 폭발해 버릴 것입니다. 반대로 무작위로 스냅샷을 보여준다면, 가장 중요한 장면을 통째로 놓칠 수도 있습니다. 이것이 바로 "비디오 이해(video understanding)"의 퍼즐입니다. 어떻게 하면 긴 영화에서 완벽한 몇 장의 사진을 골라내어 로봇이 질문에 답할 수 있게 할 것인가 하는 문제입니다. 과학자들은 이를 해결하기 위해 어떤 순간이 보관할 가치가 있는지를 결정하는 도구인 "프레임 선택기(frame selectors)"를 구축하며 이 문제를 해결하려 노력해 왔습니다. 큰 과제는 프레임을 고르는 것이 단순히 그 1초가 얼마나 흥미롭게 보이느냐의 문제가 아니라, 그 1초가 다른 초들과 어떻게 어우러지느냐에 달려 있다는 점입니다. 즉, 다양성과 관련성의 조화가 필요하며, 단순히 비슷하게 생긴 프레임들을 모아놓는 것이 아니라는 점입니다.

여기에 새로운 연구팀이 HFS(Holistic Query-Aware Frame Selection, 총체적 질의 인식 프레임 선택)라고 불리는 시스템을 개발했습니다. HFS를 아주 체계적인 영화 편집자라고 생각해보세요. 이 편집자는 단순히 대본(질문)을 보고 무작위로 장면을 고르는 것이 아니라, 실제로 컷을 나누기 전에 전체 이야기를 먼저 생각합니다. HFS는 프레임을 하나씩 구슬을 세는 로봇처럼 하나하나 고르는 대신, 프레임 전체를 하나의 팀으로 바라봅니다. 이 시스템은 작고 빠른 "학생" AI가 편집자 역할을 하고, 거대하고 강력한 "선생님" AI가 감독 역할을 하는 영리한 트릭을 사용합니다. 이들은 루프(loop) 안에서 함께 작동합니다: 학생이 몇 개의 프레임을 고르면, 선생님은 그 프레임을 바탕으로 질문에 답하려고 시도하고, 그 후 그들이 무엇을 맞혔는지 혹은 틀렸는지를 서로 가르칩니다. 이 과정은 미리 작성된 "정답" 목록 없이도 실시간으로 동시에 일어납니다. 그 결과, 이 시스템은 긴 영상 속에서 노란 스펀지가 물 세례를 받는 정확한 순간(혹은 그 어떤 특정한 사건)을 찾아내는 데 훨씬 더 뛰어난 성능을 보입니다. 기존 방식들이 이를 놓칠 때조차 말이죠.

문제점: 너무 많은 비디오, 너무 작은 뇌

당신에게 9분짜리 만화 영상이 있고, 누군가 "노란 스펀지가 편지를 받은 후에 어떻게 진정되었나요?"라고 묻는다고 상상해 보세요. 만약 로봇에게 첫 번째 프레임, 중간 프레임, 마지막 프레임만 보여준다면, 로봇은 본 것(그것들이 본 것의 전부)에 근거해 "요리했다" 또는 "달팽이와 노래했다"라고 추측할 수도 있습니다. 하지만 진짜 정답은 "달팽이가 양동이로 물을 끼얹어서"이며, 이는 매우 구체적이고 아주 짧은 순간에 일어납니다.

기존 방식들은 두 가지 방법으로 이를 해결하려 했습니다. 어떤 방식은 30초마다 사진을 찍듯 프레임을 균등하게 뽑았습니다. 이것은 책을 읽을 때 1페이지, 50페이지, 100페이지만 읽는 것과 같습니다. 그러면 반전 요소를 놓치게 됩니다. 또 다른 방식은 질문에 기반하여 "가장 중요한" 프레임을 뽑으려 했지만, 종종 동일한 사건(예: 스펀지가 우는 장면)의 프레임 10개를 뽑아버려, 정작 물 양동이가 부딪히는 단 하나의 프레임을 놓치곤 했습니다. 그들은 각 프레임을 독립적인 연기로 취급했고, 프레임들이 하나의 그룹으로서 어떻게 협력해야 하는지를 잊었습니다.

HFS의 해결책: 편집자 팀

저자들은 새로운 프레임 선택 방식을 제안하며, 세 가지 주요 기술이 잘 맞물린 기계처럼 함께 작동하도록 설계했습니다.

1. "사고의 사슬(Chain-of-Thought)" 탐정
먼저, 시스템은 질문을 정말로 이해해야 합니다. 단순히 "노란 스펀지"나 "편지"라는 단어를 읽는 것을 넘어, 시스템은 **사고의 사슬(Chain-of-Thought, CoT)**이라는 기술을 사용합니다. AI가 사건을 해결하기 전에 단서 목록을 적는 탐정이라고 상상해 보세요. AI는 질문을 분해합니다: "좋아, 스펀지가 편지를 받았고, 그 후에 진정시키기 위해 무언가 일어났어. 어떤 방식들이 가능할까?" 이는 AI가 자신이 찾아야 할 정보가 정확히 어떤 종류인지 알 수 있는 특별한 "탐색 지도"(잠재적 질의 벡터라고 불림)를 만들도록 돕습니다. 이것은 "스펀지 사진을 찾는 것"과 "스펀지가 울음을 그치는 특정 순간을 찾는 것"의 차이입니다.

2. "그룹 허그(Group Hug)" 점수
AI가 무엇을 찾고 있는지 알게 되면, 이제 프레임을 골라야 합니다. 기존 방식들은 프레임을 하나씩 개별적으로 채점했습니다. 하지만 HFS는 프레임을 그룹으로서 채점합니다. 이것은 축구 팀을 뽑는 것과 같습니다. 단순히 개인적으로 가장 뛰어난 선수 10명을 뽑는 것이 아니라, 각자가 다른 포지션을 커버하고 서로 너무 겹치지 않는 팀을 뽑는 것입니다.
HFS는 세 가지를 동시에 체크하는 수학 공식을 사용합니다:

관련성(Relevance): 이 프레임이 질문에 답이 되는가?
커버리지(Coverage): 이 프레임이 우리가 아직 보지 못한 새로운 것을 보여주는가?
중복성(Redundancy): 우리가 똑같은 장면의 프레임을 여러 개 뽑고 있는가? 만약 그렇다면 멈춰라!
이 "그룹 허그" 점수는 AI가 단순히 가장 흥미로운 부분만이 아니라, 전체 이야기를 들려줄 수 있는 다양한 프레임 세트를 뽑도록 보장합니다.

3. 학생과 선생님의 댄스
이 부분이 가장 마법 같은 부분입니다. 보통 AI에게 프레임을 뽑는 법을 가르치려면, 과학자들은 이미 "정답"이 적혀 있는 수백만 개의 영상을 보여줘야 합니다(마치 선생님이 시험지를 채점하는 것처럼 말이죠). 하지만 저자들은 이것이 느리고 경직되어 있다는 것을 깨달았습니다. 대신, 그들은 학생-선생님(Student-Teacher) 시스템을 구축했습니다.

학생(작고 빠른 AI)은 프레임을 뽑습니다.
선생님(크고 강력한 AI)은 오직 그 프레임들만을 사용하여 질문에 답하려고 시도합니다.
만약 선생님이 정답을 맞히면, 학생은 "오, 이 프레임들은 좋았어!"라고 배웁니다. 만약 선생님이 틀리면, 학생은 "앗, 내가 중요한 것을 놓쳤구나"라고 배웁니다.
이들은 루프 안에서 함께 움직입니다. 학생은 선생님이 무엇을 중요하게 생각하는지 추측하려 노력하고, 선생님은 학생의 선택과 일치하도록 노력합니다. 이들은 정답지를 필요로 하지 않고 실시간으로 서로에게 배우며 함께 "춤"을 춥니다. 이 덕분에 시스템은 훨씬 더 적응력이 높고 똑똑해집니다.

결과: 더 똑똑하고, 더 빠르고, 더 정확하게

연구진은 Video-MME, MLVU, LongVideoBench, NExT-QA를 포함한 몇 가지 까다로운 비디오 퀴즈로 새로운 HFS 시스템을 테스트했습니다. 이 테스트에는 44초에서 41분에 이르는 다양한 길이의 영상이 포함됩니다.

결과는 인상적이었습니다. 다른 방법들과 비교했을 때:

MLVU 테스트에서 HFS는 평균 점수를 최대 4.0 퍼센트 포인트 향상시켰습니다.
Video-MME에서는 전체 정확도를 2.6 퍼센트 포인트 높였습니다.
심지어 학습을 하지 않는 강력한 "무학습(no-training)" 방식들보다 최대 2.0 포인트 앞섰습니다.

하지만 단순히 정답을 맞히는 것만이 전부가 아니었습니다. 효율성 또한 중요했습니다. 팀은 영상을 처리하는 데 걸리는 시간을 측정했습니다. 그들은 HFS가 단 8개의 프레임만 골라내고도 표준적인 방식이 16개를 골랐을 때보다 더 높은 점수를 얻을 수 있다는 것을 발견했습니다. 훨씬 더 좋은 것은, 이것이 더 빨랐다는 점입니다. 다른 스마트한 방식들이 프레임을 뽑는 데 2초 이상 걸리는 동안, HFS는 단 0.65초밖에 걸리지 않았으며, 이는 거의 무작위로 프레임을 뽑는 속도와 비슷했습니다.

이것이 왜 중요한가

이 논문은 프레임 선택을 개별 항목의 목록이 아닌 그룹의 문제로 다루고, AI가 실시간으로 자신의 실수로부터 배우게 함으로써 비디오 이해를 훨씬 더 효율적으로 만들 수 있음을 시사합니다. 저자들은 이 방식이 세상의 모든 문제를 해결한다고 주장하는 것이 아닙니다. 다만, 긴 영상을 이해하도록 돕는 로봇을 위한 작업에 있어, 그들의 "총체적(holistic)" 접근 방식이 중요한 진전임을 보여줍니다. 로봇에게 영화 전체를 먹일 필요는 없다는 것을 증명한 것입니다. 단지 올바른 장면들을 먹여주기만 하면 되며, HFS는 그것을 찾아내는 데 매우 능숙합니다.

기술 요약: HFS – 효율적인 비디오 이해를 위한 홀리스틱 쿼리 인식 프레임 선택 (Holistic Query-Aware Frame Selection)

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 비디오 스트림에 내재된 조밀한 시간적 정보와 높은 중복성으로 인해 긴 형태의 비디오 데이터를 처리할 때 상당한 어려움에 직면합니다. 모든 프레임을 처리하는 것은 모델의 컨텍스트 창을 초과하여 컨텍스트 오버플로와 성능 저하를 초래할 수 있습니다. 기존의 프레임 선택 전략들이 존재하지만, 다음과 같은 근본적인 한계점을 가집니다:

포인트 단위(Point-wise) 방식은 프레임을 독립적으로 점수화하며, 프레임 간 의존성과 집합 수준(set-level)의 특성을 무시합니다.
학습이 필요 없는 집합 수준(Training-free set-level) 방식은 프레임 간 관계를 명시적으로 모델링하지만, 다운스트림 태스크의 피드백을 통해 정교화될 수 없는 고정되고 비적응적인 선택 기준에 의존합니다.
**학습 가능한 방식(Learnable methods)**은 종종 오프라인으로 생성된 의사 라벨(정적 감독)에 의존하며, 명시적이고 미분 가능한 집합 품질 목적 함수가 결여되어 있어 선택 과정과 최종 추론 태스크 간의 단절을 야기합니다.

결과적으로, 현재의 접근 방식들은 특정 쿼리 의도에 대해 관련성(relevance), 커버리지(coverage), 중복성(redundancy)의 균형을 맞추는 최적의 프레임 서브셋을 선택하는 데 자주 실패합니다.

방법론

저자들은 프레임 선택과 다운스트림 추론을 공동으로 최적화하도록 설계된 엔드투엔드 학습 가능 프레임워크인 **HFS (Holistic Query-Aware Frame Selection)**를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 통합합니다:

1. 태스크 적응형 쿼리 생성 (Task-Adaptive Query Generation)

정적 쿼리 벡터를 넘어, HFS는 생각의 사슬(CoT) 조건부 잠재 쿼리 추출 메커니즘을 채택합니다.

경량화된 소형 언어 모델(SLM)이 학생 프레임 선택기 역할을 합니다.
SLM은 입력 질문과 선택지를 분석하여 태스크별 의도를 추출하도록 구조화된 CoT 프롬프트에 의해 조건화됩니다.
이 과정을 통해 다양한 의미적 측면을 포착하는 $K$ 개의 잠재 쿼리 벡터 세트가 생성됩니다.
이 벡터들은 컨텍스트 어그리게이터를 통해 글로벌 시각적 특징과 융합되어 동적이고 컨텍스트를 인식하는 어그리게이터 쿼리 벡터를 형성합니다.
$K$ 개의 쿼리 벡터가 서로 유사한 표현으로 수렴하는 것을 방지하기 위해 **분리 손실(separation loss)**이 적용됩니다.

2. 미분 가능한 홀리스틱 집합 수준 최적화 (Differentiable Holistic Set-Level Optimization)

HFS는 프레임 선택을 독립적인 프레임 점수화가 아닌 집합 수준의 최적화 문제로 재정의합니다.

관련성 점수화(Relevance Scoring): 어그리게이터 쿼리 벡터는 경량 MLP 스코러와 결합되어 초기 관련성 점수를 생성합니다.
Gumbel-TopK 샘플링: 이산적인 선택 과정을 통해 역전파(backpropagation)를 가능하게 하기 위해, 프레임워크는 연속적이고 미분 가능한 선택 마스크를 생성하는 Gumbel-TopK 샘플링을 사용합니다.
집합 품질 목적 함수(Set-Quality Objective): 선택된 서브셋 $\mathbf{m}$ $m$ 의 품질을 평가하기 위해 다음 세 가지 요소를 균형 있게 고려하는 연속적 목적 함수 $F(\mathbf{m})$ $F (m)$ 이 정의됩니다:
- 관련성 (Relevance, $Rel$): 선택된 프레임들의 누적 관련성을 최대화합니다.
- 커버리지 (Coverage, $Cov$): 적어도 하나의 고도로 관련 있는 프레임이 선택되도록 보장하며(낮은 관련성의 프레임들에 균등하게 분포되는 것을 방지), 이는 log-sum-exp 근사를 통해 구현됩니다.
- 중복성 (Redundancy, $Red$): 프레임 시간 인덱스에 기반한 가우시안 커널을 사용하여 시간적 중복성을 최소화하며, 한계 효용 체감의 원칙을 강제합니다.
이 목적 함수는 훈련 중에 미분 가능한 정규화 도구로 작용하여, "관련성"과 "중복성"의 개념이 특정 태스크에 따라 동적으로 적응할 수 있게 합니다.

3. 엔드투엔드 상호 학습 (End-to-End Mutual Learning)

정적 오프라인 의사 라벨에 대한 의존성을 제거하기 위해, HFS는 학생-교사 상호 학습 전략을 사용합니다.

학생(Student): SLM 기반의 선택기가 프레임 중요도 점수를 생성합니다.
교사(Teacher): 더 큰 MLLM(비디오 추론기)이 선택된 프레임에 대해 최종 추론을 수행하며, 내부 표현으로부터 자체적인 프레임 중요도 분포를 생성하는 경량 스코러를 보유합니다.
정렬(Alignment): 학생과 교사의 분포는 쿨백-라이블러(KL) 발산을 통해 정렬됩니다.
전체 손실(Total Loss): 훈련 목적 함수는 다운스트림 크로스 엔트로피 손실, 상호 학습을 위한 KL 발산, 집합 수준 목적 함수 정규화, 그리고 쿼리 분리 손실을 결합합니다.

주요 기여

미분 가능한 집합 수준 최적화: 본 논문은 미분 가능한 커버리지 기반 집합 품질 목적 함수(한계 효용 체감 포함)를 프레임 선택기와 다운스트림 추론기의 엔드투엔드 훈련에 통합하는 프레임워크를 도입했습니다. 저자들이 알고 있는 바에 따르면, 이러한 특정 조합은 기존의 미분 가능하거나 학습이 필요 없는 집합 수준 선택기에서 채택된 바 없습니다.
CoT 조건부 쿼리 추출: CoT 프롬프팅을 사용하여 태스크 특화된 잠재 쿼리 벡터를 생성함으로써, 태스크 의도에 대한 깊은 이해와 다양한 비디오 이해 태스크에 대한 동적 적응을 가능하게 하는 새로운 메커니즘을 제시합니다.
온라인 상호 학습: KL 발산을 통해 학생 선택기와 교사 추론기를 정렬함으로써, 정적 오프라인 감독 및 의사 라벨에 대한 의존성을 제거하는 훈련 패러이다임을 제안합니다.

실험 결과

본 방법은 Video-MME, LongVideoBench, MLVU, NExT-QA의 네 가지 벤치마크에서 평가되었습니다.

성능: HFS는 기존의 프레임 선택 방식들을 크게 능가합니다.
- MLVU에서 베이스라인 대비 M-AVG 점수를 최대 4.0 퍼센트 포인트 향상시켰습니다.
- Video-MME에서 베이스라인 대비 전체 정확도를 2.6 퍼센트 포인트 개선했습니다.
- NExT-QA에서 8B 교사 모델을 사용하여 83.1%의 정확도에 도달하며, NVILA 및 Oryx-1.5와 같은 최첨단(SOTA) 방식들을 넘어섰습니다.
- 강력한 학습이 필요 없는(training-free) 방식들보다 일관되게 최대 2.0 포인트 높은 성능을 보였습니다.
효율성: HFS는 다른 쿼리 인식 선택기들과 비교하여 우수한 효율성을 보여줍니다.
- 다른 쿼리 인식 선택기(예: AKS, Q-Frame, MDP3)보다 2.4배에서 3.5배 더 빠릅니다.
- $k_{sel}=8$ 인 HFS는 $k_{sel}=16$ 인 균등 샘플링보다 높은 정확도를 달면서도 추론 지연 시간을 줄입니다.
절제 연구(Ablation Studies): 실험을 통해 각 구성 요소의 필요성을 확인했습니다. 집합 수준 목적 함수, CoT-쿼리 메커니즘, 또는 KL 증류 손실을 제거하면 모든 벤치마크에서 측정 가능한 성능 저하가 발생했습니다. 시간적 중복성 커널이 이 특정 태스크에서 의미론적(semantic) 전용 커널보다 더 효과적임이 밝혀졌습니다.

의의

본 논문은 HFS가 프레임 선택 품질과 다운스트림 태스크 성능 사이의 오랜 격차를 효과적으로 해소한다고 주장합니다. 프레임 선택을 추론 태스크와 공동 훈련되는 홀리스틱한 집합 수준 최적화 문제로 취급함으로써, 이 프레임워크는 정적 오프라인 감독에 의존하지 않고 특정 쿼리 의도에 적응합니다. 저자들은 이 연구를 더 효율적이고 정확한 비디오 이해를 향한 단계로 위치시키며, 선택과 추론을 공동으로 최적화하는 것이 분리되거나 휴리스틱한 접근 방식보다 우월한 결과를 낳는다는 것을 입증했습니다.