🤖 AI

DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

DynFrame는 효율적인 다중 세분화 비디오 증거 검색과 정밀한 신용 할당을 가능하게 하여 복잡한 비디오 이해 분야에서 최첨단 성능을 달성하기 위해 학습 가능한 토큰화된 프레임 샘플링 밀도와 세그먼트 분해 GRPO 학습 전략을 도입한 적응형 다중 모달 프레임워크입니다.

원저자: Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

게시일 2026-05-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

DynFrame 논문에 대한 설명을 창의적인 비유를 곁들여 쉬운 언어로 번역한 것입니다.

큰 문제: "흐릿한 스냅샷"의 함정

30 분짜리 영상에서 미스터리를 해결하려 한다고 상상해 보세요. 당신은 똑똑한 AI 에게 "차가 충돌했을 때 색깔이 뭐였나요?"라고 묻습니다.

현재의 AI 모델들은 종종 영상을 답하기 전에 단 하나의 흐릿한 스냅샷을 찍는 사진작가처럼 작동합니다. 그들은 시작, 중간, 끝 부분의 프레임을 하나씩 골라볼 수 있습니다. 만약 충돌이 그 프레임들 사이의 찰나에 일어났다면, AI 는 그것을 완전히 놓치게 됩니다. 그 후 AI 는 기억에 의존해 답을 추측하려 하므로, 종종 "환각" (무언가를 지어내는 것) 을 일으킵니다.

일부 최신 모델들은 AI 가 영상을 "되감아" 다시 보게 함으로써 이를 해결하려 합니다. 하지만 이러한 모델들은 서툴러서, 보통 영상을 수 차례 되감아야 합니다. 작은 클립을 요청하고, 또 다른 것을 요청하고, 또 다른 것을 요청하는 식입니다. 이는 느리고 비용이 많이 들며, AI 의 "사고 과정"을 매우 길고 혼란스럽게 만듭니다.

해결책: DynFrame (스마트 탐정)

DynFrame은 AI 를 훨씬 더 똑똑한 탐정으로 가르치는 새로운 시스템입니다. 흐릿한 스냅샷을 찍거나 영상을 열 번이나 되감는 대신, DynFrame 은 단일 단계에서 두 가지 일을 동시에 수행하도록 학습합니다.

어디를 볼지: 정확한 시간 창을 선택합니다 (예: "1 분 05 초에서 1 분 10 초 사이를 보세요").
얼마나 빠르게 볼지: 그 특정 순간에 필요한 "프레임 속도" (초당 이미지 수) 를 결정합니다.

비유: 보안 카메라
생중계를 지켜보는 보안 요원을 상상해 보세요.

구형 AI: 요원은 10 초마다 사진을 찍습니다. 도둑이 10:05 에 지나가면 요원은 그것을 놓칩니다. 그 후 요원은 카메라 운영자에게 "줌인"하고 "느리게" 재생하라고 요청한 뒤, 다시 "더 줌인"하라고 요청해야 합니다.
DynFrame: 요원은 수상한 것을 발견합니다. 즉시 그들은 말합니다: "10:05 로 되감고 초당 60 프레임으로 보여줘!" 그들은 사건을 해결하기 위해 완벽한 고속 증거를 즉시 얻습니다.

작동 원리 (네이티브 토큰)

이 논문은 **토큰화된 검색 (Tokenized Retrieval)**이라는 교묘한 트릭을 소개합니다.
보통 컴퓨터에 "더 많은 영상을 가져오라"고 요청하는 것은 다른 부서에 별도의 이메일을 보내는 것과 같습니다. DynFrame 은 이를 대화 자체의 일부로 만듭니다.

AI 는 사고 과정 안에 <span> (시간 창) 과 <fps> (초당 프레임 수) 와 같은 특별한 "마법 단어" (토큰) 를 바로 생성합니다.

예시: AI 는 이렇게 생각합니다: "충돌을 확인해야 해. 10.0 초 - 12.0 초 6. 알겠어, 이제 차가 빨간색이었음을 알겠다..."

이를 통해 AI 는 빠른 동작을 위해 슬로우 모션 뷰 (높은 초당 프레임 수) 가 필요한지, 아니면 느린 대화를 위해 몇 개의 느린 프레임만 필요한지 실시간으로 결정할 수 있습니다.

훈련: "세그먼트 분리형 GRPO"

모델을 이렇게 훈련시키는 것은 까다롭습니다. AI 가 답을 틀렸다면, 잘못된 시간을 봤기 때문인지, 아니면 본 영상을 오해했기 때문인지 어떻게 알 수 있을까요?

저자들은 SD-GRPO라는 새로운 훈련 방법을 고안했습니다.

비유: 시험을 보는 학생을 상상해 보세요.
- 구형 방법: 학생이 최종 답을 틀리면, 올바른 교과서 페이지를 골랐더라도 단순히 수학 실수를 했더라도 전체 시험에 나쁜 점수를 받습니다.
- DynFrame 방법: 선생님이 점수를 분리합니다. "너는 페이지 번호를 맞췄어 (잘했어!)" 하지만 "너는 수학을 틀렸어 (다시 해봐)."
  이것은 AI 가 올바른 영상 세그먼트를 찾는 방법과 그것을 추론하는 방법을 혼동하지 않고 각각 구체적으로 배우도록 도와줍니다.

결과

저자들은 DynFrame 을 여섯 가지 다른 영상 과제 (영상의 특정 순간 찾기나 장편 영화에 대한 질문 답변 등) 에서 테스트했습니다.

성능: 그들의 작은 모델 (40 억 파라미터) 은 훨씬 더 크고 잘 정립된 모델들 (70~80 억 파라미터) 과同等한 성능을 발휘했습니다.
효율성: DynFrame 은 여러 번의 서툰 단계 대신 단 하나의 스마트한 검색 단계만 필요로 하므로 더 빠르고 컴퓨팅 파워가 덜 필요합니다.

요약

DynFrame은 무엇을 볼지 단순히 "추측"하는 영상 AI 가 아닙니다. 그것은 *"나는 이 특정 5 초 클립을 봐야 하는데, 슬로우 모션으로 봐야 해"*라고 말하도록 학습합니다. 모든 것을 한 번에 말하듯이요. 이는 AI 가 길을 잃거나 시간을 낭비하지 않고 복잡한 영상 미스터리를 훨씬 더 잘 해결하게 만듭니다.

제공된 논문에 기반하여 DynFrame에 대한 상세한 기술적 요약을 제시합니다.

문제 제기

최근 멀티모달 대규모 언어 모델 (MLLM) 은 단계별 추론과 필요에 따른 시각적 증거 검색을 결합하여 비디오 이해 능력을 향상시켰습니다. 그러나 기존 "비디오를 통한 사고 (thinking-with-video)" 시스템은 두 가지 구조적 결함을 안고 있습니다:

고정된 샘플링 밀도: 모델이 어디를 볼지 (시간 창) 결정할 수는 있지만, 해당 시간 창 내의 프레임 레이트 (샘플링 밀도) 는 일반적으로 고정된 시스템 하이퍼파라미터입니다. 결과적으로 세밀한 증거를 복구하려면 반복적인 검색 호출이 필요하여 추론 컨텍스트 길이가 불필요하게 늘어나고 학습이 복잡해집니다.
신용 할당 불균형: 현재의 강화 학습 (RL) 접근법은 단일 이점 신호로 전체 생성 궤적을 최적화하는 경우가 많습니다. 이로 인해 "어디를 볼지" 결정 (검색 토큰) 에 대한 신용과 "어떻게 답할지" 결정 (추론 토큰) 에 대한 신용이 얽히게 되어, 한 구성 요소는 정확하고 다른 구성 요소는 그렇지 않을 때 학습이 비최적화됩니다.

방법론

저자들은 적응형 프레임 검색과 동적으로 교차된 비전 - 언어 추론을 통합하는 엔드 - 투 - 엔드 학습 가능한 프레임워크인 DynFrame을 제안합니다. 핵심 구성 요소는 다음과 같습니다:

1. 토큰화된 검색 인터페이스
DynFrame 은 프레임 레이트 적응을 자기회귀 생성 궤적 내의 학습 가능한 결정으로 간주합니다. 외부 도구 호출 대신 모델은 검색 명령을 지정하기 위해 네이티브 토큰을 방출합니다:

<span>ts–te</span>: 시간 창을 정의합니다.
<fps>f</fps>: 샘플링 프레임 레이트를 정의합니다.
이를 통해 모델은 단일 검색 단계에서 다중 세분화 증거 (모션은 밀집된 프레임, 의미는 희소한 프레임) 를 획득할 수 있습니다.

2. 동적 프레임 주입
종료 </fps> 토큰이 생성되면 시스템은 실시간 주입 메커니즘을 트리거합니다. 시스템은 지정된 시간 창에서 예측된 프레임 레이트로 $N$ 개의 프레임을 추출하고, 고정된 비전 인코더를 통해 이를 인코딩한 후 타임스탬프가 지정된 시각 토큰을 생성 버퍼에 추가합니다. 이후 디코더는 KV 상태를 재-프리필 (re-prefill) 하여 주입 후 추론이 새로 검색된 프레임을 양방향으로 주시할 수 있도록 합니다.

3. 세그먼트 분리형 GRPO (SD-GRPO)
신용 할당 불균형을 해결하기 위해 저자들은 검색 경계 ( $T_{fps}$ ) 에서 롤아웃을 분할하는 강화 학습 알고리즘인 SD-GRPO를 도입합니다:

샘플링 세그먼트 ( $t \le T_{fps}$ ): 예측된 시간 범위가 정답과 겹치는 정도와 예측된 FPS 의 정확도에 기반한 특정 보상 ( $R_{samp}$ ) 을 받습니다.
추론 세그먼트 ( $t > T_{fps}$ ): 작업 정확도 (예: 정확한 일치 또는 IoU) 에 기반한 답변별 보상 ( $R_{ans}$ ) 을 받습니다.
토큰 수준의 이점은 이러한 세그먼트별로 별도로 계산되어, 모델이 최종 답변의 품질과 무관하게 좋은 검색 결정을 내린 경우 명시적으로 보상을 받고, 그 역도 성립하도록 보장합니다.

4. 데이터 큐레이션
이 프레임워크는 두 가지 큐레이션된 데이터셋으로 학습됩니다:

DM-CoT-74k: 교차된 검색 명령과 근거 있는 추론을 포함한 감독 미세 조정 (SFT) 데이터셋.
DM-RL-45k: 정답 시간 범위와 FPS 타겟을 가진 강화 학습 데이터셋으로, 분리된 보상을 계산하는 데 사용됩니다.

주요 기여

네이티브 토큰화 적응: DynFrame 은 시간 범위와 샘플링 밀도를 네이티브 토큰으로 방출함으로써 적응형 시간 증거 획득을 외부에서 스케줄링된 도구 작업에서 모델 고유의 추론 능력으로 변환합니다.
세그먼트 분리형 최적화: SD-GRPO 의 도입은 샘플링 결정 최적화와 답변 추론을 분리하여 타겟팅된 신용 할당을 가능하게 하며, 이는 검색과 추론의 공적응을 안정화시킵니다.
큐레이션된 데이터셋: 견고한 네이티브 토큰화 적응형 검색 학습을 지원하기 위한 DM-CoT-74k 와 DM-RL-45k 의 생성.

실험 결과

DynFrame 은 시간 기반 그라운딩, 그라운딩 VideoQA, 장편 비디오 이해 (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench) 를 아우르는 여섯 가지 벤치마크에서 평가되었습니다.

성능: DynFrame-8B는 대부분의 지표에서 최첨단 (SOTA) 결과를 달성하여 강력한 7B~8B 베이스라인 (Video-o3, VITAL, VideoChat-R1.5 포함) 을 능가했습니다. DynFrame-4B는 파라미터 수가 절반임에도 불구하고 이러한 더 큰 베이스라인과 경쟁력을 보였습니다.
효율성: 컨텍스트 길이를 크게 확장하는 다중 턴 검색 방법과 달리, DynFrame 은 단일 검색 라운드로 높은 정확도를 달성하여 관리 가능한 추론 컨텍스트를 유지합니다.
애블레이션 연구:
- 세그먼트 분리를 제거하고 (일반 GRPO 사용) 성능이 저하되어 분리된 신용 할당의 필요성을 확인했습니다.
- 동적 FPS 예측을 고정 레이트로 대체하면 성능이 저하되어 적응형 밀도의 필요성을 검증했습니다.
- 모델은 희소한 초기 샘플링 ( $f_1$ ) 에 대해 견고성을 보이며 동적 검색을 통해 누락된 증거를 성공적으로 복구했습니다.

의의

본 논문은 DynFrame 이 경직되고 시스템 정의된 시각적 패스에서 유연하고 모델 주도적인 증거 획득으로의 전환을 나타낸다고 주장합니다. 어디를 볼지 그리고 얼마나 밀집하게 샘플링할지 모두 학습함으로써 모델은 작업 적응형 다중 세분화 증거를 효율적으로 획득할 수 있습니다. 제안된 SD-GRPO 프레임워크는 생성 과정의 서로 다른 단계에 대한 학습 신호가 얽히지 않도록 복잡한 검색 - 추론 행동을 학습할 수 있는 메커니즘을 제공합니다. 이 접근법은 더 작은 모델 (4B) 이 더 큰 베이스라인과 경쟁할 수 있게 하며 장편 비디오 이해에 대한 새로운 성능 표준을 설정합니다.