🤖 AI

Video Reasoning without Training

이 논문은 엔트로피 기반 신호를 활용하여 대규모 멀티모달 모델이 적응형 미세 탐색(micro-exploration) 및 미세 활용(micro-exploitation) 주기를 거치도록 유도함으로써, 비용이 많이 드는 학습 과정 없이도 비디오 추론 성능을 최상위 수준에 근접하게 달성하고 토큰 사용량을 크게 줄이는 추론 시점 최적화 방법인 V-Reason을 소개한다.

원저자: Deepak Sridhar, Kartikeya Bhardwaj, Jeya Pradha Jeyaraj, Nuno Vasconcelos, Ankita Nayak, Harris Teague

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Deepak Sridhar, Kartikeya Bhardwaj, Jeya Pradha Jeyaraj, Nuno Vasconcelos, Ankita Nayak, Harris Teague

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간은 성급한 학생(AI 모델)을 가르치며 까다로운 비디오 퍼즐을 풀게 한다고 상상해 보세요. 보통, 이 학생이 더 열심히 생각하고 더 나은 답을 내도록 만들기 위해, 선생님들은 수년간 추가 숙제를 내주고, 과제를 채점하고, 올바른 추론에 대해 보상을 주어야 합니다(이것을 논문에서는 "학습" 또는 "강화 학습"이라고 부릅니다). 이는 비용이 많이 들고, 느리며, 많은 에너지를 필요로 합니다.

이 논문은 V-Reason이라는 새로운 방법을 소개합니다. 이것은 학생을 다시 재교육할 필요가 없는 "스마트한 코치"처럼 작동합니다. 대신, 코치는 학생이 시험을 치르는 동안 실시간으로 사고 과정을 안내하기 위해 개입합니다.

작동 방식은 다음과 같이 간단한 개념들로 나누어 볼 수 있습니다:

1. 문제점: "답변으로의 질주"

AI가 비디오를 보고 질문에 답할 때, 종종 너무 빨리 결론에 도달하곤 합니다.

기존 방식: AI는 생각을 시작하다가, 조금 혼란스러워지면(높은 "엔트로피" 또는 불확실성), 설령 그것이 틀리더라도 적당해 보이는 첫 번째 경로를 빠르게 선택해 버립니다. 이는 마치 학생이 수학 문장제 문제를 읽자마자 첫 문장만 보고 답을 추측하는 것과 같습니다.
"사고"의 격차: 논문에 따르면, 가장 뛰어난 AI 모델들(비싼 방식으로 학습된 모델들)은 서두르지 않습니다. 그들은 특정한 패턴을 가지고 있습니다: 여러 가능성을 탐색하고, 되돌아가고(backtrack), 다시 탐색한 후에야 비로소 답을 결정합니다. 그들은 결론을 내리기 전에 더 오래, 더 깊게 "생각"합니다.

2. 해결책: "엔트로피 코치"

저자들은 AI가 생각하는 매 단계에서 얼마나 "혼란스러운지" 또는 "불확실한지"를 측정하는 방법인 **엔트로피(Entropy)**를 발견했습니다.

높은 엔트로피: AI가 다양한 아이디어를 탐색하고 있는 상태입니다 (마치 여러 단서를 살피는 탐정처럼).
낮은 엔트로피: AI가 확신을 갖고 특정 경로를 선택한 상태입니다.

논문은 똑똑한 모델들이 독특한 리듬을 가지고 있다는 점에 주목했습니다. 그들은 답을 확정 짓기 전에 탐색과 압축 사이를 왔다 갔다 하며 꿈틀거립니다 (미세 탐색과 미세 활용).

V-Reason은 이 "꿈틀거림"을 실시간으로 관찰하는 가벼운 도구입니다. 이것은 마치 학생에게 속삭이는 코치처럼 행동합니다:

"이봐, 너무 빨리 답을 정해버리고 있어! 돌아가서 다른 가능성들도 좀 살펴봐." (이는 **미세 탐사(micro-exploration)**를 장려합니다).
"좋아, 충분히 살펴봤어. 이제 더 확신을 가지고 최선의 경로를 확정 지어." (이는 **미세 활용(micro-exploitation)**을 장려합니다).

3. 학습 없이 작동하는 방법

V-Reason의 마법은 AI를 새로 가르칠 필요가 없다는 점입니다. 이것은 AI가 질문에 답하는 동안 AI의 내부 메모리를 미세하게 조정하는 작은 "조절 장치(컨트롤러)"를 사용합니다.

새로운 숙제 없음: AI에게 새로운 사실을 학습시킬 필요가 없습니다.
비싼 컴퓨터 불필요: 모델을 학습시키기 위해 거대한 슈퍼컴퓨터를 필요로 하지 않습니다.
적시 가이드: 단순히 더 똑똑한 모델의 리듬을 모방하도록 AI의 사고 과정을 살짝 밀어줄 뿐입니다.

4. 결과: 더 똑똑하고 더 빠르게

이 논문은 다양한 비디오 퍼즐(과학 질문이나 물체 개수 세기 등)에 대해 테스트를 진행했습니다.

정확도: V-Reason 코치를 적용한 AI는 비싼 비용을 들여 완전히 학습된 "슈퍼 AI" 모델들과 거의 대등한 수준의 퍼즐 해결 능력을 보였습니다. 실제로 그 격차를 정확도 0.6% 이내로 좁혔습니다.
효율성: AI가 목적 없이 방황하는 것을 멈추고 올바른 경로를 더 빨리 찾기 때문에, 실제로 답을 설명하는 데 더 적은 단어를 사용합니다. 즉, 작업을 더 빨리 완료하며 더 적은 컴퓨터 전력을 사용합니다 (비싼 학습 모델보다 약 58% 적은 토큰을 사용함).

핵심 요약

V-Reason을 **"사고를 위한 GPS"**라고 생각하세요. 만약 AI가 자동차를 운전하며(문제를 해결하며) 잘못된 길로 너무 빨리 접어들기 시작한다면, V-Reason은 최종 목적지에 도착하기 전 다른 경로들을 탐색하도록 부드럽게 방향을 돌려줍니다. 이는 마치 수년간 훈련받은 운전자와 같은 훌륭한 결과를 내면서도, 운전 학원을 다닐 필요 없이 즉각적으로 해내는 것과 같습니다.

기술 요약: 학습 없는 비디오 추론 (V-Reason)

문제 정의

대규모 멀티모달 모델(LMM)을 이용한 비디오 추론은 현재 비용이 많이 드는 강화 학습(RL)과 장황한 사고 사슬(Chain-of-Thought, CoT) 전략에 크게 의존하고 있습니다. 이러한 접근 방식은 긴 추론 흔적(reasoning traces)을 생성하기 때문에 훈련 및 추론 단계 모두에서 상당한 계산 오버헤드를 발생시킵니다. 또한, 모델의 "사고" 과정을 제어하는 메커니즘은 종종 불투명하고 제한적입니다. 저자들은 흔히 값비싼 RL을 통해 달성되는 추서 흔적 탐색이 추론 시 최적화(inference-time optimization)를 활용함으로써 학습 없이도 가능할 수 있다고 가정합니다. 핵심 과제는 지도 미세 조정(SFT)이나 RL 없이도 사전 학습된 지시 튜닝(instruction-tuned) LMM의 추론 능력을 향상시키는 동시에 추론 효율성을 개선하는 것입니다.

방법론: V-Reason

본 논문은 기초 지시 튜닝된 LMM의 동작을 조절하는 학습이 필요 없는 추론 시 최적화 방법인 **V-Reason (Video-Reason)**을 소개합니다. 이 접근 방식은 토큰 생성 중 모델의 출력 분포 엔트로피( $H_t$ ) 분석에 근거합니다.

1. 엔트로피 기반 통찰 (Entropy-Based Insights)

경험적 분석을 통해 저자들은 고품질 추론 모델(Video-R1과 같은 RL 학습 모델 포함)이 표준 지시 튜닝 모델과 비교하여 뚜렷한 엔트로피 패턴을 보임을 관찰했습니다:

매크로 탐색 (Macro-Exploration): 모델이 여러 솔루션 궤적을 탐색함에 따라 엔트로피가 증가하는 초기 단계입니다.
마이크로 사이클 (Micro-Cycles): 매크로 단계 내에서, 더 나은 모델들은 마이크로 탐색(작은 엔트로피 증가)과 마이크로 활용(작은 엔트로피 감소)의 사이클을 보여줍니다. 이러한 사이클은 엔트로피가 너무 빠르게 상승하는 것을 방지하여, "더 긴 사고"와 대안 경로 탐색을 가능하게 합니다.
지연된 정점 및 수렴 (Delayed Peak & Convergence): 우수한 모델은 지연된 엔트로피 정점(확장된 탐색을 나타냄)과 낮은 최종 엔트로피(솔루션으로의 자신감 있는 수렴을 나타냄)를 보여줍니다. 반면, 성능이 낮은 모델은 종로 정점에 조기에 도달하고 잘못된 답으로 성급하게 수렴하는 경향이 있습니다.

2. 추론 시 최적화 프레임워크 (Inference-Time Optimization Framework)

V-Reason은 비디오 토큰 위치의 마지막 디코더 레이어의 밸류 캐시(value cache)에 적용되는 가볍고 학습 가능한 밸류-캐시 컨트롤러 ( $\Delta V$ )를 도입하여 LMM의 동작을 적응시킵니다. 나머지 모델은 동결(frozen) 상태로 유지됩니다.

컨트롤러 메커니즘: 컨트롤러는 원래의 크기를 보존하면서 방향성 업데이트를 밸류 캐시( $V_L$ )에 추가합니다:
$V_L^{new} = \frac{V_L + \Delta V}{||V_L + \Delta V||} \cdot ||V_L||$
엔트로피 스위칭 손실 (Entropy Switching Loss): 컨트롤러는 엔트로피의 지수 이동 평균(EMA)을 기반으로 엔트로피 증가(탐색)와 감소(활용)를 교대로 장려하는 새로운 손실 함수 $L_{switch}$ $L_{s w i t c h}$ 를 사용하여 최적화됩니다:
$L_{switch}(\Delta V) = -\alpha_k H_k$
여기서 $\alpha_k \in \{-1, +1\}$ $α_{k} \in {- 1, + 1}$ 는 스위칭 계수입니다.
- 현재 EMA 엔트로피( $H_{ema}$ )가 관찰된 정점보다 낮으면, $\alpha_k = +1$ 이 되어 마이크로 탐색(엔트로피 증가)을 장려합니다.
- EMA가 전역 최댓값에 도달하면, $\alpha_k = -1$ 로 전환되어 솔루션으로 수렴하기 위한 매크로 활용(엔트로피 최소화)을 강제합니다.
이론적 보장: 본 논문은 엔트로피 업데이트가 유계(bounded)로 유지된다는 점과 EMA 기반 스위칭이 고주파 노이즈를 감쇄하고 유계된 진동을 강제하는 저역 통과 필터(low-pass filter) 역할을 하여 안정적인 최적화를 보장한다는 이론적 증명을 제공합니다.

3. 효율성 변형: V-Reason(Lite)

비디오 토큰과 관련된 높은 메모리 비용을 해결하기 위해, 저자들은 최적화 전 모든 디코더 레이어에 걸쳐 $L_2$ 노름(norm)이 가장 낮은 50%의 비디오 토큰을 제거하는 **V-Reason(Lite)**를 제안합니다. 이는 메모리 오버헤드와 학습 가능한 컨트롤러의 크기를 줄이는 동시에, 중요하지 않은 토큰으로부터 발생하는 노이즈를 줄임으로써 특정 데이터셋에서 성능을 유지하거나 약간 향상시킵니다.

주요 기여 (Key Contributions)

최초의 학습 없는 비디오 추론: 본 논문은 SFT나 RL에 의존하지 않는 순수 추론 시 최적화 비디오 추론 방법을 최초로 도입했다고 주장합니다.
엔트로피 유도 최적화: 더 강력한 모델의 추론 패턴을 모방하도록 마이크로 탐색 및 마이크로 활용 사이클을 강화하는 V-Reason을 제안했습니다.
이론적 근거: 엔트로피 업데이트의 안정성과 EMA 기반 목적 함수의 평활화 효과에 대한 이론적 보장을 제공합니다.
성능 향상: 광범적한 실험을 통해 V-Reason이 기본 지시 튜닝 모델과 RL 학습 모델(예: Video-R1) 사이의 정확도 격차를 6개 벤치마크 전체에서 평균 0.6% 이내로 좁힌다는 것을 입증했습니다.
효율성: V-Reason은 RL 모델보다 훨씬 적은 수의 출력 토큰을 생성하여, RL 모델보다 최대 37% 빠른 실제 실행 시간(wall-clock time)을 달-성합니다.

실험 결과

저자들은 Qwen2.5-VL-Instruct 시리즈(3B, 7B, 32B, 72B)를 대상으로 6개의 비디오 추론 벤치마크(VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, VideoMME)에서 V-Reason을 평가했습니다.

정확도: V-Reason은 기본 모델의 성능을 평균 1.4% 향상시켰습니다. 7B 모델의 경우, (MRA 없이) 평균 **54.8%**의 정확도를 달성하여, RL 학습된 Video-R1-7B(56.6%)와의 격차를 0.6% 이내로 좁혔습니다.
확장성: 이 방법은 3B, 7B, 32B, 심지어 72B 모델 전반에 걸쳐 효과적임을 입증하였으며, min-p 및 top-H와 같은 최신 디코딩 방식과 상보적(complementary)입니다.
토큰 효율성: V-Reason은 기본 모델 및 RL 모델보다 훨씬 적은 토큰을 생성하여 지연 시간을 직접적으로 단축했습니다.
정성적 분석: 사례 연구에 따르면, V-Reason은 솔루션으로 수렴하기 전에 대안적인 추론 경로를 탐색(지연된 엔트로피 정점)함으로써 기본 모델이 범하는 오류를 종종 바로잡는 반면, 기본 모델은 조기에 발산하는 경향이 있습니다.

의의 및 주장

본 논문은 V-Reason을 효율적이고 접근 가능한 비디오 추론을 향한 중요한 단계로 포지셔닝합니다. 저자들은 다음과 같이 주장합니다:

지식 표면 (Knowledge Surface): 이 방법은 솔루션이 사전 학습된 모델의 지식 공간 내에 있지만, 이를 끌어내기 위한 더 나은 탐색 전략이 필요할 때 가장 효과적입니다. 이는 모델의 추론 능력을 사전 학습 범위를 넘어 근본적으로 확장한다는 것이 아니라, 탐색 과정을 정교화한다는 것을 의미합니다 합니다.
상보성: 이 접근 방식은 기존의 학습 패러다임(SFT, RL) 및 디코딩 전략과 직교(orthogonal)하며, 따라서 이들과 통합될 수 있음을 시사합니다.
효율성: 토큰 생성을 줄이고 값비싼 학습을 피함으로써, V-Reason은 비디오 이해 작업을 위한 실용적이고 가벼운 RL 기반 추론의 대안을 제공합니다.

저자들은 한계점도 인정하며, 사전 학습에서 충분히 다뤄지지 않은 작업(예: 특정 회귀 작업)의 경우 학습 기반 접근 방식이 여전히 우월할 수 있다고 언급했습니다. 또한, 토큰 프루닝(pruning)으로 인해 긴 지속 시간의 비디오에 대해서는 Lite 변형 모델의 정확도가 떨어질 수 있다고 명시했습니다. 향-후 연구로는 이러한 엔트로피 기반 목적 함수를 학습 단계 자체에 통합하는 방안이 제시되었습니다.