💬 NLP

Video2LoRA: Parametric Video Internalization for Vision-Language Models

Video2LoRA는 퍼시버(perceiver) 하이퍼네트워크를 통해 동결된 시각-언어 모델이 비디오 콘텐츠를 단일 저차원 적응(LoRA) 어댑터로 내재화할 수 있게 하는 방법으로, 직접적인 비디오 처리와 대등한 성능을 보이면서도 계산 비용을 크게 줄이고 긴 비디오에 효과적으로 확장할 수 있는 토큰 없는 쿼리 추론을 가능하게 한다.

원저자: Manan Suri, Sarvesh Baskar, Dinesh Manocha

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manan Suri, Sarvesh Baskar, Dinesh Manocha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 VIDEO2LORA 논문을 일상적인 비유를 사용하여 쉬운 개념으로 풀어낸 설명입니다.

핵심 문제: "너무 꽉 찬 여행 가방"

당신에게는 비디오에 대한 질문에 답할 수 있는 매우 똑똑하고 얼어붙은(frozen) 로봇(시각-언어 모델)이 있다고 상상해 보세요. 현재 이 로봇에게 비디오를 보여주려면, 비디오를 수천 개의 아주 작은 조각(이를 "토큰"이라고 부릅니다)으로 나누어 로봇의 "배낭"(컨텍스트 윈도우)에 질문 하나에 답하기 전까지 모두 집어넣어야 합니다.

문제점: 비디오가 길어지면 배낭이 너무 무겁고 꽉 차서 로봇이 혼란을 느끼거나, 같은 말을 반복하거나, 엉뚱한 대답을 하기 시작합니다.
비용: 동일한 비디오에 대해 새로운 질문을 할 때마다, 매번 배낭 전체를 다시 채워 넣어야 합니다. 이는 느리고, 비용이 많이 들며, 비효율적입니다.

해결책: VIDEO2LORA ("기억 이식")

저자들은 VIDEO2LORA라고 불리는 새로운 방법을 제안합니다. 비디오를 매번 배낭에 쑤셔 넣는 대신, 비디오의 기억을 로봇의 뇌에 직접 "이식"하는 것입니다.

다음과 같이 생각해보세요:

기존 방식: 특정 기억에 대해 논의할 때마다 회의 때마다 물리적인 사진첩을 직접 가지고 오는 것과 같습니다.
VIDEO2LОRA 방식: 사진첩을 한 번 공부한 다음, 그 사진첩의 기억을 당신의 뇌로 직접 "다운로드"하는 것입니다. 이제 당신은 회의에 물리적인 책을 전혀 가져오지 않고도 그 사진첩에 관한 질문에 답할 수 있습니다.

작동 원리: "즉석 번역기"

이 논문은 Perceiver Hypernetwork(매우 빠른 번역기라고 생각하세요)라는 특수한 도구를 사용하는 3단계 과정을 설명합니다.

비디오 읽기: 얼어붙은 로봇이 비디오를 보고, 레이어별로 자신이 보는 것에 대한 숨겨 된 "요약본"을 만듭니다.
즉석 번역: 하이퍼네트워크(Hypernetwork)가 이 요약본을 읽고, 즉시 아주 작은 맞춤형 지침서(이를 LoRA 어댑터라고 부릅니다)를 작성합니다. 이 지침서는 로봇에게 이 특정 비디오에 대해 어떻게 생각해야 하는지 알려주는 "정신적 미세 조정"과 같습니다.
결과: 로봇은 이 작은 지침서를 자신의 뇌에 부착합니다. 이제 당신이 "비디오에서 무슨 일이 일어났나요?"라고 물으면, 로봇은 오직 그 지침서만을 사용하여 답변합니다. 로봇은 비디오를 다시 볼 필요도 없고, 무거운 시각적 토큰이 담긴 배낭을 짊어질 필요도 없습니다.

이것이 왜 중요한가 (결과)

1. 속도와 효율성
로봇이 질문 하나를 할 때마다 비디오를 다시 읽을 필요가 없기 때문에 믿을 수 없을 정도로 빠릅니다.

비유: 매번 사실을 확인하기 위해 도서관에 차를 몰고 가는 것과, 백과사전을 머릿속에 암기하고 있는 것의 차이와 같습니다.
논문의 주장: 이 시스템은 질문에 답하기 시작하는 속도(첫 번째 토큰 생성 시간)가 6배에서 80배 더 빠릅니다. 또한 로봇이 처리해야 하는 데이터의 양을 최대 1,500배까지 줄여줍니다.

2. 긴 비디오를 더 잘 처리함
현재의 시스템들은 비동영상이 너무 길어지면(마치 긴 영화를 문자 메시지에 담으려는 것처럼) 제대로 작동하지 못하는 경우가 많습니다.

논문의 주장: 이 시스템은 짧은 클립(12프레임)만으로 학습되었음에도 불구하고, 매우 긴 비디오(최대 1,024프레임)에서도 놀라울 정도로 잘 작동합니다. 다른 방법들이 긴 비디오에서 환각 현상을 보이거나 엉뚱한 말을 반복하기 시작하는 반면, VIDEO2LORA는 안정적이고 정확하게 유지됩니다.

3. 질문에 답하도록 "배우지" 않고도 작동함
이 시스템은 오직 비디오의 설명을 쓰는 것(캡션 생성)에 대해서만 학습되었습니다. 특정 질문(예: "자동차 색깔이 무엇이었나요?")에 답하도록 명시적으로 배우지 않았습니다.

논문의 주장: 그럼에도 불구하고, 이 시스템은 비디오 질의응답 테스트에서 표준적인 방법들과 대등한 성능을 보여줍니다. 이는 누군가에게 인물의 전기 쓰는 법을 가르쳤는데, 나중에 알고 보니 그 사람이 전문적인 퀴즈 전문가만큼이나 퀴즈 질문에도 잘 대답할 수 있게 된 것과 같습니다.

4. "레고" 효과 (조합)
연구진은 흥미로운 사실을 발견했습니다. 만약 비디오의 서로 다른 두 부분(예: 전반부와 후반부)을 가져와서 각각의 "기억 지침서"를 생성한 뒤, 이 둘을 결합하면 로봇이 비디오 전체를 이해할 수 있다는 것입니다.

비유: 책의 첫 장과 마지막 장을 따로 학습한 다음, 그 두 가지 정신적 메모를 서로 끼워 맞춰서 전체 이야기를 이해하는 것과 같습니다. 이는 매우 긴 비디오를 조각으로 나누어 처리할 수 있는 방법을 제시합니다.

요약

VIDEO2LORA는 비디오를 로봇의 "배낭"(컨텍스트 윈도우)에서 로봇의 "뇌"(파라미터)로 옮김으로써 게임의 판도를 바꿉니다.

더 이상 무거운 짐을 들 필요가 없음: 로봇은 시각적 데이터를 운반하지 않고도 질문에 답합니다.
즉각적인 접근: 이전보다 더 빠르게 답변하며 더 긴 비디오를 더 잘 처리합니다.
일회성 설정: 비디오를 한 번만 처리하여 "기억 이식"을 만들면, 그 후에는 제한 없이 즉시 질문을 던질 수 있습니다.

이 논문은 이 방법이 비디오를 설명하고 질문에 답하는 데 있어 기존 방식만큼 통계적으로 우수하면서도, 훨씬 적은 컴퓨팅 파워와 시간으로 이를 수행할 수 있음을 증명합니다.

기술 요약: VIDEO2LORA

문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 비디오 이해에 있어 근본적인 병목 현상에 직면해 있습니다: 바로 토큰 집약적인 추상화에 대한 의존성입니다. 표준적인 방식은 비디오 프레임을 시각적 토큰으로 인코딩하여 모델의 컨텍스트 창(context window)에 결합합니다. 표준 해상도의 단일 프레임은 수백 개의 토큰을 생성할 수 있으며, 결과적으로 짧은 클립조차 텍스트 쿼리가 추가되기 전에 수만 개의 토큰을 생성하게 됩니다. 이는 메모리와 지연 시간(latency)이 모든 프레임과 반복되는 쿼리에 따라 선형적으로 증가하는 심각한 확장성 문제를 초래합니다.

자원 제약을 넘어, 이러한 아키텍처는 "용량 한계(capacity ceiling)"에 부딪힙니다. 컨텍스트 창이 포화되면, VLM은 종종 비디오 콘텐츠와 무관하게 일관성이 없거나 반복적인 텍스트를 생성합니다. 프레임 서브샘플링(subsampling), 시각적 토큰 압축, 롱 컨텍스트 아키텍처, 스트리밍 방식과 같은 기존의 완화 전략들은 부담을 줄여주기는 하지만 핵심적인 제약을 제거하지는 못합니다: 즉, 쿼리 시점에 시각적 토큰은 여전히 컨텍스트에 남아 있으며, 모든 쿼리는 인코딩 오버헤드를 다시 발생시킵니다.

방법론: VIDEO2LORA

저자들은 **파라미터적 비디오 내재화(parametric video internalization)**를 위한 프레임워크인 VIDEO2LORA를 제안합니다. 이 방법은 비디오 정보를 컨텍스트 창에 맞게 압축하는 대신, 쿼리가 발행되기 전에 비디오를 모델의 파라미터로 인코딩함으로써 쿼리에서 시각적 토큰을 완전히 제거합니다.

핵심 아키텍처

시스템은 세 가지 주요 구성 요소로 이루어집니다:

동결된 VLM 인코더 ( $E$ ): 사전 학습된 VLM(구체적으로 SmolVLM2)이 입력 비디오를 레이어별 은닉 상태(hidden states)로 인코딩합니다. 인코더는 학습 동안 동결된 상태를 유지합니다.
학습 가능한 퍼시버 하이퍼네트워크 ( $H_\phi$ ): 하이퍼네트워크는 동결된 인코더로부터 나온 은닉 상태를 처리합니다. 이는 학습된 잠재 쿼리(learned latent queries)로부터 비디오 조건부 은측 상태에 어텐션을 수행하는 Perceiver 스타일의 리샘플러 아키텍처를 사용합니다. 이 네트워크는 비디오 표현을 단 한 번의 순방향 패스(forward pass)를 통해 저차원 적응(Low-Rank Adaptation, LoRA) 가중치로 직접 매핑합니다.
동결된 답변 모델 ( $F$ ): 인코딩에 사용된 것과 동일한 동결된 VLM이 답변 모델 역할을 합니다. 추론 시, 생성된 LoRA 어댑터가 이 모델에 부착됩니다. 모델은 오직 어댑터 가중치와 텍스트 프롬프트만을 사용하여 다운스트림 텍스트 프롬프트에 답변하며, 이때 컨텍스트 내에 시각적 토큰은 존재하지 않습니다.

학습 목표

학습 과정은 일반적인 미세 조정(fine-tuning)과는 구별됩니다:

동결(Freezing): 비디오 인코더와 답변 모델 모두 동결된 상태를 유지합니다. 오직 하이퍼네트워크 파라미터( $\phi$ )만이 업데이트됩니다.
감독(Supervision): 하이퍼네트워크는 교사 강제 크로스 엔트로피 손실(teacher-forced cross-entropy loss)을 사용하여 학습됩니다. 감독 신호는 비디오 프레임과 타겟 프롬프트에 조건화된, 동결된 "교사(teacher)" VLM에 의해 오프라인으로 생성되어 캐싱된 결과물에서 옵니다.
효율성: 하이퍼네트워크는 예시당 반복적인 그래디언트 업데이트를 수행하는 대신 가중치를 직접 예측하므로, 대량의 시각적 데이터에 대한 예시별 최적화의 계산적 불가능성을 피할 수 있습니다.

주요 기여

최초의 파라미터적 비디오 내재화: 본 논문은 비디오를 단 한 번의 순방향 패스로 LoRA 어댑터로 변환하는 Perceiver 하이퍼네트워크를 소개합니다. 이를 통해 동결된 VLM이 컨텍스트 창에 시각적 토큰 없이도 비디오에 관한 쿼리에 답할 수 있게 합니다.
직접 추론과의 통계적 동등성: 이 방법은 500M 및 2.2B 파라미터 규모 모두에서 다섯 가지 캡셔닝 벤치마크(ActivityNet Captions, PLM-RDCap, PLM-RCap, VDC, CaReBench)에 대해 직접 비디오-인-컨텍스트 추론과 통계적 비열등성 및 동등성을 달性했습니다. 또한 7개의 8개 비디오 질의응답(QA) 벤치마크 규모 쌍에서도 동등한 성능을 보였습니다.
일반화 및 창발적 구성성(Emergent Compositionality):
- 해상도/길이 스케일링: 384px 해상도의 12개 프레임으로만 학습되었음에도 불구하고, VIDEO2LORA는 직접 비디오-인-컨텍스트 추론이 퇴보하기 쉬운 영역인 1,024개 프레임 및 1,024px 해상도까지 안정적으로 작동합니다.
- 어댑터 합성(Adapter Composition): 저자들은 중첩되지 않는 비디오 세그먼트에 대해 독립적으로 생성된 어댑터들이 랭크 공간(rank space)에서 합성될 수 있음을 보여주며, 이는 별도의 학습 없이 청크형 롱 비디오 내재화를 향한 경로를 제시합니다.

결과 및 효율성

성능 지표

캡셔닝(Captioning): 2.2B 규모에서 VIDEO2LORA는 베이스 모델의 LLM Judge 점수의 91.9%를 회복합니다. 500M 규모에서는 84.2%를 회복합니다. Token-F1 측면에서 이 방법은 종종 베이스 모델과 일치하거나 이를 능가하며, 2.2B 규모에서 평균 쌍 델타(mean paired delta)는 0.000입니다.
비디오 QA: 캡셔닝에 대해서만 학습되었음에도 불구하고, 이 방법은 QA 작업으로 제로샷 전이가 가능합니다. 8개의 벤치마크 규모 조합 중 7개에서 비열등성 및 동등성 테스트를 통과했습니다.
- 참고 (QA 지표): 논문은 짧은 답변 QA에 대한 LLM Judge 점수와 Token-F1 사이의 차이를 언급합니다. VIDEO2LORA는 (캡셔닝 학습으로 인해) 직접 베이스라인의 간결한 답변에 비해 더 장황하고 묘사적인 답변을 생성하는 경향이 있습니다. Token-F1은 이러한 장황함을 감점하지만, LLM judge는 의미론적 정확성을 확인합니다.

효율성 이득

VIDEO2LORA의 주요 장점은 비디오 처리와 쿼리 지연 시간의 분리입니다:

토큰 감소: 답변 시점의 시각적 토큰 부하를 최대 1,500배까지 줄입니다 (예: 추론 시 0개의 토큰 전달).
지연 시간 (TTFT): 쿼리 시 최초 토큰 생성 시간(TTFT)이 6~80배 감소합니다.
분할 상환(Amortization): 동일한 비디오에 대한 반복 쿼리의 경우, 어댑터를 생성하는 일회성 비용이 분할 상환됩니다. 예를 들어, 500M 모델의 경우 평균 TTFT는 6.45초(직접 추론)에서 0.55초로 감소합니다.
안정성: KV 캐싱이나 토큰 압축과 달리, 토큰 수에 따라 스케일링되는 방식과 달리 VIDEO2LORA는 비디오 길이와 해상도가 증가함에 따라 거의 일정한 쿼리 TTFT와 안정적인 출력 품질을 유지합니다.

의의 및 주장

논문은 VIDEO2LOLA가 비디오 이해의 패러다임 전환을 나타낸다고 주장합니다. 즉, "더 많은 비디오를 컨텍스트에 맞추는 것"에서 "비디오를 파라미터로 인코딩하는 것"으로 이동했다는 것입니다. 저자들은 컨텍스트 창은 관리해야 할 대상이 아니라 제거해야 할 제약 조건이라고 단언합니다.

그 의의는 다음과 같습니다:

실현 가능성: 고용량의 시각적 컨텍스트가 반복적인 최적화 없이도 컴팩트한 파라미터 업데이트(LoRA 어댑터)로 압축될 수 있음을 입증했습니다.
확장성: 현재의 최첨단 VLM들이 컨텍스트 포화로 인해 실패하는 비디오 길이 및 해상도에서도 안정적으로 작동하는 솔루션을 제공합니다.
효율성: 반복적인 비디오 쿼리에 대한 메커니즘을 제공하여 지연 시간과 계산 부하를 획기적으로 줄임으로써, 인터랙티브 비디오 분석을 더욱 실용적으로 만듭니다.

저자들은 현재 구현이 서로 다른 모델 규모에 대해 별도의 하이퍼네트워크를 필요로 한다는 점, QA로의 전이가 제로샷이라서 답변 길이의 스타일 불일치가 발생한다는 점, 그리고 압축 과정에서 미세한 디테일(카메라 움직임 등)이 손실될 수 있다는 점을 인정하며 한계에 대해 겸허한 태도를 유지합니다. 또한 현재의 청크 합성 실험은 아직 시간적 순서를 명시적으로 모델링하지 않은 예비적인 두 개 청크 테스트임을 언급했습니다.