Proact-VL: A Proactive VideoLLM for Real-Time AI Companions

이 논문은 실시간 스트리밍 입력에서 저지연 추론과 자발적 응답 결정, 콘텐츠 품질 및 양 제어를 해결하여 인간과 같은 AI 동반자를 구현하는 프로액티브 비디오 LLM 프레임워크 'Proact-VL'과 이를 평가하는 'Live Gaming Benchmark'를 제안합니다.

핵심

프로액트-VL (Proact-VL): 게임 방송을 보는 것보다 더 생생한 'AI 해설가'

이 논문은 **"실시간으로 게임 방송을 보며, 사람처럼 자연스럽게 해설해 주는 AI"**를 만드는 기술을 소개합니다. 기존 AI 들은 영상을 보고 "무슨 일이 일어났니?"라고 물어야만 대답했지만, 이 새로운 AI 는 스스로 "지금 이 순간이 중요하니까 내가 말해야겠다!"라고 판단해서 먼저 말을 겁니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 문제점: "침묵의 AI"와 "지껄이는 AI"의 딜레마

지금까지의 실시간 영상 AI 는 두 가지 극단적인 문제를 겪고 있었습니다.

• 극단 1 (침묵의 AI): 영상을 계속 보고만 있다가, 사용자가 "이거 뭐야?"라고 물어보아야만 대답합니다. 마치 옆에 앉아 있는데 입을 안 뜨는 친구 같습니다.
• 극단 2 (지껄이는 AI): "지금! 지금! 지금!" 하고 1 초도 쉬지 않고 떠들고 있습니다. 마치 귀찮게 하는 친구처럼, 중요한 순간에 오히려 소리가 섞여서 들리지 않게 만듭니다.

핵심 질문: "언제 입을 열어야 하고, 언제 조용히 있어야 할까?"를 스스로 판단하는 AI 가 없었습니다.

2. 해결책: 프로액트-VL (Proact-VL) 의 등장

이 논문에서 만든 프로액트-VL은 마치 실력 있는 스포츠 해설가처럼 행동합니다.

• 상황 파악 (프로액티브): 해설가가 경기 중 "오! 골이 날 것 같다!"라고 미리 감을 잡듯이, AI 도 게임 화면을 보며 "이제 내가 말해야 할 타이밍이야!"라고 스스로 판단합니다.
• 적절한 말하기: 중요한 순간에는 짧고 강렬하게, 지루할 때는 조용히 있습니다. 마치 사람처럼 리듬감을 가지고 대화합니다.
• 실시간성: 게임이 진행되는 동안 멈추지 않고, 1 초 단위로 영상을 보고 바로 반응합니다.

3. 어떻게 만들었을까? (세 가지 핵심 기술)

이 AI 를 만들기 위해 연구자들은 세 가지 중요한 장치를 달았습니다.

① "조각 내기" (Chunk-wise Processing)

• 비유: 긴 영화를 한 번에 다 보지 않고, 1 초짜리 짧은 조각으로 잘게 나누어 봅니다.
• 효과: AI 가 매 1 초마다 "지금 무슨 일이 일어나고 있지?"를 빠르게 체크합니다. 이렇게 하면 지연 없이 실시간으로 반응할 수 있습니다.

② "스스로 판단하는 스위치" (Proactive Mechanism)

• 비유: AI 의 뇌속에 **'스위치'**가 있습니다. 이 스위치는 "지금 말해야 할까?"를 계산합니다.
  • 스위치 ON: "오! 적군이 나타났네! 해설해야지!" → 말을 겁니다.
  • 스위치 OFF: "아, 그냥 평범한 이동이네." → 조용히 있습니다.
• 효과: 불필요하게 떠들지 않고, 정말 중요한 순간에만 목소리를 냅니다.

③ "게임 해설가 훈련" (Live Gaming Dataset)

• 비유: AI 를 가르치기 위해 실제 프로게이머 해설자들의 방송 561 시간 분량을 공부시켰습니다.
• 효과: AI 는 게임 용어도 잘 알고, 언제 열광하고 언제 진지하게 설명해야 하는지 '감'을 익혔습니다. (마치 해설가 학교를 졸업한 셈입니다.)

4. 어떤 일을 해낼 수 있나요?

이 AI 는 크게 두 가지 역할을 잘해냅니다.

1. 해설가 (Commentator):
   • 게임이 진행되는 동안, 사람처럼 "와, 저기 저거 재밌네!", "아까운 실수야!"라고 실시간으로 반응합니다.
   • 여러 해설가가 함께 일할 때도 서로 말을 잘 듣고, 겹치지 않게 자연스럽게 대화합니다.
2. 가이드 (Guide):
   • 게임이 막혀서 "어떻게 해야 해?"라고 사용자가 물어보면, 화면을 보며 "저기 물이 있으니 그쪽으로 가세요"라고 즉시 조언해 줍니다.

5. 결론: 왜 이것이 중요한가요?

기존의 AI 는 "질문 - 답변" 방식이라서 게임처럼 빠르게 변하는 상황에서는 답답했습니다. 하지만 프로액트-VL은 사람처럼 '눈치'를 보고 '리듬'을 타며 함께 게임을 즐길 수 있게 해줍니다.

• 게임 방송을 볼 때: AI 해설가가 옆에 앉아 생생하게 설명해 주면, 혼자 보는 것보다 훨씬 재미있고 몰입감이 높아집니다.
• 교육이나 고객 서비스: 실시간으로 상황을 파악하고 필요한 조언을 해주는 '가상 비서'로 쓸 수 있습니다.

한 줄 요약:

"이제 AI 는 우리가 말하기 전에 먼저 알아서 "지금 이거 중요해!"라고 말하며, 게임 방송을 함께 즐기는 진짜 친구가 되었습니다."

기술 요약

Proact-VL: 실시간 AI 동반자를 위한 능동적 VideoLLM 기술 요약

이 논문은 Proact-VL이라는 새로운 프레임워크를 제안하며, 이는 실시간 스트리밍 비디오를 이해하고 인간과 유사하게 능동적으로 상호작용하는 AI 동반자 (AI Companion) 를 구축하는 것을 목표로 합니다. 특히 게임 해설 (Commentary) 과 가이드 (Guidance) 시나리오를 중심으로, 저지연 추론, 적절한 응답 타이밍 결정, 그리고 콘텐츠의 질과 양을 실시간 제약 조건 내에서 제어하는 세 가지 핵심 과제를 해결합니다.

1. 문제 정의 (Problem)

기존의 실시간 비디오 이해 모델들은 다음과 같은 한계를 가지고 있었습니다:

• 수동적 응답 vs 능동적 타이밍: 기존 '능동적 (Proactive)' 모델은 언제 응답할지 결정하는 정책을 학습하지만, 일단 트리거되면 긴 답변을 생성하여 시간적 세분성이 낮고 지연이 큽니다. 반면, '실시간 (Real-time)' 모델은 저지연 생성에 집중하지만, 언제 말해야 할지 제어하지 못해 불필요한 과도한 말하기 (Excessive talking) 가 발생합니다.
• 지속적인 상호작용의 어려움: 사용자의 경험을 방해하지 않으면서도 유대감을 유지하기 위해, AI 는 짧고, 통제된, 연속적인 피드백을 저지연으로 생성해야 합니다.
• 평가 기준의 부재: 실시간 스트리밍 환경에서 AI 동반자의 성능을 평가할 수 있는 대규모 벤치마크와 데이터셋이 부족했습니다.

2. 방법론 (Methodology)

2.1. 라이브 게이밍 데이터셋 및 벤치마크 (Live Gaming Dataset & Benchmark)

• 데이터 수집: 12 가지 주요 게임 장르 (RPG, FPS, MOBA 등) 에서 561 시간 분량의 고품질 영어 해설 영상을 수집했습니다.
• 데이터 처리:
  • 해설 데이터: WhisperX 를 사용한 음성 인식, Qwen3-Omni 를 활용한 비언어적 요소 (웃음, 멈춤 등) 라벨링, DeepSeek-V3.2 를 통한 도메인 특화 용어 정제 및 오타 수정 파이프라인을 구축했습니다.
  • 가이드 데이터: 플레이어의 행동과 장면을 프레임 단위로 정렬된 시각적 설명으로 변환한 후, GPT-4.1 을 통해 간결하고 실행 가능한 가이드 텍스트로 재작성했습니다.
  • 페르소나 강화: 게임별 해설가의 톤, 어휘, 리듬을 분석하여 모델 학습 시 컨텍스트 인식 능력을 향상시켰습니다.
• 벤치마크: 'Solo Commentary', 'Co-Commentary (다중 에이전트)', 'User Guidance' 세 가지 시나리오를 포함하는 대규모 테스트 세트를 구성했습니다.

2.2. Proact-VL 프레임워크

Proact-VL 은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. Chunk-wise Input-Output 스키마: 연속적인 비디오 스트림을 고정된 시간 단위 (예: 1 초) 의 청크로 분할하여 처리합니다. 각 시간 단계 $t$에서 시각 토큰 ($V_t$), 사용자 쿼리 ($Q_t$), 환경 컨텍스트 ($B_t$) 를 입력받아 해당 청크에 맞는 짧은 응답 ($U_t$) 을 생성하거나 침묵을 유지합니다. 생성된 응답은 다음 단계의 컨텍스트로 자동 추가되어 대화의 연속성을 유지합니다.
2. 경량 능동 응답 메커니즘 (Proactive Response Mechanism):
   • 각 사용자 메시지 끝에 특수 토큰 <|FLAG|>를 삽입합니다.
   • 이 토큰의 숨겨진 상태 (hidden state) 를 경량 게이트드 MLP 헤드를 통해 통과시켜 응답 확률 $p_t$를 계산합니다.
   • 임계값 $\tau$와 비교하여 $a_t = 1$ (응답 생성) 또는 $a_t = 0$ (침묵) 을 결정합니다. 이는 모델이 언제 말해야 할지 스스로 판단하게 합니다.
3. 다단계 손실 함수 (Multi-tier Loss Function):
   • 전환 평활화 분류 손실 (Transition-smoothed classification loss): 상태 전환 (침묵↔응답) 과 상태 유지의 불균형을 고려하여, 드물지만 중요한 전환 시점을 가중치로 강조합니다.
   • 안정성 정규화 (Stability regularization): 국소적 시간적 일관성 (지속적인 상태 내에서의 부드러운 확률 전환) 과 전역적 응답률 제약 (인간 해설가의 전체 응답량과 유사하게 유지) 을 동시에 강제하여 지터 (jitter) 를 줄이고 응답 속도를 조절합니다.

2.3. 무한 추론 (Infinite Inference)

• 고정된 컨텍스트 길이 내에서 무한한 스트리밍을 지원하기 위해, 시스템 프롬프트를 위한 영구 캐시와 사용자/어시스턴트 토큰을 위한 동적 스트리밍 캐시를 유지하는 듀얼 캐시 슬라이딩 윈도우 방식을 사용합니다.
• 컨텍스트 한계에 도달하면 가장 오래된 스트리밍 캐시 부분을 제거하고, Reverse-RoPE 기법을 적용하여 위치 인코딩의 불연속성을 보정합니다.

3. 주요 기여 (Key Contributions)

1. Live Gaming Dataset 구축: 능동적이고 실시간인 모델을 위한 대규모 학습 및 벤치마크 데이터셋을 최초로 구축했습니다.
2. Proact-VL 프레임워크 제안: 청크 단위 처리, 경량 능동 응답 메커니즘, 특수화된 학습 목표를 결합하여 안정적이고 실시간인 상호작용을 가능하게 하는 새로운 아키텍처를 제시했습니다.
3. 성능 입증: 기존 방법론들 (상용 모델, 기존 능동 모델, 실시간 모델) 보다 응답의 **타이밍 (Proactivity)**과 품질 (Quality) 모두에서 우수한 성능을 보였습니다.

4. 실험 결과 (Results)

• 텍스트 품질: Live Gaming 벤치마크에서 Proact-VL 은 Solo, Co-Commentary, Guidance 모든 시나리오에서 GPT-4o, Gemini 2.5 Pro 와 같은 상용 오프라인 모델들을 능가하거나 경쟁력 있는 점수 (CC, LiveU, FinalQ) 를 기록했습니다. 특히 실시간 모델들 중에서는 가장 높은 품질을 보였습니다.
• 응답 타이밍 (Proactivity):
  • TimeDiff: 응답 시점과 실제 이벤트 간의 시간 차이를 최소화하여 인간 해설가와 가장 유사한 타이밍을 보였습니다.
  • F1 Score: 불필요한 응답을 줄이고 중요한 순간에 정확히 반응하는 능력 (Precision & Recall) 에서 기존 모델들을 크게 앞섰습니다.
  • 특히 Co-Commentary 시나리오에서 다중 에이전트 간의 조율 능력이 뛰어났습니다.
• 장기 스트리밍 안정성: 30 분에서 2 시간 길이의 긴 영상에서도 텍스트 품질과 응답 타이밍이 일정하게 유지되었으며, 성능 저하가 미미했습니다.
• 추론 효율성: 1 초당 약 0.35 초의 전체 청크 처리 시간을 보여, 10~15 FPS 의 비디오 스트림을 실시간으로 처리할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

Proact-VL 은 AI 동반자가 단순히 질문에 답하는 것을 넘어, 언제 말해야 할지 스스로 판단하고 인간과 자연스럽게 소통할 수 있는 능력을 갖추었음을 보여줍니다. 이는 e 스포츠 해설, 실시간 교육, 고객 지원, 보조 기술 등 다양한 분야에서 실시간 상호작용형 AI의 실용성을 크게 높이는 중요한 진전입니다. 또한, 제안된 데이터셋과 평가 기준은 향후 실시간 비디오 이해 및 능동적 상호작용 연구의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.