PEARL: Personalized Streaming Video Understanding Model

1. 문제 정의 (Problem Definition)

• 현재의 한계: 기존 멀티모달 개인화 (Personalization) 연구는 주로 정적 이미지 (Static Images) 나 오프라인 비디오 (Offline Videos) 에 국한되어 있습니다. 이는 인간의 인지 과정 (새로운 개념을 지속적으로 인식하고 기억을 업데이트하는 흐름) 과 괴리가 있습니다.
• 핵심 문제:
  • 연속성 부재: 실시간 스트리밍 비디오 입력과 즉각적인 피드백 간의 연결이 끊어져 있습니다.
  • 동적 개념 정의의 부재: 기존 방법들은 미리 정의된 개념 풀 (Pre-defined pools) 에 의존하거나, 오프라인 환경에서 단일 턱 (Single-turn) 상호작용만 지원합니다.
  • 실시간 개인화 AI 의 필요성: 맞춤형 피트니스 코칭이나 개인화 로봇과 같은 차세대 AI 어시스턴트는 스트리밍 비디오 흐름 속에서 사용자의 지시에 따라 개념을 동적으로 정의하고, 실시간으로 개인화된 응답을 제공해야 하지만, 이를 해결할 수 있는 모델과 벤치마크가 부재했습니다.

2. 제안된 작업 및 벤치마크 (Task & Benchmark)

• 새로운 작업 정의: PSVU (Personalized Streaming Video Understanding)

  • 스트리밍 비디오를 연속적인 장면으로 처리하며, 사용자가 임의의 타임스탬프에서 지시를 통해 새로운 개념 (개인, 사물, 행동) 을 동적으로 정의하고, 이후의 쿼리에 대해 정확한 시점 (Timestamp) 에서 응답하는 작업입니다.
  • 두 가지 개인화 모드:
    1. Frame-level: 특정 프레임에 등장하는 사람이나 사물을 인식하고 추론.
    2. Video-level: 연속된 프레임에 걸쳐 펼쳐지는 개인화된 행동 (Action) 을 인식하고 추론.
  • 세 가지 쿼리 유형:
    1. Concept-Definition QA: 새로운 개념을 등록 (기억).
    2. Real-Time QA: 현재 장면에서 정의된 개념에 대한 질문.
    3. Past-Time QA: 과거의 역사적 증거를 검색하여 개념의 이전 상태나 행동을 질문.

• PEARL-Bench (첫 번째 종합 벤치마크)

  • 데이터 구성: 132 개의 고유한 비디오 (애니메이션, 영화, 리얼리티 쇼, 디지털 휴먼 등) 와 2,173 개의 정밀한 타임스탬프 주석.
  • 특징: 장형 (Long-form) 스트리밍 비디오 입력, 멀티 턱 상호작용, 프레임 레벨 및 비디오 레벨 개인화 개념을 모두 지원합니다.
  • 품질 관리: 자동 생성 및 인간 검증을 결합하여 개념의 다양성과 주석의 정확성을 보장했습니다.

3. 방법론: PEARL 프레임워크 (Methodology)

PEARL은 학습이 필요 없는 (Training-free), 플러그 앤 플레이 (Plug-and-play) 방식의 프레임워크로, 기존 VLM(시각 - 언어 모델) 에 쉽게 통합되어 실시간 개인화 응답을 가능하게 합니다.

• 핵심 구성 요소:

  1. 이중 그레인 메모리 시스템 (Dual-grained Memory System):
     • Concept Memory (개념 메모리): 사용자가 정의한 개념 (이름, 시각적 증거, 텍스트 설명) 을 구조화된 형태로 저장합니다. 프레임 레벨 개념은 안정적인 외형 특징을, 비디오 레벨 개념은 핵심 운동 패턴을 추출하여 저장합니다.
     • Streaming Memory (스트리밍 메모리): 비디오 스트림을 장면 경계 (Scene boundaries) 에 따라 클립으로 분할하고, 각 클립에 대한 멀티모달 임베딩을 생성하여 순차적으로 아카이빙합니다.
  2. 개념 인식 검색 알고리즘 (Concept-aware Retrieval Algorithm):
     • 사용자 쿼리가 들어오면, 쿼리에 포함된 개념 이름을 해당 개념의 텍스트 설명으로 치환하여 (Query Rewriting) 검색 임베딩을 생성합니다.
     • 이를 통해 시각적 의미에 기반하여 Concept Memory에서 관련 개념을, Streaming Memory에서 관련 역사적 클립 (Top-K) 을 정밀하게 검색합니다.
     • 검색된 개념, 역사적 클립, 현재 클립, 원본 쿼리를 VLM 에 입력하여 최종 응답을 생성합니다.

• 장점: 파라미터 업데이트 없이도 효율적인 개념 등록과 실시간 추론이 가능하며, 장기적인 시각적 문맥을 유지할 수 있습니다.

4. 실험 결과 (Results)

• 성능 (SOTA 달성):
  • 8 개의 오프라인 및 온라인 모델 (LLaVA-OV, Qwen2-VL, Qwen3-VL, Gemini 등) 을 대상으로 평가했습니다.
  • PEARL을 적용한 모델들은 모든 아키텍처에서 일관된 성능 향상을 보였습니다.
    • Frame-level: 평균 13.79% 향상.
    • Video-level: 평균 12.80% 향상.
  • 특히 Qwen3-VL-8B+PEARL은 기존 최강의 오프라인 모델 (Gemini3-pro-preview) 과 온라인 모델 (StreamForest-7B) 을 모두 압도하며 SOTA 를 기록했습니다. (Frame-level 평균 정확도 52.24%, Video-level 48.39%).
• 비교 분석:
  • 오프라인 모델 vs PEARL: 오프라인 모델은 제한된 시각적 문맥 (예: 64 프레임) 으로 인해 스트리밍 환경에서 성능이 급격히 저하되지만, PEARL 은 긴 역사적 증거를 검색하여 이를 해결합니다.
  • 온라인 모델 vs PEARL: 기존 온라인 모델은 고정된 상태 압축 방식을 사용하지만, PEARL 은 명시적인 개념 메모리와 정밀한 검색을 통해 개인화된 응답 정확도를 크게 높였습니다.
• 효율성: PEARL 은 검색 및 재작성 모듈의 지연 시간이 매우 낮아, 전체적인 실시간 응답 속도를 크게 저해하지 않으면서 높은 정확도를 달성했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. 새로운 작업 및 벤치마크 제안: 개인화된 스트리밍 비디오 이해 (PSVU) 라는 새로운 작업을 공식 정의하고, 이를 평가하기 위한 첫 번째 종합 벤치마크인 PEARL-Bench를 공개했습니다.
2. 혁신적인 프레임워크: 학습 없이도 작동하는 PEARL을 제안하여, 기존 VLM 을 실시간 개인화 AI 어시스턴트로 진화시킬 수 있는 강력한 베이스라인을 제시했습니다.
3. 차세대 AI 어시스턴트의 기반: 이 연구는 Vision-Language Model(VLM) 의 개인화 분야를 확장하고, 실시간 상호작용이 가능한 차세대 AI 어시스턴트 (개인화 로봇, 맞춤형 코칭 등) 개발을 위한 중요한 이정표가 될 것으로 기대됩니다.

결론적으로, 이 논문은 정적 이미지나 오프라인 비디오를 넘어, 인간의 인지 과정과 유사한 '연속적인 스트리밍' 환경에서 개인화된 개념을 실시간으로 이해하고 응답하는 기술적 도약을 이루었습니다.