기술 요약: LLaVA-OneVision-2: 차세대 지각 지능을 향해

1. 문제 제기

현재의 오픈 소스 대규모 시각 - 언어 모델 (LVLM) 은 주로 프레임 중심 관찰 패러다임 하에서 작동합니다. 이들은 일반적으로 고정된 토큰 예산을 충족시키기 위해 균일한 프레임 샘플링 또는 혼합 해상도 전략 (희소 고해상도 키프레임 + 밀집 저해상도 컨텍스트) 을 사용합니다. 저자들은 이러한 접근 방식이 비디오를 디코딩된 프레임 집합으로 축소하여, 비디오를 고유하게 정보-rich 하게 만드는 연속적인 공간 구조, 운동 역학, 그리고 예측 스트림 신호를 포착하지 못한다고 주장합니다.

기존 방법들은 비디오를 정적 이미지들의 시퀀스로 취급하는 경우가 많아, 압축된 비디오 스트림에서는 대부분의 픽셀이 문맥적 연속성을 유지하는 반면, 희소한 편차만이 차별적인 의미, 공간, 시간적 구조를 인코딩한다는 사실을 간과합니다. 결과적으로 현재 모델들은 다음과 같은 문제점에 직면해 있습니다:

• 시간적 그라운딩 (Temporal Grounding): 균일하게 샘플링된 프레임 사이에 있는 중요한 순간을 놓침.
• 장기 비디오 효율성: 비례하는 정보 증가 없이 긴 비디오에 대해 높은 토큰 수를 요구함.
• 세밀한 운동: 인접한 프레임이 시각적으로 거의 동일하지만 사이클 경계가 중요한 고주파수, 밀집 반복 운동 주기 (예: 줄넘기) 에서 동작을 국소화하는 데 어려움.

2. 방법론

LLaVA-OneVision-2(LLaVA-OV-2) 는 디코딩된 프레임을 관찰하는 것에서 예측 시각 스트림을 관찰하는 것으로 전환하는 코드크 정렬 (codec-aligned) 아키텍처를 도입합니다.

2.1 핵심 아키텍처

• 네이티브 OneVision-Encoder: 모델은 샘플링된 프레임, 정적 이미지, 코드크 스트림 비디오를 통합된 시각 토큰 인터페이스로 매핑하는 공유 백본 (OV-Encoder) 을 사용합니다. 모든 입력 (이미지, 샘플링된 프레임, 코드크 캔버스) 을 통합된 시공간 좌표계에 배치하기 위해 3D RoPE(회전 위치 임베딩) 를 사용합니다.
• 윈도드 어텐션 (Windowed Attention): 네이티브 해상도 효율성을 유지하기 위해 모델은 지역 계산을 위해 공간 윈도우드 어텐션을 활용하며, 시간적 그룹화에 기반한 토큰 가시성을 정의하는 그룹 가시 마스크와 결합합니다.
• 통합 커넥터 및 디코더: 경량 MLP 가 시각 토큰을 언어 모델 공간 (Qwen3-8B) 으로 투영합니다. 핵심적으로 커넥터와 디코더는 인터페이스 불변이며 코드크별 어댑터가 필요하지 않습니다. 차이점은 오직 입력에 의해 제공되는 증거 선택 및 어텐션 그룹 할당에 있습니다.

2.2 코드크 스트림 토큰화

핵심 혁신은 압축된 비디오를 프레임의 시퀀스가 아닌 연속적인 비트 비용 스트림으로 취급하는 것입니다.

• 적응형 시간 그룹화 (GOPs): 고정된 시간 간격 대신, 비디오는 압축 스트림의 비트 비용 역학에 기반하여 시간 그룹으로 분할됩니다.
  • 메커니즘: 시스템은 시간 버킷 내의 예측 프레임 (P/B-프레임) 의 패킷 크기를 집계합니다. 높은 비트 비용 (운동 또는 장면 변경을 나타냄) 은 더 짧은 그룹을 유발하는 반면, 낮은 비트 비용 (예측 가능한 구간) 은 더 긴 그룹을 허용합니다.
  • 경계 정제: 로컬 밸리 검색을 통해 그룹 경계를 정제하여 비트 비용이 낮은 영역과 정렬되도록 하여, 이벤트 함유 콘텐츠를 보존하면서 압축 효율을 극대화합니다.
• 운동 잔여 공간 선택: 각 적응형 그룹 내에서 공간적 증거는 운동 벡터와 휘도 잔여에 기반하여 선택됩니다.
  • 블록 단위 선택: 개별 패치를 선택하는 대신, 모델은 정규화된 운동 크기와 잔여 편차에서 파생된 중요도 점수에 기반하여 2×2 패치 블록을 선택합니다.
  • 계층적 할당: 단일 고반응 프레임이 그룹을 지배하는 것을 방지하기 위해, 시스템은 계층적 시간 할당 전략을 사용합니다. 후보 블록을 프레임별로 정렬하고 동일한 프레임에서 반복되는 후보를 감쇠시켜, P-캔버스가 그룹의 시간적 범위를 효과적으로 커버하도록 합니다.
• 시각 캔버스: 이 과정의 출력은 운동 잔여 증거를 전달하는 일련의 컴팩트한 시각 캔버스 (I-캔버스 및 P-캔버스) 이며, 토큰 밀도는 스트림의 비트 비용 - 잔여 프로파일을 따릅니다.

2.3 학습 레시피

모델은 대규모 오픈 감독을 통한 점진적 4 단계 레시피로 학습됩니다:

1. 1 단계 (부트스트랩): 약 85M 개의 이미지 - 텍스트 샘플과 4.2M 개의 짧은 비디오 캡션 (30 초) 을 혼합합니다. 표준 프레임 샘플링을 사용합니다.
2. 2 단계 (지시 튜닝): 약 46M 개의 지시 샘플을 추가하고 비디오 캡션을 30~180 초로 확장합니다. 프레임 예산은 90 으로 증가합니다.
3. 3 단계 (장기 비디오): 10~15 분 비디오 캡션 (35 만 개 샘플) 으로 확장하며 프레임 예산은 384 입니다.
4. 4 단계 (코드크 및 공간):
   • 코드크 통합: 가변 길이 GOP 코드크 파이프라인을 사용하여 10~15 분 비디오 코퍼스를 384 및 768 프레임으로 재인코딩합니다.
   • 공간 감독: 2D/3D 공간 추론, 포인트 추적, 참조 표현을 다루는 4M 샘플 공간 코퍼스(LLaVA-OneVision-2-Spatial-4M) 를 도입합니다.
   • 데이터 혼합: 학습은 코드크 스트림 비디오, 균일 샘플링 비디오, 정적 이미지를 교차하여 수행합니다 (약 50% 코드크, 37.5% 균일, 12.5% 이미지).

3. 주요 기여

1. 코드크 정렬 MLLM: 비디오를 연속적인 비트 비용 스트림으로 취급하여 시각 토큰 할당을 비트 비용 역학 및 운동 잔여 증거와 정렬하는 최초의 모델입니다. 이는 고정된 그림 그룹 (GOP) 또는 균일 샘플링을 능가하는 안정적인 장기 비디오 토큰 압축을 가능하게 합니다.
2. JumpScore 벤치마크: 고주파수, 밀집 반복 운동(예: 줄넘기) 에서의 세밀한 그라운딩을 목표로 하는 새로운 시간적 국소화 벤치마크입니다. 기존 벤치마크에서 대표성이 부족한 시각적으로 유사한 사이클 간의 동작 인스턴스 국소화 능력을 평가합니다.
3. 대규모 데이터 및 학습 스택: 이미지 그라운딩에서 장기 비디오 및 공간 추론으로 확장되는 4 단계 학습 레시피와 함께, 약 8M 개의 재캡션된 비디오 샘플과 4M 샘플 공간 코퍼스를 공개합니다.
4. 통합 지각: 비디오 이해, 시간적 그라운딩, 공간적 그라운딩, 조작 흔적 추론 전반에 걸쳐 통합된 성능을 보이는 단일 아키텍처를 입증합니다.

4. 결과

LLaVA-OneVision-2-8B 는 여러 도메인에서 8B 클래스 모델 간에 최첨단 성능을 달성합니다:

• 시간적 그라운딩 및 JumpScore:
  • JumpScore에서 LLaVA-OV-2-8B 는 74.9 mAP를 기록하여 Qwen3-VL-8B(30.1) 보다 +44.8 점을 상회합니다.
  • 매칭된 시각 토큰 예산 하에서, 코드크 스트림 입력은 표준 벤치마크 (Charades-STA, ActivityNet, QVHighlights) 에서 평균 +9.7 점만큼 프레임 샘플링 대비 시간적 그라운딩을 개선합니다.
  • 특히 JumpScore 에서 코드크 스트림 입력은 프레임 샘플링 대비 +17.3 점을 개선합니다.
• 비디오 이해:
  • 18 개 비디오 작업에서 Qwen3-VL-8B 를 평균 +4.3 점 상회합니다 (62.5 대 58.2).
  • 시간적 그라운딩 (+5.2~+7.0 점) 및 시각 - 공간 비디오 추론에서 유의미한 향상이 있습니다.
• 공간 추론:
  • 11 개 공간 작업에서 Qwen3-VL-8B 를 평균 +5.3 점 상회합니다 (63.5 대 58.2).
  • CrossPoint에서 Qwen3-VL 대비 +35.0 점, TraceSpatial-3D에서 다음 최상위 8B 점수의 거의 4 배에 달하는 두드러진 향상을 보입니다.
• 추적 (참조 비디오 객체 분할):
  • 추적 벤치마크 (DAVIS, MeViSU, ReVOS) 에서 Qwen3-VL-8B 대비 평균 J&F +15.6 점 개선을 달성합니다.
  • 총 추적 점수는 Qwen3-VL-8B 의 30.8 대비 41.0입니다.
• 이미지 및 문서:
  • 이미지 및 문서 벤치마크 (예: DocVQA 95.2, V*-Bench 85.9) 에서 경쟁력을 유지하지만, 텍스트가 밀집된 작업에서는 전문 OCR/문서 모델에 뒤처집니다.

5. 의의 및 주장

이 논문은 LLaVA-OneVision-2 가 "프레임 중심"에서 "스트림 인지" 지각 지능으로의 전환을 나타낸다고 주장합니다.

• 지각 할당 원칙: 저자들은 코드크 스트림 토큰화가 단순한 토큰 감소 메커니즘이 아니라 지각 할당 원칙이라고 주장합니다. 이는 높은 비트 비용 구간과 높은 잔여 영역에 토큰을 집중시킴으로써 장기 비디오 추론을 위한 이벤트 수준 커버리지를 확장하고, 세부 사항에 민감한 지각을 위한 보완 경로로서 프레임 샘플링을 보존합니다.
• 효율성 대 세부 사항 트레이드오프: 분석에 따르면 코드크 스트림 입력은 거친 시간 구조 (이벤트 순서, 시간적 그라운딩) 에 의해 지배되는 작업을 선호하는 반면, 밀집된 궤적 연속성이 필요한 세부 사항 민감 쿼리의 경우 프레임 샘플링이 여전히 선호됩니다.
• 미래 방향: 이 작업은 시각 증거가 초장기 시간 범위에서 지속적으로 업데이트, 압축, 검색되는 "코드크 네이티브 시대"를 향한 한 걸음으로 자신을 위치시킵니다. 이는 고정 프레임 관찰의 한계를 넘어섭니다.

저자들은 그들의 접근 방식이 커넥터나 언어 모델의 기존 개선 사항과 직교한다고 강조합니다. 현재 시스템이라면 이론적으로 다운스트림 스택을 변경하지 않고도 입력 측에서 코드크 스트림 토큰화를 채택할 수 있습니다.