OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

이 논문은 비디오 코덱의 정보 이론적 원리 (예측 잔차에 기반한 희소성) 를 시각 아키텍처에 적용하여 효율성과 정확성을 동시에 극대화하는 'OneVision-Encoder'를 제안하고, 이를 통해 다양한 멀티모달 벤치마크에서 기존 최첨단 모델들을 능가하는 성능을 입증했습니다.

핵심

1. 문제: 왜 기존 AI 는 '바보'처럼 일할까요? 🤔

기존의 비디오 AI 는 영상을 볼 때 마치 모든 장면을 똑같은 크기로 자른 1000 개의 조각을 하나하나 꼼꼼히 살펴보는 사람과 같습니다.

• 현실: 영상을 보면, 배경 (하늘, 벽, 나무) 은 거의 움직이지 않고 정적입니다. 하지만 사람이 뛰거나 공이 날아가는 순간만 진짜 중요한 정보 (새로운 정보) 가 있습니다.
• 기존 방식의 비효율: AI 는 정적인 배경도, 움직이는 사람도 똑같은 양의 '계산력'을 써서 분석합니다. 마치 휴대폰 배터리로 정적인 벽을 100 번이나 스캔하면서, 정작 중요한 '스파게티가 떨어지는 순간'을 놓치는 것과 같습니다.
• 결과: 엄청난 전력과 시간이 낭비되고, 중요한 순간을 놓치기 쉽습니다.

2. 해결책: "비디오 코덱 (Codec)"의 비밀을 훔치다! 🎬

이 연구팀은 **유튜브나 넷플릭스에서 영상을 압축하는 기술 (H.264, H.265 같은 코덱)**에서 영감을 받았습니다.

• 코덱의 지혜: 코덱은 영상을 압축할 때, 움직이지 않는 배경은 한 번만 저장하고, 움직이는 부분만 '변화'로 저장합니다.
  • I-Frame (키 프레임): 전체 장면을 다 찍은 사진 (배경 + 인물).
  • P-Frame (예측 프레임): "어제보다 사람이 1cm 오른쪽으로 움직였어"라는 작은 변화 정보만 저장.
• OneVision-Encoder 의 아이디어: "AI 도 이렇게 해야지! 배경은 가볍게, 움직이는 부분 (변화) 에만 집중하자!"

3. OneVision-Encoder 의 핵심 기술: "코덱 패치피케이션" 🧩

이 기술은 영상을 **조각 (Patch)**으로 나누되, 어떤 조각을 볼지 코덱이 알려주는 신호로 결정합니다.

• 상상해 보세요:
  • 기존 AI: 100 개의 조각 중 100 개를 다 봅니다. (비효율적)
  • OneVision-Encoder: 100 개 조각 중 움직이는 3~25 개 조각만 골라서 봅니다.
  • 결과: 계산량은 87.5% 줄이면서, 중요한 정보는 100% 놓치지 않습니다.

4. 왜 이것이 더 똑똑한가요? 🧠

이 방식은 두 가지 큰 장점이 있습니다.

1. 효율성 (Efficiency): 불필요한 배경을 분석하는 에너지를 아껴서, 움직임과 의미를 분석하는 데 집중합니다. 마치 스마트한 경비원이 정적인 벽을 계속 보지 않고, 움직이는 사람에게만 집중하는 것과 같습니다.
2. 정확성 (Accuracy): 중요한 순간 (예: 요리할 때 물이 쏟아지는 1 초) 을 놓치지 않습니다. 기존 방식은 1 초 간격으로만 찍으면 그 1 초를 놓칠 수 있지만, 이 방식은 64 초 동안의 모든 순간을 스캔하되, 중요한 변화가 있을 때만 확대경을 대고 자세히 봅니다.

5. 실험 결과: 압도적인 성능 🏆

이 기술을 적용한 모델은 기존 최고의 모델들 (Qwen3-ViT, SigLIP2 등) 보다 더 적은 데이터와 더 적은 계산량으로 더 좋은 결과를 냈습니다.

• 비디오 이해: 무용 (Diving) 이나 스포츠처럼 빠른 움직임을 분석할 때 4.1% 더 정확했습니다.
• 이미지 & 문서: 정적인 이미지나 문서 읽기에서도 기존 모델들을 능가했습니다.
• 핵심 메시지: "효율성과 정확성은 서로 trade-off(상충 관계) 가 아니다. 올바른 구조를 찾으면 둘 다 잡을 수 있다."

6. 결론: AI 의 미래는 "압축"이다 🚀

이 논문은 **"인공지능의 핵심은 압축이다"**라는 가설을 증명합니다.
세상은 이미 압축되어 있습니다 (배경은 정적이고, 중요한 건 움직임). AI 가 이 **세상의 구조 (코덱 원리)**에 맞춰 설계될 때, 비로소 진짜 똑똑하고 빠른 인공지능이 될 수 있다는 것입니다.

한 줄 요약:

"OneVision-Encoder 는 비디오를 볼 때 '배경'은 무시하고 '움직임'에만 집중하는, 코덱에서 영감을 받은 초효율 AI 입니다. 더 적은 에너지로 더 똑똑한 세상을 봅니다."

기술 요약

1. 문제 제기 (Problem Statement)

• 기존 모델의 비효율성: 현재 대부분의 비전 (Vision) 및 비디오 이해 모델은 밀집된 픽셀 그리드 (dense pixel grids) 를 균일하게 처리합니다. 그러나 자연 영상은 공간적, 시간적으로 매우 중복적 (redundant) 이며, 실제 의미 있는 정보 (예: 움직임, 예기치 않은 변화) 는 매우 희소 (sparse) 하게 분포합니다.
• 계산 자원의 낭비: 기존 Transformer 기반 모델은 정적인 배경이나 예측 가능한 영역에도 동일한 계산 자원을 할당하여, 예측 가능한 잔차 (residuals) 나 움직임이 중요한 영역에 집중하지 못합니다.
• 코덱 (Codec) 원리의 부재: 현대 비디오 코덱 (H.264, HEVC 등) 은 영상의 예측 가능한 구조 (I-프레임) 와 예측 불가능한 변화 (P-프레임의 모션 벡터 및 잔차) 를 명시적으로 분리하여 압축합니다. 그러나 기존 AI 모델들은 이러한 정보 이론적 구조를 무시하고 균일한 토큰 처리 방식을 고수합니다.
• 핵심 가설: 범용 인공지능 (AGI) 은 본질적으로 압축 문제이며, 효과적인 압축을 위해서는 모델 아키텍처가 데이터의 근본적인 구조 (즉, 코덱의 예측 구조) 와 정렬 (resonance) 되어야 합니다.

2. 방법론 (Methodology)

논문의 핵심인 OneVision-Encoder (OV-Encoder) 는 비디오 코덱의 원리를 시각적 표현 학습에 적용한 HEVC 스타일의 비전 트랜스포머입니다.

가. 코덱 패치파케이션 (Codec Patchification)

기존의 균일한 패치 처리를 버리고, 비디오 코덱이 노출하는 신호 (모션 벡터, 잔차) 를 활용하여 정보 엔트로피가 높은 영역 (3.1%~25%) 만 선택적으로 인코딩하는 방식을 도입했습니다.

• Dense Video-Codec Patchification: HEVC 코덱을 적용하여 I-프레임 (전체 공간 컨텍스트) 과 P-프레임 (모션 및 잔차) 을 생성합니다. P-프레임의 모션 벡터와 잔차 에너지를 기반으로 패치 단위의 중요도 (saliency) 를 계산하고, 상위 K 개의 패치만 선택하여 토큰을 생성합니다.
• Chunk-wise Patchification: 비디오를 시간적 청크로 나누고 각 청크 내에서 패치를 선택하여 비균일 시간 샘플링을 지원합니다.
• Single-Image Spatial Patchification: 정적 이미지 입력을 위한 공간적 패치화 방식도 통합합니다.

나. 3D Rotary Position Embedding (RoPE)

불규칙한 시공간 토큰 배치 (I-프레임과 선택된 P-프레임 패치들) 를 처리하기 위해 공유된 3D RoPE를 사용합니다.

• 이는 공간 (x, y) 과 시간 (t) 의 상대적 오프셋을 인코딩하여, 희소한 토큰 배치에서도 일관된 어텐션 (attention) 메커니즘이 작동하도록 합니다.

다. 클러스터 구별 학습 (Cluster Discrimination Objective)

단순한 픽셀 재구성이 아닌 구조화된 의미 학습을 위해 대규모 클러스터 구별 목표를 도입했습니다.

• 대규모 개념 은행 (Concept Bank): 100 만 개 이상의 의미 클러스터 (객체 수준 및 모션 수준) 를 사전에 생성합니다.
• 자기지도 학습: 이미지와 비디오 임베딩을 해당 클러스터 센터 (Centroids) 와 비교하여, 객체의 영속성 (permanence) 과 모션의 역동성 (dynamics) 을 동시에 학습하도록 합니다. 이는 외부 언어 레이블 없이도 구조화된 표현을 학습하게 합니다.

3. 주요 기여 (Key Contributions)

1. OneVision-Encoder 아키텍처 제안: 비디오 신호의 예측 구조와 정렬된 시공간 표현 학습을 위한 HEVC 스타일 비전 트랜스포머를 최초로 제안했습니다.
2. Codec Patchification 기법: 비디오 코덱에서 파생된 시간 신호를 활용하여 밀집된 비디오에서 정보량이 높은 패치 (3.1%~25%) 만 선택적으로 인코딩하는 새로운 입력 포맷을 도입했습니다. 이는 토큰 수를 획기적으로 줄이면서도 시간적 밀도를 유지합니다.
3. 자기지도 클러스터 구별 목표: 외부 레이블 없이 객체와 모션 수준의 의미를 통합적으로 모델링하는 대규모 클러스터 기반 학습 목표를 제시했습니다.
4. 효율성과 정확도의 동시 달성: 기존 모델들과 달리, 적은 토큰과 적은 프리트레이닝 데이터로도 SOTA 성능을 달성하여 "효율성과 정확도는 트레이드오프가 아니다"는 가설을 입증했습니다.

4. 실험 결과 (Results)

OV-Encoder 는 다양한 벤치마크에서 강력한 비전 백본 (Qwen3-ViT, SigLIP2, DINOv3 등) 을 능가했습니다.

• 다중 모달 언어 모델 (LMM) 프로빙 평가:

  • Qwen3-4B 기반 LMM 에 통합되었을 때, 16 개 이미지/비디오/문서 이해 벤치마크에서 Qwen3-ViT 와 SigLIP2 를 일관되게 상회했습니다.
  • 특히 비디오 이해 태스크에서 Qwen3-ViT 대비 평균 4.1% 향상을 보였습니다.
  • 데이터 효율성: Qwen3-ViT 가 2.1T 토큰으로 프리트레이닝된 반면, OV-Encoder 는 약 100B 토큰 (약 1/20 규모) 으로 더 좋은 성능을 달성했습니다.

• 주의 집중 프로빙 (Attentive Probing) 평가:

  • 고정된 백본 위에서 경량 분류기를 학습시키는 방식으로 평가했습니다.
  • Diving-48 데이터셋에서 동일한 패치 예산 (2048) 하에 SigLIP2 대비 Top-1 정확도 17.1%, DINOv3 대비 8.1% 향상을 기록했습니다.
  • 패치 효율성: 64 프레임의 전체 패치 (16,384 개) 대비 75%~96.9% 감소된 패치 수 (3.1%~25% 유지) 로도 기존 밀집 처리 모델보다 우수한 성능을 보였습니다. 이는 불필요한 배경 처리를 제거하고 중요한 움직임 영역에 집중했기 때문입니다.

• 정성적 분석:

  • 시각화 결과, 모델은 정적인 배경 (나무, 건물) 보다는 움직이는 객체 (보행자 등) 의 패치에 높은 가중치를 두는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: "비디오 이해는 밀집된 픽셀 그리드의 처리가 아니라, 코덱과 유사한 예측적 압축 (Predictive Compression) 문제"라는 관점을 정립했습니다.
• 확장 가능한 기초 원리: 코덱 기반의 패치 단위 희소성 (Patch-level Sparsity) 은 단순한 최적화 트릭이 아닌, 차세대 범용 멀티모달 지능을 위한 근본적인 설계 원칙임을 입증했습니다.
• 실용적 가치: 계산 자원을 대폭 절감하면서도 (토큰 수 감소), 장기적인 시간적 맥락과 미세한 움직임 정보를 효과적으로 포착할 수 있어, 실시간 비디오 분석 및 대규모 멀티모달 모델의 효율적 배포에 중요한 기여를 할 것으로 기대됩니다.

요약하자면, OneVision-Encoder 는 비디오 코덱의 구조적 통찰을 AI 아키텍처에 적용하여, 불필요한 계산을 제거하고 의미 있는 정보 (움직임과 변화) 에만 집중함으로써 압도적인 효율성과 성능을 동시에 달성한 획기적인 모델입니다.