Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

이 논문은 폐쇄형 VLM 에 의존하지 않고 7 개의 새로운 비디오 데이터셋과 2 개의 멀티이미지 데이터셋, 그리고 효율적인 학습 레시피를 통해 공개된 가중치 및 데이터 중 최첨단 성능을 달성하고 비디오 이해 및 정밀한 지시 (grounding) 능력을 혁신적으로 향상시킨 'Molmo2'모델을 소개합니다.

핵심

몰모2 (Molmo2): 비디오를 보고, 이해하고, 손가락으로 가리키는 '열린 눈'

이 논문은 인공지능이 비디오를 보고 이해하는 능력을 획기적으로 발전시킨 새로운 모델 '몰모2 (Molmo2)'를 소개합니다. 기존의 최고 성능 모델들은 대부분 비밀스러운 '비밀 레시피'로 만들어져 누구나 접근할 수 없었지만, 몰모2 는 그 모든 것을 공개했습니다.

이 복잡한 내용을 일반인도 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. "비밀 레시피" vs "오픈 키친"

기존 상황:
지금까지 비디오를 가장 잘 이해하는 AI 들은 '비밀 식당'에 있었습니다. 셰프가 만든 요리는 맛있지만, 레시피와 재료가 어디에서 왔는지 알려주지 않습니다. 연구자들은 이 요리를 맛보고 "이건 어떻게 만들었지?"라고 궁금해할 뿐, 직접 따라 해보거나 더 발전시킬 수 없었습니다.

몰모2 의 혁신:
몰모2 는 **'오픈 키친'**입니다.

• 완전한 공개: 이 모델의 두뇌 (가중치), 학습에 쓰인 재료 (데이터), 그리고 요리법 (코드) 을 모두 공개했습니다.
• 독립적인 학습: 다른 비밀 식당의 요리를 베끼거나 (Distillation), 그 식당의 요리사가 가르쳐 주는 것을 쓰지 않았습니다. 오직 인간이 직접 만든 데이터와 오픈 소스 도구만으로 학습했습니다.
• 결과: 누구나 이 모델을 가져와서 자신의 필요에 맞게 고칠 수 있게 되어, AI 연구의 민주화가 이루어졌습니다.

2. "대략적인 요약" vs "정교한 현장 지시"

기존 AI 들은 비디오를 볼 때 **"대략적인 내용"**만 이해했습니다.

• 예시: "사람이 공을 차고 있습니다." (이 정도는 알지만, 언제, 어디에, 몇 번인지 모릅니다.)

하지만 몰모2 는 현장 지휘관처럼 행동합니다.

• 손가락으로 가리키기 (Grounding): "저기 3 초 15 초에, 화면 오른쪽 구석에 있는 빨간 공을 가리켜!"라고 하면, AI 가 정확히 그 순간과 위치를 **손가락으로 가리키는 점 (Point)**으로 표시해 줍니다.
• 추적하기 (Tracking): "저기 움직이는 개를 계속 따라가 봐."라고 하면, 개가 화면을 떠날 때까지 그 개를 지속적으로 따라가며 위치를 표시해 줍니다.
• 세부 설명: 단순히 "차 한 대가 지나갔다"가 아니라, "검은색 FedEx 차가 11 번 번호로, 노란 차보다 먼저 지나갔다"처럼 매우 디테일한 설명을 해줍니다.

3. "수업용 교재" vs "현장 실습 데이터"

이 모델이 이렇게 똑똑해진 이유는 엄청난 양의 새로운 교재를 공부했기 때문입니다. 연구팀은 기존에 없던 9 가지 새로운 데이터셋을 직접 만들었습니다.

• 비밀스러운 데이터가 아닌, 인간이 만든 데이터:
  • 밀도 높은 설명: 비디오 한 장 한 장을 마치 드라마 대본처럼 상세하게 설명하는 데이터를 10 만 개 이상 만들었습니다. (기존 모델들은 짧고 막연한 설명만 들었습니다.)
  • 질문과 답변: "저기서 몇 마리의 물소가 보이나요?" 같은 세부적인 질문에 답할 수 있도록 훈련시켰습니다.
  • 손가락 훈련: "이 순간의 이 물체를 가리켜"라는 명령을 수백만 번 반복하며 정확한 위치 감각을 익혔습니다.

---

몰모2 가 할 수 있는 놀라운 일들 (실제 예시)

1. 세상에서 가장 정확한 카운터:
   • "저기 경기장에서 몇 번의 골이 들어갔나요?"라고 물으면, 단순히 숫자만 말하는 게 아니라 "골이 들어간 순간을 손가락으로 찍어" 보여줍니다. (기존 오픈 모델들보다 훨씬 정확합니다.)
2. 비디오 속의 탐정:
   • "녹색 셔츠를 입은 사람의 이름이 뭐야?"라고 물으면, 비디오 속 대사와 상황을 분석해 **"로브 (Rob) 입니다"**라고 답합니다.
3. 시간과 공간을 자유자재로:
   • "첫 번째 골을 넣은 선수가 어떻게 축하하나요?"라고 물으면, **"골을 넣은 후 골대에서 벗어나 옆으로 미끄러지듯 이동하며, 혀를 내밀고 웃은 뒤 손가락 두 개를 들어 올립니다"**라고 시간 순서대로 생생하게 묘사합니다.

결론: 왜 이것이 중요한가요?

지금까지 비디오 AI 는 "대략적인 느낌"을 주는 수준이었습니다. 하지만 몰모2 는 **비디오 속의 사물을 정확히 찾아내고, 그 움직임을 추적하며, 복잡한 상황을 설명할 수 있는 '현실적인 눈'**을 갖게 되었습니다.

가장 중요한 점은 이 기술이 누구나 사용할 수 있게 열려 있다는 것입니다. 이제 연구자들과 개발자들은 이 '열린 눈'을 바탕으로 로봇, 자율주행, 의료 영상 분석 등 다양한 분야에서 더 똑똑한 시스템을 만들 수 있게 되었습니다.

한 줄 요약:

"비밀스러운 AI 가 아니라, 누구나 배우고 발전시킬 수 있는 '현장 지휘관' 같은 비디오 AI 가 탄생했습니다."

기술 요약

Molmo2: 비디오 이해 및 그라운딩을 위한 오픈 가중치 및 데이터 기반의 차세대 비전-언어 모델

이 논문은 Allen Institute for AI 와 워싱턴 대학교 연구팀이 제안한 Molmo2에 대한 기술 보고서입니다. Molmo2 는 현재 존재하는 가장 강력한 오픈 소스 비전 - 언어 모델 (VLM) 패밀리로, 단일 이미지, 다중 이미지, 그리고 비디오에 대한 이해와 그라운딩 (Grounding, 즉 픽셀 단위 위치 지정 및 추적) 능력을 혁신적으로 향상시켰습니다.

1. 문제 정의 (Problem)

현재 비디오 - 언어 모델 (VLM) 분야는 다음과 같은 심각한 제약에 직면해 있습니다.

• 비공개 모델의 독점: 최첨단 성능을 보이는 모델들은 대부분 비공개 (Proprietary) 이며, 가중치, 학습 데이터, 학습 레시피가 공개되지 않습니다.
• 데이터의 종속성: 기존 오픈 가중치 모델들은 주로 비공개 VLM 에서 생성된 합성 데이터에 의존하거나, 학습 데이터와 레시피를 공개하지 않아 오픈 소스 커뮤니티가 최첨단 기술을 개선할 기반이 부족합니다.
• 그라운딩 능력의 부재: 많은 하위 응용 분야 (로보틱스, 보안, 스포츠 분석 등) 는 단순한 고수준 이해를 넘어, 특정 객체를 픽셀 단위로 지시하거나 (Pointing), 시간과 공간을 따라 객체를 추적하는 (Tracking) 정밀한 그라운딩 능력을 요구합니다. 하지만 기존 오픈 모델은 이러한 능력이 부족하며, 일부 비공개 모델조차 제한적인 기능만 제공합니다.

2. 방법론 (Methodology)

2.1. 데이터 구축 (Data Collection)

Molmo2 의 핵심 기여는 비공개 VLM 을 전혀 사용하지 않고 구축된 9 개의 새로운 대규모 데이터셋입니다.

• 밀집 비디오 캡션 (Dense Video Captioning): Molmo2-Cap 데이터셋 (104k 비디오) 으로, 인간 어노테이터가 음성으로 상세한 설명을 제공하고 이를 텍스트로 변환한 후, Molmo 모델을 활용해 프레임 단위의 시각적 세부 사항을 보충하여 평균 924 단어의 매우 긴 캡션을 생성했습니다.
• 자유형 비디오 Q&A: Molmo2-AskModelAnything(140k 쌍) 과 합성 데이터셋 (CapQA, SubtitleQA) 을 통해 인간과 LLM 의 협업 프로세스를 통해 정교한 질문과 답변을 생성했습니다.
• 비디오 그라운딩 (Pointing & Tracking):
  • VideoPoint: 280k 비디오에 대해 65 만 개 이상의 포인트 쿼리를 수집하여 객체, 행동, 시각적 이상 탐지 등을 지시합니다.
  • VideoTrack: 3.6k 비디오 클립에 대해 복잡한 자연어 쿼리로 객체 추적 데이터를 구축했습니다.
• 다중 이미지 데이터: 다중 이미지 지시 및 문서 이해를 위한 데이터셋도 포함되었습니다.

2.2. 모델 아키텍처 및 학습 전략

• 아키텍처: 사전 학습된 LLM (Qwen3 기반 4B/8B, OLMo 기반 7B) 과 비전 인코더 (SigLIP 2) 를 커넥터 모듈로 연결한 표준 구조를 따르지만, 비디오 처리를 위해 프레임 타임스탬프 토큰과 다중 크롭 (Multi-crop) 처리를 최적화했습니다.
• 학습 파이프라인:
  1. Pre-training: 이미지 캡션 및 포인트 지시 데이터로 사전 학습.
  2. Supervised Fine-Tuning (SFT): 통합된 멀티모달 데이터 (이미지, 비디오, 다중 이미지) 로 미세 조정.
  3. Long-Context SFT: 긴 컨텍스트 처리 능력을 강화하기 위한 추가 학습.
• 혁신적 기법:
  • 양방향 주의 (Bi-directional Attention): 비전 토큰 간의 양방향 주의 메커니즘 도입으로 성능 향상.
  • 토큰 가중치 전략 (Token Weighting): 긴 캡션과 짧은 답변 간의 불균형을 해결하기 위해 손실 함수 시 가중치를 동적으로 조정.
  • 효율적인 패킹 (Packing) 및 메시지 트리: 짧은 예제들을 하나의 긴 시퀀스로 효율적으로 패킹하고, 다중 어노테이션을 메시지 트리로 인코딩하여 학습 효율성을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 완전 오픈 소스 VLM: 가중치, 학습 데이터, 코드, 학습 레시피를 모두 공개하여 투명성을 확보했습니다.
2. 비공개 모델 의존성 제거: 데이터 생성 과정에서 비공개 VLM 을 사용하지 않고 인간 어노테이션과 자체 학습된 모델을 활용하여 편향을 제거했습니다.
3. 초정밀 비디오 그라운딩: 비디오 내에서의 객체 지시 (Pointing) 와 추적 (Tracking) 능력을 오픈 소스 모델 중 최초로 상용 모델 수준으로 끌어올렸습니다.
4. 대규모 고품질 데이터셋: 밀집 캡션, 자유형 Q&A, 정밀 그라운딩을 위한 9 개의 새로운 데이터셋을 공개했습니다.

4. 실험 결과 (Results)

4.1. 벤치마크 성능

• 비디오 이해: 짧은 비디오 벤치마크 (MVBench, MotionBench 등) 에서 기존 오픈 모델들을 압도하며, 일부 비공개 모델 (Gemini 3 Pro 등) 과도 경쟁 가능한 성능을 보였습니다.
• 카운팅 및 캡션: 4B 모델조차도 비공개 모델에 이어지는 성능을 보였으며, 특히 정밀한 그라운딩 데이터의 효과를 입증했습니다.
• 비디오 그라운딩 (Grounding):
  • 카운팅: Video Counting 벤치마크에서 Qwen3-VL(29.6%) 보다 Molmo2(35.5%) 가 크게 우세했습니다.
  • 포인트 지시: Video Pointing 작업에서 Gemini 3 Pro(20.0 F1) 를 압도하는 38.4 F1 점수를 기록했습니다.
  • 객체 추적: Video Tracking 작업에서 기존 오픈 모델 및 전문 추적 모델을 크게 능가하며, 복잡한 장면에서도 높은 J&F 점수를 달성했습니다.
• 이미지 및 다중 이미지: 기존 이미지 벤치마크에서도 강력한 성능을 유지하며, 다중 이미지 이해 능력도 향상되었습니다.

4.2. 인간 선호도 평가

인간 평가 결과, Molmo2 는 기존 오픈 가중치 모델들과 동등하거나 더 나은 성능을 보였으며, 일부 비공개 모델 (GPT-5, Claude Sonnet 4.5) 보다도 높은 선호도를 받았습니다.

5. 의의 및 결론 (Significance)

Molmo2 는 오픈 소스 커뮤니티가 비디오 이해 및 그라운딩 분야에서 비공개 모델의 독점을 깨고, 투명하고 재현 가능한 연구 기반을 마련했다는 점에서 큰 의의가 있습니다.

• 기술적 진보: 단순한 텍스트 생성을 넘어, 비디오의 시간적·공간적 요소를 정밀하게 파악하고 픽셀 단위로 지시할 수 있는 능력을 오픈 모델에 도입했습니다.
• 응용 가능성: 자율 주행, 로봇 공학, 보안 모니터링, 스포츠 분석 등 정밀한 시각적 이해와 상호작용이 필요한 다양한 분야에서 즉시 활용 가능한 강력한 베이스 모델이 되었습니다.
• 미래 지향성: 비공개 데이터에 의존하지 않는 학습 파이프라인을 제시함으로써, 향후 더 투명하고 공정한 AI 생태계 조성에 기여할 것으로 기대됩니다.

결론적으로, Molmo2 는 오픈 소스 비디오 - 언어 모델의 새로운 기준 (State-of-the-Art) 을 제시하며, 특히 비디오 그라운딩 분야에서 획기적인 발전을 이루었습니다.