1. 문제 정의 (Problem)

기존의 비전 - 언어 모델 (VLM) 은 '지시 (Pointing)' 작업을 수행할 때 주로 두 가지 방식을 사용했습니다.

1. 텍스트 좌표 생성: 모델이 텍스트로 직접 좌표 (x, y) 를 생성하거나 이산화된 좌표 버 bins 를 출력합니다.
2. 단점:
   • 복잡한 좌표계 학습: 모델은 이미지 해상도와 무관하게 일관된 좌표계를 학습해야 하므로 학습이 어렵고 일반화 성능이 떨어질 수 있습니다.
   • 높은 토큰 수: 좌표를 표현하기 위해 많은 토큰 (예: 6 자리 숫자 + 공백 등) 이 필요하여 추론 비용이 증가하고 지연 시간이 늘어납니다.
   • 정밀도 한계: 텍스트로 좌표를 표현할 때 고해상도 이미지에서 미세한 위치를 정확히 지정하기 어렵습니다.

이 논문은 이러한 문제점을 해결하기 위해 직관적이고 효율적인 'Grounding Token(지정 토큰)' 기반의 지시 메커니즘을 제안합니다.

2. 방법론 (Methodology)

저자들은 모델이 텍스트 좌표를 생성하는 대신, 입력 이미지나 비디오의 시각 토큰 (Visual Tokens) 을 직접 선택하는 방식을 도입했습니다. 이 과정은 ** coarse-to-fine(거시에서 미시)** 방식으로 3 단계의 특수 토큰을 사용하여 수행됩니다.

A. 3 단계 지시 토큰 (Three-Stage Pointing Tokens)

1. <PATCH> 토큰:
   • LLM 의 숨겨진 상태 (Hidden States) 를 활용하여 입력 이미지 내의 **거시적 패치 (Coarse-grained patch)**를 선택합니다.
   • LLM 의 시각 토큰에 대한 Cross-attention 을 수행하여 가장 관련성이 높은 패치를 선택합니다.
2. <SUBPATCH> 토큰:
   • 선택된 패치 내부의 **미시적 서브패치 (Fine-grained subpatch, ViT 패치)**를 선택합니다.
   • ViT 의 더 세밀한 특징 (Features) 을 활용하여 위치를 정제합니다.
3. <LOCATION> 토큰:
   • 최종적으로 선택된 서브패치 내부의 정확한 위치를 지정합니다.
   • 서브패치 (보통 14x14 픽셀) 를 3x3 그리드로 나누어 9 개의 위치 중 하나를 선택합니다. 이를 통해 입력 이미지 크기에 상관없이 약 4.7 픽셀의 고정된 정밀도를 유지합니다.

B. 핵심 기술적 요소

• Rotary Embeddings (RoPE): 이전에 선택된 패치와의 상대적 위치를 인코딩하여 모델이 일관된 순서로 포인트를 생성하거나, 비디오에서 이전 프레임의 포인트를 추적하는 데 도움을 줍니다.
• No-More-Points Class: 모델이 불필요하게 많은 포인트를 생성하는 (Degenerate behavior) 것을 방지하기 위해, 더 이상 포인트가 필요 없을 때 선택할 수 있는 특수 클래스를 도입했습니다.
• 토큰 효율성: 좌표 표현을 위해 필요한 토큰 수를 기존 8 개 (6 자리 숫자 + 공백) 에서 3 개로 줄여 추론 속도를 향상시켰습니다.

C. 데이터셋 및 모델

• MolmoPoint-8B: 범용 이미지/비디오 VLM.
• MolmoPoint-GUI-8B: GUI 지시에 특화된 모델. 고해상도 GUI 데이터인 MolmoPoint-GUISyn(36k 스크린샷, 2M 포인트) 으로 학습.
• MolmoPoint-Vid-8B: 비디오 지시 및 추적에 특화된 모델.
• MolmoPoint-Track: 인간 주석 및 합성 데이터를 포함한 새로운 추적 데이터셋.

3. 주요 기여 (Key Contributions)

1. Grounding Token 메커니즘 제안: 텍스트 좌표 생성 대신 시각 토큰을 직접 선택하는 새로운 아키텍처를 도입하여 지시 작업의 효율성과 정밀도를 극대화했습니다.
2. 새로운 데이터셋 공개:
   • MolmoPoint-GUISyn: 고해상도, 다양한 OS/앱을 아우르는 합성 GUI 데이터셋.
   • MolmoPoint-Track: 인간 주석 및 합성 비디오 추적 데이터셋.
3. 모델 공개: 8B 파라미터 규모의 3 가지 특화 모델 (MolmoPoint-8B, GUI-8B, Vid-8B) 과 코드, 데이터를 오픈소스로 공개했습니다.
4. 샘플 효율성 증대: 동일한 데이터 양으로 더 빠른 수렴과 더 높은 성능을 달성함을 입증했습니다.

4. 실험 결과 (Results)

전 세계적으로 다양한 벤치마크에서 State-of-the-Art (SOTA) 또는 최상위 성능을 기록했습니다.

• 이미지 지시 (Image Pointing):
  • PointBench: 70.7% (이전 SOTA 대비 +2%p 향상).
  • PixMo-Points: 89.2% F1 점수 (이전 SOTA 대비 +4%p 향상).
• GUI 지시 (GUI Pointing):
  • ScreenSpot-Pro: 61.1% (완전 오픈 모델 중 SOTA). 텍스트 좌표 베이스라인 대비 9%p 이상 향상.
  • OSWorldG: 70.0% 성능 달성.
• 비디오 지시 및 추적 (Video Pointing & Tracking):
  • 비디오 카운팅: 인간 선호도 평가에서 베이스라인 대비 **59.1%**의 승리율을 기록.
  • 추적 (Tracking): MolmoPoint-Track 데이터셋과 모델 설계를 통해 J&F 점수 62.5 달성 (Molmo2 대비 +6.3%p 향상).
• 샘플 효율성: 지시 데이터 양이 적을 때 (예: 8,192 개) 도 기존 모델보다 빠르게 성능이 수렴하며, 전체 학습 시에도 더 빠른 수렴을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 지시 (Pointing) 능력을 획기적으로 개선한 중요한 연구입니다.

• 기술적 혁신: 복잡한 좌표계 학습을 불필요하게 하고, 시각 인식과 지시 작업을 더 긴밀하게 결합하여 모델이 이미 인식한 객체를 훨씬 더 쉽고 정확하게 가리킬 수 있게 했습니다.
• 실용성: 토큰 수 감소로 인한 추론 비용 절감, 고해상도 이미지 및 GUI 환경에서의 높은 정밀도, 그리고 로봇 제어 및 컴퓨터 사용 에이전트 (Computer-use Agents) 와 같은 실제 응용 분야에서의 성능 향상이 기대됩니다.
• 오픈 생태계: 고품질의 합성 데이터셋과 강력한 오픈 소스 모델을 제공함으로써, 향후 GUI 에이전트 및 비디오 이해 분야의 연구 발전을 가속화할 것으로 예상됩니다.

결론적으로, MolmoPoint 는 Grounding Token을 통해 VLM 의 지시 능력을 단순한 좌표 생성을 넘어 시각적 이해와 직접적으로 연결된 직관적인 작업으로 진화시켰습니다.