1. 문제 정의 (Problem)

최근 비전 - 언어 모델 (VLM) 은 복잡한 추론 작업에서 뛰어난 성능을 보이지만, 미세한 시각적 지각 (fine-grained visual perception) 과 정밀한 기하학적 이해가 필요한 작업에서는 여전히 한계를 드러내고 있습니다.

• 구체적 문제: 인간에게는 직관적인 '계측기 눈금 읽기' (압력계, 온도계, 자, 시계 등) 작업이 현재 VLM 에게는 매우 어렵습니다.
• 기존 연구의 한계: 기존 벤치마크는 텍스트 읽기나 차트 추론에 집중하거나, 인위적인 저수준 비전 테스트에 그쳤습니다. 물리적 눈금을 수치 값으로 매핑하는 (mapping physical scales to numeric values) 과 같은 구체적인 과제는 충분히 평가되지 않았습니다.
• 핵심 과제: 모델이 단순히 숫자나 단어를 인식하는 것을 넘어, 화살표 (pointer) 의 위치, 눈금 (ticks) 의 간격, 왜곡된 조명 및 배경 하에서 정확한 수치 값을 추론하는 능력의 부족.

2. 방법론 (Methodology)

A. MeasureBench 벤치마크 구축

논문의 핵심은 계측기 읽기 능력을 평가하기 위한 새로운 벤치마크인 MeasureBench를 제안하는 것입니다.

• 데이터 구성: 총 2,442 개의 이미지 - 질문 쌍으로 구성됩니다.
  • 실제 세계 데이터 (Real-world): 1,272 개. 구글 이미지 검색, 팀원 촬영, 구매 데이터를 활용하여 26 가지 계측기 유형을 수집하고 인간이 주석을 달았습니다.
  • 합성 데이터 (Synthetic): 1,170 개. 39 가지 계측기 외관을 가진 16 가지 유형을 대상으로 생성된 데이터입니다.
• 계측기 유형 분류:
  1. Dial (아날로그): 바늘이 있는 계기판 (전류계, 압력계 등).
  2. Digital (디지털): 전자/기계식 디지털 표시 장치.
  3. Linear (선형): 눈금자, 버니어 캘리퍼스 등.
  4. Composite (복합): 여러 읽기 방식을 결합한 계기 (복합형 캘리퍼스 등).
• 평가 지표: 단순 정답 매칭이 아닌, 구간 매칭 (Interval Matching) 을 사용합니다.
  • 모델이 추출한 숫자가 정답 구간 내에 있는지 확인하고, 단위 (Unit) 정확도를 함께 평가합니다.

B. 데이터 합성 파이프라인 (Data Synthesis Pipeline)

확장 가능한 데이터 생성을 위해 2 가지 백엔드를 통합한 모듈식 파이프라인을 개발했습니다.

1. 2D 프로그래밍 렌더링: LLM 이 코드를 생성하여 다양한 레이아웃, 폰트, 기하학적 구조를 제어하며 합성 이미지를 생성합니다.
2. 3D 물리 렌더링 (Blender): 사실적인 조명, 재질, 반사, 가려짐 (occlusion) 을 포함한 고해상도 합성 이미지를 생성하여 '시뮬레이션 - 실제 (Sim-to-Real)' 격차를 줄입니다.

• 이 파이프라인은 화살표 각도, 눈금 범위, 조명, 배경 등을 무작위로 변형하여 39 가지의 서로 다른 외관을 가진 데이터를 생성할 수 있습니다.

C. 실험 및 학습 전략

• 모델 평가: GPT-5, Gemini 2.5 Pro, Qwen-VL, Claude 등 18 개의 최신 VLM(상용 및 오픈 웨이트) 을 MeasureBench 에서 평가했습니다.
• 강화 미세 조정 (RFT): 생성된 합성 데이터를 기반으로 GRPO (Group Relative Policy Optimization) 알고리즘을 적용하여 모델을 학습시켰습니다.
• 비교 분석: 지도형 미세 조정 (SFT) 과의 비교, 추론 시간 '생각 (Thinking)' 과정의 효과 분석, 프롬프트 민감도 분석 등을 수행했습니다.

3. 주요 기여 (Key Contributions)

1. MeasureBench 제안: 26 가지 계측기 유형과 4 가지 읽기 디자인을 포괄하는 포괄적인 벤치마크 (2,442 개 샘플) 를 최초로 공개했습니다.
2. 제어 가능한 합성 파이프라인: 스케치부터 사진 같은 합성 이미지까지 정밀한 레이블과 함께 무작위화된 계측기 데이터를 생성할 수 있는 2D/3D 통합 파이프라인을 오픈했습니다.
3. 포괄적인 평가 및 분석: 18 개 최신 VLM 에 대한 표준화된 평가와 실패 모드 (failure modes) 분석을 통해, 현재 VLM 이 저수준 지각과 정밀한 기하학적 추론에서 겪는 구체적인 격차를 규명했습니다.
4. 학습 데이터 증강 효과 검증: 합성 데이터를 활용한 강화 학습 (RFT) 이 실제 세계 데이터에서도 일반화 성능을 향상시킬 수 있음을 입증했습니다.

4. 주요 결과 (Key Results)

A. 모델 성능 한계

• 낮은 정확도: 최상위 모델인 Gemini 2.5 Pro조차 실제 세계 데이터에서 30.2%, 합성 데이터에서 26.3% 의 정확도만 기록했습니다.
• 단위 인식 vs 수치 추론: 모델은 단위 (Unit) 인식 정확도가 90% 이상으로 매우 높았으나, 실제 수치 (Value) 추론 정확도는 30% 대로 크게 낮았습니다. 이는 OCR 능력은 우수하나, 눈금과 화살표의 기하학적 관계를 해석하는 데 실패함을 의미합니다.
• 디자인별 난이도: 디지털 계기는 상대적으로 쉬웠으나 (80% 이상), 아날로그 (Dial) 와 선형 (Linear) 계기는 10~32% 수준으로 매우 어려웠습니다. 복합 계기는 가장 어려웠습니다.
• 모델 크기와의 관계: 모델 크기가 커진다고 해서 성능이 비례하여 향상되지 않았습니다 (예: Qwen2.5-VL-72B 가 7B 모델보다 성능이 낮거나 유사한 경우). 언어적 선입견 (prior) 이 오히려 시각적 증거를 왜곡하는 경우가 많았습니다.

B. 강화 학습 (RFT) 의 효과

• 성능 향상: 합성 데이터로 GRPO 를 적용한 Qwen2.5-VL-7B 모델은 실제 세계 데이터에서 14.6% → 19.7%, 합성 데이터에서 10.9% → 35.2% 로 크게 향상되었습니다.
• 일반화: 합성 데이터 학습이 실제 데이터에도 전이 (transfer) 되어 성능을 높였으나, 복잡한 복합 계기 등에서는 여전히 한계가 있었습니다.
• 편향 감소: RFT 전에는 모델이 "10, 20"과 같은 반올림된 숫자를 선호하는 경향이 강했으나, 학습 후 이러한 언어적 편향이 줄어들고 시각적 증거에 기반한 분포로 개선되었습니다.

C. 기타 발견

• 추론 (Thinking) 의 비효율성: 텍스트 추론을 위한 '생각' 토큰을 늘리는 것은 시각적 지각이 필요한 이 작업에서는 성능 향상을 가져오지 못했습니다.
• 전용 시스템 vs VLM: 기존 계측기 전용 컴퓨터 비전 시스템 (검출 + OCR 파이프라인) 은 새로운 데이터셋에서 일반화되지 못해 VLM 보다 낮은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• VLM 의 근본적 한계 지적: 현재 최첨단 VLM 들이 미세한 공간적 지각 (fine-grained spatial grounding) 과 정밀한 기하학적 추론에서 여전히 취약함을 명확히 보여주었습니다.
• 데이터 중심 접근의 중요성: 합성 데이터를 통한 데이터 증강과 강화 학습 (RFT) 이 실제 세계의 복잡한 시각적 과제를 해결하는 데 유효한 전략임을 입증했습니다.
• 미래 방향: 단순한 데이터 양의 증가를 넘어, 시각적 표현 (visual representation) 과 공간 추론 능력을 강화하는 모델 아키텍처 개발의 필요성을 강조합니다.

이 연구는 VLM 이 단순히 "숫자를 인식"하는 것을 넘어, "세계를 측정"할 수 있는 능력을 갖추기 위한 중요한 이정표가 될 것으로 기대됩니다.