VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

1. 문제 정의 (Problem Statement)

비전 - 언어 모델 (VLM) 은 일반적인 문서 이해나 시각적 질문 응답 (VQA) 과 같은 작업에서는 뛰어난 성능을 보이지만, 수학적 추론 영역에서는 텍스트-only 언어 모델 (LLM) 에 비해 현저히 낮은 성능을 보입니다. 이를 저자들은 **"모달리티 간극 (Modality Gap)"**이라고 정의합니다.

• 현상: 동일한 수학 문제가 텍스트로 주어졌을 때와 이미지 (수식, 도형, 레이아웃이 섞인 형태) 로 주어졌을 때, VLM 의 정답률은 이미지 입력 시 급격히 하락합니다.
• 원인:
  1. 밀집된 수식 및 레이아웃 오인식: 분수, 적분 기호, 첨자/아첨자, 조각별 함수 대괄호 등 복잡한 수학적 기호를 시각적으로 정확히 파싱하는 데 실패합니다.
  2. 연쇄적 오류 (Cascading Errors): 초기 파싱 단계의 작은 오류 (예: 지수 잘못 읽기, 부호 반전) 가 이후의 대수적 추론과 계산에 전파되어 최종 답이 완전히 틀어지는 현상이 발생합니다.
  3. 데이터 부족: 기존 VQA 데이터셋은 최종 답이나 간단한 설명만 제공하며, 단계별 실행 가능한 도구 사용 궤적 (trajectory) 이 부족합니다.

2. 방법론 (Methodology)

저자들은 이 간극을 해결하기 위해 VisTIRA (Vision and Tool-Integrated Reasoning Agent) 프레임워크를 제안하고, 이를 학습시키기 위한 데이터 파이프라인과 평가 체계를 구축했습니다.

A. VisTIRA 프레임워크

VLM 이 이미지 기반 수학 문제를 해결할 때, 자연어 추론과 실행 가능한 Python 코드를 교차하여 사용하는 반복적 도구 통합 추론 방식을 도입합니다.

• 작동 원리:
  1. 모델은 이미지 $I$를 보고 자연어 추론 단계 ($\rho_i$) 를 생성합니다.
  2. 필요한 계산이나 기호 조작을 위해 Python 코드 조각 ($A_i$) 을 생성합니다.
  3. 외부 도구 (Python/SymPy) 가 코드를 실행하여 결과 ($O_i$) 를 반환합니다.
  4. 이 결과가 다음 추론 단계의 입력으로 피드백되어, 최종 답이 \boxed{} 태그로 감싸질 때까지 반복됩니다.
• 효과: 복잡한 산술 연산을 모델이 직접 수행하는 대신 신뢰할 수 있는 기호 엔진에 위임함으로써, 계산 오류와 환각 (hallucination) 을 줄입니다.

B. 데이터 구축 (Data Construction)

• SnapAsk (실제 과제 데이터): 실제 학생들의 숙제 이미지로 구성된 대규모 데이터셋 (약 30 만 장) 을 활용합니다. 강력한 교사 모델 (GPT-4o 등) 을 사용하여 이미지에서 VisTIRA 궤적 (추론 + 코드 + 실행 결과) 을 생성하고, CoT 추론 답과 도구 실행 답이 일치하는 경우만 필터링하여 고품질 학습 데이터를 만듭니다.
• NuminaMath (제어된 텍스트-이미지 쌍): 기존 텍스트 기반 수학 문제 (NuminaMath) 를 LaTeX 파이프라인을 통해 고품질 이미지로 렌더링합니다. 이를 통해 동일한 문제를 텍스트와 이미지로 입력받아 모달리티 간극을 정량적으로 측정할 수 있는 통제된 벤치마크를 생성합니다. (총 36 만 장의 깨끗한 이미지와 노이즈가 추가된 이미지 공개)

C. OCR 그라운딩 (OCR Grounding)

모델의 시각적 파싱 능력을 보완하기 위해 최신 OCR 모델 (DeepSeek-OCR) 을 도입하여 이미지에서 텍스트를 추출하고, 이를 이미지와 함께 입력하거나 텍스트만으로 입력하는 실험을 수행합니다.

3. 주요 기여 (Key Contributions)

1. VisTIRA 프레임워크 제안: 비전 수학 문제를 자연어, 코드, 실행 루프로 분해하여 해결하는 반복적 도구 통합 추론 에이전트 아키텍처를 제안했습니다.
2. 시각적 수학 추론을 위한 궤적 감독 학습 (Trajectory Supervision): 실제 숙제 이미지 (SnapAsk) 에서 검증된 '추론 - 코드 - 출력' 궤적 코퍼스를 구축하여 VLM 의 시각적 수학 에이전트 학습을 가능하게 했습니다.
3. 평가 파이프라인 및 데이터 공개: 텍스트를 이미지로 변환하는 LaTeX 렌더링 파이프라인을 개발하여 통제된 모달리티 간극 분석을 가능하게 했으며, 36 만 장의 렌더링 이미지 (Clean/Noisy) 와 OCR 전사본이 포함된 테스트 세트를 공개했습니다.
4. 모달리티 간극에 대한 실증적 발견:
   • 모델 크기가 작을수록 모달리티 간극이 더 큽니다.
   • 도구 통합 추론은 모든 모델 규모에서 일관된 향상을 가져옵니다.
   • OCR 기반 그라운딩은 작은 모델에는 큰 도움을 주지만, 대형 모델에는 중복 정보나 노이즈로 작용하여 효과가 감소하거나 오히려 성능을 저하시킬 수 있음을 발견했습니다.

4. 실험 결과 (Results)

• 도구 통합 추론의 효과:
  • Qwen2.5-VL-7B 모델을 VisTIRA 데이터로 미세 조정 (SFT) 한 결과, NuminaMath 벤치마크에서 60.97% (기존 58.77% 대비 +2.2%p), SnapAsk(실제 이미지) 에서 37.96% (기존 32.53% 대비 +5.43%p) 의 성능 향상을 보였습니다.
  • 단순 CoT (Chain-of-Thought) 학습만으로는 이러한 향상이 나타나지 않았으며, 도구 통합이 핵심임을 입증했습니다.
• 모달리티 간극 분석:
  • 텍스트 입력 대비 이미지 입력 시 성능 저하가 명확히 관찰되었습니다 (Qwen2.5: 64.19% → 58.77%, GPT-5: 79.94% → 73.94%).
  • 모델 규모에 따른 차이: 작은 모델 (Qwen2.5) 은 이미지 파싱 실패로 인해 간극이 크지만, 대형 모델 (GPT-5) 은 상대적으로 간극이 작습니다.
• OCR 의 역할:
  • 작은 모델의 경우, 이미지 + OCR 입력이 순수 이미지 입력보다 정확도를 크게 향상시켰습니다 (58.77% → 63.89%). 이는 작은 모델이 복잡한 수식 텍스트를 이미지만으로 읽는 데 어려움을 겪기 때문입니다.
  • 반면, 대형 모델 (GPT-5) 에서는 OCR 이 추가될 때 성능 향상이 미미하거나 오히려 감소하는 경향을 보였습니다. 이는 대형 모델이 이미 강력한 시각적 파싱 능력을 갖추고 있어 OCR 텍스트가 중복되거나 노이즈가 될 수 있음을 시사합니다.
• 노이즈 내성 테스트: 렌더링된 이미지에 인위적인 노이즈 (블러, JPEG 아티팩트 등) 를 추가한 실험에서도 모달리티 간극은 구조적으로 존재함이 확인되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 시각적 수학 추론의 핵심 병목 현상이 시각적 파싱의 불완전성과 계산적 정확성 부족에 있음을 규명했습니다.

• 전략적 통찰:
  1. 구조적 추론: 모델이 직접 계산하기보다 외부 도구를 활용하는 '구조화된 추론 (Structured Reasoning)'이 오류를 줄이는 데 필수적입니다.
  2. 보완적 접근: 작은 모델의 경우 OCR 기반 텍스트 그라운딩이 시각적 한계를 보완하는 효과적인 전략이지만, 모델이 커질수록 적응형 퓨전 (Adaptive Fusion) 전략이 필요함을 시사합니다.
• 미래 방향: VisTIRA 는 시각적 수학 추론의 모달리티 간극을 줄이기 위한 강력한 프레임워크를 제공하며, 향후 더 넓은 범위의 실제 문서 및 교육 자료 처리를 위한 기반을 마련했습니다.

요약하자면, 이 논문은 VisTIRA를 통해 VLM 이 이미지 속 수학 문제를 해결할 때 발생하는 파싱 오류와 계산 실수를 도구 통합 및 OCR 보조를 통해 어떻게 극복할 수 있는지 체계적으로 증명하고, 이를 위한 대규모 데이터셋과 평가 기준을 제시했습니다.