VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs

본 논문은 시각적으로 유사한 여러 도형 중 정답을 식별하는 미세한 비교 추론 능력을 평가하기 위해 1,800 개의 고등학교 수학 문제를 포함한 'VisioMath' 벤치마크를 제안하고, 현재 LMM 들이 이미지 - 텍스트 정렬 부재로 인해 실패하는 원인을 규명하며 이를 개선하기 위한 정렬 기반 전략들을 제시합니다.

핵심

이 논문은 **"VisioMath(비지오매스)"**라는 새로운 시험지를 소개하고, 최신 인공지능(AI) 모델들이 이 시험에서 어떻게 망치는지, 그리고 어떻게 고칠 수 있는지를 분석한 연구입니다.

비유하자면, 이 연구는 **"AI 가 수학 문제를 풀 때, 정답이 그림으로만 나와 있고 그 그림들이 서로 너무 비슷할 때 얼마나 혼란스러워하는지"**를 보여주는 실험입니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

---

1. 문제 상황: "거의 똑같은 그림들 사이에서 정답 찾기"

우리가 학교에서 수학 문제를 풀 때, 정답이 A, B, C, D 네 개의 그림으로 주어지는 경우가 많습니다. 예를 들어, "이 함수의 그래프는 아래 중 어느 것일까?"라고 물으면 네 개의 그래프 그림이 나옵니다.

• 인간의 능력: 우리는 눈으로 살짝만 봐도 "아, 이 그래프는 기울기가 조금 더 가파르네" 혹은 "이건 y 축을 지나는 점이 조금 다르네"라고 미세한 차이를 찾아냅니다.
• AI 의 문제: 최신 AI(대형 멀티모달 모델) 는 이 미세한 차이를 구별하는 데 매우 취약합니다. 마치 거울에 비친 두 개의 거의 똑같은 사물을 보고 "어느 쪽이 진짜지?"라고 헤매는 것과 같습니다.

이 논문은 **"정답이 그림이고, 그 그림들이 서로 너무 닮아 있어 구별하기 어려운 수학 문제"**로 구성된 새로운 벤치마크 (시험지) 인 VisioMath를 만들었습니다.

2. 실험 결과: AI 는 "위치"만 보고 찍는다

연구진은 최신 AI 모델 20 개 이상을 이 VisioMath 시험에 풀어보게 했습니다. 결과는 충격적이었습니다.

• 비유: AI 는 그림의 내용을 제대로 분석하지 않고, **"정답은 보통 C 에 있더라"**거나 **"네 번째 그림이 정답일 확률이 높아"**라는 식의 **위치 착각 (Heuristic)**을 합니다.
• 실험: 연구진이 그림의 순서를 뒤섞고 (A 자리에 B 그림을, B 자리에 C 그림을 넣는 식), AI 에게 "이 순서대로 답을 고르세요"라고 했더니, AI 는 순서가 바뀌자마자 엉뚱한 답을 고르기 시작했습니다.
• 결론: AI 는 그림과 글 (문제) 을 제대로 연결하지 못하고, 단순히 위치에 의존해서 답을 고르고 있었습니다. 그림이 서로 비슷할수록 AI 의 실수는 더 늘어났습니다.

3. 왜 이런 일이 생길까? "눈과 입이 따로 노는 현상"

이 연구는 AI 가 왜 실패하는지 그 원인을 **'이미지 - 텍스트 불일치 (Image-Text Misalignment)'**라고 명명했습니다.

• 비유: AI 는 그림을 볼 때 "아, 이건 A 그림이네"라고 인식하고, 문제를 읽을 때 "A 가 정답이야"라고 생각하지만, 이 두 정보가 서로 딱딱 맞지 않는 것입니다. 마치 사람이 "빨간 사과"라고 말하면서 초록색 사과를 가리키는 상황과 비슷합니다.
• AI 는 그림의 미세한 차이 (기울기, 모양 등) 를 텍스트 설명과 정확하게 매칭하지 못해, 얕은 패턴만 보고 넘어갑니다.

4. 해결책: 세 가지 전략으로 AI 를 훈련시키다

연구진은 이 문제를 해결하기 위해 세 가지 방법을 시도했고, 모두 효과를 보았습니다.

1. 한 장의 큰 그림으로 합치기 (Strategy 1):

   • 비유: 네 개의 작은 그림을 따로 떼어내지 말고, 하나의 큰 도화지에 모두 붙여서 보여준 것입니다.
   • 효과: AI 가 여러 장의 그림을 오가며 비교하는 부담을 줄여주어 성능이 조금 향상되었습니다.

2. 라벨을 직접 붙이기 (Strategy 2):

   • 비유: 각 그림 위에 **"이건 A 입니다", "이건 B 입니다"**라고 직접 글자를 써서 붙여준 것입니다.
   • 효과: AI 가 "어? 이 그림이 A 였구나"라고 헷갈리지 않고 명확하게 인식하게 되어 성능이 크게 좋아졌습니다.

3. 생각의 과정을 가르치기 (Strategy 3 - CoT Fine-tuning):

   • 비유: AI 에게 단순히 정답만 알려주는 게 아니라, **"이 그림은 기울기가 A 고, 저 그림은 기울기가 B 라서 A 가 정답이야"**라고 **단계별로 생각하는 과정 (Chain-of-Thought)**을 가르쳐 준 것입니다.
   • 효과: 가장 큰 효과를 보았습니다. 아주 적은 양의 데이터로만 훈련시켰는데도, AI 의 정확도가 약 12.6%나 급상승했습니다. 이는 AI 가 그림과 글의 연결고리를 제대로 잡는 법을 배웠기 때문입니다.

5. 요약 및 의의

• VisioMath 란? "정답이 그림이고, 그 그림들이 서로 너무 닮아 있어 구별하기 어려운" 수학 문제 모음입니다.
• 발견: 현재 AI 는 그림이 비슷할수록 정답을 못 찾으며, 그림과 글의 연결을 제대로 하지 못합니다.
• 해결: 그림을 한 장으로 합치거나, 라벨을 붙이거나, 생각 과정을 가르치는 방식으로 AI 를 훈련시키면 성능이 획기적으로 좋아집니다.

이 연구는 AI 가 단순히 "그림을 보는" 것을 넘어, 그림과 글의 의미를 깊이 있게 연결하고 미세한 차이를 구별하는 진정한 '이해' 능력을 갖추기 위해 어떤 노력이 필요한지 보여줍니다. 이는 향후 교육용 AI 튜터나 복잡한 도면을 분석해야 하는 분야에서 AI 를 더 똑똑하게 만드는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 멀티모달 모델 (LMMs) 은 시각과 언어를 통합하여 다양한 인식 및 추론 작업에서 뛰어난 성과를 보이고 있습니다. 그러나 시각적으로 매우 유사한 여러 입력 (이미지) 을 비교하여 정답을 도출하는 세밀한 추론 능력은 아직 충분히 탐구되지 않았습니다.

• 핵심 문제: 수학 교육 및 실제 문제 해결에서 학습자는 종종 거의 동일한 도형이나 그래프 사이에서 미세한 차이 (기하학적 구조, 함수의 기울기, 부호 등) 를 구별해야 합니다.
• 현재 LMMs 의 한계: 기존 벤치마크는 주로 단일 이미지와 텍스트의 매칭에 초점을 맞추거나, 오답 선지가 텍스트로 주어지는 경우가 많습니다. 반면, VisioMath 와 같은 환경에서는 모든 오답 선지가 **시각적으로 매우 유사한 도면 (Diagram)**으로 구성되어 있어, 모델이 단순한 패턴 매칭이 아닌 정밀한 시각적 비교와 텍스트 - 이미지 정합성 (Alignment) 이 필요합니다.
• 발견: 기존 모델들은 이미지와 텍스트 간의 정합성을 유지하지 못하고, 위치적 힌트 (Positional Heuristics) 나 얕은 유사도에 의존하여 체계적인 오류를 범하는 것으로 나타났습니다.

2. 방법론 (Methodology)

2.1 VisioMath 벤치마크 구축

저자들은 K-12 수학 교육 과정 (기하, 대수, 함수 등) 에서 추출한 1,800 개의 고품질 다중지선다형 수학 문제로 구성된 새로운 벤치마크 VisioMath를 제안했습니다.

• 데이터 특성:
  • 고유한 시각적 유사성: 모든 정답 및 오답 선지가 이미지로 제공되며, 서로 간의 시각적 유사도가 매우 높습니다. (최소 쌍별 코사인 유사도 기반 정량화)
  • 구성: 약 50% 의 문제는 질문 본문 (Stem) 에 이미지 (예: 주어진 함수 그래프) 가 포함되며, 나머지 50% 는 텍스트만 포함합니다.
  • 신뢰성: 중국 고등학교 및 대학 입시 문제 (2002~2023 년) 를 기반으로 하며, 전문가 2 인 이상의 교차 검증을 거쳐 중복 및 오류를 제거했습니다.
  • 편향 제거: 정답 분포 (A, B, C, D) 를 균일하게 조정하여 위치 편향을 최소화했습니다.

2.2 평가 및 분석

• 평가 대상: GPT-4.1, Gemini 2.5 Pro 와 같은 최신 폐쇄형 모델과 Qwen2.5-VL, InternVL2.5 등 다양한 오픈소스 LMMs 를 포함하여 Zero-shot 환경에서 평가했습니다.
• 오류 분석: 모델의 실패 원인을 분석하기 위해 오류를 4 가지 유형 (이미지 - 텍스트 정합성 오류, 비전 인식 오류, 추론 오류, 지식 오류) 으로 분류했습니다.
• 실험 설계:
  • 이미지 순서 뒤섞기 (Shuffling): 이미지와 텍스트 옵션의 매핑을 인위적으로 변경하여 모델이 위치적 힌트에 의존하는지 확인했습니다.
  • 유사도 구간별 분석: 이미지 간 유사도가 낮은 구간에서 높은 구간으로 갈수록 성능이 어떻게 변화하는지 분석했습니다.

2.3 성능 향상 전략

모델의 한계를 극복하기 위해 세 가지 전략을 제안하고 검증했습니다.

1. 단일 레이아웃 통합 (Consolidated Single Image Layout): 모든 이미지 (질문 및 옵션) 를 하나의 합성 이미지로 연결하여 모델이 분산된 주의를 집중하도록 유도.
2. 명시적 시각 - 텍스트 앵커 (Explicit Visual-Textual Anchors): 각 이미지 하단에 해당 옵션 문자 (A, B, C, D) 를 직접 삽입하여 텍스트와 이미지의 매핑을 명확히 함.
3. 정합성 중심 다중 이미지 CoT 파인튜닝 (Alignment-oriented Multi-image CoT Fine-tuning):
   • 1,072 개의 다중 이미지 문제에서 QwenVL-Max 를 이용해 초기 설명을 생성하고, DeepSeek V3.1 을 통해 단계별 추론 (Chain-of-Thought) 을 정제.
   • 정답이 맞는 500 개의 고품질 CoT 데이터를 생성하여 모델을 파인튜닝.

3. 주요 결과 (Key Results)

• 성능 저하 경향:
  • 이미지 간 시각적 유사도가 증가할수록 모든 모델의 정확도가 일관되게 감소했습니다. (예: Doubao-1.5-Vision-Pro 는 유사도 낮은 구간 74.9% → 높은 구간 62.0% 로 12.9%p 하락)
  • 질문 본문에 이미지가 포함된 경우, 텍스트만 있는 경우보다 모델의 성능이 현저히 낮았습니다.
• 주요 실패 원인:
  • 이미지 - 텍스트 정합성 오류 (Image-Text Misalignment): 전체 오류의 **36%**를 차지하는 가장 큰 원인입니다. 모델이 특정 텍스트 옵션을 올바른 이미지와 연결하지 못합니다.
  • 위치적 의존성: 이미지 순서를 뒤섞었을 때 (Shuffling), 모델의 성능이 급격히 떨어졌습니다 (예: Gemini 2.5 Pro 는 80.9% → 72.2%). 이는 모델이 이미지의 내용보다는 옵션의 위치 (A 는 첫 번째 이미지 등) 에 의존하고 있음을 시사합니다.
• 전략의 효과:
  • CoT 파인튜닝 (Strategy 3): 소량의 데이터 (500 개) 만으로도 Qwen2.5-VL-3B 모델의 정확도가 25.4% 에서 38.0% 로 12.6%p 상승하는 등 가장 큰 개선을 보였습니다. 이는 명시적인 시각 - 텍스트 정합성 학습의 중요성을 입증했습니다.
  • 단일 레이아웃 통합 (Strategy 1) 과 명시적 앵커 (Strategy 2) 도 일관된 성능 향상을 보였습니다.

4. 주요 기여 (Key Contributions)

1. VisioMath 벤치마크 도입: 이미지 기반 오답 선지를 가진 수학 추론을 평가하기 위해 설계된 최초의 벤치마크로, 기존 멀티모달 벤치마크의 공백을 메웠습니다.
2. 포괄적 평가 및 한계 규명: 최첨단 LMMs 를 평가하여, 시각적으로 유사한 이미지 간 비교 추론과 정밀한 멀티모달 정합성 (Alignment) 에서 모델들이 여전히 심각한 한계를 겪고 있음을 밝혔습니다.
3. 분석 및 해결 전략 제시: 정합성 오류가 주요 실패 원인임을 규명하고, 데이터 증강 및 CoT 기반 파인튜닝을 통해 이를 효과적으로 완화할 수 있음을 입증했습니다.

5. 의의 및 의의 (Significance)

• 교육 및 튜터링 적용: VisioMath 는 K-12 교육 환경에서 학생들이 직면하는 실제 문제 유형을 반영하므로, AI 기반 지능형 튜터링 시스템 및 수학 교육용 AI 개발에 직접적인 기여를 할 수 있습니다.
• 모델 발전 방향 제시: 현재 LMMs 가 단순한 인식 (Recognition) 을 넘어, 복잡한 시각적 정보를 정밀하게 비교하고 텍스트와 논리적으로 연결하는 (Grounded Reasoning) 능력으로 발전해야 함을 강조합니다.
• 연구 촉진: 이 벤치마크와 분석 결과는 다중 이미지 - 텍스트 정합성을 강화하는 새로운 아키텍처 및 학습 방법론 개발을 위한 엄격한 테스트베드와 촉매제 역할을 할 것입니다.

이 논문은 멀티모달 모델이 단순한 이미지 이해를 넘어, 미세한 시각적 차이를 구별하고 텍스트와 정합성을 유지하는 고차원 추론 능력을 갖추기 위해 어떤 방향으로 나아가야 하는지를 명확히 제시합니다.