기술 요약: M3Kang – 시각-언어 모델의 다국어 다중 모달 수학적 추론 평가

1. 문제 정의

시각-언어 모델(Vision-Language Models, VLMs)의 급격한 발전과 그들이 보여준 추론 능력에도 불구하고, 이들의 다국어 수학적 추론 성능은 여전히 미개척 영역으로 남아 있다. 현재의 평가는 고자원 언어와 텍스트 전용 벤치마크에 과도하게 치우쳐 있다. 기존 연구들은 모델이 덜 흔히 사용되는 언어에서 크게 어려움을 겪으며, 도표를 정확하게 해석하는 데 실패한다는 점을 시사한다. 다국어성, 다중 모달성, 그리고 수학적 추론의 교차점을 동시에 다루는 벤치마크가 결정적으로 부족하다. 이러한 격차는 모델의 강건성에 대한 이해를 제한하고, 포용적이며 전 세계적으로 적용 가능한 AI 시스템의 개발을 저해한다. 또한, 다국어 또는 다중 모달 작업을 개별적으로 다루는 일부 벤치마크는 존재하지만, 이를 결합된 능력으로 평가하는 경우는 드물며, 그마저도 일반적인 지식에 집중하거나 제한된 언어 세트만을 다루는 경우가 많다.

2. 방법론

2.1 M3Kang 데이터셋

저자들은 VLM을 위한 최초의 대규모 다국어, 다중 모달 수학적 추론 데이터셋인 M3Kang을 소개한다. 이 데이터셋은 매년 90개국 이상의 18세 미만 참가자 600만 명 이상이 참여하는 세계 최대 규모의 수학 경시대회인 **캥거루 수학 경시대회(Kangaroo Math Competition)**에서 파생되었다.

• 소스 자료: 기본 데이터셋은 Societat Catalana de Matemàtiques에서 제공하는 2007~2024년 대회본의 1,747개의 고유한 객관식 문제로 구성된다. 이는 원래 PDF 형식으로 구성되어 있었다.
• 규모 및 다양성: 데이터셋은 고자원 언어(예: 영어, 스페인어)부터 저자원 언어(예: 츠온가어, 링갈라어)에 이르기까지 108개의 문화적으로 다양한 언어로 번역되었다. 품질 필터링을 거친 후 총 111,198개의 문제가 생성되었다.
• 다중 모달 구조: 각 문제는 두 가지 형식으로 제공된다:
  1. 텍스트 전용 버전.
  2. 질문, 선택지, 그리고 필요한 도표를 포함하며 대상 언어로 번역된 텍스트가 포함된 이미지.
• 영어 서브셋 (M2Kang): 비다국어, 다중 모달 추론을 평가하기 위해 영어 전용 서브셋도 독립적으로 공개된다.

2.2 데이터셋 구축 파이프라인

저자들은 소스 언어(카탈로니아어)로부터 108개의 대상 언어로 다중 모달 문제를 번역하는 자동화된 파이프라인을 제안한다. 이 과정은 세 단계로 이루어진다:

1. 기본 데이터셋 생성 (카탈로니아어): PDF를 파싱하여 이미지로 변환하고 분할한다. 이미지 내의 카탈로니아어 전용 용어를 제외하기 위해 질문 주변에 바운딩 박스를 수동으로 그린다. LLM-as-a-judge를 사용하여 손상된 샘플(예: 잘못된 바운딩 박스, 도형 일부 누락)을 식별하고 이를 수동으로 수정한다. 텍스트 유사도를 통해 중복을 제거한다.
2. 영어 번역 (M2Kang): 카탈로니아어 데이터셋을 영어로 번역한다. 다중 모달 정렬을 유지하기 위해 원래의 바운딩 박스 내에 텍스트를 동적으로 재배치(re-wrapping)한다. LLM-as-a-judge가 번역 오류를 감지하며, 이후 언어적 정확성을 보장하고 편향을 제거하기 위해 42개의 오번역을 제거하는 엄격한 수동 검토를 거친다.
3. 다국어 확장: 영어 데이터셋을 다른 언어로 확장한다. 모든 108개 언어에 대한 정답 참조(ground-truth) 없이 품질을 보장하기 위해, 저자들은 역번역 기반 평가 전략을 채택한다.
   • 품질 지표: 소스 텍스트와 여러 역번역 결과(NLLB 모델 사용) 사이의 max chrf++ 점수를 기반으로 한 참조 없는 지표를 사용한다.
   • 임계값 설정: max chrf++ 점수가 임계값($T = 0.625$) 미만인 샘플은 오번역으로 간주하여 폐기한다. 더 엄격한 임계값($T = 0.85$)을 적용한 "고품질" 분할본도 함께 제공된다.

2.3 실험 설정

저자들은 Qwen-2.5, Gemma, Phi-4, Kimi-Thinking과 같은 오픈 소스 모델과 GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro와 같은 폐쇄형 소스 VLM을 포함한 16개의 다양한 모델을 벤치마킹했다.

• 언어: 인터넷 존재량에 따라 저-, 중-, 고자원 언어가 균형 있게 섞인 16개의 언어에 초점을 맞추어 실험을 진행했다.
• 프롬프팅: 모델들에게 Chain-of-Thought(CoT) 추론을 사용하도록 프롬프트를 제공하였으며, 추론 과정(reasoning traces)을 출력한 뒤 특정 답변 형식(A, B, C, D 또는 E)을 따르도록 지시했다.
• 평가된 기술: 표준 프롬프팅을 다음 세 가지 다국어 추론 전략과 비교 평가했다:
  1. 모델 모국어 추론 (Model Tongue Reasoning, MTR): 질문을 영어로 번역하고 원문과 번역본을 모두 사용하여 프롬프팅한다.
  2. CLSP: MTR을 여러 언어(영어, 스페인어, 독일어, 프랑스어)에 적용하고 다수결 투표를 통해 출력을 집계한다.
  3. 활성화 스티어링 (Activation Steering): 생성 과정에서 표현(representation)을 영어 쪽으로 정렬하도록 모델 내부의 활성화를 수정한다.

3. 주요 결과

3.1 모델 성능

• 일반적인 어려움: 최근의 발전에도 불구하고, 모델들은 여전히 기초적인 수학과 도표 기반 추서에 어려움을 겪는다. 성능은 일반적으로 모델 크기와 언어 자원 가용성에 따라 증가하지만, 학년 수준의 난이도에 따라 비례하여 증가하지는 않는다.
• 최고 성능 모델: Gemini-2.5-Pro가 모든 언어와 카테고리에서 가장 우수한 성능을 달성했다. 오픈 모델 중에서는 Kimi-Thinking-2506이 가장 강력했으며, 영어에서는 GPT-4o를 능가했으나 저자원 언어에서는 상당한 성능 저하를 보였다.
• 자원 상관관계: Gemini-2.5-Pro를 제외한 모든 모델에서 정확도는 해당 언어의 인터넷 존재량과 강한 상관관계를 보인다. 작은 모델일수록 이 상관관계가 더 뚜렷하게 나타나는데, 이는 언어 간 일반화 능력이 제한적임을 의미한다. 많은 모델의 저자원 언어 성능은 무작위 추측 수준에 가깝다.

3.2 텍스트 전용 vs. 도형 기반 문제

일관되고 유의미한 격차가 관찰되었다: 모든 유능한 모델이 난이도와 관계없이 도형 기반 문제보다 텍스트 전용 문제에서 더 높은 성능을 보였다.

• 인간 vs. AI 대비: 이는 인간의 성능과는 반대되는 경향이다. 인간은 텍스트 전용 문제보다 도형 기반 문제를 더 쉽게 느낀다.
• 시사점: 현재의 VLM은 수학적 추론을 위해 시각적 정보를 효과적으로 통합하는 데 어려움을 겪고 있다. 도형 모달리티는 공간적 관계, 도표 해석 등 현재의 아키텍처가 완전히 포착하지 못하는 복잡성을 도입한다.

3.3 다국어 기술

연구는 텍스트 기반 다국어 기술이 다중 모달 설정에서도 전이되는지 평가했다:

• MTR의 우수성: **모델 모국어 추론 (MTR)**이 일관되게 가장 강력한 성능을 보였으며, 저자원 언어와 고자원 언어 간의 성능 격차를 실질적으로 줄였다.
• CLSP 및 스티어링: CLSP는 MTR에 비해 성능이 낮았다. 활성화 스티어링은 저자원 언어에서만 완만한 이득을 보였으며, 작은 모델에서도 MTR의 성능을 따라잡지 못했다.
• 효율성: MTR은 작은 번역 모델을 사용하더라도 효과적임을 입증했다. 이는 저예산 시나리오에서 성능 저하 없이 더 작은 번역기를 사용할 수 있음을 시사한다.

3.4 인간 vs. 모델 비교

2024년 캥거루 수학 경시대회의 68,000명 이상의 학생으로부터 얻은 성능 데이터를 활용한 결과:

• 비단조적 난이도: 모델은 (인간의 난이도 평가 기준) 문제 난이도가 높아짐에 따라 성능이 단조 감소하는 모습을 보이지 않는다. 예를 들어, Kimi-Thinking-2506은 레벨 3~6에서는 상위 94백분위수에 위치했으나, 낮은 레벨에서는 44백분위에 머물렀다.
• 추론의 괴리: 이 분석은 AI 모델의 추론 능력과 어린 학생들의 추론 능력 사이에 유의미한 상관관계가 없음을 시사한다. 모델은 인간과 같은 단계별 추론보다는 패턴 매칭이나 올림피아드 스타일의 기하학 과제에 대한 특정 학습에 기반한 서로 다른 문제 해결 방식을 사용하는 것으로 보인다.

4. 주요 기여

1. M3Kang 데이터셋: 캥거루 수학 경시대회에서 파생된 108개 언어, 1,747개의 고유한 문제를 포함한 다국어, 다중 모달 벤치마크를 구축하였다.
2. 번역 파이프라인: 정답 참조 없이도 번역의 무결성을 보장하기 위해 역번역 기반의 품질 관리 메커니즘을 갖춘, 단일 언어 소스로부터 다국어 다중 모달 데이터셋을 자동으로 생성하는 오픈 소스 프레임워크를 제공한다.
3. 포괄적 평가: 선도적인 VLM들을 다양한 언어와 추론 기술에 걸쳐 광범하게 벤치마킹하여, 모델들이 기초 수학과 도표 해석에 어려움을 겪으며 성능이 언어 자원 가용성에 크게 의존한다는 점을 밝혔다.
4. 인간 베이스라인: 68,000명 이상의 학생들과 직접 비교함으로써, AI와 인간의 수학적 맥락에서의 추론 전략 사이에 존재하는 근본적인 차이를 강조하였다.

5. 의의 및 주장

본 논문은 M3Kang이 언어적 정밀함과 시각적 이해를 모두 요구하는 영역에서 모델의 일반화, 교차 언어 일관성, 다중 모달 통합을 평가하기 위한 고충실도 테스트베드를 제공함으로써 AI 평가의 핵심적인 공백을 메운다고 주장한다.

저자들은 다음과 같은 사실을 밝혀냈다고 단언한다:

• 현재 SOTA의 한계: 최상위 모델들조차 기초 수학과 도표 해석에 실패하며, 성능이 고자원 언어에 심하게 편향되어 있다.
• 단순 기술의 효과성: MTR과 같은 다국어 기술은 복잡한 미세 조정(fine-tuning)이나 복잡한 투표 메커니즘 없이도 다중 모달 설정으로 효과적으로 확장될 수 있으며, 베이스라인보다 성능을 크게 향상시킨다.
• 새로운 벤치마크의 필요성: 인간과 모델의 성능 차이(특히 시각 vs. 텍스트 작업 관련)는 미래의 벤치마크가 인간과 유사한 문제 해결 능력을 더 잘 포착하기 위해 다단계 추론 과제를 포함하고 중간 추론 단계를 평가해야 함을 시사한다.

저자들은 데이터셋, 파이프라인, 코드가 오픈 소스로 공개되었음을 강조하며, 이를 통해 다양한 언어적, 교육적 맥락에서 유사한 데이터셋을 구축하여 더욱 포용적이고 강건한 AI 시스템 개발을 촉진하고자 한다.