MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

"MGSM-Pro: 강건한 다국어 수학 추론 평가를 위한 간단한 전략" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

대규모 언어 모델 (LLM) 이 수학 추론 분야에서 괄목할 만한 진전을 이루었지만, 다국어 환경에서의 벤치마킹은 영어에 비해 난이도와 최신성 측면에서 뒤처져 있습니다. 기존 다국어 벤치마크 (예: MGSM) 는 종종 영어 문제의 정적 번역에 의존하여 다음과 같은 취약점에 노출됩니다:

• 암기: 모델이 일반적 추론을 학습하기보다 특정 테스트 인스턴스에 과적합할 수 있습니다.
• 부족한 강건성: 동일한 논리적 문제에 대한 미세한 변형 (예: 다른 숫자나 이름) 이 제시될 때 모델이 실패할 수 있습니다.
• 자원 격차: 저자원 언어 (LRL) 는 대표성이 부족하며 종종 낮은 성능을 보이지만, 이것이 산술 능력 부족 때문인지 언어적 강건성 부족 때문인지 명확하지 않습니다.

최근 영어 분야 연구 (GSM-Symbolic) 는 동일한 질문이 다른 이름과 숫자로 구체화될 때 모델이 높은 변이를 보임을 입증했습니다. 그러나 이러한 현상은 다양한 다국어 환경에서 체계적으로 탐구된 바가 없습니다.

2. 방법론: MGSM-Pro 생성

저자들은 다양한 조건 하에서 다국어 수학 추론을 평가하기 위해 기존 MGSM 데이터셋을 확장한 강건한 MGSM-Pro를 도입했습니다. 생성 과정은 두 가지 주요 단계로 구성됩니다:

A. 템플릿 구축

• 출처: 원래 영어 MGSM 데이터셋의 248 개 질문을 기반으로 하되 (숫자가 없는 2 개 질문 제외).
• 기호 템플릿링: 저자들은 GSM-Symbolic 프레임워크를 채택하여 이름과 숫자를 자리 표시자 (예: {name_male}, {num_digit}) 로 대체하는 템플릿을 생성했습니다.
• 무관한 문맥 (IC): GSM-IC 방법론에 따라 문제 텍스트에 무관한 문장을 삽입하여 모델의 노이즈 필터링 능력을 테스트했습니다.
• 번역 및 검증: 템플릿은 LLM(Gemini 2.0 Flash) 을 사용하여 9 개 언어로 번역된 후 원어민에 의해 엄격하게 검증되었습니다. 이를 통해 문화적 관련성 (예: 스와힐리어의 경우 "Carla"를 "Zainabu"로 대체) 과 자리 표시자의 정확한 정렬을 보장했습니다.

B. 데이터셋 변형

데이터셋은 각 원본 질문당 5 가지 고유한 구체화를 생성하며, 두 가지 시리즈로 구성됩니다:

1. 기호 시리즈 (SYM):
   • SYM_N: 이름만 변경.
   • SYM_#: 숫자만 변경.
   • SYM_N#: 이름과 숫자 모두 변경.
2. 무관한 문맥 시리즈 (IC):
   • IC_N, IC_#, IC_N#: SYM 변형을 반영하되 삽입된 무관한 문장을 포함.

포함된 언어: 자원 수준 (Joshi Class) 으로 분류된 9 개의 유형학적으로 다양한 언어:

• 고자원 (HRL): 영어, 중국어, 프랑스어, 일본어.
• 저자원 (LRL): 스와힐리어, 암하라어, 이그보어, 요루바어, 트위어.

3. 실험 설정

• 평가된 모델: 18 개 LLM 으로, 독점 모델 (Gemini 2.5/3.0 Flash, Gemini 3.0 Pro, Claude 4 Sonnet, GPT-4.1, GPT-5) 과 오픈소스 모델 (Gemma 3, Qwen 3/3.5, DeepSeek V3, GPT-OSS, Llama 3) 을 포함합니다.
• 평가 프로토콜: 제로샷 추론. 모델은 영어로 추론하도록 프롬프트되었으나 (CoT), 언어 의존성을 확인하기 위해 일부 모델에 대해 "Native Solve" 모드에서도 테스트되었습니다.
• 지표: 원본 데이터셋의 정확도 (DO) 대 5 개 또는 10 개 고유 구체화에 대한 평균 정확도 (Avg-5, Avg-10).

4. 주요 결과

A. 변형에 따른 성능 저하

• 숫자 변형의 중요성: 이름을 변경 (SYM_N) 하는 것은 성능 손실을 최소화합니다. 그러나 숫자를 변경 (SYM_#) 하는 것, 특히 무관한 문맥과 결합된 경우 (IC_#) 는 모든 모델에서 정확도가 급격히 하락합니다.
• "저자원" 페널티: 저자원 언어 (LRL) 는 고자원 언어 (HRL) 보다 훨씬 더 큰 타격을 입습니다.
  • 예시: 트위어 (LRL) 에서 오픈 모델의 중앙값 정확도 하락폭은 **-13.5%**였으나, 중국어 (HRL) 는 **-4.2%**에 그쳤습니다.
  • 예시: Gemini 2.5 Flash 는 1 개 인스턴스 대신 5 개 인스턴스로 평가되었을 때 순위가 3 위에서 7 위까지 급락했습니다.

B. 모델 강건성 경향

• 독점 대 오픈소스: 최신 독점 모델 (Gemini 3.0 Pro) 은 이전 모델에 비해 숫자 변경에 대한 강건성이 더 높았습니다. 오픈소스 모델 중에서는 GPT-OSS 120B와 DeepSeek V3가 Gemma 3 4B 와 같은 소형 모델에 비해 우수한 강건성을 보여주었습니다.
• 크기가 보장이 아님: 모델 파라미터 크기와 강건성 사이에는 선형적인 상관관계가 없습니다.
  • Gemma 계열에서는 모델 크기가 커질수록 (4B $\to$ 27B) 성능 저하가 악화되었습니다.
  • GPT-OSS 계열에서는 더 큰 모델이 더 강건했습니다.
• 언어 대 산술: 오류 분석 결과, 저자원 언어 (LRL) 의 경우 주요 실패 원인은 언어적 오해 (예: 문제 구조 구문 분석 실패) 로, 이는 논리적 오류로 이어집니다. 순수 산술 오류율은 언어 간에 상대적으로 안정적으로 유지되어 병목 현상이 계산이 아닌 언어 이해에 있음을 시사합니다.

C. 리더보드 불안정성

단일 인스턴스에 기반한 순위 (표준 리더보드 관행) 는 매우 불안정합니다. 5 개 인스턴스에 대해 평균을 내면 모델의 상대적 순서가 극적으로 변하며, 특히 저자원 언어에서 두드러집니다.

5. 주요 기여

1. MGSM-Pro 데이터셋: 이름, 숫자, 문맥에 대한 체계적인 변형을 통해 9 개 언어별로 기존 MGSM 을 5 배 확장 (언어당 250 개에서 1,240 개 질문) 한 새로운 벤치마크.
2. 다국어 취약성에 대한 실증적 증거: 표준 벤치마크에서 포착되지 않은 저자원 언어에서 LLM 이 숫자 변형에 직면할 때 훨씬 덜 강건함을 입증.
3. 방법론적 제안: 추론 능력을 현실적으로 평가하기 위해 문제당 최소 5 개의 숫자 변형 구체화를 수학 추론 평가에 의무화할 것을 제안하며, 단일 인스턴스 테스트를 탈피할 것을 촉구.
4. 학습에 대한 통찰: 강건성은 단순히 모델 규모가 아니라 학습 레시피와 데이터 품질의 함수일 가능성이 높음을 강조.

6. 의의

본 논문은 현재 다국어 수학 벤치마크의 타당성에 도전합니다. 정적 데이터셋에서의 높은 점수가 진정한 추론이 아닌 암기나 과도한 최적화를 반영할 수 있음을 주장합니다. MGSM-Pro 를 도입함으로써 저자들은 다음을 위한 도구를 제공합니다:

• 패턴 매칭에 의존하는 모델과 수학적 논리를 진정으로 이해하는 모델을 식별.
• 저자원 언어 모델의 특정 취약점을 부각하여 커뮤니티가 산술 능력과 함께 언어적 강건성 개선에 집중하도록 촉구.
• 리더보드 순위가 특정 숫자 세트의 운이 아닌 안정적이고 강건한 성능을 반영하도록 평가 관행을 표준화.

저자들은 다국어 수학에서 진정한 능력을 갖춘 모델로 간주되려면 문제의 표면적 특징 (이름, 숫자, 문맥) 이 변경되더라도 정확도를 유지해야 한다고 결론지었습니다.