Large Language Models for Math Education in Low-Resource Languages: A Study in Sinhala and Tamil

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 영어 기반 수학 추론 벤치마크에서 뛰어난 성과를 보이며 교육용 튜터링 도구로 널리 도입되고 있습니다.
• 문제점:
  • 저자원 언어의 취약성: 싱할라어 (Sri Lanka) 와 타밀어 (South Asia) 와 같은 저자원 언어에서 LLM 의 수학 추론 신뢰도는 잘 연구되지 않았습니다.
  • 기존 평가의 한계: 기존 연구들은 주로 영어 벤치마크 (GSM8K 등) 를 번역하여 평가했습니다. 이는 자연스럽지 않은 문장 구조, 일관성 없는 숫자 형식, 문화적 맥락 부재 등의 **번역 아티팩트 (translation artifacts)**를 유발하여, 모델의 언어 능력과 번역 품질을 혼동하게 만듭니다.
  • 포괄적 지표의 부족: 단순한 전체 정확도 (Overall Accuracy) 만 보고하여, 모델이 기본 산수는 잘하지만 복잡한 추론은 못하는 등 문제 유형별 성능 차이를 놓치고 있습니다.
• 핵심 질문: 영어에서 뛰어난 성능을 보이는 LLM 이 싱할라어와 타밀어 환경에서도 학생들에게 신뢰할 수 있는 수학 지원을 제공할 수 있는가?

2. 방법론 (Methodology)

A. 문제 분류 체계 (Taxonomy)

저자들은 6 가지 수학 문제 유형으로 구성된 분류 체계를 개발하여 다양한 추론 능력을 평가했습니다. 각 유형은 수학적 구조와 요구되는 추론 역량에 따라 정의됩니다.

1. Type 1 (Single-Step): 단일 단계 산술 문제 (기본 산술 이해).
2. Type 2 (Multi-Step): 다단계 문제 (연속적인 계산 및 중간 결과 추적).
3. Type 3 (Extraneous Information): 불필요한 정보가 포함된 문제 (오답 유도 정보 필터링).
4. Type 4 (Unit Conflict): 단위 불일치 문제 (단위 변환 필요).
5. Type 5 (Logical Deduction): 논리적 추론 문제 (자연어에서 대수적 방정식 유도).
6. Type 6 (Optimization): 최적화 문제 (제약 조건 하의 최대/최소값 도출).

B. 데이터셋 구축 (Dataset Construction)

• 원어민 작성 병렬 데이터셋: 기존 번역 방식을 배제하고, 싱할라어, 타밀어, 영어 세 언어 모두에서 원어민 수학 전문가가 독립적으로 문제를 작성했습니다.
• 규모: 각 언어당 6 가지 유형 × 25 개 문제 = 총 450 개 인스턴스.
• 목적: 번역 아티팩트를 제거하고 모델의 진정한 언어별 추론 능력을 평가.

C. 평가 프로토콜 (Evaluation Protocol)

• 모델: GPT-4o, DeepSeek-V3, Gemini 2.5, Claude Sonnet 4 등 4 가지 주요 LLM 평가.
• 프롬프트: Zero-shot prompting 사용 (학생들의 실제 사용 환경을 시뮬레이션).
• 평가 지표: 최종 수치 정답과 정답 (Ground Truth) 비교를 통한 정확도 (Accuracy) 측정.

3. 주요 기여 (Key Contributions)

1. 새로운 분류 체계 개발: 기본 산술부터 복잡한 최적화까지 6 가지 수학 문제 유형을 정의하고, 각 유형이 목표로 하는 추론 역량을 명시.
2. 고품질 병렬 데이터셋 구축: 번역이 아닌 원어민 작성을 통해 언어 능력과 번역 품질을 분리한 최초의 싱할라어/타밀어 수학 추론 데이터셋 제공.
3. 세밀한 성능 분석: 언어별, 문제 유형별 성능 저하 패턴을 분석하여, 영어 성능이 다른 언어의 신뢰성을 보장하지 않음을 입증.

4. 주요 결과 (Results)

A. 전반적인 성능 저하 (Overall Performance)

• 모든 모델이 영어에서 가장 높은 정확도를 보였습니다.
• 싱할라어와 타밀어에서는 성능이 감소했으며, 특히 타밀어에서 감소 폭이 더 컸습니다.
  • ChatGPT: 영어 (95.3%) → 타밀어 (78.0%) 로 급격히 하락.
  • DeepSeek: 가장 안정적인 성능을 보임 (영어 94%, 싱할라어 90%, 타밀어 90%).
  • Gemini: 타밀어 (96.0%) 에서 싱할라어 (90.7%) 보다 오히려 높은 성능을 보임 (데이터 구성 또는 스크립트 처리 차이 추정).

B. 문제 유형별 분석 (Problem Type Analysis)

• 강건한 카테고리 (Type 1-2): 단일 단계 및 다단계 산술 문제는 언어 간 성능 저하가 거의 없었습니다. (Claude, DeepSeek 는 거의 완벽한 점수 유지).
• 취약한 카테고리 (Type 4 - 단위 충돌): 모든 모델에서 가장 일관된 성능 저하가 발생했습니다. ChatGPT 는 20% 포인트 이상의 격차를 보였으며, 이는 서로 다른 스크립트와 형태소 시스템에서 단위 변환을 해석하는 데 체계적인 어려움이 있음을 시사합니다.
• 스트레스 테스트 (Type 6 - 최적화): 가장 큰 언어 간 격차가 나타났습니다.
  • ChatGPT 는 영어 (88%) 에서 타밀어 (52%) 로 급락했습니다.
  • DeepSeek 와 Gemini 는 상대적으로 안정적인 성능을 유지했습니다.
• 결론: 단순 계산은 언어 간에 잘 전이되지만, 언어적 복잡성이 높은 추론 (단위 변환, 최적화) 은 저자원 언어에서 심각한 성능 저하를 겪습니다.

C. 실패 사례 분석 (Qualitative Analysis)

• 단위 오해석: 영어에서는 "2 ms(밀리초)"를 올바르게 변환하여 정답을 도출했으나, 싱할라어와 타밀어에서는 단위를 무시하고 "2 초"로 간주하여 잘못된 답을 내놓는 사례가 빈번히 관찰되었습니다. 이는 산술 오류가 아니라 언어적으로 내재된 정보 (단위) 를 파싱하는 실패임을 보여줍니다.

5. 의의 및 시사점 (Significance)

• 교육적 함의: 영어 기반 LLM 의 높은 점수가 저자원 언어 환경에서의 신뢰성을 보장하지 않습니다. 특히 단위 변환이나 다단계 추론이 포함된 표준 교육 과정 문제에서는 모델의 답변을 맹신해서는 안 됩니다.
• 실무적 권고:
  • 타밀어/싱할라어 교육 환경에 LLM 을 도입하기 전에는 언어별 구체적인 테스트가 필수적입니다.
  • 교사들은 모델의 답변을 독립적으로 검증해야 하며, Few-shot 프롬프팅이나 Chain-of-Thought 기법을 활용하여 정확도를 높일 수 있습니다.
• 연구적 기여: 기존 연구가 간과했던 "문제 유형별" 및 "언어별" 성능 저하 패턴을 체계적으로 규명하여, 공평한 AI( Equitable AI) 개발과 저자원 언어 교육 기술 도입에 중요한 기준을 제시했습니다.

6. 한계 및 향후 과제

• 데이터셋 크기 (유형당 25 개) 가 모델 간 미세한 차이를 포착하는 데 제한적일 수 있음.
• Zero-shot 만 평가했으므로, Few-shot 또는 CoT 프롬프팅 시 성능 변화가 있을 수 있음.
• 모델의 내부 표현 (Internal Representations) 에 대한 접근 부재로, 번역 기반 처리 가설이 행동 증거에 기반한 추론에 그침.
• 향후 연구에서는 교육 과정 범위를 확장하고, 해석 가능성 (Interpretability) 기법을 통해 모델이 수학 추론 시 번역에 의존하는지 분석할 계획입니다.