Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 자연어로 표현된 수학 문제를 해결하는 데 뛰어난 능력을 보여주고 있으나, 저자원 언어 (Low-Resource Languages, LRL) 환경에서 문화적 맥락이 반영된 다국어 수학 추론 능력은 영어에 비해 현저히 뒤처져 있습니다.

• 문화적 편향 (Cultural Bias): 기존 다국어 벤치마크 (예: GSM8K 의 번역 버전) 는 대부분 기계 번역이나 인간 번역을 통해 생성되며, 원문인 영어의 고유명사 (인명, 조직명), 화폐 단위, 측정 단위 등을 그대로 유지하는 경우가 많습니다.
• 현실적 한계: 실제 저자원 언어 사용자는 자신들의 문화적 배경 (현지 이름, 화폐, 조직) 을 바탕으로 문제를 접합니다. 그러나 현재 벤치마크는 이러한 문화적 요소를 반영하지 못하여, 모델의 실제 다국어 수학 능력을 왜곡하여 평가할 수 있습니다.
• 데이터 부족: 인간 전문가에 의한 문화적 현지화 (Localization) 는 비용이 매우 비싸기 때문에, 문화적 요소를 반영한 고품질 데이터셋이 부족합니다.

2. 방법론 (Methodology)

저자들은 번역된 수학 단어 문제 (MWP) 를 자동으로 문화적 맥락에 맞게 현지화하는 LLM 기반 프레임워크를 제안했습니다. 이 프레임워크는 7 단계의 파이프라인으로 구성됩니다 (Table 1 참조).

1. 엔티티 분류 (Entity Classification): 입력 텍스트에서 인명, 조직명, 화폐 단위 등을 식별합니다. 기존 NER 모델보다 LLM을 사용하여 철자 및 대소문자 변형에 더 강건하게 대응합니다.
2. 다국어 엔티티 데이터베이스 구축: 문화적으로 적합한 대체 엔티티 (성별 중립적인 이름, 현지 조직, 현지 화폐) 를 포함하는 데이터베이스를 수동으로 큐레이션합니다.
3. 대사 사전 생성 (Replacement Dictionary): 식별된 영어 엔티티를 데이터베이스의 현지 엔티티로 매핑합니다.
4. 엔티티 교체 (Entity Replacement): 번역된 텍스트의 엔티티를 사전에 따라 교체합니다.
5. 자동 현지화 (Auto Localization):
   • 입력: 원문 영어 ($x_{en}$), 직접 번역된 텍스트 ($x_{trans}$), 엔티티가 교체된 번역 텍스트 ($x_{ent}$).
   • 프로세스: LLM 에게 $x_{en}$과 $x_{trans}$의 쌍을 예시로 제공하고, $x_{ent}$를 바탕으로 자연스럽게 현지화된 텍스트 ($\hat{x}_{loc}$) 를 생성하도록 프롬프트합니다. 이는 단순 번역이 아닌 문화적 맥락을 유지한 재구성을 가능하게 합니다.
6. 품질 검증 (Quality Check): 생성된 텍스트가 원본 번역과 길이가 일치하는지, 필수 엔티티가 올바르게 교체되었는지, 그리고 텍스트 유사도 (difflib 등) 가 일정 수준 이상인지 자동으로 검증합니다. 검증 실패 시 원본 번역을 유지합니다.
7. 데이터셋 생성: 위 과정을 통해 18 개 아프리카 언어 (AfriMGSM 기준) 에 대해 대규모 현지화 데이터셋을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 문화적 현지화 파이프라인: 고비용의 인간 작업을 대체할 수 있는 LLM 기반 파이프라인을 개발하여, 번역된 데이터셋을 문화적으로 적합한 버전으로 자동 변환했습니다.
2. 성능 격차 발견 (Performance Disparity): 번역된 벤치마크와 현지화된 벤치마크 간의 성능 차이를 분석했습니다. 실험 결과, GPT-4o-mini를 포함한 여러 모델에서 문화적 엔티티가 변경될 경우 최대 9% 까지 성능이 하락하는 것을 확인했습니다. 이는 모델이 영어 중심의 엔티티에 과적합 (Overfitting) 되어 있음을 시사합니다.
3. 모델 강건성 (Robustness) 향상: 생성된 현지화 데이터로 LLM (Gemma, LLaMA 등) 을 파인튜닝한 결과, 다양한 언어에서 모델의 강건성과 일반화 능력이 크게 향상되었습니다. 특히 현지화 데이터와 번역 데이터를 혼합하여 학습할 때 가장 좋은 효과를 보였습니다.

4. 실험 결과 (Results)

• RQ1 (자동화 가능성): 제안된 파이프라인은 직접 프롬프팅 (Direct Prompting) 방식보다 문화적 엔티티 대체 및 문맥 유지 측면에서 훨씬 우수한 품질의 데이터를 생성했습니다.
• RQ2 (성능 격차):
  • 저자원 언어: 대부분의 모델이 번역된 벤치마크 (영어 엔티티 유지) 에서 더 높은 점수를 받았으나, 현지화된 벤치마크 (현지 엔티티 적용) 로 전환되면 성능이 급격히 떨어졌습니다. 이는 모델이 실제 문화적 맥락에서의 추론 능력이 부족함을 의미합니다.
  • 영어: 영어 문제에서도 영어 고유 엔티티를 현지 문화의 엔티티로 바꾸었을 때 모델 성능이 변화하는 경향을 보였습니다.
• RQ3 (강건성 개선): 현지화 데이터로 파인튜닝된 모델은 엔티티 변화에 대한 민감도가 낮아졌으며, 다양한 문화적 변형에서도 안정적인 성능을 발휘했습니다. 특히 Gemma-2-9b-it 모델이 현지화 데이터에 더 잘 적응하는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 수학 추론 평가에서 문화적 맥락이 핵심 변수임을 입증했습니다.

• 평가의 재정의: 단순히 언어만 번역된 벤치마크는 모델의 실제 능력을 과대평가할 수 있으며, 문화적으로 현지화된 데이터셋이 필수적입니다.
• 실용적 솔루션: 고비용의 수동 현지화 없이도 대규모로 문화적으로 적합한 교육 및 평가 데이터를 생성할 수 있는 방법을 제시했습니다.
• 미래 방향: 추후 수학뿐만 아니라 다른 추론 작업으로도 확장하여, 저자원 언어 사용자에게 더 공정하고 정확한 AI 서비스를 제공하는 데 기여할 것으로 기대됩니다.

요약하자면, 이 논문은 **"LLM 이 저자원 언어에서 진정한 수학 추론 능력을 갖추기 위해서는 단순 번역을 넘어 문화적 맥락 (이름, 화폐, 조직 등) 이 반영된 데이터로 학습 및 평가되어야 한다"**는 것을 체계적인 프레임워크와 실험을 통해 증명했습니다.