UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop

기술 요약: UrduBench

문제 정의

대규모 언어 모델(LLM)의 추론 능력은 급격히 발전하고 있으나, 우르두어와 같은 저자원 언어에서 이러한 모델을 평가하는 것은 여전히 큰 과제로 남아 있다. 기존의 우르두어 평가 자원은 주로 기계 번역, 감성 분석, 기초 분류와 같은 자연어 처리(NLP) 및 자연어 이해(NLU) 작업에 집중되어 있다. 이러한 평가 방식은 수학적 문제 해결 및 상식적 추론을 포함한 복잡한 추론 능력을 평가하지 못한다. 또한, 확립된 영어 벤치마크를 직접 기계 번역할 경우 상당한 오류와 문맥적 파편화가 발생하여, 평가 결과를 왜곡하고 다국어 모델 간의 공정하고 엄격한 비교를 방해한다.

방법론

이러한 격차를 해소하기 위해 저자들은 우르두어를 위한 표준화된 추론 벤치마크 스위트인 UrduBench를 제안한다. 이들의 방법론의 핵심은 번역 과정에서 의미적 충실도와 구조적 무결성을 보존하도록 설계된 **인간 참여형 검증을 결합한 문맥적 앙상블 번역 프레임워크(Contextually Ensembled Translation Framework with Human-in-the-Loop validation)**이다.

이 프레임워크는 다음 단계를 통해 작동한다:

1. 문맥적 번역 (Contextual Translation): 질문과 선택지를 독립적으로 번역하는 대신, 질문 본문과 관련된 모든 선택지를 결합한 후 번역을 진행한다. 이는 특히 CommonSenseQA 및 OpenBookQA와 같은 다지선다형 데이터셋에서 발생하는 의미적 파편화를 방방지한다.
2. 앙상블 생성 (Ensemble Generation): 네 가지 상호 보완적인 번역 모델(IndicTrans2, NLLB, Qwen-3-30B, Gemini-2.5-Pro)이 초기 번역본을 생성한다.
3. 후보 융합 (Candidate Fusion): GPT-5.1을 사용하여 원본 영어 소스에 대해 후보 번역본들을 분석한다. 이를 통해 어휘 선택, 문법, 기술적 콘텐츠 처리에서의 상호 보완적인 강점을 활용하여 개선된 번역본을 합성하거나 가장 성능이 좋은 결과물을 선택한다.
4. 휴리스틱 사후 처리 (Heuristic Post-Processing): 자동화된 점검을 통해 빈 출력, 누락된 우르두어 문자, 과도한 잔류 영어, 또는 잘못된 정답 키와 같은 문제를 검증한다.
5. 인간 검증 (Human Validation): 영어에 능통한 전문 우르두어 원어민 주석가가 최종 검토를 수행하여, 모호성을 해결하고 문화적 뉘앙스를 보장하기 위해 각 인스턴스에 대해 가장 정확하고 자연스러운 번역을 선택한다.

이 프레임워크를 사용하여 저자들은 널리 채택된 네 가지 추론 벤치마크를 번역하였다:

• MGSM: 다국어 초등 수학 (산술 추론).
• MATH-500: 다섯 가지 난이도 단계(L1–L5)에 걸친 상징적 수학.
• CommonSenseQA: 상식적 지식 및 추론.
• OpenBookQA: 사실 및 검색 기반 과학적 추론.

주요 기여

• UrduBench 데이터셋: 250개의 MGSM, 500개의 MATH-500, 1,140개의 CommonSenseQA, 500개의 OpenBookQA 테스트 인스턴스로 구성된 최초의 표준화된 고충실도 우르두어 추론 벤치마크 스위트 구축.
• 번역 프레임워크: 여러 LLM과 인간 참여형 검증을 통합하여 언어적 일관성을 확보하고 번역으로 인한 노이즈를 줄이는 확장 가능한 문맥 인식 앙상블 번역 파이프라인 개발.
• 포괄적 평가: 다양한 프롬프팅 전략(Direct, Chain-of-Thought, Few-Shot + CoT)을 사용하여 1B에서 14B+ 파라미터에 이르는 다양한 최첨단 LLM(추론 지향 모델 및 지시어 튜닝 모델 포함)에 대한 대규모 평가 수행.

결과 및 분석

평가는 다국어 추론에 관한 몇 가지 중요한 통찰을 보여준다:

• 태스크 민감도 (Task Sensitivity): 추론 집약적인 벤치마크(MGSM, MATH-500)는 상식 관련 태스크(CommonSenseQA, OpenBookQA)에 비해 현저히 높은 성능 편차와 낮은 정확도를 보인다. 이는 다단계 및 상징적 추론이 언어적 전이 및 번역 노이즈에 특히 민감함을 나타낸다.
• 난이도 스케일링 (Difficulty Scaling): MATH-500에서의 성능은 문제 난이도가 높아짐에 따라 단조 감소한다. Gemma-3-12B-it와 같은 대형 모델이나 DeepSeek-R1-Distill-Qwen-14B와 같은 추론 지향 모델들이 높은 난이도에서 상대적으로 더 강한 성능을 유지하기는 하지만, 모든 모델에서 성능 저하가 나타나며 이는 저자원 환경에서 형식적 수학의 내재적 어려움을 강조한다.
• 모델 아키텍처 및 규모 (Model Architecture and Scale): 일반적으로 더 큰 모델이 더 나은 성능을 보이지만, 규모 자체가 유일한 해결책은 아니다. 예를 들어, Gemma-3-4B-it는 여러 7B 및 8B 모델보다 뛰어난 성능을 보이는데, 이는 타겟팅된 다국어 사전 학습과 우르두어 노출이 파라미터 수 자체보다 더 중요하다는 것을 시사한다.
• 추론 vs. 지시어 튜닝 (Reasoning vs. Instruction Tuning): 추론 특화 모델은 Chain-of-Thought 프롬프팅 하에서 산술 태스크(MGSM)에 대해 명확한 이득을 보이지만, 상식 벤치마크에서는 일반적인 지시어 튜닝 모델을 일관되게 능가하지 못한다. 이는 강력한 다국어 기반 없이는 명시적인 추론 감독만으로는 불충분하다는 것을 시사한다.
• 언어 일관성 (Language Consistency): 언어 일관성(모델이 코드 스위칭 없이 전체를 우르두어로 응답하는 능력)과 추론 정확도 사이에는 강한 양의 상관관계가 존재한다. Gemma-3-12B-it 및 Llama-3.1-8B-Instruct와 같이 언어 일관성이 높은 모델은 특히 중간 계산 과정에서 언어 사용의 불일치가 계산을 방해하는 다단계 추론 작업에서 우수한 성능을 달립다.

의의

본 논문은 우르두어를 위한 표준화된 추론 평가를 위한 확장 가능한 방법론을 확립하며, 다른 저자원 언어에도 적용할 수 있는 재현 가능한 프레임워크를 제공한다. 안정적인 언어 정렬이 견고한 다국어 추론을 위한 필수 전제 조건임을 입증함으로써, 본 연구는 비영어권 맥락에서 현재 LLM의 실패 모드에 대한 경험적 통찰을 제공한다. 저자들은 명시적인 추론 프롬프트, 충분한 모델 용량, 그리고 다국어 인지 학습을 결합하는 것이 저자원 언어에서 신뢰할 수 있는 추론 성능을 달성하는 데 필요함을 강조한다. 연구를 촉진하기 위해 코드와 데이터셋은 공개적으로 제공된다.