UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop
यह शोधपत्र उर्दूबेंच (UrduBench) प्रस्तुत करता है, जो मानव-इन-द-लूप सत्यापन के साथ एक संदर्भ-आधारित संकलित अनुवाद ढांचे के माध्यम से निर्मित एक मानकीकृत उर्दू तर्क बेंचमार्क है, जो निम्न-संसाधन वाली भाषाओं के मूल्यांकन के लिए एक स्केलेबल कार्यप्रणाली स्थापित करते हुए बड़े भाषा मॉडलों (LLMs) के लिए बहु-चरणीय और प्रतीकात्मक तर्क में महत्वपूर्ण चुनौतियों को प्रकट करता है।