UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop
यह शोधपत्र उर्दूबेंच (UrduBench) प्रस्तुत करता है, जो मानव-इन-द-लूप सत्यापन के साथ एक संदर्भ-आधारित संकलित अनुवाद ढांचे के माध्यम से निर्मित एक मानकीकृत उर्दू तर्क बेंचमार्क है, जो निम्न-संसाधन वाली भाषाओं के मूल्यांकन के लिए एक स्केलेबल कार्यप्रणाली स्थापित करते हुए बड़े भाषा मॉडलों (LLMs) के लिए बहु-चरणीय और प्रतीकात्मक तर्क में महत्वपूर्ण चुनौतियों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जो जटिल गणितीय समस्याओं को हल कर सकता है और अंग्रेजी में कठिन सवालों के जवाब दे सकता है। अब, कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि क्या यह छात्र उर्दू में भी वही चीजें कर सकता है, जो कि एक ऐसी भाषा है जिसके लिए डिजिटल संसाधन कम हैं। समस्या यह है कि यदि आप किसी मशीन को अंग्रेजी के परीक्षण प्रश्नों को उर्दू में अनुवाद करने के लिए कहते हैं, तो अनुवाद अटपटा हो सकता है, उसका अर्थ खो सकता है, या वह खेल के नियमों को ही बदल सकता है। छात्र असफल हो सकता है क्योंकि वह बुद्धिमान नहीं है, बल्कि इसलिए कि स्वयं परीक्षण ही दोषपूर्ण है।
यह शोध पत्र, जिसका शीर्षक "UrduBench" है, उर्दू में लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक निष्पक्ष, उच्च-गुणवत्ता वाला परीक्षण बनाने के बारे में है। उन्होंने इसे कैसे किया और उन्हें क्या पता चला, इसका सरल विवरण यहाँ दिया गया है:
1. समस्या: "टूटा हुआ अनुवाद" का जाल
एक तर्क संबंधी पहेली (logic puzzle) का अनुवाद करना एक रेसिपी (विधि) के अनुवाद जैसा है। यदि आप खाना बनाने के निर्देशों से अलग सामग्री की सूची का अनुवाद करते हैं, तो अंतिम व्यंजन खाने योग्य नहीं होगा। इसी तरह, मौजूदा तरीके अक्सर पूरे परिदृश्य को देखे बिना उर्दू परीक्षण प्रश्नों का शब्द-दर-शब्द अनुवाद करते थे। इसके कारण "संदर्भ विखंडन" (context fragmentation) हुआ, जहाँ प्रश्न और उत्तर के विकल्प तार्किक रूप से एक साथ फिट नहीं बैठते थे।
2. समाधान: "अनुवाद टीम" दृष्टिकोण
लेखकों ने केवल एक अनुवादक का उपयोग नहीं किया। उन्होंने एक कॉन्टेक्स्टुअली एनसेम्बल्ड फ्रेमवर्क (contextually ensembled framework) बनाया, जो एक ही प्रश्न पर काम करने के लिए चार अलग-अलग विशेषज्ञ अनुवादकों (IndicTrans2, NLLB, Qwen, और Gemini) की एक टीम को नियुक्त करने जैसा है।
- टीम: उन्होंने पूरे प्रश्न और उसके सभी उत्तर विकल्पों को एक ही ब्लॉक के रूप में एक साथ अनुवादित किया, जिससे यह सुनिश्चित हुआ कि कहानी बरकरार रहे।
- संपादक: उन्होंने एक अत्यंत स्मार्ट AI (GPT-5.1) का उपयोग एक संपादक के रूप में किया, जो चार अनुवादों की तुलना करता है और प्रत्येक के सर्वोत्तम हिस्सों को जोड़कर एक नया रूप देता है।
- मानवीय जाँच: अंत में, अंग्रेजी और उर्दू दोनों में कुशल वास्तविक मानव विशेषज्ञों ने परिणामों की समीक्षा की। वे "गुणवत्ता नियंत्रण निरीक्षकों" के रूप में कार्य करते थे, जो सबसे स्वाभाविक और सटीक संस्करण का चयन करते थे।
इस प्रक्रिया ने UrduBench को जन्म दिया, जो चार प्रसिद्ध तर्क परीक्षणों (गणित, सामान्य ज्ञान, विज्ञान और तर्क) का एक संग्रह है जिसे पूरी तरह से उर्दू में अनुवादित किया गया है।
3. प्रयोग: "उर्दू ओलंपिक्स"
एक बार जब उनके पास एक निष्पक्ष परीक्षण तैयार हो गया, तो उन्होंने विभिन्न AI मॉडल्स को इसमें भाग लेने के लिए आमंत्रित किया। उन्होंने विभिन्न आकारों के मॉडल्स (1-बिलियन पैरामीटर वाले छोटे मॉडल्स से लेकर 12-बिलियन पैरामीटर वाले विशाल मॉडल्स तक) और विभिन्न प्रकार के मॉडल्स (कुछ जो विशेष रूप से तर्क के लिए प्रशिक्षित किए गए थे, अन्य जो केवल निर्देशों का पालन करने के लिए थे) का परीक्षण किया।
उन्होंने मॉडल्स को तीन तरीकों से समस्याओं को हल करने के लिए कहा:
- प्रत्यक्ष (Direct): बस उत्तर दें।
- चेन-ऑफ-थॉट (CoT): "अपना काम दिखाएं" यानी चरण-दर-चरण।
- फ्यू-शॉट (Few-Shot): "यहाँ कुछ उदाहरण दिए गए हैं, अब आप प्रयास करें।"
4. परिणाम: मॉडल्स ने क्या सीखा
शोध में कई दिलचस्प बातें सामने आईं, जिन्हें इन रूपकों के साथ संक्षेपित किया जा सकता है:
- गणित सामान्य ज्ञान से कठिन है: मॉडल्स ने सामान्य ज्ञान के प्रश्नों की तुलना में बहु-चरणीय गणित समस्याओं (जैसे MGSM और MATH-500 परीक्षण) के साथ बहुत अधिक संघर्ष किया। यह ऐसा है जैसे मॉडल्स आसानी से आपको बता सकते हैं कि "बिल्ली के बाल होते हैं," लेकिन वे उर्दू में जटिल बीजगणित (algebra) में लड़खड़ा जाते हैं।
- बड़ा होना हमेशा बेहतर नहीं होता: आमतौर पर, एक बड़ा इंजन एक तेज़ कार का मतलब होता है। लेकिन उर्दू में, एक थोड़ा छोटा मॉडल (Gemma-3-4B) वास्तव में कुछ बड़े मॉडल्स की तुलना में बेहतर प्रदर्शन करता है। यह सुझाव देता है कि मॉडल का आकार (raw size) होने के बजाय उसका प्रशिक्षण (विशेष रूप से उर्दू के प्रति उसका एक्सपोजर) अधिक मायने रखता है।
- "तर्क" विशेषज्ञ बनाम "सामान्य" मॉडल: विशेष रूप से "तर्क विशेषज्ञ" के रूप में डिज़ाइन किए गए मॉडल्स ने गणित में बहुत अच्छा प्रदर्शन किया, लेकिन वे सामान्य ज्ञान के प्रश्नों पर हमेशा "निर्देश-अनुसरण करने वाले" (instruction-following) मॉडल्स को नहीं हरा सके। गणित में विशेषज्ञ होने का मतलब यह नहीं था कि वे सभी उर्दू कार्यों के मास्टर बन गए।
- भाषा भ्रम परीक्षण: यह एक महत्वपूर्ण खोज थी। शोधकर्ताओं ने जाँच की कि क्या मॉडल्स शुद्ध उर्दू में उत्तर दे रहे थे या क्या वे गलती से अंग्रेजी में वापस जा रहे थे (कोड-स्विचिंग)। उन्होंने पाया कि जो मॉडल्स सख्ती से उर्दू में रहे, उनका प्रदर्शन बहुत बेहतर था। यदि कोई मॉडल भ्रमित हो जाता और भाषाओं को मिला देता, तो उसके तर्क कौशल गिर जाते। यह एक ऐसे शेफ की तरह है जो खाना बनाते समय दूसरी भाषा बोलने लगता है; व्यंजन खराब हो सकता है।
5. निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि उर्दू जैसी कम संसाधन वाली भाषाओं के लिए स्मार्ट AI बनाने के लिए, आप केवल अंग्रेजी परीक्षणों का अनुवाद करके और बेहतर होने की उम्मीद नहीं कर सकते। यह सुनिश्चित करने के लिए कि अनुवाद तर्क को सुरक्षित रखता है, आपको एक ह्यूमन-इन-द-लूप (मानव-निगरानी) प्रक्रिया की आवश्यकता होती है।
उन्होंने यह भी पाया कि उर्दू में अच्छी तरह से तर्क करने के लिए, एक AI को भाषाई रूप से सुसंगत (linguistically consistent) होने की आवश्यकता है। यदि AI अपना रास्ता भटक जाता है और भाषाओं को मिलाना शुरू कर देता है, तो उसका मानसिक धुंधलापन (brain fog) बढ़ जाता है, और वह परीक्षण में विफल हो जाता है।
संक्षेप में: लेखकों ने AI के लिए एक उच्च-गुणवत्ता वाला, मानव-सत्यापित "उर्दू ओलंपिक्स" बनाया है। उन्होंने पाया कि हालांकि AI बेहतर हो रहा है, फिर भी वह उर्दू में जटिल गणित के साथ संघर्ष करता है, और सफलता की कुंजी भाषा को शुद्ध रखना और अनुवाद को संदर्भ-जागरूक बनाना है। उन्होंने अपने परीक्षण और डेटा को दूसरों के उपयोग के लिए उपलब्ध कराया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।