IndicIFEval: A Benchmark for Verifiable Instruction-Following Evaluation in 14 Indic Languages
यह शोध पत्र IndicIFEval को प्रस्तुत करता है, जो LLMs की निर्देश-अनुपालन क्षमताओं का मूल्यांकन करने के लिए 14 भारतीय भाषाओं में 800 मानव-सत्यापित उदाहरणों वाला एक बेंचमार्क है, जो यह प्रकट करता है कि जहाँ मॉडल स्वरूपण बाधाओं (formatting constraints) का अच्छी तरह से पालन करते हैं, वहीं वे शाब्दिक और क्रॉस-लिंगुअल कार्यों में अंग्रेजी के प्रदर्शन से काफी पीछे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुभाषी रोबोट सहायक है। आप उससे कहानी लिखने, समाचार लेख का सारांश लिखने या गणित की समस्या हल करने के लिए कह सकते हैं। लेकिन एक पेच है: आप उसे बहुत विशिष्ट नियम भी देना चाहते हैं, जैसे "ठीक तीन वाक्य लिखें," "'बिल्ली' शब्द का उपयोग न करें," या "अपना उत्तर 'नमस्ते' शब्द से शुरू करें।"
यह शोध पत्र, IndicIFEval, इन रोबोट सहायकों के लिए एक विशाल, कठोर "ड्राइविंग लाइसेंस टेस्ट" की तरह है, लेकिन विशेष रूप से 14 अलग-अलग भारतीय भाषाओं (जैसे हिंदी, बंगाली, तमिल और संस्कृत) के लिए।
यहाँ बताया गया है कि उन्होंने क्या किया, कुछ सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "अंग्रेजी-केंद्रित" पूर्वाग्रह
कल्पना कीजिए कि एक ड्राइविंग स्कूल केवल अंग्रेजी सड़कों पर आपका परीक्षण करता है। आप अंग्रेजी में एक बेहतरीन ड्राइवर हो सकते हैं, लेकिन यदि आप ऐसे देश में जाते हैं जहाँ वे बाईं ओर गाड़ी चलाते हैं, एक अलग भाषा बोलते हैं, और उनके ट्रैफिक संकेत अलग होते हैं, तो आप दुर्घटनाग्रस्त हो सकते हैं।
वर्तमान में, अधिकांश AI परीक्षण अंग्रेजी में बनाए गए हैं। शोधकर्ताओं ने पाया कि जबकि ये AI मॉडल अंग्रेजी में नियमों का पालन करने में बहुत अच्छे हैं, लेकिन जब उन्हें समान कार्य भारतीय भाषाओं में करने के लिए कहा जाता है, तो वे भ्रमित हो जाते हैं, निर्देश भूल जाते हैं, या अपने स्वयं के नियम बना लेते हैं। इसे मापने का कोई अच्छा तरीका नहीं था, इसलिए उन्होंने एक नया परीक्षण बनाया।
2. समाधान: दो प्रकार के परीक्षण
परीक्षण को निष्पक्ष और संपूर्ण बनाने के लिए, उन्होंने दो अलग-अलग "परीक्षा कक्ष" (डेटासेट) बनाए:
कमरा A: "अनुवाद" परीक्षा (INDICIFEVAL-TRANS)
- उपमा: कल्पना कीजिए कि आप एक प्रसिद्ध अंग्रेजी परीक्षा दे रहे हैं जिसे हिंदी या तमिल में शब्द-दर-शब्द अनुवादित किया गया है।
- लक्ष्य: यह जाँचता है कि क्या AI निर्देश की संरचना को संभाल सकता है। हालाँकि, शोधकर्ता सावधान थे। उन्होंने केवल Google Translate का उपयोग नहीं किया। उन्होंने मानव विशेषज्ञों से प्रश्नों को सांस्कृतिक रूप से सही बनाने के लिए उनमें बदलाव करवाया। उदाहरण के लिए, "USA के राष्ट्रपति" को "भारत के प्रधानमंत्री" में बदलना ताकि AI संदर्भ से भ्रमित न हो।
- पेच: कभी-कभी, एक सीधा अनुवाद "कठोर" या अप्राकृतिक लगता है, जैसे किसी दूसरे व्यक्ति के शरीर के लिए सिला हुआ सूट पहनना।
कमरा B: "नेटिव" परीक्षा (INDICIFEVAL-GROUND)
- उपमा: अंग्रेजी परीक्षा का अनुवाद करने के बजाय, कल्पना कीजिए कि आप भारत में स्वाभाविक रूप से होने वाली स्थानीय संस्कृति, समाचार और कहानियों के आधार पर बिल्कुल नए प्रश्न लिख रहे हैं।
- लक्ष्य: यह परीक्षण करता है कि क्या AI उन निर्देशों का पालन कर सकता है जो ऐसा महसूस कराते हैं जैसे उन्हें किसी स्थानीय व्यक्ति द्वारा लिखा गया हो, न कि किसी अनुवादक द्वारा। यह AI से किसी स्थानीय त्योहार के बारे में एक कविता लिखने के लिए कहने जैसा है जिसमें तुकबंदी के विशिष्ट नियम हों, बजाय इसके कि क्रिसमस के बारे में किसी कविता का अनुवाद किया जाए।
3. परीक्षण विषय: AI मॉडल
उन्होंने 20 से अधिक विभिन्न AI मॉडलों को इन परीक्षणों से गुजारा। कुछ "ओपन-वेट" (जैसे ओपन-सोर्स सॉफ्टवेयर जिसे कोई भी डाउनलोड और संशोधित कर सकता है) थे और कुछ "प्रोपराइटरी" (जैसे बड़ी टेक कंपनियों के गुप्त, उच्च-स्तरीय मॉडल) थे।
उन्होंनेने छोटे आकार के मॉडलों (जैसे एक पॉकेट कैलकुलेटर) से लेकर विशाल आकार के मॉडलों (जैसे एक सुपरकंप्यूटर) तक के सभी मॉडलों का परीक्षण किया।
4. परिणाम: क्या हुआ?
परिणाम अच्छे और बुरे समाचारों का मिश्रण थे:
- "फॉर्मेटिंग" की महाशक्ति: AI मॉडल "आकार" (shape) के नियमों का पालन करने में आश्चर्यजनक रूपाय रूप से अच्छे थे। यदि आपने उनसे "JSON फॉर्मेट में लिखें" या "बुलेट पॉइंट्स का उपयोग करें" कहा, तो वे आमतौर पर इसे सही कर लेते थे। वे उन छात्रों की तरह हैं जो फॉर्म के लेआउट का पालन करने में बहुत अच्छे हैं लेकिन सामग्री के साथ संघर्ष करते हैं।
- "शब्दों" के साथ संघर्ष: मॉडल "शब्द" संबंधी नियमों के साथ बहुत संघर्ष करते थे। यदि आपने उनसे कहा कि "'हाथी' शब्द को ठीक तीन बार शामिल करें," तो वे अक्सर भूल जाते थे, उसे दो बार उपयोग करते थे, या उसके पर्यायवाची शब्द का उपयोग करते थे। यह उस छात्र की तरह है जो निबंध का विषय तो जानता है लेकिन अपना नाम लिखना भूल जाता रहता है।
- "अंग्रेजी अंतराल" (English Gap): सबसे अच्छे मॉडल भी अंग्रेजी की तुलना में भारतीय भाषाओं में काफी खराब प्रदर्शन करते थे। यह एक संगीतकार की तरह है जो एक मेजर की (Major Key/अंग्रेजी) में कॉन्सर्टो पूरी तरह से बजा सकता है लेकिन जटिल, स्थानीय स्केल (Indic भाषाओं) में बजाने के लिए कहा जाने पर लड़खड़ा जाता है।
- "सोचने" का बढ़ावा: उन्होंने पाया कि जब उन्होंने AI को उत्तर देने से पहले "चरण-दर-चरण सोचने" (एक मोड जिसे "Reasoning" कहा जाता है) के लिए कहा, तो वह नियमों का पालन करने में बहुत बेहतर हो गया। यह छात्र को काम शुरू करने से पहले निर्देशों को दो बार पढ़ने के लिए कुछ अतिरिक्त मिनट देने जैसा है।
- विजेता: Gemma परिवार के मॉडलों (Google से) में सबसे अच्छी "बहुभाषी मांसपेशी स्मृति" (multilingual muscle memory) दिखी, जो अंग्रेजी के स्तर के सबसे करीब प्रदर्शन कर रहे थे। प्रोपराइटरी मॉडल (महंगे, बंद मॉडल) आम तौर पर ओपन मॉडलों की तुलना में बेहतर थे, लेकिन ओपन मॉडल तेजी से बराबरी कर रहे थे।
5. यह क्यों मायने रखता है?
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि हालांकि AI स्मार्ट हो रहा है, फिर भी इसमें एक "सांस्कृतिक अंध बिंदु" (cultural blind spot) है। यदि हम चाहते हैं कि AI वास्तव में अरबों लोगों के लिए उपयोगी हो जो भारतीय भाषाएं बोलते हैं, तो हम केवल अंग्रेजी परीक्षणों का अनुवाद नहीं कर सकते। हमें ऐसे परीक्षण बनाने की आवश्यकता है जो उन भाषाओं की लय, व्याकरण और संस्कृति को समझते हों।
संक्षेप में: शोधकर्ताओं ने AI के लिए एक विशेष जिम बनाया ताकि वह भारतीय भाषाओं में सख्त नियमों का पालन करने का अभ्यास कर सके। उन्होंने पाया कि हालांकि AI मजबूत हो रहा है, लेकिन जब भाषा जटिल होती है या निर्देश विशिष्ट होते हैं, तो वह अपने ही पैरों में उलझ जाता है। लेकिन, सही प्रशिक्षण और ("सोचने के") समय के साथ, वह रस्सी पर चलने का अभ्यास कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।