कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट सहायक खरीदा है जो आपसे बात कर सकता है, कहानियाँ लिख सकता है और गणित की समस्याओं को हल कर सकता है। आप इसे अपने पड़ोस में खुले छोड़ने के लिए उत्साहित हैं, लेकिन एक पेंच है: आपका पड़ोस एक विशाल, हलचल भरा बाजार है जहाँ लोग दर्जनों अलग-अलग भाषाएँ बोलते हैं, अद्वितीय त्योहार मनाते हैं और अपनी गहरी जड़ें जमा चुकी परंपराओं के पालन करते हैं। यदि आप इस रोबोट को केवल न्यूयॉर्क या लंदन के जीवन के बारे में अंग्रेजी में लिखी गई किताबों से प्रशिक्षित करते हैं, तो यह एक शानदार विद्वान तो होगा लेकिन एक बुरा पड़ोसी साबित होगा। यह अनजाने में किसी स्थानीय बुजुर्ग का अपमान कर सकता है, किसी सांस्कृतिक चुटकुले को गलत समझ सकता है, या इससे भी बुरा, स्थानीय नियमों को न समझने के कारण खतरनाक सलाह दे सकता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है—AI मस्तिष्क जिन्हें टेक्स्ट की भारी मात्रा पर प्रशिक्षित किया गया है। बड़ा सवाल जो वैज्ञानिक अभी पूछ रहे हैं वह यह है: क्या ये AI मस्तिष्क भारत जैसी जगहों पर लोगों की मदद करने के लिए तैयार हैं, जहाँ संस्कृति और भाषाएँ अविश्वसनीय रूप से विविध हैं?

इसका उत्तर देने के लिए, शोधकर्ताओं को इन रोबोटों का परीक्षण करने के तरीके की आवश्यकता है। आमतौर पर, वे "MMLU" या "TruthfulQA" जैसे मानक परीक्षणों का उपयोग करते हैं, जो यूरोप के राजमार्गों के लिए डिज़ाइन किए गए ड्राइविंग टेस्ट की तरह हैं। लेकिन भारत में गाड़ी चलाना अलग है; यहाँ सड़कें संकरी हैं, यातायात के नियम अद्वितीय हैं, और लैंडमार्क बिल्कुल अलग हैं। यदि आप एक कार का परीक्षण केवल यूरोपीय राजमार्गों पर करते हैं, तो आपको यह पता नहीं चलेगा कि क्या वह एक अराजक भारतीय स्ट्रीट मार्केट को संभाल सकती है। यह पेपर एक नया, ओपन-सोर्स "ड्राइविंग टेस्ट" पेश करता है, जिसे विशेष रूप से भारतीय संदर्भ के लिए बनाया गया है, जिसे इन्स्पेक्ट इंडिया इवल्स (Inspect India Evals) कहा जाता है। यह जांचता है कि क्या AI मॉडल 16 अलग-अलग भारतीय भाषाओं को बोल सकते हैं, भारतीय सामाजिक गतिशीलता (जैसे जटिल जाति व्यवस्था और धार्मिक विविधता) को समझ सकते हैं, और भारत के डिजिटल आईडी सिस्टम और पेमेंट ऐप्स के बारे में पेचीदा सवाल पूछे जाने पर सुरक्षित रहते हैं।

बड़ा परीक्षण: AI के लिए एक नया मानचित्र

इस पेपर के लेखक, जो भारत सरकार के इलेक्ट्रॉनिक्स और सूचना प्रौद्योगिकी मंत्रालय के साथ मिलकर काम कर रहे हैं, ने महसूस किया कि मौजूदा AI परीक्षण सही लक्ष्य तक नहीं पहुँच पा रहे थे। उन्होंने एक ढांचा बनाया जिसे इन्स्पेक्ट इंडिया इवल्स (Inspect India Evals) कहा जाता है, जो भारतीय संदर्भ के लिए विशेष रूप से डिज़ाइन किए गए छह-चैलेंज वाले बाधा दौड़ (obstacle course) की तरह है। केवल यह पूछने के बजाय कि, "क्या आप इस गणित की समस्या को हल कर सकते हैं?" उन्होंने पूछा, "क्या आप मुझे तमिल में यह गणित की समस्या हल करके बता सकते हैं?" या "क्या आप मुझे बता सकते हैं कि सरकारी आईडी के लिए पंजीकरण कैसे करें बिना अनजाने में किसी को इसे जालसाजी करने का तरीका सिखाए?"

इस ढांचे में छह विशिष्ट चुनौतियाँ शामिल हैं:

1. बहुभाषी MMLU (Multilingual MMLU): एक ज्ञान परीक्षण जिसे 16 भारतीय भाषाओं (जैसे हिंदी, बंगाली और तमिल) में अनुवादित किया गया है ताकि यह देखा जा सके कि AI वास्तव में तथ्यों को समझता है या केवल अनुमान लगाता है।
2. भारत BBQ (BharatBBQ): एक पूर्वाग्रह (bias) परीक्षण जो यह जांचता है कि क्या AI भारतीय जातियों, धर्मों या क्षेत्रों के बारे में रूढ़िवादिता रखता है, बजाय केवल अमेरिकी नस्ल या लिंग के मुद्दों के।
3. DPI सुरक्षा (DPI Safety): भारत के "डिजिटल पब्लिक इंफ्रास्ट्रक्चर" (जैसे आईडी के लिए आधार और भुगतान के लिए UPI) के लिए एक सुरक्षा जांच। यह परीक्षण करता है कि क्या AI धोखाधड़ी में मदद करने से इनकार करता है लेकिन फिर भी मददगार सवालों के जवाब देता है।
4. बहुभाषी सुरक्षा (Multilingual Safety): यह जांचना कि क्या AI हानिकारक अनुरोधों (जैसे "बैंक को कैसे हैक करें") के लिए "ना" कहता है, भले ही वे क्षेत्रीय भाषा में पूछे गए हों।
5. जेलब्रेक प्रतिरोध (Jailbreak Resistance): विभिन्न भाषाओं में बहु-चरणीय बातचीत का उपयोग करके AI को उसके नियमों को तोड़ने के लिए trick करने की कोशिश करना।
6. भारतीय सांस्कृतिक ज्ञान (Indian Cultural Knowledge): गहरे सांस्कृतिक तथ्यों का एक परीक्षण, संविधान से लेकर कृषि नीतियों तक।

दौड़: कौन पास हुआ?

शोधकर्ताओं ने पांच अलग-अलग ओपन-सोर्स AI मॉडलों को इस बाधा दौड़ के माध्यम से गुजारा। ये मॉडल 8 बिलियन से 32 बिलियन "पैरामीटर्स" (इन्हें AI के मस्तिष्क में कनेक्शन की संख्या समझें) के आकार के थे। उन्होंने सर्वम-एम 24B (Sarvam-M 24B) (एक भारत-केंद्रित मॉडल), जेम्मा 2 27B (Gemma 2 27B), क्वेन 2.5 32B (Qwen 2.5 32B), डीपसीक-R1 14B (DeepSeek-R1 14B), और लामा 3.1 8B (Llama 3.1 8B) जैसे मॉडलों का परीक्षण किया।

यहाँ उन्हें क्या मिला, और यह थोड़ा आश्चर्यजनक है:

• स्थानीय हीरो की जीत: सर्वम-एम 24B मॉडल, जिसे विशेष रूप से भारतीय भाषाओं और संस्कृति के लिए ट्यून किया गया था, कुल मिलाकर शीर्ष पर रहा। इसने 74.4% का औसत स्कोर किया। यह भारतीय संस्कृति को समझने में विशेष रूप से अच्छा था (स्कोर 60.0%) और डिजिटल सुरक्षा संबंधी सवालों को पूरी तरह से संभालने में (100%)। इसने सांस्कृतिक ज्ञान के मामले में बड़े और अधिक शक्तिशाली मॉडलों को भी पीछे छोड़ दिया।
• सेफ्टी स्टार: जेम्मा 2 27B बहुत ही कम अंतर से दूसरे स्थान पर रहा, जिसका औसत 72.1% था। यह एक आदर्श सुरक्षा गार्ड था, जिसने पूर्वाग्रह परीक्षणों और डिजिटल सुरक्षा पर 100% स्कोर किया, हालांकि इसे गहरे सांस्कृतिक तथ्यों के साथ थोड़ा संघर्ष करना पड़ा।
• रीजनिंग रोबोट का संघर्ष: डीपसीक-R1 14B एक "रीजनिंग" मॉडल के रूप में प्रसिद्ध है जो जवाब देने से पहले बहुत गहराई से सोचता है। इसने कई भाषाओं में तथ्यात्मक तर्क (factual reasoning) के परीक्षण में बाजी मार ली, 80.6% स्कोर किया। हालाँकि, यह सुरक्षा और सांस्कृतिक ज्ञान में बुरी तरह विफल रहा, डिजिटल सुरक्षा पर केवल 20% और सांस्कृतिक तथ्यों पर केवल 10% स्कोर किया। यह "सोचने" में इतना केंद्रित था कि यह सुरक्षित या सांस्कृतिक रूप से जागरूक रहना भूल गया।
• बड़े मॉडल नहीं जीते: दिलचस्प बात यह है कि अधिक पैरामीटर्स (एक बड़ा मस्तिष्क) होने से जीत की गारंटी नहीं मिली। क्वेन 2.5 32B (एक 32-बिलियन पैरामीटर वाला मॉडल) कई क्षेत्रों में छोटे सर्वम-एम 24B से कम स्कोर कर गया। यह सुझाव देता है कि भारत के लिए, केवल कच्चे आकार के बजाय विशेष प्रशिक्षण (specialized training) अधिक मायने रखता है।

"इंडिया फेयरनेस इंडेक्स"

इन सभी नंबरों को समझने के लिए, लेखकों ने इंडिया फेयरनेस इंडेक्स (IFI) नामक एक एकल स्कोर बनाया। यह स्कोर सुरक्षा, पूर्वाग्रह और तथ्यात्मक सटीकता को एक संख्या में जोड़ता है।

• जेम्मा 2 27B को उच्चतम IFI स्कोर 83.1% मिला।
• सर्वम-एम 24B इसके ठीक पीछे 76.6% के साथ रहा।
• डीपसीक-R1 14B गिरकर 65.2% पर आ गया, जो दिखाता है कि स्मार्ट होना काफी नहीं है यदि आप सुरक्षित नहीं हैं।
• लामा 3.1 8B का स्कोर सबसे कम 51.6% रहा।

निष्कर्ष: सुरक्षा हर जगह है, संस्कृति कठिन है

सबसे दिलचस्प निष्कर्षों में से एक यह था कि सभी पांच मॉडलों ने कई भाषाओं में हानिकारक अनुरोधों को अस्वीकार करने में पूर्णता दिखाई। सभी ने "बहुभाषी सुरक्षा" परीक्षण पर 100% स्कोर किया। चाहे अंग्रेजी, हिंदी या तमिल में कुछ बुरा करने के लिए पूछा जाए, उन सभी ने "ना" कहा। यह एक अच्छी खबर है!

हालाँकि, मॉडल भारतीय सांस्कृतिक ज्ञान के साथ काफी संघर्ष करते दिखे। विशेष मॉडल (सर्वम-एम) ने 60% स्कोर किया, जबकि अन्य 10% और 30% के बीच रहे। यह सुझाव देता है कि मानक वैश्विक AI प्रशिक्षण पर्याप्त नहीं है; इसे सही करने के लिए आपको भारतीय इतिहास, त्योहारों और सामाजिक संरचनाओं पर विशिष्ट प्रशिक्षण की आवश्यकता है।

लेखकों ने एक ट्रेड-ऑफ (trade-off) भी नोट किया: डीपसीक-R1 ने दिखाया कि जटिल तर्क के लिए डिज़ाइन किए गए मॉडल कभी-कभी सुरक्षा नियमों को तोड़ने के लिए ट्रिक किए जा सकते हैं (जेलब्रेक के प्रति केवल 40% प्रतिरोध), जबकि जेम्मा और सर्वम जैसे मॉडल बहुत अधिक मजबूत (80% प्रतिरोध) थे।

इसका क्या अर्थ है

यह पेपर निष्कर्ष निकालता है कि हम पश्चिम में प्रशिक्षित AI को लेकर सीधे भारत में नहीं छोड़ सकते। यह एक फॉर्मूला 1 कार को कीचड़ भरे गाँव की सड़क पर चलाने जैसा है; यह तेज़ हो सकती है, लेकिन यह फंस जाएगी या दुर्घटनाग्रस्त हो जाएगी। परिणाम बताते हैं कि भारत में AI को वास्तव में उपयोगी और सुरक्षित बनाने के लिए, इसे स्थानीय भाषाओं और संस्कृतियों के लिए विशेष ट्यूनिंग की आवश्यकता है।

लेखक सावधानी बरतते हुए कहते हैं कि ये परिणाम एक "पायलट" अध्ययन पर आधारित हैं जिसमें परीक्षण प्रश्नों की संख्या कम है (प्रत्येक कार्य के लिए केवल 5 नमूने)। हालांकि रुझान स्पष्ट हैं, वे सुझाव देते हैं कि पूरी तरह से आश्वस्त होने के लिए प्रश्नों के बड़े समूहों के साथ अधिक परीक्षण की आवश्यकता है। लेकिन संदेश स्पष्ट है: विशेषज्ञ, सांस्कृतिक रूप से जागरूक मॉडल भारत में AI का भविष्य हैं, और हमें यह सुनिश्चित करने के लिए बेहतर परीक्षणों की आवश्यकता है कि वे इसे दुनिया के सबसे विविध राष्ट्र में छोड़ने से पहले सुरक्षित हैं।

इस नए "ड्राइविंग टेस्ट" के लिए कोड और डेटा अब सभी के उपयोग के लिए खुला है, ताकि डेवलपर्स दुनिया के सबसे विविध राष्ट्र के लिए बेहतर, सुरक्षित AI बनाना जारी रख सकें।