💻 computer science

Benchmarking Open-Weight Foundation Models for Global AI Technical Governance

यह अध्ययन एक परिष्कृत पांच-श्रेणी वाली प्रतिक्रिया वर्गीकरण योजना का उपयोग करके, 227 देशों में मॉडल प्रदर्शन के बीच असमानताओं को सटीक रूप से मापने और विश्लेषण करने के लिए एक सत्यापित ग्राउंड-ट्रुथ डेटासेट (GAID v2) के विरुद्ध चार ओपन-वेट फाउंडेशन मॉडलों का बेंचमार्किंग करके, एआई में भौगोलिक पूर्वाग्रह पर मौजूदा शोध में पद्धतिगत सीमाओं को संबोधित करता है।

मूल लेखक: Jason Hung

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jason Hung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास चार बहुत बुद्धिमान, विद्वान पुस्तकालयाध्यक्ष (AI मॉडल) हैं। आप उनसे दुनिया के विभिन्न देशों के AI के बारे में लाखों सवाल पूछते हैं। आप जानना चाहते हैं कि क्या वे सच बोल रहे हैं या वे केवल आत्मविश्वास दिखाने के लिए मनगढ़ंत बातें बना रहे हैं।

यह शोध पत्र उन पुस्तकालयाध्यक्षों का एक रिपोर्ट कार्ड है, जो विशेष रूप से यह जाँच रहा है कि क्या वे कुछ देशों के प्रति पक्षपाती हैं या वे विशिष्ट प्रकार के तथ्यों के बारे में भ्रमित हो जाते हैं।

यहाँ जो उन्होंने पाया है, उसका सरल विवरण दिया गया है:

1. सेटअप: "सत्य" बनाम "अनुमान"

शोधकर्ताओं के पास एक विशाल, सत्यापित "उत्तर कुंजी" (जिसे ग्लोबल AI डेटासेट कहा जाता है) थी, जिसमें 227 देशों के वास्तविक आंकड़े शामिल थे। उन्होंने चार AI मॉडलों से इस कुंजी से विशिष्ट संख्याएँ देने को कहा।

लक्ष्य: यह देखना कि क्या AI संख्याएँ सही बताते हैं।
समस्या: कभी-कभी, जब AI को किसी उत्तर का पता नहीं होता, तो वह यह नहीं कहता कि "मुझे नहीं पता।" इसके बजाय, वह आत्मविश्वास के साथ एक संख्या बना देता है। इसे हैलुसिनेशन (Hallucination) (या शोध पत्र में "कॉन्फिडेंट फैब्रिकेशन") कहा जाता है।

2. बड़ी आश्चर्य की बात: "ग्लोबल साउथ" को नुकसान नहीं पहुँचा

आमतौर पर, लोग सोचते हैं कि AI मॉडल पक्षपाती होते हैं क्योंकि उन्हें ज्यादातर समृद्ध, अंग्रेजी बोलने वाले देशों (जैसे अमेरिका और ब्रिटेन) के डेटा पर प्रशिक्षित किया जाता है। यह सामान्य धारणा है कि AI गरीब देशों (ग्लोबल साउथ) के बारे में अधिक झूठ बोलेगा क्योंकि वे उनके बारे में कम जानते हैं।

लेकिन परिणाम इसके विपरीत थे!

AI ने वास्तव में गरीब देशों की तुलना में समृद्ध देशों (ग्लोबल नॉर्थ) के बारे में अधिक झूठ बोले।
क्यों? इसे ऐसे सोचें: यदि आप एक पुस्तकालयाध्यक्ष से पूछें, "इस छोटे से समुद्र तट पर रेत के कितने कण हैं?" और वे अनुमान लगाते हैं "500," तो वे करीब हो सकते हैं। लेकिन यदि आप उनसे पूछें, "इस विशाल रेगिस्तान में रेत के कितने कण हैं?" और वे अनुमान लगाते हैं "500," तो वे पूरी तरह से गलत होंगे।
समृद्ध देशों के पास बहुत बड़ी संख्याएँ होती हैं (लाखों पेटेंट, अरबों डॉलर की कंप्यूटिंग शक्ति)। एक AI के लिए एक बड़ी संख्या का सही अनुमान लगाना एक छोटी संख्या के मुकाबले बहुत कठिन है। इसलिए, समृद्ध देशों के लिए बड़ी संख्याएँ बनाते समय AI अधिक बार "पकड़ा" गया।
नोट: इसका मतलब यह नहीं है कि AI गरीब देशों के बारे में सब कुछ जानता है; इसका केवल यह अर्थ है कि समृद्ध देशों के लिए "उत्तर कुंजी" में बड़ी, कठिन संख्याएँ थीं।

3. "सुरक्षा" का जाल: AI गणित में बहुत खराब हैं

शोधकर्ताओं ने AI से विशिष्ट, कठिन संख्याओं के बारे में पूछा जैसे कि "इस मॉडल को प्रशिक्षित करने के लिए कितनी कंप्यूटिंग शक्ति का उपयोग किया गया था?" या "इस मॉडल में कितने पैरामीटर हैं?"

परिणाम: AI लगभग पूरी तरह से विफल रहे। "सुरक्षा" से जुड़े इन सवालों के लिए उन्होंने 98% बार संख्याएँ मनगढ़ंत बनाईं।
उपमा: यह एक शेफ से पूछने जैसा है, "इस सूप में नमक के ठीक कितने मिलीग्राम हैं?" और शेफ बस एक ऐसी संख्या का अनुमान लगाता है जो सुनने में शानदार लगती है लेकिन पूरी तरह से मनगढ़ंत होती है।
सबक: यदि आपको किसी कंप्यूटर चिप के सटीक आकार या सुपरकंप्यूटर की शक्ति के बारे में जानने की आवश्यकता है, तो इन AI पर भरोसा न करें। वे केवल अनुमान लगा रहे हैं।

4. "हाँ/नहीं" की सफलता: AI सरल तथ्यों में अच्छे हैं

जब शोधकर्ताओं ने सरल "हाँ या नहीं" वाले प्रश्न पूछे, जैसे "क्या इस देश ने राष्ट्रीय AI रणनीति प्रकाशित की है?"

परिणाम: AI इसमें बहुत बेहतर प्रदर्शन करते हैं। उन्होंने लगभग 42% बार उत्तर सही दिया (जो उनके लिए काफी अधिक है!)।
क्यों: एक विशिष्ट संख्या जैसे "14,502 पेटेंट" आविष्कार करने की तुलना में "हाँ" या "नहीं" को याद रखना आसान है।

5. पुस्तकालयाध्यक्षों की तुलना: कौन सबसे अच्छा है?

शोधकर्ताओं ने चार अलग-अलग "पुस्तकालयाध्यक्षों" (AI मॉडल) का परीक्षण किया:

मिस्ट्रल (फ्रांस): समग्र रूप से सबसे सटीक।
डीपसीक (चीन): दूसरे स्थान पर।
क्वेन (चीन): तीसरे स्थान पर।
लामा (अमेरिका): इसने सबसे अधिक झूठ बोले।

दिलचस्प बात यह है कि यह ज्यादा मायने नहीं रखता था कि पुस्तकालयाध्यक्ष अमेरिका, यूरोप या चीन से है। वे सभी लगभग समान दर पर झूठ बोलते थे। AI की "राष्ट्रीयता" ने परिणाम को अधिक नहीं बदला।

6. "पता नहीं" की समस्या

शोधकर्ता आशा करते थे कि यदि AI को किसी उत्तर का पता नहीं होगा, तो वे विनम्रता से कहेंगे, "मुझे नहीं पता।"

वास्तविकता: AI लगभग कभी भी यह नहीं कहते कि उन्हें नहीं पता। जब वे पूरी तरह से अनुमान लगा रहे थे, तब भी वे 100% आत्मविश्वास के साथ लग रहे थे।
खतरा: यह एक ऐसे छात्र की तरह है जो हर सवाल पर अनुमान लगाता है लेकिन जवाबों को बड़े, गहरे अक्षरों में लिखता है। आप यह नहीं बता सकते कि वे बुद्धिमान हैं या केवल भाग्यशाली।

7. बेहतर प्रश्न कैसे पूछें

शोधकर्ताओं ने पाया कि आप प्रश्न कैसे पूछते हैं, यह मायने रखता है।

गलत तरीका: "देश X में AI पेटेंट की सटीक संख्या क्या है?" (AI एक संख्या का अनुमान लगाता है)।
बेहतर तरीका: "देश X का पेटेंट काउंट उसके क्षेत्र के औसत की तुलना में कैसा है?"
परिणाम: जब आप एक विशिष्ट संख्या के बजाय एक तुलना पूछते हैं, तो AI कम झूठ बोलता है। यह पूछने जैसा है, "क्या यह समुद्र तट उस दूसरे से बड़ा है?" बजाय इसके कि "यहाँ रेत के कितने कण हैं?"

मुख्य निष्कर्ष

यदि आप एक सरकारी अधिकारी या शोधकर्ता हैं जो दुनिया को समझने के लिए AI का उपयोग करने की कोशिश कर रहे हैं:

संख्याओं पर भरोसा न करें: यदि AI आपको AI शक्ति या पेटेंट के बारे में कोई विशिष्ट संख्या देता है, तो उसकी जांच किसी इंसान से करवाएं। वह संभवतः एक आत्मविश्वासपूर्ण अनुमान है।
वे "सुरक्षा" गणित में खराब हैं: वे आपको यह नहीं बता सकते कि कितनी कंप्यूटिंग शक्ति का उपयोग किया जा रहा है।
वे "हाँ/नहीं" के लिए ठीक हैं: वे यह बताने में बेहतर हैं कि कोई कानून मौजूद है या नहीं, बजाय इसके कि वे उसके सटीक विवरण बताएं।
वे कभी अपनी अज्ञानता स्वीकार नहीं करते: वे हमेशा उत्तर देंगे, भले ही वे झूठ बोल रहे हों।

शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI मॉडल प्रभावशाली हैं, फिर भी वे वैश्विक AI शासन के बारे में सटीक तथ्य एकत्र करने के लिए वर्तमान में अविश्वसनीय उपकरण हैं। डेटा को सत्यापित करने के लिए आपको अभी भी मानव विशेषज्ञों की आवश्यकता है।