SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge
यह शोध पत्र SimpleQA Verified को प्रस्तुत करता है, जो एक कठोरता से फ़िल्टर किया गया 1,000-प्रॉम्प्ट बेंचमार्क है जिसे OpenAI के मूल SimpleQA की सीमाओं को दूर करने और LLM तथ्यात्मकता का अधिक विश्वसनीय मूल्यांकन प्रदान करने के लिए डिज़ाइन किया गया है, जिस पर Gemini 2.5 Pro ने 55.6 का स्टेट-ऑफ-द-आर्ट F1-स्कोर प्राप्त किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि एक छात्र दुनिया के बारे में कितनी अच्छी तरह जानता है, बिना उसे किसी पाठ्यपुस्तक या इंटरनेट का उपयोग करने दिए। आप यह देखना चाहते हैं कि वास्तव में उसके मस्तिष्क में क्या संग्रहीत है (उसका "पैरामीट्रिक ज्ञान")।
कुछ समय के लिए, AI समुदाय ने इसके लिए SimpleQA नामक एक परीक्षण का उपयोग किया था। लेकिन, ठीक वैसे ही जैसे एक हाई स्कूल की परीक्षा जिसे एक अकेले शिक्षक द्वारा लिखा गया था जिसकी 19वीं सदी के कवियों के प्रति अजीब जुनून था और जो एक ही प्रश्न को तीन अलग-अलग तरीकों से पूछता रहता था, उस मूल परीक्षण में कुछ बड़ी खामियां थीं। वह शोर भरा था, पक्षपाती था, और कभी-कभी उसका उत्तर कुंजी (answer key) गलत ही होती थी।
अब आया SimpleQA Verified। इसे उस परीक्षण का "गोल्ड स्टैंडर्ड" पुनरीक्षण समझें, जिसे उस गड़बड़ी को ठीक करने के लिए Google DeepMind द्वारा बनाया गया है।
यहाँ इस बात की कहानी है कि उन्होंने इसे कैसे साफ किया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. "कचरा अंदर, कचरा बाहर" (Garbage In, Garbage Out) की समस्या
मूल SimpleQA फलों की एक ऐसी बाल्टी की तरह था जिसमें कुछ सड़े हुए सेब थे, कुछ दो बार गिने गए संतरे थे, और अनानास के लिए एक पूरा खंड समर्पित था।
- समस्या: मूल प्रश्न बहुत समान थे (दोहराव वाले), स्रोतों का एक संकीर्ण सेट था (पक्षपाती), और कभी-कभी उत्तर गलत होते थे (शोर वाले लेबल)।
- समाधान: शोधकर्ताओं ने सख्त लेकिन निष्पक्ष पुस्तकालयाध्यक्षों (librarians) की एक टीम की तरह काम किया। वे बाल्टी के माध्यम से गए और:
- डुप्लिकेट हटाए: यदि दो प्रश्न मूल रूप से एक ही थे (जैसे, "शहर A की स्थापना कब हुई?" और "शहर B की स्थापना कब हुई?" जब वे केवल एक ही तथ्य के विभिन्न रूप थे), तो उन्होंने केवल सबसे कठिन वाले को रखा।
- मालिकों का सम्मान किया: कुछ वेबसाइटों ने "Do Not Disturb" (परेशान न करें) के संकेत लगाए थे (robots.txt) जिसमें कहा गया था, "हे AI, हमारे कंटेंट का उपयोग अपने मस्तिष्क को प्रशिक्षित करने के लिए न करें।" शोधकर्ताओं ने उस बात का सम्मान किया और उन साइटों पर आधारित प्रश्नों को हटा दिया।
- मेन्यू को संतुलित किया: उन्होंने यह सुनिश्चित किया कि परीक्षण केवल विज्ञान और गणित के बारे में न हो। उन्होंने कला, खेल और भूगोल के बारे में प्रश्न जोड़े ताकि परीक्षण केवल एक विशिष्ट कौशल के बजाय सामान्य ज्ञान को मापे।
2. "धुंधली गणित" (Fuzzy Math) की समस्या
AI को ग्रेड देने में संख्याओं के साथ एक बड़ी सिरदर्दी होती है।
- पुराना तरीका: यदि उत्तर "8,282" था और AI ने "8,333" कहा, तो पुराने ग्रेडिंग सिस्टम में इसे गलत माना जाता था। यह एक छात्र को इसलिए फेल करने जैसा है क्योंकि उसने चंद्रमा की दूरी को 238,855 मील के बजाय 238,900 मील के रूप में अनुमानित किया था।
- नया तरीका: शोधकर्ताओं ने "त्रुटि की गुंजाइश" (Margin of Error) का नियम पेश किया। अब, यदि उत्तर एक संख्या है, तो वे AI को थोड़ी छूट देते हैं (एक लक्ष्य की तरह जिसमें बुल्सआई और उसके चारों ओर एक घेरा होता है)। यदि AI घेरे में हिट करता है, तो उसे क्रेडिट मिलता है। यह परीक्षण को अधिक निष्पक्ष बनाता है और यह सटीक अंकों को याद रखने के बजाय सही अंदाज़े को जानने के बारे में अधिक होता है।
3. "AI शिक्षक" का अपग्रेड
इन परीक्षणों को ग्रेड देने के लिए, वे एक अन्य AI (एक "ऑटोरेटर") का उपयोग करते हैं जो शिक्षक के रूप में कार्य करता है।
- समस्या: पुराना शिक्षक आसानी से भ्रमित हो जाता था। यदि AI छात्र ने सही उत्तर दिया लेकिन एक लंबा, विनम्र स्पष्टीकरण जोड़ा या कहा, "मुझे लगता है कि यह X है, लेकिन शायद Y हो सकता है," तो पुराना शिक्षक भ्रमित हो जाता था और इसे गलत घोषित कर देता था।
- समाधान: उन्होंने शिक्षक को एक नया नियम पुस्तिका दी। अब, शिक्षक को बताया जाता है: "फालतू बातों (fluff) को अनदेखा करें। बस मुख्य उत्तर देखें। यदि छात्र अपनी बात को लेकर अनिश्चित है (कहता है 'शायद'), तो इसे 'प्रयास नहीं किया गया' के रूप में चिह्नित करें ताकि वे बेतरतीब ढंग से अनुमान लगाकर सिस्टम को चकमा न दे सकें।"
परिणाम: कौन पास हुआ?
उन्होंने दुनिया के सबसे स्मार्ट AI मॉडल (जैसे GPT-5, Claude Opus, और Gemini) पर यह नया, सख्त, निष्पक्ष परीक्षण चलाया।
- विजेता: Gemini 2.5 Pro ने 55.6% के स्कोर के साथ शीर्ष स्थान प्राप्त किया।
- संदर्भ: यदि 55% कम लगे तो घबराएं नहीं! याद रखें, यह एक कठिन परीक्षण है। यह एक PhD योग्यता परीक्षा की तरह है। 55% का मतलब है कि AI बहुत कुछ जानता है, लेकिन वह अभी भी 45% समय भ्रमित होता है (hallucinates/मनगढ़ंत बातें करता है)।
- निष्कर्ष: अन्य मॉडलों (जैसे GPT-5 और Claude) ने अच्छा प्रदर्शन किया, लेकिन Gemini 2.5 Pro ही एकमात्र ऐसा मॉडल था जिसने इस विशिष्ट, साफ-सुथरे परीक्षण पर उन्हें लगातार हराया।
आपको इसकी परवाह क्यों करनी चाहिए?
SimpleQA Verified को AI के लिए एक नए, उच्च-गुणवत्ता वाले स्पीडोमीटर के रूप में सोचें।
- पहले, स्पीडोमीटर टूटा हुआ था; वह आपको बताता था कि कार 100 मील प्रति घंटे की रफ्तार से चल रही है जबकि वास्तव में वह 60 ही थी, या वह बारिश में भ्रमित हो जाता था।
- अब, हमारे पास एक विश्वसनीय स्पीडोमीटर है। यह शोधकर्ताओं को वास्तविक प्रगति देखने में मदद करता है। क्या AI मॉडल वास्तव में तथ्यों को याद रखने में स्मार्ट हो रहे हैं, या वे केवल पुराने, त्रुटिपूर्ण परीक्षण के उत्तरों को रट रहे हैं?
इस नए बेंचमार्क को जारी करके, Google कह रहा है: "यहाँ एक साफ, ईमानदार पैमाना है। आइए AI के भविष्य को इसके साथ मापें, ताकि हम वास्तव में भरोसेमंद सिस्टम बना सकें और न कि ऐसे जो केवल मनगढ़ंत बातें करते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।