Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora
यह शोधपत्र भाषा मॉडल की क्षमताओं का आकलन करने के लिए अनसुपरवाइज्ड (unsupervised) दस्तावेज़ संग्रहों पर आधारित तथ्य-आधारित सिंथेटिक मूल्यांकन को स्वचालित रूप से उत्पन्न करने की एक कार्यप्रणाली प्रस्तावित करता है, जो मानव-क्यूरेटेड बेंचमार्क के साथ उच्च सहसंबंध प्रदर्शित करता है और पोस्ट-नॉलेज-कटऑफ (post-knowledge-cutoff) दस्तावेजों पर Gemma-3 मॉडलों के मजबूत प्रदर्शन को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास पाठ्यपुस्तकों, मैनुअल और रिपोर्टों का एक विशाल पुस्तकालय (ग्राउंडिंग दस्तावेज़) है। आप यह परीक्षण करना चाहते हैं कि एक नया AI छात्र (एक लैंग्वेज मॉडल) उन किताबों की विशिष्ट सामग्री को कितनी अच्छी तरह समझता है।
पारंपरिक रूप से, AI का परीक्षण करने के लिए, एक मानव शिक्षक को हर एक किताब पढ़नी होगी, सैकड़ों कठिन प्रश्न लिखने होंगे, उत्तर कुंजी बनानी होगी और AI की प्रतिक्रियाओं को ग्रेड देना होगा। यह धीमा, महंगा और असंभव है क्योंकि AI मॉडल इंसानों द्वारा टेस्ट लिखने की गति से कहीं अधिक स्मार्ट और तेज़ होते जा रहे हैं।
पेपर का समाधान: "AI शिक्षक" पाइपलाइन
यह पेपर एक चतुर वर्कअराउंड प्रस्तावित करता है: AI को ही AI के लिए टेस्ट लिखने दें।
इसे एक "शैडो एग्जाम" सिस्टम की तरह समझें। इंसानों द्वारा प्रश्न लिखने के बजाय, आप एक स्मार्ट AI को एक पाठ्यपुस्तक का एक हिस्सा देते हैं और उससे कहते हैं:
- अध्याय को पढ़ें।
- कठिन हिस्सों (विषयों) की पहचान करें।
- केवल उसी टेक्स्ट के आधार पर एक कठिन बहुविकल्पीय या ओपन-एंडेड प्रश्न लिखें।
- सही उत्तर लिखें और समझाएं कि वह सही क्यों है।
एक बार जब टेस्ट तैयार हो जाता है, तो आप इसे उस AI छात्र को देते हैं जिसका आप वास्तव में मूल्यांकन कर रहे हैं। यदि छात्र सही उत्तर देता है, तो वे सामग्री जानते हैं। यदि वे गलत होते हैं, तो उन्हें और अध्ययन करने की आवश्यकता है।
"टास्क एसिमेट्री" (कार्य विषमता) का नुस्खा
लेखक AI के काम करने के एक दिलचस्प पहलू पर भरोसा करते हैं, जिसे वे "टास्क एसिमेट्री" कहते हैं।
- AI के लिए प्रश्न लिखना आसान है क्योंकि उसके सामने टेक्स्टबुक मौजूद है। यह एक शेफ से रेसिपी लिखने के लिए कहने जैसा है जबकि वह रसोई में सभी सामग्रियों के साथ खड़ा है।
- AI के लिए उत्तर देना कठिन है क्योंकि उसे बिना किताब देखे अपनी याददाश्त (या "वेट्स") पर भरोसा करना पड़ता है। यह उसी शेफ से बिना देखे डिश बनाने के लिए कहने जैसा है जो रसोई से बाहर निकल चुका है।
चूंकि "शिक्षक" AI के पास किताब है, इसलिए वह एक सटीक, तथ्य-आधारित प्रश्न लिख सकता है। "छात्र" AI को यह साबित करना होगा कि वह तथ्यों को वास्तव में जानता है, न कि केवल अनुमान लगा रहा है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस पद्धति का मौजूदा डेटासेट्स (जैसे SQuAD, HotpotQA, और मेडिकल डेटाबेस) से हजारों मानव-लिखित प्रश्नों के विरुद्ध परीक्षण किया।
- परिणाम: AI शिक्षकों द्वारा लिखे गए टेस्ट आश्चर्यजनक रूप से अच्छे थे। जब उन्होंने "मानव-लिखित टेस्ट" बनाम "AI-लिखित टेस्ट" पर AI छात्रों के प्रदर्शन की तुलना की, तो परिणाम बहुत करीब थे।
- कल्पना कीजिए कि दो अलग-अलग जज धावकों के समूह को रैंक कर रहे हैं। यदि जज A (मानव) और जज B (AI) दोनों एक ही व्यक्ति को 1st, 2nd और 3rd स्थान देने में सहमत हैं, तो उनकी रैंकिंग में उच्च सहसंबंध (correlation) होता है। पेपर ने रैंकिंग में 91% सहसंबंध पाया। इसका मतलब है कि AI-जनरेटेड टेस्ट यह बताने में उतने ही अच्छे हैं कि कौन सा मॉडल अधिक स्मार्ट है जितना कि मानव-लिखित टेस्ट।
- "बहुत आसान" का जाल: उन्होंने एक गड़बड़ी देखी। कभी-कभी, AI शिक्षक ऐसे प्रश्न लिखते थे जो बहुत विस्तृत होते थे, जिससे अनजाने में प्रश्न के भीतर ही उत्तर मिल जाता था। यह एक शिक्षक द्वारा पूछने जैसा है, "फ्रांस की राजधानी क्या है, जो एफिल टॉवर के लिए प्रसिद्ध शहर है?" छात्र को भूगोल जानने की आवश्यकता नहीं है; उन्हें बस प्रश्न को पढ़ना है। इसने AI छात्रों को वास्तव में जितना स्मार्ट था, उससे कहीं अधिक स्मार्ट दिखाया।
- "नया ज्ञान" परीक्षण: उन्होंने AI का परीक्षण नए दस्तावेजों (जैसे 2025 की सरकारी योजना) पर किया जिन्हें AI ने पहले कभी नहीं देखा था। भले ही AI अपनी ट्रेनिंग से इन उत्तरों को "याद" नहीं कर सकता था, फिर भी नए दस्तावेजों का संदर्भ लेने के लिए मजबूर होने पर इसने ओपन-एंडेड प्रश्नों पर आश्चर्यजनक रूप से अच्छा प्रदर्शन किया।
मुख्य निष्कर्ष
यह पेपर एक तरीका पेश करता है जिससे केवल उन दस्तावेजों का उपयोग करके किसी भी AI मॉडल के लिए उच्च-गुणवत्ता वाले, तथ्य-आधारित एग्जाम स्वचालित रूप से तैयार किए जा सकते हैं। यह इंसानों को हजारों प्रश्न लिखने से बचाता है और सुनिश्चित करता है कि टेस्ट AI के अस्पष्ट ट्रेनिंग डेटा के बजाय वास्तविक, विशिष्ट तथ्यों पर आधारित हों।
उन्होंने क्या दावा नहीं किया
- उन्होंने यह दावा नहीं किया कि यह बिना संशोधन के हर प्रकार के कार्य (जैसे रचनात्मक लेखन या कोडिंग) के लिए काम करता है।
- उन्होंने यह दावा नहीं किया कि यह पूरी तरह से मानव विशेषज्ञों की जगह लेता है; प्रक्रिया शुरू करने के लिए इंसानों को सही दस्तावेज़ चुनने पड़ते हैं।
- उन्होंने यह दावा नहीं किया कि यह पूर्ण है; उन्होंने पाया कि कुछ AI मॉडल ऐसे प्रश्न लिखते हैं जो "बहुत आसान" होते हैं जिससे स्कोर बढ़ जाता है, और कुछ प्रश्नों में अभी भी त्रुटियां (लगभग 7.5% शोर/नॉइज़) होती हैं।
संक्षेप में: अब आप किसी भी दस्तावेज़ का उपयोग करके, जो भी दस्तावेज़ आप प्रदान करते हैं, किसी अन्य AI के लिए एक कस्टम, कठोर परीक्षा बनाने के लिए एक AI का उपयोग कर सकते हैं, और इसके परिणाम सांख्यिकीय रूप से मानव विशेषज्ञ द्वारा उत्पादित परिणामों के बहुत समान होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।