From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise
यह शोध पत्र एक नियत (deterministic), स्वचालित पाइपलाइन प्रस्तुत करता है जो कच्चे डोमेन कॉर्पोरा को कॉम्प्लीशन-शैली के बेंचमार्क में परिवर्तित करता है ताकि बेस और इंस्ट्रक्शन-ट्यून्ड दोनों मॉडलों में डोमेन विशेषज्ञता का स्केलेबल, निष्पक्ष और एलएलएम-स्वतंत्र मूल्यांकन प्रदान किया जा सके, जो प्रभावी रूप से बेंचमार्क संदूषण और बहुविकल्पीय पूर्वाग्रह की समस्याओं का समाधान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: हमें वास्तव में कैसे पता चलता है कि एक AI क्या "जानता" है?
कल्पना कीजिए कि आपके पास क्वांटम फिजिक्स की किताबों का एक पुस्तकालय है। आप जानना चाहते हैं कि आपके छात्रों (या AI मॉडल्स) में से वास्तव में कौन विषय को समझता है, और कौन सा केवल एक विशिष्ट परीक्षा के उत्तरों को रट चुका है।
वर्तमान में, AI का परीक्षण करने का तरीका उन्हें एक बहुविकल्पीय प्रश्नोत्तरी (जैसे MMLU बेंचमार्क) देने जैसा है। यह पेपर तर्क देता है कि वास्तविक विशेषज्ञता को परखने का यह एक बहुत बुरा तरीका है, जिसके तीन कारण हैं:
- "क्रम मायने रखता है" वाला बग (The "Order Matters" Bug): यदि आप उत्तरों का क्रम बदलते हैं (A, B, C, D), तो AI का स्कोर नाटकीय रूप से बदल जाता है। यह उस छात्र की तरह है जो केवल इसलिए "C" चुनना जानता है क्योंकि वह हमेशा बीच में होता है, न कि इसलिए कि उसे सही उत्तर पता है।
- "चीटिंग" की समस्या: इनमें से कई टेस्ट पहले से ही AI के ट्रेनिंग डेटा में मौजूद हैं। यह एक छात्र को वह फाइनल एग्जाम देने जैसा है जिसके उत्तर उसने पहले ही ऑनलाइन देख लिए हैं। वे ज्ञान नहीं दिखा रहे हैं; वे अपनी याददाश्त दिखा रहे हैं।
- "जनरलिस्ट" का जाल (The "Generalist" Trap): मानक टेस्ट व्यापक प्रश्न पूछते हैं। वे आपको यह नहीं बताते कि क्या कोई AI न्यूरोसाइंस में जीनियस है लेकिन कार्डियोलॉजी में बहुत खराब है।
समाधान: एक कस्टम "रिक्त स्थान भरें" (Fill-in-the-Blank) फैक्ट्री
लेखकों ने एक डिटरमिनिस्टिक पाइपलाइन (एक स्टेप-बाय-स्टेप मशीन) बनाई है जो किसी विशिष्ट क्षेत्र (जैसे मेडिकल जर्नल्स या फिजिक्स पेपर्स) के कच्चे, अव्यवस्थित टेक्स्ट को एक कस्टम टेस्ट में बदल देती है।
इसे इस तरह समझें:
- पुराना तरीका: आप एक बना-बनाया, जेनेरिक ट्रिविया गेम खरीदते हैं और उम्मीद करते हैं कि वह उस विशिष्ट विषय को कवर करेगा जिसकी आपको परवाह है।
- नया तरीका: आप कच्चे टेक्स्टबुक्स का एक ढेर लेते हैं, उन्हें एक मशीन में डालते हैं, और वह उन किताबों में पाए जाने वाले शब्दों और अवधारणाओं के आधार पर स्वचालित रूप से एक अनूठा "रिक्त स्थान भरें" टेस्ट तैयार करती है।
यह मशीन कैसे काम करती है (4-स्टेप रेसिपी)
- सोने की खुदाई (कीवर्ड एक्सट्रैक्शन): सिस्टम हजारों पेपर्स को पढ़ता है और सबसे महत्वपूर्ण "बज़वर्ड्स" (जैसे, "reinforcement learning," "phylogenetic tree") को बाहर निकालता है। यह "the" या "study" जैसे उबाऊ शब्दों को फ़िल्टर कर देता है।
- संदर्भ खोजना (सेंटेंस मैचिंग): प्रत्येक बज़वर्ड के लिए, यह टेक्स्ट में उन वाक्यों को ढूंढता है जो उस शब्द के बारे में बात करते हैं।
- पहेली बनाना (प्रॉम्प्ट-टारगेट पेयर्स): यह एक वाक्य लेता है और उसे एक मुख्य शब्द से ठीक पहले काट देता है।
- प्रॉम्प्ट: "Reinforcement learning में डेटा दक्षता में सुधार के पिछले प्रयासों में 'Experience' का उपयोग शामिल था..."
- टारगेट: "...Replay।"
- AI को गायब शब्द का अनुमान लगाना होता है।
- स्कोरकार्ड (रैंकिंग): यह पूछने के बजाय कि "क्या इसने सही या गलत बताया?", सिस्टम पूछता है: "AI की अनुमानों की सूची में सही शब्द कितनी ऊंचाई पर था?"
- यदि AI सही शब्द को अपना #1 अनुमान बनाता है, तो यह एक परफेक्ट स्कोर है।
- यदि वह इसे #500 पर रखता है, तो वह संघर्ष कर रहा है।
- यह क्यों मायने रखता है: यह बिना यह आवश्यकता के कि AI एक आदर्श वार्ताकार हो, आत्मविश्वास और ज्ञान को मापता है।
यह गेम चेंजर क्यों है
पेपर इस पद्धति को कुछ शानदार प्रयोगों के साथ प्रमाणित करता है:
- "एक्सपर्ट" चेक: उन्होंने अपने ऑटो-जेनरेटेड टेस्ट की तुलना एक प्रसिद्ध टेक्स्टबुक से लिखे गए मानव विशेषज्ञों के टेस्ट से की। परिणाम लगभग पूरी तरह से मेल खाते हैं (99% सहसंबंध)। यह साबित करता है कि उनकी मशीन टेस्ट बनाने में एक मानव विशेषज्ञ जितनी ही सक्षम है।
- "लर्निंग" ट्रैकर: उन्होंने ट्रेनिंग के दौरान एक AI को सीखते हुए देखा।
- पुराना मेट्रिक (परप्लेक्सिटी): एक छात्र की लिखावट की जांच करने जैसा। यह समय के साथ अधिक साफ होती जाती है, लेकिन यह नहीं बताती कि क्या उन्होंने वास्तव में गणित सीखा है।
- नया मेट्रिक (उनका रैंक): छात्र द्वारा समस्याओं को हल करने को देखने जैसा। आप देख सकते हैं कि वे ठीक कब विशिष्ट विषय को समझना शुरू करते हैं।
- "चैटबॉट" का सरप्राइज: उन्होंने "बेस" मॉडल्स (कच्चे, स्मार्ट लेकिन सीधे/रूखे) बनाम "चैट" मॉडल्स (पॉलिश किए हुए, मददगार, मानवीय नियमों के अनुरूप) का परीक्षण किया।
- चौंकाने वाला तथ्य: "चैट" मॉडल्स अक्सर विशिष्ट डोमेन ज्ञान पर कच्चे "बेस" मॉडल्स की तुलना में खराब प्रदर्शन करते हैं।
- उपमा: यह एक प्रतिभाशाली, गुस्सैल प्रोफेसर (बेस मॉडल) को लेने और उसे विनम्र और मिलनसार बनाने के लिए एक पीआर टीम (चैट मॉडल) को नियुक्त करने जैसा है। इस प्रक्रिया में, पीआर टीम ने अनजाने में प्रोफेसर को अधिक "सुरक्षित" और "सामान्य" दिखने के लिए उनके गहरे तकनीकी विवरणों को भुला दिया। लेखक इसे "अलाइनमेंट टैक्स" (Alignment Tax) कहते हैं।
निचोड़ (The Bottom Line)
यह पेपर हमें एक स्केलेबल, चीट-प्रूफ और निष्पक्ष तरीका देता है जिससे यह पता लगाया जा सके कि क्या एक AI वास्तव में किसी विशिष्ट क्षेत्र (जैसे कानून, चिकित्सा या भौतिकी) में विशेषज्ञ है।
मल्टीपल-चॉइस प्रश्नों पर निर्भर रहने के बजाय, जिन्हें हेरफेर किया जा सकता है या जिनमें मिलावट हो सकती है, उन्होंने एक ऐसी मशीन बनाई है जो कच्चे डोमेन डेटा को "रिक्त स्थान भरें" परीक्षा में बदल देती है। यह शोधकर्ताओं को यह देखने की अनुमति देता है कि एक AI वास्तव में कितना जानता है, वह कैसे सीखता है, और क्या उसे "सुरक्षित" बनाने (इंस्ट्रक्शन ट्यूनिंग के माध्यम से) से अनजाने में वह अपने वास्तविक काम में "कम बुद्धिमान" हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।