Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
यह शोधपत्र SciFactCheck प्रस्तुत करता है, जो एक बहु-डोमेन बेंचमार्क है जो यह प्रकट करता है कि वैज्ञानिक फाइन-ट्यूनिंग विरोधाभासी रूप से लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) और आक्रामकता को बढ़ाती है जबकि उनके आंतरिक आत्मविश्वास को कम करती है, जिससे तथ्यपरकता में सुधार के लिए वर्तमान डोमेन-विशिष्ट फाइन-ट्यूनिंग दृष्टिकोणों को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान और सुशिक्षित लाइब्रेरियन (पुस्तकालयाध्यक्ष) है जो हर विषय के बारे में थोड़ा-बहुत जानता है। यह लाइब्रेरियन आपका मानक लार्ज लैंग्वेज मॉडल (LLM) है। वे बातचीत करने में तो माहिर हैं, लेकिन जब उन्हें तथ्यों के बारे में निश्चित पता नहीं होता, तो वे कभी-कभी मनगढ़ंत बातें बना लेते हैं। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
अब, कल्पना कीजिए कि आप उस लाइब्रेरियन को केवल विज्ञान का अध्ययन करने के लिए एक विशेष विश्वविद्यालय भेज देते हैं। आप उन्हें हजारों पाठ्यपुस्तकें, शोध पत्र और जर्नल्स देते हैं। आप उम्मीद करते हैं कि वे एक "वैज्ञानिक विशेषज्ञ" बनकर वापस आएंगे जो पहले की तुलना में और भी अधिक विश्वसनीय होगा।
यह शोध पत्र उस प्रयोग की रिपोर्ट कार्ड है, और खबर आश्चर्यजनक रूप से बुरी है।
शोधकर्ताओं ने निम्नलिखित सरल उपमाओं (analogies) का उपयोग करके यह पाया है:
1. "विशेषज्ञ" पहले से भी बदतर हो गया
शोधकर्ताओं ने एक विशाल परीक्षण बनाया जिसे SCIFACTCHECK कहा गया। उन्होंने 18 अलग-अलग AI मॉडलों (कुछ सामान्य, कुछ "वैज्ञानिक रूप से प्रशिक्षित") से इंजीनियरिंग से लेकर दर्शनशास्त्र तक, 2,500 विभिन्न वैज्ञानिक विषयों पर छोटे पैराग्राफ लिखने को कहा।
परिणाम: "वैज्ञानिक" मॉडल सामान्य मॉडलों की तुलना में अधिक गलतियाँ करते थे।
- उपमा: यह एक सामान्य शेफ को मसालों के बारे में सीखने के लिए कुकरी स्कूल भेजने जैसा है। आप उम्मीद करेंगे कि वे खाना बनाने में बेहतर होंगे, लेकिन इसके बजाय, वे पानी उबालना भूल गए और हर व्यंजन में बहुत अधिक मसाले डाल दिए। विशेष प्रशिक्षण ने मॉडलों को भ्रमित कर दिया, जिससे वे अपने सामान्य-उद्देश्य वाले साथियों की तुलना में बुनियादी तथ्यों पर कम विश्वसनीय हो गए।
2. "झूठ" के तीन प्रकार
अध्ययन ने केवल "गलत" उत्तरों को ही नहीं देखा; बल्कि उन्होंने यह भी देखा कि वे कैसे गलत थे। उन्होंने पाया कि मॉडलों ने तीन विशिष्ट तरीकों से हॉलुसिनेशन (भ्रम) किया:
- "अप्रामाणिक" झूठ (Unverifiability): मॉडल एक ऐसा तथ्य बनाता है जो वास्तविक लगता है लेकिन किसी भी पुस्तक या शोध पत्र में नहीं पाया जा सकता।
- उपमा: लाइब्रेरियन कहता है, "1995 में, बिल्लियों के एक गुप्त समाज ने इंटरनेट पर शासन किया था।" यह विशिष्ट लगता है, लेकिन इसका कोई रिकॉर्ड मौजूद नहीं है।
- "अति-आत्मविश्वासी" झूठ (Overclaim): मॉडल एक छोटे से सच को लेता है और उसे एक बड़ी, पूर्ण निश्चितता में बदल देता है।
- उपमा: एक अध्ययन कहता है, "यह दवा शायद कुछ रोगियों की मदद कर सकती है।" मॉडल कहता है, "यह दवा सभी को ठीक कर देती है।" यह दावे के दायरे और निश्चितता को बढ़ा-चढ़ाकर बताता है।
- "नकली संदर्भ" वाला झूठ (Attribution): मॉडल अपने दावे का समर्थन करने के लिए एक स्रोत का आविष्कार करता है।
- उपमा: लाइब्रेरियन कहता है, "डॉ. स्मिथ के प्रसिद्ध 'जर्नल ऑफ स्पेस फिजिक्स' लेख के अनुसार..." लेकिन वह लेख और वह डॉक्टर कभी अस्तित्व में ही नहीं थे।
3. "आत्मविश्वासी लेकिन अज्ञानी" विरोधाभास (The "Confident but Clueless" Paradox)
सबसे अजीब निष्कर्षों में से एक यह था कि मॉडलों को अपने उत्तरों के बारे में कैसा "महसूस" होता था।
- निष्कर्ष: वैज्ञानिक रूप से प्रशिक्षित मॉडलों ने अधिक आत्मविश्वासी भाषा (जैसे "निश्चित रूप से", "सिद्ध", "हमेशा") का उपयोग किया, लेकिन आंतरिक रूप से वे कम आत्मविश्वासी (उनका कंप्यूटर "अंतर्ज्ञान" डगमगा रहा था) थे।
- उपमा: कल्पना कीजिए कि एक छात्र को गणित के सवाल का जवाब नहीं पता है। "मुझे यकीन नहीं है" कहने के बजाय, वे खड़े होते हैं, हाथ उठाते हैं, और 100% दृढ़ विश्वास के साथ उत्तर चिल्लाते हैं। उन्होंने एक आत्मविश्वासी वैज्ञानिक की शैली सीखी है, लेकिन उन्होंने उसका सार नहीं सीखा है। वे "शोर मचाते हुए गलत" (loudly wrong) हैं।
4. "तथ्य-जांचकर्ता" की समस्या
अंत में, शोधकर्ताओं ने कंप्यूटरों को इन मॉडलों को ग्रेड देने के लिए इस्तेमाल किया, और फिर मानव विशेषज्ञों को भी ग्रेड देने के लिए कहा।
- परिणाम: कंप्यूटर ग्रेडर्स और मानव विशेषज्ञ हमेशा एकमत नहीं थे। यहाँ तक कि मनुष्य भी इस बात पर सहमत होने में संघर्ष कर रहे थे कि क्या "वैज्ञानिक तथ्य" माना जाए जिसे जांचा जा सके।
- उपमा: यह निर्णायकों के एक समूह द्वारा जिम्नास्टिक रूटीन को स्कोर करने की कोशिश करने जैसा है, जहाँ वे खेल के नियमों पर भी सहमत नहीं हो पा रहे हैं। कुछ क्षेत्रों में (जैसे गणित), सभी नियमों पर सहमत होते हैं। अन्य क्षेत्रों में (जैसे दर्शन या सामाजिक विज्ञान), यह परिभाषित करना बहुत कठिन है कि क्या "जांचने योग्य" है।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि केवल AI को वैज्ञानिक पुस्तकों पर प्रशिक्षित करना उसे एक भरोसेमंद वैज्ञानिक विशेषज्ञ नहीं बनाता है। वास्तव में, यह इसे अधिक खतरनाक बना सकता है क्योंकि यह सटीक होने के बजाय अधिक आत्मविश्वासी लगता है। हमें वैज्ञानिक दावों को सत्यापित करने के लिए बेहतर उपकरणों की आवश्यकता है, और हम यह मानकर नहीं चल सकते कि "विशेषज्ञ" AI स्वतः ही "सामान्य" AI से बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।