Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions
यह अध्ययन सामग्री विज्ञान के कार्यों पर 25 लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जो यह प्रकट करता है कि जहाँ फाइन-ट्यूनिंग प्रतीकात्मक निरंतरता (symbolic consistency) को बढ़ाती है, वहीं संख्यात्मक भविष्यवाणियाँ अनुमान परिवर्तनशीलता (inference variability) और एक "एलएलएम हेड बॉटलनेक" (LLM head bottleneck) के कारण अविश्वसनीय बनी रहती हैं जो टेक्स्ट आउटपुट के बजाय एम्बेडिंग निष्कर्षण (embedding extraction) को प्राथमिकता देता है, साथ ही समय के साथ GPT मॉडल्स में प्रदर्शन के महत्वपूर्ण उतार-चढ़ाव वैज्ञानिक पुनरुत्पादकता (scientific reproducibility) को चुनौती देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने सामग्री विज्ञान (materials science) में मदद के लिए 25 प्रतिभाशाली, सुपर-फास्ट इंटर्न (ये लार्ज लैंग्वेज मॉडल्स (LLMs) हैं) को काम पर रखा है। आपका लक्ष्य यह देखना है कि क्या वे विश्वसनीय वैज्ञानिक के रूप में कार्य कर सकते हैं: जैसे किसी पदार्थ की मजबूती का अनुमान लगाना, उसका रंग कैसा हो सकता है, या एक विशाल लाइब्रेरी से उसके बारे में तथ्य खोजना।
MIT के शोधकर्ताओं ने इन 'इंटर्नों' को एक कठिन परीक्षा से गुजारा ताकि एक सरल प्रश्न का उत्तर दिया जा सके: "क्या हम इन AI इंटर्नों पर वास्तविक विज्ञान के लिए भरोसा कर सकते हैं?"
यहाँ उन्होंने जो पाया है, उसे कुछ रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
1. कार्यों के दो प्रकार: "ट्रिविया" बनाम "गणित"
शोधकर्ताओं ने इंटर्नों को दो बहुत अलग तरह के होमवर्क दिए:
- ट्रिविया कार्य (Symbolic): "यह पदार्थ किस क्रिस्टल सिस्टम से संबंधित है?" या "रिक्त स्थान भरें: टाइटेनियम डाइऑक्साइड ______ के लिए जाना जाता है।"
- गणित के कार्य (Numerical): "इस पदार्थ के सटीक ऊर्जा अंतराल (energy gap) का अनुमान लगाएं" या "डाइइलेक्ट्रिक कांस्टेंट (dielectric constant) की गणना करें।"
बड़ी खोज: AI पूरी तरह से अलग व्यवहार करता है, यह इस पर निर्भर करता है कि वह किस प्रकार का होमवर्क कर रहा है।
ट्रिविया के लिए (Symbolic Tasks): "भ्रमित छात्र"
- प्रशिक्षण से पहले: मूल AI मॉडल उन छात्रों की तरह थे जिन्होंने अभी तक पाठ्यपुस्तक नहीं पढ़ी है। वे बेतरतीब ढंग से अनुमान लगाते थे। यदि आप उनसे एक ही सवाल 10 बार पूछते, तो वे 10 अलग-अलग, रैंडम उत्तर देते। वे अविश्वसनीय और असंगत थे।
- प्रशिक्षण के बाद (Fine-tuning): जब शोधकर्ताओं ने उन्हें विशिष्ट अध्ययन सामग्री दी (fine-tuning), तो छात्र अचानक "समझ गए"। उन्होंने बेतरतीब ढंग से अनुमान लगाना बंद कर दिया और हर बार एक ही सही उत्तर देने लगे।
- सबक: तथ्यों और श्रेणियों के लिए, प्रशिक्षण चमत्कार करता है। यह एक भ्रमित अनुमान लगाने वाले को एक विश्वसनीय तथ्य-जांचकर्ता में बदल देता है।
गणित के लिए (Numerical Tasks): "अति-आत्मविश्वासी झूठा"
- प्रशिक्षण से पहले: यह हिस्सा डरावना है। मूल AI मॉडल बेतरतीब ढंग से अनुमान नहीं लगा रहे थे; वे सटीकता से अनुमान लगा रहे थे। यदि आप उनसे कोई संख्या मांगते, तो वे एक बहुत ही विशिष्ट संख्या देते (जैसे "4.23 eV") और जब भी आप उनसे पूछते, वे हर बार वही सटीक गलत संख्या देते।
- समस्या: वे आत्मविश्वास के साथ गलत थे। वे विशेषज्ञों की तरह लग रहे थे, लेकिन वे भ्रम (hallucination) पैदा कर रहे थे।
- प्रशिक्षण के बाद: प्रशिक्षण ने उन्हें सही संख्या के करीब पहुँचने में मदद की, लेकिन वे अभी भी कभी-कभी उच्च आत्मविश्वास के साथ वही गलत उत्तर देते रहे।
- सबक: आप केवल इसलिए AI पर भरोसा नहीं कर सकते क्योंकि वह खुद को लेकर बहुत आश्वस्त सुनाई देता है। गणित के कार्यों में, एक "आत्मविश्वासी" उत्तर अभी भी एक झूठ हो सकता है।
2. "दिमाग बनाम मुंह" की बाधा (The "Brain vs. Mouth" Bottleneck)
शोधकर्ताओं ने कुछ चतुर किया। उन्होंने केवल यह नहीं सुना जो AI कह रहा था (टेक्स्ट आउटपुट); उन्होंने AI के "दिमाग" (आंतरिक डेटा लेयर्स) के अंदर भी देखा जब वह सोच रहा था।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। वह उत्तर अपने दिमाग में गहराई से जानता है (उसका मस्तिष्क), लेकिन जब वह उसे कागज पर लिखने की कोशिश करता है (टेक्स्ट आउटपुट), तो वह लिखावट में गलती कर देता है या दशमलव बिंदु भूल जाता है।
- निष्कर्ष: कुछ गुणों (जैसे "बैंडगैप") के लिए, AI के दिमाग में वास्तव में सही उत्तर पूरी तरह से मौजूद था। लेकिन जब AI ने उसे जोर से बोलने (बोलने/लिखने) की कोशिश की, तो जानकारी खराब हो गई।
- समाधान: AI से उत्तर के साथ "निबंध लिखने" के लिए कहने के बजाय, शोधकर्ताओं ने पाया कि वे बस "छात्र का मन पढ़" (आंतरिक डेटा निकालना) सकते थे और एक साधारण कैलकुलेटर का उपयोग करके उत्तर प्राप्त कर सकते थे। यह अक्सर AI के बोलने से अधिक सटीक था।
- कैच (Catch): यह केवल कुछ गुणों के लिए काम करता था। अन्य गुणों (जैसे "डाइइलेक्ट्रिक कांस्टेंट") के लिए, AI के दिमाग में सही उत्तर था ही नहीं, इसलिए मन पढ़ना भी काम नहीं आया।
3. "साइलेंट अपडेट" की समस्या
अंत में, शोधकर्ताओं ने 18 महीनों तक प्रसिद्ध "GPT" मॉडल्स के प्रदर्शन को ट्रैक किया।
- उपमा: कल्पना कीजिए कि आपने अपने बच्चे के लिए एक ट्यूटर (शिक्षक) रखा है। आप आज उसका टेस्ट लेते हैं, और वह 'A' ग्रेड पाता है। आप छह महीने बाद फिर से टेस्ट लेते हैं, और वह 'C' ग्रेड पाता है। आपने ट्यूटर को नहीं बदला; ट्यूटरिंग कंपनी ने चुपचाप ट्यूटर को बदल दिया, या बिना बताए पाठ्यपुस्तक बदल दी।
- निष्कर्ष: इन AI मॉडल्स का प्रदर्शन समय के साथ बहुत अधिक उतार-चढ़ाव (9% से 43% तक) दिखाता है। एक दिन, एक मॉडल पदार्थ की मजबूती का अनुमान लगाने में बहुत अच्छा हो सकता है; दूसरे दिन, कंपनी द्वारा किए गए एक साइलेंट सॉफ्टवेयर अपडेट के बाद, वह बहुत खराब हो सकता है।
- चेतावनी: यदि वैज्ञानिक इन AI टूल्स का दीर्घकालिक अनुसंधान के लिए उपयोग करते हैं, तो उनके परिणाम दोहराने योग्य (reproducible) नहीं हो सकते क्योंकि कल जो "टूल" उन्होंने इस्तेमाल किया था, वह आज वाला टूल नहीं है।
सारांश: हमें क्या सीखना चाहिए?
- भरोसा करें लेकिन जांचें (Trust but Verify): यदि AI एक "तथ्य" कार्य कर रहा है, तो प्रशिक्षण इसे विश्वसनीय बनाता है। यदि यह "गणित" का कार्य कर रहा है, तो बहुत सावधान रहें—भले ही यह आत्मविश्वास से भरा लगे, यह गलत हो सकता है।
- बॉक्स के अंदर देखें: कभी-कभी, AI से उत्तर पाने का सबसे अच्छा तरीका उससे बात करना नहीं, बल्कि उसके आंतरिक डेटा में झांकना होता है।
- "बदलते लक्ष्य" का जोखिम: विज्ञान के लिए AI का उपयोग करना मुश्किल है क्योंकि इसके अंदरूनी हिस्से (under the hood) में बदलाव होता रहता है। वैज्ञानिकों को यह सावधानी बरतनी चाहिए कि उन्होंने ठीक कौन सा वर्जन इस्तेमाल किया है, अन्यथा उनके परिणाम बाद में टिक नहीं पाएंगे।
संक्षेप में, ये AI मॉडल शक्तिशाली उपकरण हैं, लेकिन वे जादू नहीं हैं। उनकी विशिष्ट ताकतें हैं, विशिष्ट कमजोरियां हैं, और वे आश्चर्यजनक रूप से अप्रत्याशित हो सकते हैं। विज्ञान में इनका सुरक्षित रूप से उपयोग करने के लिए, हमें यह समझना होगा कि वे कैसे सोचते हैं, न कि केवल वे क्या कहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।