The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution
यह शोध पत्र यह प्रदर्शित करता है कि भौतिक आधार और कारण संबंधी तर्क (causal reasoning) के अभाव के कारण लार्ज लैंग्वेज मॉडल्स अपने प्रशिक्षण वितरण (training distribution) से परे वैज्ञानिक रूप से वैध डेटा उत्पन्न करने में मौलिक रूप से विफल रहते हैं, जो एक "नवलटी होराइजन" (novelty horizon) स्थापित करता है जिसके लिए वास्तविक वैज्ञानिक खोज हेतु हाइब्रिड न्यूरो-सिम्बोलिक प्रणालियों की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक प्रयोगशाला में, एक नए प्रकार का सहायक आया है, जो सेकंडों में लाखों वैज्ञानिक शोध पत्रों को पढ़ सकता है और धाराप्रवाह रिपोर्ट लिख सकता है। ये कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स के रूप में जाना जाता है, मानव पाठ के विशाल संग्रहों पर प्रशिक्षित हैं। वे शब्दों में पैटर्न खोजने और अगला वाक्य क्या होगा, इसका अनुमान लगाने में असाधारण रूप से कुशल हैं। क्योंकि वे एक शोध पत्र की शैली की इतनी अच्छी तरह नकल कर सकते हैं, कई वैज्ञानिकों ने यह सोचना शुरू कर दिया है कि क्या ये मशीनें मौजूदा ज्ञान का सारांश देने से कहीं अधिक कुछ कर सकती हैं। क्या वे उन प्रयोगों के लिए नया, वैध डेटा उत्पन्न कर सकती हैं जिन्हें उन्होंने कभी देखा ही नहीं? क्या वे खोज में एक भागीदार के रूप में कार्य कर सकती हैं, जो उन संख्याओं और मापों का निर्माण करे जो वैज्ञानिक सत्य की आधारशिला बनते हैं? यह प्रश्न विज्ञान के काम करने के मूल स्वरूप पर प्रहार करता है। वास्तविक विज्ञान भौतिक दुनिया को मापने पर निर्भर करता है, जहाँ प्रत्येक माप में अनिश्चितता का एक सूक्ष्म अंश होता है और जहाँ कारण और प्रभाव कठोर, अटूट नियमों का पालन करते हैं। यदि कोई मशीन केवल अपने द्वारा पढ़े गए आधार पर अगले शब्द का अनुमान लगा रही है, तो वह विश्वसनीय लग सकती है, लेकिन क्या वह वास्तव में उस वास्तविकता को समझती है जिसका वह वर्णन कर रही है?
केन्या के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए एक कठोर परीक्षण के साथ आगे बढ़ने का निर्णय लिया, जो केवल पाठ (text) तक सीमित न रहकर ठोस भौतिक डेटा के क्षेत्र में प्रवेश करता है। उन्होंने एक विशिष्ट विद्युत प्रयोग पर ध्यान केंद्रित किया जिसमें एक शॉर्ट सर्किट शामिल था, एक ऐसी स्थिति जहाँ एक तार बिजली के स्रोत के धनात्मक और ऋणात्मक सिरों को जोड़ता है, जिससे बिजली का एक बड़ा उछाल आता है। अपने सेटअप में, उन्होंने एक विशेष घटक जोड़ा जिसे डायोड कहा जाता है, जो बिजली के लिए एक 'वन-वे वाल्व' की तरह कार्य करता है, जो सर्किट को सुरक्षित रखने के लिए वोल्टेज को एक विशिष्ट स्तर पर सीमित (clamp) कर देता है। यह एक जटिल, गैर-रेखीय (nonlinear) व्यवहार पैदा करता है जहाँ वोल्टेज और करंट के बीच का संबंध एक सरल सीधी रेखा नहीं बल्कि एक वक्र (curve) होता है जो परिस्थितियों के आधार पर बदलता रहता है। शोधकर्ता यह देखना चाहते थे कि क्या एक कृत्रिम बुद्धिमत्ता इस विशिष्ट प्रयोग के लिए एक यथार्थवादी डेटासेट उत्पन्न कर सकती है, जिसमें वे सूक्ष्म, यादृच्छिक उतार-चढ़ाव भी शामिल हों जो वास्तविक सेंसर हमेशा पकड़ते हैं।
इस परीक्षण के लिए, शोधकर्ताओं ने तीन अलग-अलग डेटा सेट बनाए। पहला 'ग्राउंड ट्रुथ' (वास्तविक सत्य) था: प्रयोगशाला में एक भौतिक सर्किट से लिए गए वास्तविक माप, जिन्हें उच्च सटीकता के साथ रिकॉर्ड किया गया था। दूसरा सेट एक कृत्रिम बुद्धिमत्ता से आया था, जिसे प्रयोग के केवल बुनियादी नंबर दिए गए थे, जैसे कि वोल्टेज और करंट रेटिंग, और उसे परिणामों को सिम्युलेट करने के लिए एक कंप्यूटर प्रोग्राम लिखने को कहा गया था। तीसरा सेट उसी प्रकार की कृत्रिम बुद्धिमत्ता से आया था, लेकिन इस बार शोधकर्ताओं ने उसे प्रयोग के निर्माण और माप लेने के तरीके के विस्तृत निर्देश दिए थे, इस उम्मीद में कि यह अतिरिक्त संदर्भ मशीन को बेहतर परिणाम देने में मदद करेगा। इसके बाद उन्होंने इन तीनों डेटा सेट्स को एक फोरेंसिक विश्लेषण के अधीन किया, और बिजली को नियंत्रित करने वाले भौतिकी के अटूट नियमों के विरुद्ध उनकी तुलना की।
परिणाम स्पष्ट और चौंकाने वाले थे। कृत्रिम बुद्धिमत्ता हर मामले में वैज्ञानिक रूप से वैध डेटा उत्पन्न करने में विफल रही। जब मशीन ने प्रयोग का अनुकरण (simulate) करने की कोशिश की, तो उसने ऐसे नंबर तैयार किए जो सतह पर तो तर्कसंगत दिखते थे लेकिन सूक्ष्म निरीक्षण करने पर भौतिक रूप से असंभव थे। शोधकर्ताओं ने इसे एक "परफेक्ट अलजेब्रा आर्टिफैक्ट" (पूर्ण बीजगणितीय विसंगति) कहा। एक वास्तविक प्रयोग में, वोल्टेज और करंट को अलग-अलग सेंसरों द्वारा स्वतंत्र रूप से मापा जाता है, और उपकरणों की मामूली खामियों के कारण, जब आप प्रतिरोध (resistance) की गणना करते हैं, तो संख्याएँ कभी भी पूरी तरह से मेल नहीं खातीं। मूल्यों के बीच हमेशा एक छोटा, यादृच्छिक अंतर होता है। हालाँकि, कृत्रिम बुद्धिमत्ता ने भौतिकी के नियमों को एक सटीक गणितीय समीकरण के रूप में माना जिसे हल किया जाना है। इसने ऐसे वोल्टेज और करंट मान उत्पन्न किए जो मशीन-स्तर की पूर्ण सटीकता के साथ आपस में जुड़े हुए थे, जिसमें माप के प्राकृतिक शोर (noise) के लिए कोई स्थान नहीं था। यह एक ऐसे व्यक्ति की तरह है जो एक ऐसा नक्शा बनाता है जहाँ हर सड़क का चौराहा बिल्कुल सटीक रूप से संरेखित है, जबकि एक वास्तविक शहर के नक्शे में सड़कों के थोड़े स्वाभाविक विचलन होते हैं क्योंकि सड़कों का निर्माण अलग-अलग समय पर अलग-अलग टीमों द्वारा किया गया होता है।
विफलता केवल पूर्ण संख्याओं तक ही सीमित नहीं थी। कृत्रिम बुद्धिमत्ता सर्किट में डायोड के विशिष्ट व्यवहार को समझने में भी संघर्ष करती रही। जब शोधकर्ताओं ने मशीन को विस्तृत निर्देश दिए, तो वह अपने नंबरों के पैमाने (scale) को वास्तविकता के करीब लाने में सफल रही, लेकिन फिर भी वह मौलिक भौतिकी को समझने में गलत रही। इसने ऐसा डेटा उत्पन्न किया जिससे पता चला कि बिजली एक रैखिक (linear), पूर्वानुमेय तरीके से व्यवहार कर रही थी, और इसने उस गैर-रेखीय "क्लैम्पिंग" प्रभाव को पूरी तरह से मिस कर दिया जो डायोड को पैदा करना चाहिए था। इसके द्वारा उत्पादित डेटा में अजीब सांख्यिकीय पैटर्न थे, जिनमें स्पाइक्स और आकृतियाँ थीं जो प्रकृति में नहीं होतीं। उदाहरण के लिए, मशीन के डेटा में शोर या तो बहुत सपाट था या उसमें अजीब शिखर (peaks) थे, जो वास्तविक इलेक्ट्रॉनिक सेंसरों में पाए जाने वाले प्राकृतिक, उतार-चढ़ाव वाले शोर से भिन्न था। यहाँ तक कि जब शोधकर्ताओं ने मशीन को पहले कोड लिखे बिना सीधे नंबर आउटपुट करने के लिए कहा, तब भी परिणाम उतने ही त्रुटिपूर्ण थे, जिससे यह सिद्ध हुआ कि समस्या कोडिंग की गलती नहीं बल्कि भौतिक दुनिया की कारण संरचना (causal structure) को समझने में मौलिक अक्षमता थी।
शोधकर्ताओं ने निष्कर्ष निकाला कि ये कृत्रिम बुद्धिमत्ता मॉडल एक "नॉवेलटी होराइजन" (नवीनता क्षितिज) से बंधे हुए हैं। यह उस डेटा द्वारा परिभाषित एक सीमा है जिस पर मॉडल को प्रशिक्षित किया गया है। इस सीमा के भीतर, मशीन अच्छा प्रदर्शन कर सकती है क्योंकि वह केवल उन पैटर्न को पुनर्व्यवस्थित कर रही होती है जिन्हें उसने पहले देखा है। लेकिन जब एक नई, जटिल स्थिति के लिए डेटा उत्पन्न करने के लिए कहा जाता है जिसमें कारण और प्रभाव को समझने की आवश्यकता होती है जिसे उसे कभी सिखाया नहीं गया है, तो वह एक दीवार से टकरा जाती है। वह अपने प्रशिक्षण से परे विस्तार (extrapolate) नहीं कर सकती। वह एक वैज्ञानिक की भाषा की नकल तो कर सकती है, लेकिन वह प्रयोग की अव्यवस्थित, अनिश्चित और कारण-आधारित वास्तविकता का अनुकरण नहीं कर सकती। यह अध्ययन दर्शाता है कि हालांकि ये उपकरण जानकारी का सारांश देने या पाठ का मसौदा तैयार करने के लिए शक्तिशाली हैं, लेकिन विश्वसनीय रूप से नया वैज्ञानिक डेटा बनाने या स्वतंत्र खोजकर्ता के रूप में कार्य करने के लिए इन पर भरोसा नहीं किया जा सकता। मानव वैज्ञानिक अनिवार्य बना हुआ है, न कि केवल काम की जाँच करने के लिए, बल्कि उस कारण संबंधी तर्क और प्रयोगात्मक डिजाइन को प्रदान करने के लिए जिसकी मशीन में मौलिक रूप से कमी है। कृत्रिम बुद्धिमत्ता के साथ विज्ञान का भविष्य संभवतः इन उपकरणों को मानवीय पर्यवेक्षण के साथ जोड़ने पर निर्भर करेगा, जिसमें मशीन का उपयोग उसके कुशल कार्यों के लिए किया जाए, जबकि खोज के कठिन कार्यों के लिए मानव को नियंत्रण में रखा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।