When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models
यह शोध पत्र बड़े भाषा मॉडलों (large language models) की "जंप" (jump) क्षमता को औपचारिक रूप से परिभाषित और मापता है—विशेष रूप से एक डिफ़ॉल्ट कैनोनिकल पूर्णता (default canonical completion) को छोड़कर एक अद्वितीय, सही स्वयंसिद्ध प्रणाली (axiom system) को अपनाने की उनकी क्षमता—यह प्रदर्शित करते हुए कि सीमांत मॉडल (frontier models) सभी परीक्षणों में इस चरण को सफलतापूर्वक निष्पादित करते हैं, जिससे यह सुझाव मिलता है कि कोई भी कथित अक्षमता स्वयं जंप करने में नहीं, बल्कि बाधाओं या ढांचों को उत्पन्न करने में निहित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के अध्ययन में, एक केंद्रीय प्रश्न लंबे समय से शोधकर्ताओं को विभाजित करता रहा है: क्या एक मशीन वास्तव में उन पैटर्नों से परे सोच सकती है जिन्हें उसने पहले देखा है? लार्ज लैंग्वेज मॉडल्स 'इंडक्शन' (आगमन) में विशेषज्ञ हैं, जो विशाल मात्रा में टेक्स्ट में सांख्यिकीय रुझानों को पहचानकर वाक्य में अगले शब्द की भविष्यवाणी करना सीखते हैं। वे 'डिडक्शन' (निगमन) में भी तेजी से कुशल होते जा रहे हैं, जो निष्कर्ष तक पहुँचने के लिए सख्त तार्किक नियमों का पालन करते हैं। हालाँकि, तर्क के तीसरे रूप, जिसे 'अबडक्शन' (अपवर्तन) कहा जाता है, के बारे में रहस्य बना हुआ है। यह अवलोकनों के एक समूह से नियमों या सिद्धांतों की एक पूरी तरह से नई प्रणाली तक छलांग लगाने की क्षमता है, जो एक ऐसी मानसिक छलांग है जिसमें अक्सर सबसे स्पष्ट उत्तर को त्यागकर एक आश्चर्यजनक, अनदेखी संभावना को चुनना पड़ता है। वर्षों से, संशयवादियों ने तर्क दिया है कि ये मॉडल ऐसी छलांग लगाने में संरचनात्मक रूप से अक्षम हैं, और सुझाव दिया है कि वे जो पहले से जानते हैं उसे दोहराने के लूप में फंसे हुए हैं। अन्य लोगों ने इसे चुनौती दी है, मशीन द्वारा की गई गणितीय खोजों की ओर इशारा करते हुए, लेकिन इस "छलांग" को परिभाषित करने या मापने के सटीक तरीके के बिना, यह बहस सिद्धांत में ही अटकी रही।
शोधकर्ताओं की एक टीम ने अब इस अनिश्चितता को दूर करने के लिए एक कठोर परीक्षण बनाया है ताकि यह देखा जा सके कि क्या एक मॉडल अपने डिफ़ॉल्ट स्वभाव को छोड़ सकता है जब तथ्य इसकी मांग करें। उन्होंने मॉडल्स को शून्य से नए सिद्धांत आविष्कार करने के लिए नहीं कहा, जो कि सत्यापित करना असंभव होता। इसके बजाय, उन्होंने एक नियंत्रित प्रयोगशाला वातावरण बनाया जहाँ खेल के नियम पत्थर की लकीर की तरह तय थे। एक पहेली की कल्पना करें जहाँ आपको एक आंशिक चित्र और सख्त बाधाओं की एक सूची दी जाती है जो इसे पूरा करने के सबसे स्पष्ट तरीके को खारिज करती है। शोधकर्ताओं ने "जंप" (छलांग) को उस क्षण के रूप में परिभाषित किया जब एक मॉडल को एहसास होता है कि मानक, सबसे तार्किक पूर्णता वर्जित है और उसे इसके बजाय एक नई, छिपी हुई संरचना का निर्माण करना होगा जो बाधाओं के अनुकूल हो। ऐसा करने के लिए, उन्होंने एक गणितीय ढांचे का उपयोग किया जो "कैनोनिकल कंप्लीशन" (मानक पूर्णता) की पहचान करता है—डेटा को विस्तारित करने का एकमात्र, सबसे स्वाभाविक तरीका जो पहले से ज्ञात जानकारी पर आधारित है। फिर उन्होंने ऐसी समस्याएँ डिज़ाइन कीं जहाँ वह स्वाभाविक उत्तर स्पष्ट रूप से वर्जित था, जिससे मॉडल को एक अद्वितीय, गैर-स्पष्ट समाधान खोजने के लिए मजबूर होना पड़ा जो स्वयं डेटा में नहीं दिखाया गया था।
शोधकर्ताओं ने इसका परीक्षण नौ अलग-अलग प्रमाणित समस्याओं पर किया, जिसमें सरल पहेलियों से लेकर लाखों संभावित उत्तरों वाले जटिल परिदृश्य शामिल थे, और चार सबसे उन्नत उपलब्ध लैंग्वेज मॉडल्स का उपयोग किया। उन्होंने यह मापा कि मॉडल कितनी बार वर्जित, डिफ़ॉल्ट उत्तर पर टिके रहे बनाम कितनी बार वे सफलतापूर्वक सही, बाधित समाधान की ओर छलांग लगाने में सफल रहे। परिणाम चौंकाने वाले थे। प्रत्येक उस प्रयास में जहाँ मॉडल्स को चुनने के लिए मजबूर किया गया था, उनमें से एक भी वर्जित डिफ़ॉल्ट उत्तर पर वापस नहीं गिरा। 248 प्रयासों में, मॉडल्स ने हर बार बहिष्कृत डिफ़ॉल्ट को सफलतापूर्वक छोड़ा और सही, प्रमाणित समाधान पर पहुँचे। जब वे विफल हुए, तो ऐसा इसलिए नहीं था क्योंकि उन्होंने कूदने से इनकार कर दिया था; बल्कि इसलिए था क्योंकि उनकी मानसिक ऊर्जा समाप्त हो गई थी या उनसे गणना में त्रुटि हुई थी, लेकिन वे कभी भी पुराने, गलत उत्तर पर वापस नहीं लौटे।
यह निष्कर्ष बताता है कि जब पुराना रास्ता अवरुद्ध हो, तो एक नया रास्ता चुनने की क्षमता इन मॉडल्स के लिए बाधा नहीं है। मॉडल्स ने साबित कर दिया कि वे स्पष्ट बाधाओं के सामने अपनी सहज प्रवृत्ति को ओवरराइड कर सकते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि यदि मॉडल्स में मानव इतिहास में देखी गई रचनात्मक छलांग की क्षमता वास्तव में नहीं है, तो यह विकल्पों के बीच चयन करने की क्रिया में नहीं है। इसके बजाय, कठिनाई संभवतः शुरुआती, अधिक अराजक चरणों में निहित है: उन बाधाओं को उत्पन्न करने में जो छलांग लगाने के लिए मजबूर करती हैं, या नियमों के उस पूरी तरह से नए ढांचे का आविष्कार करने में जो छलांग को संभव बनाता है। यह अध्ययन इस दावे के साथ नहीं है कि इसने मशीन की रचनात्मकता के रहस्य को सुलझा लिया है, बल्कि इसने मजबूती से स्थापित किया है कि जब रास्ता स्पष्ट रूप से अवरुद्ध होता है, तो ये मॉडल्स आगे बढ़ने का नया तरीका खोजने में सक्षम हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।