Small Foundation Models of Human Cognition and Behaviour
यह शोध पत्र यह प्रदर्शित करता है कि जबकि मानव व्यवहार संबंधी डेटा पर फाइन-ट्यून किए गए छोटे फाउंडेशन मॉडल्स इन-डिस्ट्रीब्यूशन मनोवैज्ञानिक कार्यों के लिए बड़े पैमाने के बेसलाइन्स के साथ प्रभावी ढंग से मेल खा सकते हैं, केवल बड़े मॉडल्स ही नवीन कार्य संरचनाओं में सामान्यीकरण (जनरलाइजेशन) में महत्वपूर्ण सुधार करते हैं, जिसमें प्रदर्शन केवल विकल्प इतिहास के बजाय विशिष्ट उद्दीपन (स्टिमुलस) और फीडबैक सामग्री को संसाधित करने पर अत्यधिक निर्भर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को इंसान की तरह सोचना सिखाने की कोशिश कर रहे हैं। दशकों से, वैज्ञानिकों ने छोटे, हाथ से बनाए गए "मानसिक यंत्र" (जैसे ACT-R या Soar) बनाए हैं जो ठीक इस बात की व्याख्या करने की कोशिश करते हैं कि हमारे मस्तिष्क कदम-दर-कदम निर्णय कैसे लेते हैं। लेकिन ये मशीनें नाजुक हैं; यदि आप खेल को थोड़ा भी बदल दें, तो रोबोट टूट जाता है। हाल ही में, एक नए विचार ने कब्जा कर लिया है: एक विशाल, सुपर-स्मार्ट कंप्यूटर मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) को शून्य से मानसिक मशीन बनाने के बजाय, असली इंसानों द्वारा किए गए विकल्पों के लाखों उदाहरण क्यों नहीं खिला दिए जाते? यदि कंप्यूटर यह अनुमान लगा सकता है कि अगला कदम क्या होगा, तो शायद इसने मानव सोच के "नियमों" को सीख लिया है। यह "कॉग्निटिव प्रॉक्सीज़" (cognitive proxies) की दुनिया है—ऐसे AI मॉडल जो मानव मन के विकल्प के रूप में कार्य करते हैं। लेकिन एक बड़ा सवाल बना हुआ है: क्या यह विशाल मस्तिष्क वास्तव में खेल के तर्क को समझता है, या यह केवल पैटर्न-मैचिंग का उस्ताद है, जो उन शॉर्टकट को याद कर रहा है जैसे कोई छात्र जिसने पाठ्यपुस्तक पढ़े बिना केवल उत्तर कुंजी (answer key) रट ली हो?
यह शोध पत्र, जिसका शीर्षक "स्मॉल फाउंडेशन मॉडल्स ऑफ ह्यूमन कॉग्निशन एंड बिहेवियर" है, इसी रहस्य में गहराई से उतरता है। लेखक, निक ओह और फर्नांड गोबेट ने यह जांचने का निर्णय लिया कि क्या आपको मानव व्यवहार की नकल करने के लिए एक विशाल, 70-बिलियन पैरामीटर वाले "विशाल" मस्तिष्क की आवश्यकता है, या क्या एक बहुत छोटा, "पॉकेट-साइज़" मॉडल यह काम कर सकता है। उन्होंने 14 अलग-अलग AI मॉडल को प्रशिक्षित किया, जो बहुत छोटे (135 मिलियन पैरामीटर) से लेकर बड़े (14 बिलियन) तक थे, एक विशाल डेटासेट 'साइक-101' (Psych-101) पर, जिसमें 160 विभिन्न मनोवैज्ञानिक प्रयोगों में लोगों द्वारा किए गए 10 मिलियन से अधिक विकल्प शामिल हैं।
उन्होंने क्या पाया, यह थोड़ा चौंकाने वाला है। सबसे पहले, उन्होंने पाया कि आकार उतना मायने नहीं रखता जितना कि आप सोचते हैं यदि आप उन्हीं प्रकार के खेलों को देख रहे हैं जिन्हें AI पहले ही देख चुका है। केवल 0.6 बिलियन पैरामीटर वाला एक छोटा मॉडल परिचित प्रयोगों में विकल्पों की भविष्यवाणी करने में 70-बिलियन पैरामीटर वाले विशाल मॉडल के लगभग समान प्रदर्शन कर सकता है। यह एक छोटे, फुर्तीले कुत्ते के समान है जो एक विशिष्ट ट्रिक को एक विशाल ग्रेट डेन की तरह ही तेजी से सीख लेता है। हालांकि, जैसे ही उन्होंने उन्हें एक नया प्रकार का खेल दिया (आउट-ऑफ-डिस्ट्रीब्यूशन), आकार अचानक फिर से महत्वपूर्ण हो गया। बड़े मॉडल उन खेलों के नियमों को समझने में बहुत बेहतर थे जिन्हें उन्होंने पहले कभी नहीं देखा था, जबकि छोटे मॉडल भ्रमित हो गए।
लेकिन सबसे रोमांचक हिस्सा यह है कि ये मॉडल कैसे सीख रहे हैं। कुछ आलोचकों को डर था कि ये AI केवल स्प्यूरियस कोरिलेशन (spurious correlations) पर निर्भर थे, यानी वे खेल के वास्तविक नियमों को अनदेखा कर रहे थे और केवल पिछले विकल्पों के इतिहास को देख रहे थे (जैसे कि पहले से खेले गए कार्डों को गिनकर ताश की गड्डी में अगले कार्ड का अनुमान लगाना)। इसकी जांच करने के लिए, लेखकों ने सूचना के साथ "लुका-छिपी" का खेल खेला। उन्होंने व्यवस्थित रूप से प्रॉम्प्ट के हिस्सों को हटाया: उन्होंने निर्देशों को छिपा दिया, उन्होंने गेम के उद्दीपकों (stimuli - चित्रों या संख्याओं) को धुंधला कर दिया, उन्होंने फीडबैक को मिटा दिया, और उन्होंने यहाँ तक कि परीक्षणों (trials) के क्रम को भी उलट-पुलट दिया।
परिणाम नाटकीय थे। जब उन्होंने खेल की वास्तविक सामग्री (उद्दीपक और फीडबैक) को धुंधला किया, तो मॉडल का प्रदर्शन गिर गया, जो कि केवल अनुमान लगाने (random guessing) से भी नीचे चला गया। यह साबित करता है कि मॉडल केवल उत्तरों के अनुक्रम को याद नहीं कर रहे हैं; वे वास्तव में खेल की सामग्री पर ध्यान दे रहे हैं। इसके अलावा, जब उन्होंने एक ऐसे खेल में परीक्षणों के क्रम को बदला जहाँ क्रम का महत्व नहीं था, तो उन्हें कोई फर्क नहीं पड़ा। लेकिन जब उन्होंने एक ऐसा खेल बदला जहाँ क्रम महत्वपूर्ण था, तो वे भ्रमित हो गए। यह सुझाव देता है कि AI यह जानने के लिए पर्याप्त स्मार्ट है कि घटनाओं का क्रम कब महत्वपूर्ण है और कब नहीं।
संक्षेप में, ये छोटे, फाइन-ट्यून्ड मॉडल उत्कृष्ट "नॉइज़ सीलिंग" (noise ceiling) एस्टिमेटर्स हैं। नॉइज़ सीलिंग के बारे में सोचें—यह एक ग्लास सीलिंग की तरह है कि हम मानव व्यवहार को कितनी अच्छी तरह से अनुमानित कर सकते हैं। यदि कोई मॉडल इस सीलिंग को छू लेता है, तो इसका मतलब है कि हमने डेटा में मौजूद सभी अनुमानित पैटर्न खोज लिए हैं, और शेष त्रुटियां केवल यादृच्छिक मानव "शोर" (noise) हैं। ये छोटे मॉडल दिखाते हैं कि हमें सुपरकंप्यूटर की आवश्यकता के बिना भी इस सीलिंग तक पहुँचा जा सकता है, लेकिन वे हमें यह भी याद दिलाते हैं कि ये मॉडल केवल उन्हीं खेलों तक सीमित हैं जिन पर उन्हें प्रशिक्षित किया गया है। वे प्रयोगशाला में मानव व्यवहार की नकल करने में बहुत कुशल हैं, लेकिन वे अभी तक मानव मन के काम करने का पूर्ण सिद्धांत नहीं हैं—वे एक बहुत सटीक दर्पण हैं, लेकिन वह व्यक्ति नहीं जिसे वे देख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।