Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning
यह शोध पत्र इस दावे को चुनौती देता है कि बड़े भाषा मॉडल वस्तु-विशिष्ट विवरणों से पहले अमूर्त ज्ञान सीखते हैं, यह प्रदर्शित करते हुए कि शुद्ध स्मृति मॉडल इनपुट वितरण के आधार पर ऐसे सीखने के पैटर्न की नकल कर सकते हैं, जो यह सुझाव देता है कि वितरित निरूपणों (distributed representations) के लिए वस्तु-विशिष्ट और अमूर्त ज्ञान के बीच का अंतर अस्पष्ट हो सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बोलना सिखाने की कोशिश कर रहे हैं। आपके पास इस बारे में दो बड़े सिद्धांत हैं कि वह कैसे सीखता है। पहला सिद्धांत, जिसे हम "रूलबुक थ्योरी" (नियम पुस्तिका सिद्धांत) कह सकते हैं, कहता है कि रोबोट पहले भाषा के बड़े, अमूर्त नियमों को समझता है—जैसे कि "देने" के अर्थ वाले सभी क्रिया शब्द एक साथ कैसे काम करते हैं—इससे पहले कि वह विशिष्ट शब्दों को याद करता है। दूसरा सिद्धांत, जिसे हम "मेमोरी बुक थ्योरी" (स्मृति पुस्तिका सिद्धांत) कह सकते हैं, कहता है कि रोबोट बस हर उस वाक्य को याद कर लेता है जो वह सुनता है, एक-एक करके, और बाद में अपनी यादों के विशाल ढेर की तुलना करके पैटर्न नोटिस करता है। लंबे समय तक, वैज्ञानिक इस बात पर बहस करते रहे कि कौन सा सही है। लेकिन हाल ही में, एक नए अध्ययन ने विशाल AI मॉडल (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) को देखा और दावा किया कि उन्हें "रूलबुक थ्योरी" सही होने का प्रमाण मिला है। उन्होंने कहा कि ये AI मॉडल पहले बड़े नियम सीखते हैं और उसके बाद विशिष्ट शब्दों की बारीकियों को सीखते हैं। हालाँकि, यह शोध पत्र एक जासूस की तरह इसमें आता है और कहता है, "ठहरिए। जरा करीब से देखिए।" लेखकों ने यह देखने के लिए कि क्या सबूत वास्तव में यह साबित करते हैं कि रोबोट नियमों के माध्यम से सोच रहा है, या यह इस बात का परिणाम है कि रोबोट नई जानकारी पर कैसे ध्यान देता है, अपने स्वयं के प्रयोग सरल कंप्यूटर सिमुलेशन का उपयोग करके चलाए।
द ग्रेट हाइस्ट: नियम बनाम यादें
भाषा सीखने की दुनिया में, एक क्लासिक खींचतान चलती रहती है। एक तरफ, आपके पास एब्स्ट्रैक्शन (अमूर्तीकरण) है। यह "फल" की अवधारणा को सीखने जैसा है। एक बार जब आप जान जाते हैं कि फल क्या है, तो आप अनुमान लगा सकते हैं कि कोई नई, अजीब दिखने वाली चीज़ जिसे आपने पहले कभी नहीं देखा, शायद एक फल ही होगी, भले ही आपने उसे कभी चखा न हो। दूसरी ओर, आपके पास एक्ज़ेम्पलर्स (विशिष्ट उदाहरण या स्मृतियाँ) हैं। यह हर उस सेब, केले और संतरे को याद रखने जैसा है जो आपने कभी खाया है। आपको "फल" के लिए किसी नियम की आवश्यकता नहीं है; आप बस नई चीज़ की तुलना अपने सेब और संतरों के मानसिक ढेर से करते हैं। यदि वह सेब जैसा दिखता है, तो आप उसे फल कहते हैं।
बड़ा सवाल यह है: पहले क्या आता है? क्या हम पहले सामान्य नियम सीखते हैं, या हम पहले विशिष्ट यादों का ढेर लगाते हैं?
हाल ही में, शोधकर्ताओं ने एक प्रसिद्ध AI मॉडल (GPT-2) को देखा और कुछ दिलचस्प पाया। उन्होंने समय के साथ AI को सीखते हुए देखा। उन्होंने देखा कि AI ने विशिष्ट शब्दों के बीच सूक्ष्म अंतर (जैसे कि "देना" और "बेचना" का उपयोग थोड़ा अलग तरीके से कैसे होता है) को नोटिस करने से पहले समान क्रियाओं को एक साथ समूहबद्ध करना शुरू कर दिया (जैसे "देना" और "बेचना")। उन्होंने इसे "एब्स्ट्रैक्शन-फर्स्ट" (पहले अमूर्तीकरण) लर्निंग कहा। ऐसा लग रहा था कि AI अपनी मेमोरी बुक भरने से पहले एक नियम पुस्तिका बना रहा था।
प्लॉट ट्विस्ट: द "सेंसिटिविटी" स्विच
इस पेपर के लेखकों, ज़ैचरी निकोलस हॉटन और वसेवलोड कपातिंस्की ने यह परीक्षण करने का निर्णय लिया कि क्या यह "एब्स्ट्रैक्शन-फर्स्ट" पैटर्न एक वास्तविक नियम पुस्तिका का संकेत है, या यह केवल इस बात का साइड इफेक्ट है कि AI ध्यान कैसे देता है।
ऐसा करने के लिए, उन्होंने कंप्यूटर सिमुलेशन में दो सरल, नकली शिक्षार्थी बनाए। ये फैंसी AI नहीं थे जिनमें छिपी हुई नियम पुस्तिकाएं हों। वे शुद्ध स्मृतिजीवी (pure memorizers) थे। उनके पास अमूर्त नियम बनाने का कोई तरीका नहीं था; वे केवल वही याद रख सकते थे जो उन्होंने देखा।
- "जीरो-सेंसिटिविटी" लर्नर: कल्पना कीजिए कि यह शिक्षार्थी एक अत्यंत शांत, सहज रोबोट है। जब यह एक नया शब्द देखता है, तो यह उत्साहित या घबराया हुआ नहीं होता। यह नई जानकारी को धीरे-धीरे और पूरी तरह से अपनी स्मृति में मिला देता है, किसी भी अजीब, एक-बार होने वाली गलती को अनदेखा कर देता है। यह एक शांत चित्रकार की तरह है जो कैनवास पर रंगों को बिना छींटे मारे मिलाता है।
- "वेरिएबल-सेंसिटिविटी" लर्नर: यह शिक्षार्थी थोड़ा घबराया हुआ है। यह देखे गए हर एक नए शब्द पर मजबूती से प्रतिक्रिया करता है। यदि यह जल्दी में कोई अजीब शब्द देखता है, तो यह उसके प्रति बहुत उत्साहित हो जाता है। इसकी संवेदनशीलता k नामक एक सेटिंग पर निर्भर करती (इसे एक "जिटर नॉब" या कंपन नियंत्रण मान लें)। यदि k कम है, तो शिक्षार्थी हर छोटी बारीकी के प्रति बहुत संवेदनशील है। यदि k अधिक है, तो शिक्षार्थी बहुत शांत है और छोटी बारीकियों को अनदेखा कर देता है, उन्हें सुचारू रूप से मिला देता है।
बड़ी खोज
यहाँ वह जादू है जिसे यह पेपर प्रकट करता है: इन शिक्षार्थियों के "सीखने" का क्रम पूरी तरह से इस बात पर निर्भर करता है कि वे कितने घबराए हुए (jittery) हैं, न कि इस पर कि उनके पास नियम हैं या नहीं।
- जब शिक्षार्थी घबराया हुआ होता है (कम k): "मेमोरी बुक" जीत जाती है। शिक्षार्थी शुरुआत में देखे गए कुछ अजीब शब्दों से विचलित हो जाता है। वह विशिष्ट शब्दों के बीच के अंतर को नोटिस करना शुरू कर देता है (जैसे "देना" बनाम "बेचना") इससे पहले कि वह उस बड़े समूह को नोटिस करे जिससे वे संबंधित हैं। यह "एक्ज़ेम्पलर-फर्स्ट" लर्निंग जैसा दिखता है।
- जब शिक्षार्थी शांत होता है (उच्च k): "रूलबुक" जीत जाती है। क्योंकि शिक्षार्थी शुरुआती शोर भरी बारीकियों को अनदेखा करता है और एक पैटर्न उभरने का इंतज़ार करता है, वह शब्दों को उनके सूक्ष्म अंतरों को नोटिस करने से पहले ही एक साथ समूहबद्ध करना शुरू कर देता है। यह बिल्कुल "एब्स्ट्रैक्शन-फर्स्ट" लर्निंग जैसा दिखता है।
यह पेपर दिखाता है कि भले ही ये शिक्षार्थी शून्य अमूर्त नियम बनाने की क्षमता वाले शुद्ध स्मृतिजीवी हों, फिर भी वे "नियम पहले सीखने" जैसा व्यवहार कर सकते हैं यदि वे पर्याप्त शांत (high k) हों।
AI के लिए इसका क्या अर्थ है
लेखक तर्क देते हैं कि AI के पहले सीखने के दावे वाले पिछले अध्ययन इस कारक से प्रभावित हो सकते थे। वे सुझाव देते हैं कि जिस AI मॉडल (GPT-2) का उन्होंने विश्लेषण किया था, वह संभवतः एक "शांत स्मृतिजीवी" (एक उच्च k वाला शिक्षार्थी) की तरह कार्य कर रहा था। वह अनिवार्य रूप से एक गुप्त नियम पुस्तिका नहीं बना रहा था; वह बस अपने शुरुआती प्रशिक्षण डेटा के शोर को इतनी अच्छी तरह से सुचारू (smooth) कर रहा था कि यह दिखने लगा कि उसने पहले बड़े पैटर्न सीख लिए हैं।
वास्तव में, पेपर सुझाव देता है कि इस प्रकार के वितरित सिस्टम (distributed systems) के लिए, "एक विशिष्ट शब्द को याद रखने" और "एक सामान्य नियम जानने" के बीच की रेखा धुंधली हो सकती है। "नियम" वास्तव में सभी स्मृतियों का औसत हो सकता है, और "स्मृति" उस औसत में एक विशिष्ट बिंदु हो सकती है। आप उन्हें वास्तव में अलग नहीं कर सकते।
फैसला
तो, क्या यह पेपर साबित करता है कि AI पहले नियम सीखता है? नहीं। वास्तव में, यह सुझाव देता है कि जिस विशिष्ट परीक्षण का उपयोग इसे सिद्ध करने के लिए किया गया था (पैटर्न के प्रकट होने के क्रम को देखना), वह एक विश्वसनीय परीक्षण नहीं है। एक शुद्ध स्मृतिजीवी केवल पर्याप्त शांत होकर भी इस परीक्षण को पास कर सकता है। पेपर यह निष्कर्ष नहीं निकालता कि यह पैटर्न निश्चित रूप से एक कृत्रिम प्रभाव (artifact) है; बल्कि, यह निष्कर्ष निकालता है कि पिछले अध्ययन द्वारा प्रदान किया गया साक्ष्य, वास्तविक एब्स्ट्रैक्शन-फर्स्ट लर्निंग और एक उच्च-संवेदनशीलता वाले एक्ज़ेम्पलर मॉडल के बीच अंतर करने के लिए अपर्याप्त है। लेखक कहते हैं कि क्या ट्रांसफॉर्मर मॉडल वास्तव में एब्स्ट्रैक्शन-फर्स्ट लर्नर हैं, यह अभी भी एक खुला प्रश्न है, लेकिन इसका उत्तर देने के लिए केवल 'ऑनसेट के क्रम' को देखने से परे नए तरीकों की आवश्यकता होगी। तब तक, "रूलबुक बनाम मेमोरी बुक" की बहस अभी भी खुली है, और जिसे हमने सबूत माना था, वह डेटा के प्रसंस्करण (processing) का एक परिणाम हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।