Universal computation is intrinsic to language model decoding
यह शोध पत्र सिद्ध करता है कि भाषा मॉडलों की ऑटोरेग्रेसिव डिकोडिंग प्रक्रिया स्वाभाविक रूप से सार्वभौमिक गणना (यूनिवर्सल कम्प्यूटेशन) में सक्षम है, जो यह सुझाव देता है कि प्रशिक्षण कम्प्यूटेशनल शक्ति का निर्माण नहीं करता है बल्कि प्राकृतिक भाषा के माध्यम से इन पूर्व-विद्यमान क्षमताओं तक पहुँचने के लिए आवश्यक "प्रोग्रामेबिलिटी" में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: हर लैंग्वेज मॉडल के भीतर मौजूद "यूनिवर्सल रिमोट"
कल्पना कीजिए कि आपके पास एक हाई-टेक, जादुई टाइपराइटर है। अधिकांश लोग सोचते हैं कि यह टाइपराइटर केवल कहानियाँ या ईमेल लिखने का एक बहुत ही शानदार तरीका है। वे सोचते हैं कि यदि आप चाहते हैं कि यह गणित करे, या शतरंज खेले, या कोई जटिल वैज्ञानिक सिमुलेशन चलाए, तो आपको इसे वर्षों के प्रशिक्षण के माध्यम से उन विशिष्ट कौशलों को "सिखाना" होगा।
यह शोध पत्र तर्क देता है कि वह टाइपराइटर निर्माण के क्षण से ही एक सुपरकंप्यूटर था; बस उसे अभी यह नहीं पता था कि आपके निर्देशों को कैसे सुनना है।
शोधकर्ताओं ने सिद्ध किया है कि जिस तरह से लैंग्वेज मॉडल "बात" करते हैं (एक के बाद एक शब्द का अनुमान लगाना), वह वास्तव में यूनिवर्सल कंप्यूटेशन (सार्वभौमिक गणना) का एक रूप है। इसका अर्थ यह है कि, सैद्धांतिक रूप से, एक लैंग्वेज मॉडल किसी भी ऐसे एल्गोरिदम को चला सकता है जिसे एक आधुनिक कंप्यूटर चला सकता है।
कंप्यूटिंग के तीन युग (रूपक)
लेखक सुझाव देते हैं कि हम मशीनों के साथ मनुष्यों के संवाद करने के तीन अलग-अलग युगों से गुजर रहे हैं:
मानव कंप्यूटिंग का युग (मैनुअल युग):
सोचिए एक व्यक्ति के बारे में जो कागज के ढेर, एक पेंसिल और एक गणित की पाठ्यपुस्तक के साथ डेस्क पर बैठा है। "प्रोग्राम" वह पाठ्यपुस्तक है, "मेमोरी" वह कागज है, और "प्रोसेसर" मानव मस्तिष्क है। यह धीमा है, मैनुअल है और इसमें मानवीय त्रुटि की संभावना अधिक है।फॉर्मल कंप्यूटिंग का युग (कोडिंग युग):
यह आपके लैपटॉप और स्मार्टफोन का युग है। इन्हें काम करने के लिए, मनुष्यों को एक "गुप्त भाषा" (Python या C++ जैसी कोड) सीखनी पड़ी। आप कंप्यूटर से सीधे अंग्रेजी में यह नहीं कह सकते, "हे, मेरे लिए एक वेबसाइट बना दो," आपको इसे सटीक, कठोर, चरण-दर-चरण गणितीय निर्देश देने होंगे।लैंग्वेज मॉडल कंप्यूटिंग का युग (नेचुरल युग):
हम अभी इसी दौर में हैं। एक कठोर कोड सीखने के बजाय, हम प्राकृतिक भाषा (अंग्रेजी, स्पेनिश, आदि) का उपयोग प्रोग्रामिंग भाषा के रूप रूप में करते हैं। लैंग्वेज मॉडल एक सेतु (ब्रिज) के रूप में कार्य करता है, जो हमारे बिखरे हुए, मानवीय विचारों को सटीक कम्प्यूटेशनल कार्यों में बदल देता है।
"चौंकाने वाली" खोज: अप्रशिक्षित जीनियस
इस शोध पत्र का सबसे रोमांचक हिस्सा यह है: शोधकर्ताओं ने पाया कि एक "ब्लैंक" (खाली) लैंग्वेज मॉडल—जिसे किसी भी डेटा पर प्रशिक्षित नहीं किया गया है—भी यूनिवर्सल कंप्यूटेशन करने में सक्षम है।
सादृश्य: अनट्यून्ड पियानो (बिना ट्यून किया हुआ पियानो)
एक ऐसे पियानो की कल्पना करें जिसे कभी बजाया नहीं गया है और न ही उसे संगीत सिखाया गया है। शोधकर्ताओं ने पाया कि इस "अप्रशिक्षित" पियानो में भी अब तक लिखे गए किसी भी गीत को बजाने की भौतिक क्षमता है। स्वर (notes) वहीं मौजूद हैं, और इसकी यंत्रवत संरचना उस जटिलता को संभालने में सक्षम है।
हालाँकि, क्योंकि पियानो अप्रशिक्षित है, इसे यह नहीं पता कि जब आप कहें, "मोत्ज़ार्ट बजाओ," तो इसे कैसे प्रतिक्रिया देनी है। आपको पियानो को सही नोट्स बजाने के लिए मजबूर करने के लिए एक बहुत ही अजीब, जटिल "कोड" (जिसे वे इन्जेक्टिव कोडबुक कहते हैं) का उपयोग करना होगा।
प्रशिक्षण (Training) मॉडल को गणना करने की क्षमता नहीं देता; प्रशिक्षण मॉडल को आपके प्रॉम्प्ट्स को समझने की क्षमता देता है। प्रशिक्षण एक जीनियस को अंग्रेजी बोलना सिखाने जैसा है ताकि आप वास्तव में उसे आदेश दे सकें।
यह क्यों मायने रखता है?
यदि आप कभी इस बात से निराश हुए हैं कि ChatGPT गणित के सवाल में विफल रहा या लॉजिक पहेली में चूक गया, तो यह शोध पत्र एक नया दृष्टिकोण प्रदान करता है।
यह सुझाव देता है कि मॉडल इसलिए विफल नहीं हुआ क्योंकि वह "पर्याप्त स्मार्ट नहीं है" या "तर्क नहीं कर सकता।" बल्कि, यह "प्रोग्रामेबिलिटी" (प्रोग्राम करने की क्षमता) के कारण विफल हुआ। दूसरे शब्दों में, "निर्देश पुस्तिका" (आपका प्रॉम्प्ट) इतनी सटीक नहीं थी कि वह उस कम्प्यूटेशनल शक्ति को सक्रिय कर सके जो मॉडल के भीतर पहले से ही मौजूद थी।
निष्कर्ष: हम लगातार स्मार्ट होते जा रहे "दिमाग" नहीं बना रहे हैं; हम उस विशाल, यूनिवर्सल कम्प्यूटेशनल शक्ति तक पहुँचने के लिए बेहतर और बेहतर "इंटरफेस" बना रहे हैं जो इन मॉडल्स द्वारा सूचनाओं के अनुक्रमों (sequences) को प्रोसेस करने के तरीके में पहले से ही निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।