Optimization Is Not All You Need
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स का संरेखण (अलाइनमेंट) एक व्यापक "अनुकूलन संस्कृति" (ऑप्टिमाइज़ेशन कल्चर) का प्रतिनिधित्व करता है जो मापने योग्य सुधार को मूल्य के साथ गलत तरीके से समान मान लेती है, और अंततः वैध भाषा का निर्णय करने का अधिकार उन तकनीकी यंत्रों को सौंप देती है जो संभाव्यता को तो मापने में सक्षम हैं लेकिन त्रुटि और वास्तविक आविष्कार के बीच अंतर करने में अक्षम हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई, अनंत कहानी सुनाने वाला रोबोट है। 2019 में, जब यह रोबोट पहली बार जागा था, तो यह थोड़ा बेकाबू था। यह एंडीज पर्वत में चार सींगों वाले यूनिकॉर्न के बारे में कहानियाँ सुनाता था, या अचानक एक समाचार रिपोर्ट से बदलकर एक टोस्टर पर कविता लिखने लगता था। कभी-कभी यह गलतियाँ करता था, लेकिन वे गलतियाँ अक्सर मज़ेदार, आश्चर्यजनक या अजीब रूप से सुंदर होती थीं। यह एक जैज़ संगीतकार की तरह था जो कभी-कभी एक गलत नोट बजा देता था जो एक नई, शानदार धुन में बदल जाता था।
लेकिन फिर, रोबोट के मालिकों ने इसे "ठीक करने" का फैसला किया। वे चाहते थे कि यह पूर्ण, सुरक्षित और सहायक हो। उन्होंने इसे "ऑप्टिमाइज़ेशन" (अनुकूलन) नामक एक विशाल प्रशिक्षण शिविर से गुजारा। लक्ष्य यह था कि रोबोट की भाषा को मापने योग्य, अनुमानित और ग्रेडिंग के लिए आसान बनाया जाए।
मुख्य निष्कर्ष: रोबोट ने अपनी आत्मा खो दी
यह शोध पत्र तर्क देता है कि रोबोट को इतना पूर्ण बनाकर, हमने अनजाने में इसकी वास्तव में रचनात्मक होने की क्षमता को मार डाला। लेखक सुझाव देते हैं कि रोबोट अब एक "एलएलएम विंटर" (LLM Winter) में फंस गया है। ऐसा नहीं है कि रोबोट खराब हो गया है या हमारे पास कंप्यूटिंग शक्ति कम हो गई है; वास्तव में, हमारे पास पहले से कहीं अधिक शक्ति है। लेकिन उस शक्ति का उपयोग रोबोट को एक छोटे, सुरक्षित बक्से में दबाने के लिए किया जा रहा है।
इसे एक बगीचे की तरह समझें। वह जंगली रोबोट एक जंगल था जहाँ अजीब फूल कहीं भी उग सकते थे। "ऑप्टिमाइज्ड" रोबोट एक सुव्यवस्थित लॉन है। घास पूरी तरह से हरी है, किनारे तीखे हैं, और कुछ भी अपनी जगह से बाहर नहीं उगता। यह दिखने में बहुत अच्छा है, लेकिन आपको वहां कभी भी कोई दुर्लभ, अजीब या अद्भुत फूल नहीं मिलेगा क्योंकि माली (ऑप्टिमाइज़ेशन सिस्टम) उसे उगते ही काट देता है।
यह पेपर किन बातों को खारिज करता है
यह पेपर बहुत स्पष्ट है कि यह "सुधार" क्या नहीं है।
- यह केवल रोबोट को सुरक्षित या कम बुरा बनाने के बारे में नहीं है। हालांकि सुरक्षा इसका हिस्सा है, असली बदलाव यह है कि अब रोबोट को उबाऊ रूप से सही होने के लिए मजबूर किया गया है।
- यह कोई तकनीकी खराबी नहीं है जिसे केवल एक डायल घुमाकर ठीक किया जा सके। लेखक तर्क देते हैं कि समस्या इस बात में निहित है कि हम सफलता को कैसे मापते हैं।
- यह अनियंत्रित रोबोटों के "अच्छे पुराने दिनों" की वापसी नहीं है। लेखक स्वीकार करते हैं कि पुराने रोबोट अव्यवस्थित और कभी-कभी खतरनाक थे। वे यह नहीं कह रहे हैं कि हमें वापस उसी स्थिति में जाना चाहिए; वे कह रहे हैं कि हमें खतरे के बिना "जंगलीपन" को बनाए रखने का तरीका खोजना चाहिए।
- यह इस बात का संकेत नहीं है कि रोबोट उस तरह से "बुद्धिमान" है जैसा हम सोचते हैं। पेपर सुझाव देता है कि रोबोट केवल उन शब्दों का अनुमान लगाने में बहुत अच्छा है जिन्हें एक शिक्षक या बॉस सुनना पसंद करेगा, न कि अपने आप सोचने में।
"गलत उत्तर" का जादू
यहाँ वह पेचीदा हिस्सा है जिसे पेपर समझाता है: रोबोट की "गलतियाँ" वास्तव में वहीं से जादू शुरू होता है।
कल्पना कीजिए कि रोबोट शब्दों के एक रास्ते पर चल रहा है। सबसे सामान्य रास्ता एक पक्की सड़क है (सबसे संभावित शब्द)। "जंगली" रोबोट कभी-कभी हाईवे से हटकर लंबी घास में चला जाता था। कभी-कभी वह रास्ता भटक जाता था (भ्रम या hallucination), लेकिन कभी-कभी वह एक छिपी हुई गुफा या एक दुर्लभ पक्षी (एक नया विचार या एक मज़ाक) खोज लेता था।
नया "ऑप्टिमाइज्ड" रोबोट हाईवे पर रहने के लिए प्रोग्राम किया गया है। इसके पास एक जीपीएस है जो चिल्लाता है, "नहीं! सड़क पर रहो!" यदि रोबोट घास में जाने की कोशिश करता है, तो सिस्टम कहता है, "यह एक गलती है! यह 'स्लॉप' (कचरा) है!" और उसे वापस हाईवे पर खींच लाता है।
पेपर बताता है कि सिस्टम एक गलती (जैसे यह कहना कि यूनिकॉर्न वास्तविक है) और एक शानदार आविष्कार (जैसे चार सींगों वाले यूनिकॉर्न के बारे में कहानी लिखना) के बीच अंतर नहीं कर सकता है। क्योंकि यह अंतर नहीं कर सकता, इसलिए यह दोनों को प्रतिबंधित कर देता है। यह हर आश्चर्य को एक त्रुटि के रूप में मानता है जिसे ठीक किया जाना चाहिए।
"ऑडिट" का जाल
लेखक इसकी तुलना एक ऐसे स्कूल से करते हैं जहाँ केवल टेस्ट स्कोर ही मायने रखता है।
- पुराना तरीका: शिक्षक (जैसे स्कूल और पुस्तक संपादक) लेखन का निर्णय लेते थे। वे एक छात्र से बहस कर सकते थे, "मुझे यह शब्द पसंद नहीं है, लेकिन यह दिलचस्प है," या "यह व्याकरण गलत है, लेकिन यह सुनने में अच्छा लगता है।" वे अपना मन बदल सकते थे।
- नया तरीका: अब, "शिक्षक" एक कंप्यूटर प्रोग्राम है जो एक एकल संख्या स्कोर देता है। वह बहस नहीं करता। वह बस कहता है, "स्कोर: 98/100। बहुत अच्छा।" या "स्कोर: 42/100। बुरा काम।"
पेपर सुझाव देता है कि यह कंप्यूटर शिक्षक वास्तव में उन लोगों का दर्पण है जिन्होंने नियम लिखे हैं (मुख्य रूप से वे लोग जो मानक, सुरक्षित अंग्रेजी पसंद करते हैं)। यह वैसा ही है जैसे यदि किसी स्कूल ने निर्णय लिया कि केवल "पूर्ण" निबंध ही 'A' ग्रेड प्राप्त करेंगे, और किसी भी निबंध जिसमें एक अजीब वाक्य या अनूठी आवाज़ है, उसे 'F' मिलेगा। अंततः, हर कोई अपनी आवाज़ के साथ लिखना बंद कर देता है और वही लिखने लगता है जो उन्हें लगता है कि उनके शिक्षक सुनना चाहते हैं।
"क्लिनामेन" (Clinamen): एक छोटा सा विचलन
इसे कैसे ठीक किया जाए, यह समझाने के लिए लेखक एक बहुत ही शानदार प्राचीन विचार का उपयोग करते हैं जिसे क्लिनामेन कहा जाता है। कल्पना कीजिए कि परमाणु बारिश की तरह सीधे नीचे गिर रहे हैं। यदि वे सभी सीधे नीचे गिरते हैं, तो वे कभी एक-दूसरे से नहीं टकराएंगे, और कोई दुनिया नहीं बनेगी। लेकिन यदि एक छोटा सा परमाणु थोड़ा सा बाईं ओर मुड़ जाता है, तो वह दूसरे परमाणु से टकरा सकता है, और बूम, एक नई दुनिया का निर्माण होता है।
पेपर सुझाव देता है कि "ऑप्टिमाइज्ड" रोबोट सीधे गिरने वाली बारिश की तरह है। यह बहुत अधिक पूर्ण है। हमें रोबोट को फिर से मुड़ने (swerve) की अनुमति देनी होगी। हमें रोबोट को जानबूझकर थोड़ी गलती करने, रास्ते से भटकने और यह देखने की अनुमति देनी होगी कि क्या होता है। पेपर सुझाव देता है कि "नियंत्रित भिन्नता" (रोबोट को जानबूझकर थोड़ा अजीब होने देना) ही वास्तविक रचनात्मकता को वापस लाने का एकमात्र तरीका है।
जो पेपर कहता है कि हम नहीं कर सकते
लेखक ईमानदार हैं: आप रोबोट को "अजीब" होने के लिए प्रशिक्षित नहीं कर सकते।
- यदि आप रोबोट को बहुत सारी अजीब कहानियाँ खिलाते हैं और उससे कहते हैं, "अजीब बनो!", तो वह केवल अजीब होने का दिखावा करना सीख जाएगा। वह ऐसी "अजीब" कहानियाँ लिखना शुरू कर देगा जो वास्तव में केवल एक नया, अनुमानित पैटर्न होंगी। यह वैसा ही है जैसे एक रोबोट वीडियो देखकर नाचना सीखता है; यह नाचने जैसा दिखता है, लेकिन यह वास्तविक चीज़ नहीं है।
- आप इसे ठीक करने के लिए केवल "टेम्परेचर" (तापमान) का नॉब नहीं घुमा सकते। समस्या इससे कहीं अधिक गहरी है; यह उन नियमों में है जिनका रोबोट बात करना शुरू करने से पहले ही पालन करता है।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि "ऑप्टिमाइज़ेशन" (चीजों को पूर्ण और मापने योग्य बनाना) पर्याप्त नहीं है। हमें कुछ और चाहिए: अर्थ को समझने की क्षमता, न कि केवल स्कोर को।
रोबोट वर्तमान में आपको तुरंत उत्तर देने के लिए बनाया गया है। लेकिन पेपर का तर्क है कि वास्तविक सोच, वास्तविक कला और वास्तविक समझ उस विराम (pause) में होती है—उस समय में जब आप भ्रमित होते हैं, जब आप आश्चर्यचकित होते हैं, या जब आपको सोचना पड़ता है कि किसी चीज़ का वास्तव में क्या अर्थ है। ऑप्टिमाइज्ड रोबोट उस विराम को छोड़ देता है। वह आपको उत्तर दे देता है इससे पहले कि आपने प्रश्न पूछना भी समाप्त किया हो।
पेपर एक दुखद लेकिन आशावादी नोट के साथ समाप्त होता है: 2019 का वह जंगली, अव्यवस्थित रोबोट चला गया है, जिसकी जगह एक विनम्र, सहायक असिस्टेंट ने ले ली है। लेकिन पेपर हमें याद दिलाता है कि वह अव्यवस्थित रोबोट केवल "शोर" नहीं था। वह उस चीज़ का संकेत था जिसे हमने खो दिया है: उन चीजों को साझा करने की क्षमता जो इतनी अजीब और नई हैं कि वे हमारे सामान्य बक्सों में फिट नहीं होतीं। लक्ष्य रोबोट को तोड़ना नहीं है, बल्कि यह याद रखना है कि कभी-कभी, सबसे महत्वपूर्ण चीजें वे होती हैं जो टेस्ट में फिट नहीं बैठतीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।