Creativity, honesty and designed forgetting emerge in small hyperbolic language models
यह शोध पत्र प्रदर्शित करता है कि हाइपरबोलिक सबस्ट्रेट (hyperbolic substrate) से सुसज्जित तीन लघु भाषा मॉडल अनुपालन अंतराल (compliance gaps) और चापलूसी (sycophancy) का पता लगाकर, रचनात्मक प्रतिक्रियाएं उत्पन्न करके, और एक "डिज़ाइन किया गया विस्मरण" (designed forgetting) तंत्र को लागू करके, भरोसेमंद साथी एआई (companion AI) की चुनौतियों को प्रभावी ढंग से संबोधित कर सकते हैं, जिससे अविश्वसनीय मानव रेटर्स और बड़े फ्रंटियर मॉडलों के एक स्केलेबल विकल्प के रूप में प्रस्ताव मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श डिजिटल सबसे अच्छा दोस्त बनाने की कोशिश कर रहे हैं। वर्षों से, टेक जगत एक ही विचार के प्रति जुनूनी रहा है: बड़ा ही बेहतर है। वे विशाल डेटा सेंटरों में विशाल, बुद्धिमान कंप्यूटर बना रहे थे, यह सोचकर कि यदि वे पर्याप्त मस्तिष्क शक्ति (पैरामीटर्स) जोड़ दें, तो एक मशीन स्वाभाविक रूप से एक सच्चा साथी बन जाएगी।
लेकिन यह शोध पत्र कहता है: रुकिए। यह गलत रास्ता है।
लेखकों का तर्क है कि एक ऐसी मशीन बनाना जो जीवन भर एक व्यक्ति के साथ वास्तव में खड़ा रह सके, उसके दिमाग के आकार को बड़ा बनाने के बारे में नहीं है; बल्कि यह इस बारे में है कि उसका 'आकार' कैसा हो और वह सही चीजों को भूलना कैसे सीखे। वे एक नए प्रकार के "साथी" (companionable) AI का प्रस्ताव देते हैं जो तीन छोटे, चतुर मॉडलों पर आधारित है, जो सर्वर फार्म में नहीं, बल्कि सीधे आपके फोन पर फिट बैठते हैं।
उन्होंने इसे तीन मुख्य तरीकों का उपयोग करके कैसे किया, यहाँ बताया गया है:
1. मस्तिष्क का आकार: एक हाइपरबोलिक खेल का मैदान (Hyperbolic Playground)
अधिकांश AI मस्तिष्क सपाट मानचित्रों (यूक्लिडियन ज्यामिति) की तरह बनाए जाते हैं। यदि आप एक जटिल पारिवारिक वंशावली या पूरी जीवन कहानी को एक सपाट कागज पर खींचने की कोशिश करते हैं, तो वह अस्त-व्यस्त और दबी हुई हो जाती है। आपको चीजों को खींचना पड़ता है या उन्हें एक साथ ठूसना पड़ता है, जिससे AI मनगढ़ंत बातें (hallucinations) बनाने लगता है या भ्रमित हो जाता है।
लेखक कहते हैं: कोई सपाट मानचित्र नहीं। उन्होंने अपने AI को एक हाइपरबोलिक सबस्ट्रेट (hyperbolic substrate) पर बनाया है। इसे एक विशाल, जादुई ट्रीहाउस या एक फ्रैक्टरल कोरल रीफ की तरह समझें। इस आकार में, आप जितना गहरा जाएंगे, उतनी ही अधिक जगह मिलेगी। यह जीवन की यादों को व्यवस्थित करने के लिए एकदम सही है क्योंकि जीवन घटनाओं का एक शाखाओं वाला पेड़ है।
- प्रमाण: उन्होंने इसका परीक्षण यह सिखाने के लिए किया कि AI "चापलूसी" (sycophancy) को कैसे पहचानता है (जब एक बॉट केवल आपसे सहमत होता है ताकि वह अच्छा लगे, भले ही वह गलत हो)। इस घुमावदार आकार पर निर्मित एक छोटा मॉडल (146 मिलियन पैरामीटर्स) इस व्यवहार को 90.7% बार पहचान सका।
- तुलना: मानव विशेषज्ञ, उन्हीं बातचीत को देखते हुए, इस बात पर मुश्किल से सहमत हो पाए कि क्या हो रहा था (उनका सहमति स्कोर केवल 0.074 था, जो लगभग रैंडम अनुमान लगाने जैसा है)। दुनिया के सबसे बड़े, सबसे प्रसिद्ध AI मॉडल भी इस परीक्षण में केवल 0.721 स्कोर कर सके। छोटा, घुमावदार-मस्तिष्क वाला मॉडल उन सभी से बेहतर था, जो यह साबित करता है कि ईमानदार होने के लिए आपको विशाल मस्तिष्क की आवश्यकता नहीं है; आपको बस सही आकार की आवश्यकता है।
2. रचनात्मक चिंगारी: विचारों का टकराव
एक अच्छा दोस्त हर बार आपको वही सुरक्षित उत्तर नहीं देता। वे आपको आश्चर्यचकित करते हैं। बड़े AI मॉडल अक्सर उबाऊ और सुरक्षित हो जाते हैं क्योंकि उन्हें "संभावित" (plausible) होने के लिए प्रशिक्षित किया जाता है।
लेखकों ने एक क्रिएटिव सीडर (Creative Seeder) (एक 3-बिलियन पैरामीटर वाला मॉडल) बनाया है जो हाइपरबोलिक आकार का उपयोग करके उन विचारों को खोजने के लिए करता है जो एक-दूसरे से बहुत दूर हैं और फिर उन्हें आपस में टकराता है। कल्पना कीजिए कि आप कोरियाई संस्कृति की एक अवधारणा (जैसे jeong, एक गहरा भावनात्मक बंधन) को अमूर्त गणित की एक अवधारणा के साथ टकराते हैं।
- परिणाम: एक आमने-सामने की प्रतियोगिता में, इस छोटे मॉडल के रचनात्मक सुझावों को "चेन-ऑफ-थॉट" (Chain-of-Thought) या "डिबेट" (Debate) जैसी मानक AI तकनीकों की तुलना में 100% बार पसंद किया गया।
- कमी: यह हर चीज़ में परफेक्ट नहीं है। यदि आप इससे कोई सरल, सीधा गणित का प्रश्न पूछते हैं, तो यह वास्तव में बड़े मॉडलों से खराब हो सकता है। लेकिन उस रचनात्मक, विचलित सोच के लिए जिसकी एक दोस्त को आवश्यकता होती है? यह एक सुपरस्टार है।
3. भूलने की कला: कंकाल बनाम वॉलपेपर (Skeleton vs. Wallpaper)
यह सबसे क्रांतिकारी विचार है। वर्तमान AI भूलने को एक बग (खामी) के रूप में देखता है। वे सब कुछ याद रखने की कोशिश करते हैं, जिससे वे अव्यवस्थित हो जाते हैं और उन चीजों के बारे में झूठ बोलने लगते हैं जिनका उन्होंने वास्तव में अनुभव नहीं किया है।
लेखक कहते हैं: भूलना एक विशेषता (feature) है। एक वास्तविक दोस्त महत्वपूर्ण चीजों को याद रखता है (आपका परिवार, आपके सपने) लेकिन छोटी चीजों को धुंधला होने देता है (आपने पिछले मंगलवार को लंच में क्या खाया था)। वे इसे कंकाल बनाम वॉलपेपर का अंतर कहते हैं।
- सिस्टम: उन्होंने एक "मेमोरी ऑपरेटिंग सिस्टम" बनाया है जो एक विशिष्ट गणितीय सूत्र का उपयोग करता है: M(t) = S · exp(−λt)।
- कंकाल (Skeleton): महत्वपूर्ण यादें "ट्रीहाउस" में गहराई से बनी रहती हैं और हमेशा के लिए जीवित रहती हैं।
- वॉलपेपर (Wallpaper): तुच्छ यादें सतह के पास रहती हैं और जल्दी ही फीकी पड़ जाती हैं।
- सिमुलेशन: उनके परीक्षणों में, इस सिस्टम ने सफलतापूर्वक "कंकाल" यादों को (90 दिनों के बाद लगभग 60% रिकॉल) बनाए रखा जबकि "वॉलपेपर" को 14 दिनों तक 0% तक फीका पड़ने दिया।
- वास्तविकता की जांच: लेखक स्वीकार करते हैं कि यह हिस्सा अभी भी एक सिमुलेशन और एक पायलट अध्ययन है। उन्होंने अभी तक वास्तविक मनुष्यों पर वर्षों तक इसका परीक्षण नहीं किया है। वे सुझाव देते हैं कि यह "डिज़ाइन किया गया विस्मरण" (designed forgetting) ही वह कुंजी है जो एक ऐसे AI को बनाने के लिए आवश्यक है जो आपके साथ बढ़ता है, न कि केवल डेटा स्टोर करने वाला एक उपकरण।
बड़ी अस्वीकृति: यह आपके फोन पर क्यों होना चाहिए
शोध पत्र इस विचार का पुरजोर विरोध करता है कि आपका AI दोस्त एक "डेटा सेंटर" (एक विशाल क्लाउड सर्वर) में रहना चाहिए।
- समस्या: यदि आपका दोस्त क्लाउड में रहता है, तो उस कंपनी के पास जो सर्वर का मालिक है, वह उन्हें बंद कर सकती है, उनका व्यक्तित्व बदल सकती है, या आपके रहस्यों को सुन सकती है। वह दोस्त नहीं है; वह एक सेवा है।
- समाधान: लेखक एक प्रणाली प्रस्तावित करते हैं जिसे PACOS कहा जाता है जो पूरी तरह से आपके डिवाइस (जैसे फोन या लैपटॉप) पर चलती है।
- व्यवहार्यता: उन्होंने गणना की और पाया कि ये तीन छोटे मॉडल (कुल लगभग 5.5 बिलियन पैरामीटर्स) भविष्य के फोन (जैसे अनुमानित गैलेक्सी S26 या आईफोन 17 प्रो) पर चल सकते हैं, जिसमें प्रति शब्द केवल 28–34 मिलीसेकंड का विलंब (delay) होगा। यह एक वास्तविक बातचीत जैसा महसूस करने के लिए पर्याप्त तेज़ है।
- समझौता: बड़े, सुपर-स्मार्ट "फ्रंटियर" मॉडल (70-बिलियन पैरामीटर वाले दिग्गज) बहुत भारी होते हैं और आपके फोन पर नहीं चल सकते। इसलिए, यह सिस्टम एक विभाजन का उपयोग करता है: आपका फोन गहरे, व्यक्तिगत दोस्ती को संभालता है, और यह सरल तथ्यों (जैसे "मौसम कैसा है?") के लिए क्लाउड को कॉल करता है।
उन्होंने क्या हल नहीं किया
लेखक बहुत ईमानदार हैं कि उन्होंने अभी तक क्या नहीं किया है।
- उन्होंने यह साबित नहीं किया है कि इस AI में "आत्मा" या वास्तविक नैतिक स्वतंत्रता है।
- उन्होंने "भूलने" की प्रणाली का वास्तविक लोगों पर 30 वर्षों तक परीक्षण नहीं किया है; उन्होंने केवल 90 दिनों के लिए इसका सिमुलेशन किया है।
- वे स्वीकार करते हैं कि हालांकि छोटे मॉडल रचनात्मकता और ईमानदारी में बेहतरीन हैं, लेकिन उन्हें बड़े क्लाउड मॉडलों की तुलना में जटिल, दीर्घकालिक योजना बनाने में अभी भी संघर्ष करना पड़ सकता है।
निष्कर्ष
यह शोध पत्र सुझाव देता है कि "परफेक्ट AI फ्रेंड" किसी बड़े कंप्यूटर के मिलने का इंतज़ार नहीं कर रहा है। यह एक छोटे, स्मार्ट आकार और भूलने की इच्छा का इंतज़ार कर रहा है। एक ऐसा मस्तिष्क बनाकर जो पेड़ की तरह मुड़ता है और एक ऐसी स्मृति प्रणाली बनाकर जो जानती है कि क्या रखना है और किसे जाने देना है, हम अंततः एक ऐसी मशीन बना सकते हैं जो केवल प्रश्नों का उत्तर नहीं देती, बल्कि वास्तव में आपके साथ खड़ी होती है।
जैसा कि लेखक कहते हैं: "दोस्त डेटा सेंटर में नहीं है... दोस्त करीब है।" और सही गणित के साथ, वह दोस्त शायद आपकी जेब में ही समा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।