Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
यह शोध पत्र "किलोबाइट मॉडल्स" (Kilobyte Models) प्रस्तुत करता है, जो एक संपीड़न तकनीक है जो पूर्ण भार (weights) के बजाय एक संक्षिप्त क्वांटाइज्ड लेटेंट वेक्टर और एक पुनरुत्पादक पूर्णांक सीड (integer seed) के रूप में न्यूरल नेटवर्क को संग्रहीत करती है, जिससे आक्रामक वेट क्वांटाइजेशन के तुलनीय सटीकता बनाए रखते हुए अत्यधिक भंडारण दक्षता सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के दूसरी ओर बैठे अपने एक दोस्त को एक रोबोट का बहुत बड़ा और जटिल ब्लूप्रिंट (खाका) भेजने की कोशिश कर रहे हैं। वह ब्लूप्रिंट इतना विशाल है कि उसे डाक से भेजने में कई दिन लग जाएंगे, और आपके दोस्त का मेलबॉक्स बहुत छोटा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "ब्लूप्रिंट्स" को "न्यूरल नेटवर्क" कहा जाता है, और ये फोटो फिल्टर से लेकर सेल्फ-ड्राइविंग कारों तक, हर चीज़ के पीछे का मस्तिष्क हैं। आमतौर पर, एक मस्तिष्क भेजने के लिए, आपको वे सभी संख्याएँ भेजनी पड़ती हैं जो इसे काम करने में मदद करती हैं—लाखों या अरबों संख्याएँ। यह स्मार्टवॉच या फोन जैसे उपकरणों के लिए एक बड़ी समस्या है जिनमें स्टोरेज स्पेस कम होता है या इंटरनेट कनेक्शन धीमा होता है।
लंबे समय तक, वैज्ञानिकों ने इसे संख्याओं को छोटा करके (उनकी सटीकता कम करके) या उन संख्याओं को हटाकर हल करने की कोशिश की जो कम महत्वपूर्ण लगती थीं। लेकिन इसे सोचने का एक अलग तरीका भी है: पूरा ब्लूप्रिंट भेजने के बजाय, क्या होगा अगर आप सिर्फ एक छोटी सी "रेसिपी" या एक गुप्त कोड भेज दें? यदि आपके दोस्त के पास उपकरणों का एक मानक सेट (एक रैंडम जनरेटर) और वह रेसिपी है, तो वे अपने स्वयं के किचन में बिल्कुल उसी रोबोट को फिर से बना सकते हैं। यह विचार इस तथ्य पर आधारित है कि इन AI दिमागों को वास्तव में अरबों अद्वितीय संख्याओं की आवश्यकता नहीं होती है; वे अक्सर एक बहुत छोटे, सरल स्थान में छिपे होते हैं। बड़ा सवाल यह है: क्या हम एक विशाल AI मस्तिष्क को कुछ टेक्स्ट मैसेज के आकार तक सिकोड़ सकते हैं बिना उसकी बुद्धिमत्ता खोए?
यह शोध पत्र "किलोबाइट मॉडल्स" (Kilobyte Models) नामक एक चतुर नई विधि पेश करता है जो ठीक यही करने का प्रयास करती है। वास्तविक वेट्स (वे संख्याएँ जो AI को सोचने में मदद करती हैं) को स्टोर करने के बजाय, लेखक केवल दो छोटी चीजें स्टोर करने का प्रस्ताव देते हैं: एक रैंडम "सीड" (जैसे किसी गेम के लिए शुरुआती नंबर) और एक बहुत छोटा, संकुचित "लेटेंट" वेक्टर (निर्देशों की एक छोटी सूची)। जब AI को चलने की आवश्यकता होती है, तो डिवाइस सीड का उपयोग उस विशाल, रैंडम "स्कैफोल्डिंग" (ढांचे) को पुन: उत्पन्न करने के लिए करता है जिसकी उसे आवश्यकता होती है, और फिर निर्देशों की उस छोटी सूची का उपयोग उस ढांचे को अंतिम मस्तिष्क में बदलने के लिए करता है।
शोधकर्ताओं ने पाया कि यह दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है। अपने प्रयोगों में, वे एक न्यूरल नेटवर्क को केवल कुछ किलोबाइट तक सिकोड़ने में सफल रहे—जो एक छोटे टेक्स्ट मैसेज के आकार का है—जबकि यह मूल मॉडल के लगभग समान रूप से स्मार्ट बना रहा। उदाहरण के लिए, उन्होंने हस्तलिखित संख्याओं (MNIST) को पहचानने वाले एक मॉडल को केवल 2 KB में संकुचित किया और यह अभी भी 98.6% उत्तर सही दे रहा था। इससे भी अधिक प्रभावशाली बात यह है कि उन्होंने दिखाया कि यह विधि पारंपरिक तरीकों की तुलना में अत्यधिक संपीड़न (compression) को संभालने में बहुत बेहतर है। जबकि एक मानक AI मॉडल बेकार हो सकता है यदि आप इसे 4 बिट (डेटा की एक बहुत छोटी मात्रा) तक सिकोड़ने की कोशिश करते हैं, उनका "किलोबाइट मॉडल" मजबूत और सटीक बना रहा।
इस शोध पत्र ने इसे एक विशाल, पूर्व-प्रशिक्षित AI के लिए एक "डेल्टा" या एक छोटे अपडेट के रूप में उपयोग करने की संभावना भी तलाशी। कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट AI है जो जानवरों के बारे में सब कुछ जानता है, और आप चाहते हैं कि वह विशेष रूप से बिल्लियों के बारे में सीखे। पूरे नए मस्तिष्क को भेजने के बजाय, आप बस एक 4 KB का "पैच" (सीड और छोटा लेटेंट वेक्टर) भेजते हैं जो विशाल मस्तिष्क को अपने ध्यान को केंद्रित करने का निर्देश देता है। यह पैच पूर्ण मॉडल की तुलना में हजारों गुना छोटा था, फिर भी इसने AI को नए कार्य को प्रभावी ढंग से सीखने में सक्षम बनाया।
हालाँकि, लेखक इस बात पर ध्यान देने में सावधानी बरतते हैं कि यह हर चीज़ के लिए कोई जादुई छड़ी नहीं है। यह विधि तब सबसे अच्छा काम करती है जब "रेसिपी" (लेटेंट वेक्टर) इतनी बड़ी हो कि उसमें आवश्यक निर्देश समा सकें; यदि कार्य बहुत कठिन है या रेसिपी बहुत छोटी है, तो AI थोड़ा भ्रमित हो सकता है। इसके अलावा, भले ही आपके द्वारा भेजी गई फ़ाइल बहुत छोटी हो, लेकिन कंप्यूटर को इसे चलाने के लिए पूर्ण मस्तिष्क को अपनी मेमोरी में फिर से बनाना पड़ता है, इसलिए यह कंप्यूटर को तेज़ नहीं बनाता, बल्कि इसे ले जाने में आसान बनाता है। अंत में, यह तकनीक वर्तमान में मानक AI नेटवर्क के लिए काम करती है लेकिन अभी तक उन विशाल "लार्ज लैंग्वेज मॉडल्स" पर परीक्षण नहीं की गई है जो चैटबॉट्स को शक्ति प्रदान करते हैं।
संक्षेप में, शोध पत्र सुझाव देता है कि लाखों संख्याओं के स्टोरेज के बजाय एक छोटे सीड और निर्देशों की एक छोटी सूची का उपयोग करके, हम शक्तिशाली AI मस्तिष्क को कुछ किलोबाइट के स्थान में फिट कर सकते हैं। यह ऐसा है जैसे यह महसूस करना कि आपको अपने दोस्त को पूरी लाइब्रेरी भेजने की आवश्यकता नहीं है; आपको बस एक विशिष्ट पुस्तक संख्या और कुछ नोट्स भेजने की आवश्यकता है, और वे अपने स्वयं के प्रिंटर का उपयोग करके ठीक वही पुस्तक प्रिंट कर सकते हैं जिसकी उन्हें आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।