OrBIT: Structure-Guided Embedding Compression
यह शोध पत्र OrBIT प्रस्तुत करता है, जो एक संरचना-निर्देशित एम्बेडिंग संपीड़न ढांचा (structure-guided embedding compression framework) है, जो ओवरलैपिंग टाइट चार्ट्स के भीतर साझा कोडवर्ड्स को सीमित करने के लिए ऑर्बिट डायनेमिक्स से पुन: प्रयोज्य स्थानीय ज्यामिति (reusable local geometry) की खोज करता है, और स्थानीय त्रुटियों को रद्द करने के लिए रेसिडुअल-निर्देशित आवंटन (residual-directed allocation) और रेडंडेंट सिंथेसिस का लाभ उठाकर उच्च संपीड़न अनुपात (37.9× तक) और प्रतिस्पर्धी दर-विकृति (rate-distortion) प्रदर्शन प्राप्त करता है।
आधुनिक भाषा मॉडल, जो लिखने, अनुवाद करने और बातचीत करने वाले शक्तिशाली सिस्टम हैं, शब्दों को समझने के लिए विशाल आंतरिक पुस्तकालयों (libraries) पर निर्भर करते हैं। ये पुस्तकालय, जिन्हें एम्बेडिंग टेबल्स (embedding tables) के रूप में जाना जाता है, मॉडल की स्मृति के रूप में कार्य करते हैं, जो इसके द्वारा जाने जाने वाले प्रत्येक शब्द के लिए एक अद्वितीय संख्यात्मक पता (numerical address) संग्रहीत करते हैं। जैसे-जैसे ये मॉडल बड़े और अधिक सक्षम होते जाते हैं, ये मेमोरी बैंक विशाल हो जाते हैं, जिससे कंप्यूटर मेमोरी की भारी मात्रा खर्च होती है और उनका उपयोग करने वाले सिस्टम धीमे हो जाते हैं। इन मॉडलों को रोजमर्रा के उपकरणों के लिए व्यावहारिक बनाने के लिए, शोधकर्ताओं को इन पुस्तकालयों को उनके अर्थ खोए बिना छोटा करने के तरीके खोजने होंगे। मानक दृष्टिकोण इन जटिल शब्द पतों को कठोर, पूर्व-निर्मित बक्सों, जैसे कि सरल ग्रिड या निश्चित ज्यामितीय आकृतियों में जबरन फिट करना और फिर उन सीमाओं के भीतर डेटा को संपीड़ित (compress) करना रहा है। हालाँकि, यह विधि यह मानती है कि डेटा बॉक्स में फिट बैठता है, बजाय इसके कि यह पूछा जाए कि क्या बॉक्स को स्वयं डेटा के अनुरूप आकार दिया जा सकता है।
शोधकर्ताओं की एक टीम ने OrBIT नामक एक नई विधि पेश की है जो इस प्रक्रिया को पूरी तरह से उलट देती है। डेटा पर एक निश्चित आकार थोपने के बजाय, उनका सिस्टम शब्द पतों के भीतर छिपे प्राकृतिक आकार की खोज करता है। वे शब्द पतों के संग्रह को एक गतिशील प्रणाली (dynamic system) के रूप में देखते हैं, ठीक वैसे ही जैसे ग्रह एक तारे की परिक्रमा करते हैं, और इस गति का उपयोग सूचना को संग्रहीत करने के सबसे कुशल तरीके को मैप करने के लिए करते हैं। डेटा की अपनी गति से उभरने वाले विशिष्ट, पुन: प्रयोज्य पैटर्न को सीखकर, सिस्टम एक कस्टम संपीड़न ज्यामिति (compression geometry) बनाता है। यह इसे पुराने तरीकों की कठोर, पूर्व-निर्धारित संरचनाओं को त्यागने और इसके बजाय एक लचीली, खोजी गई संरचना का उपयोग करने की अनुमति देता है जो डेटा में पूरी तरह से फिट बैठती है। इसका परिणाम एक ऐसा सिस्टम है जो कुछ मॉडलों के लिए इन विशाल मेमोरी पुस्तकालयों को लगभग तैंतीस-तीस (thirty-eight) के कारक से सिकोड़ सकता है, जबकि पुनर्निर्मित शब्द लगभग मूल, असंपीडित संस्करणों जितने ही सटीक रहते हैं।
इस खोज का मूल इस बात में निहित है कि शोधकर्ता डेटा के "चार्ट्स" या स्थानीय दृश्यों (local views) को कैसे संभालते हैं। कल्पना कीजिए कि आप एक जटिल वस्तु को कई ओवरलैपिंग खिड़कियों के माध्यम से देख रहे हैं; प्रत्येक खिड़की पूरे हिस्से का थोड़ा अलग, लेकिन संबंधित भाग दिखाती है। इस नए सिस्टम में, शोधकर्ता शब्द पतों के ऐसे कई ओवरलैपिंग दृश्य बनाते हैं। फिर वे स्थानीय ज्यामिति, या प्रत्येक दृश्य के लिए गति के विशिष्ट नियमों को सीखने के लिए शब्दों के एक छोटे, सावधानीपूर्वक चुने गए समूह को एंकर (anchors) के रूप में उपयोग करते हैं। इन नियमों का उपयोग पुन: प्रयोज्य पैटर्न का एक शब्दकोश बनाने के लिए किया जाता है। जब सिस्टम पूरे पुस्तकालय को संपीड़ित करता है, तो वह प्रत्येक शब्द पते को व्यक्तिगत रूप से संग्रहीत नहीं करता है। इसके बजाय, यह इन पुन: प्रयोज्य पैटर्न के एक छोटे सेट और प्रत्येक शब्द के लिए कुछ सरल निर्देशों को संग्रहीत करता है, जो सिस्टम को बताता है कि किस पैटर्न का उपयोग करना है और उन्हें कैसे संयोजित करना है। यह पिछले तरीकों से एक महत्वपूर्ण बदलाव है जो या तो शब्दों को अलग-अलग, गैर-ओवरलैपिंग श्रेणियों में मजबूर करते थे या पैटर्न की अनियंत्रित, असंरचित सूचियों का उपयोग करते थे।
शोधकर्ताओं ने अरबों पैरामीटर्स वाले व्यापक रूप से उपयोग किए जाने वाले सिस्टम सहित चार अलग-अलग बड़े भाषा मॉडलों पर इस दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि डेटा को अपनी स्वयं की ज्यामिति निर्धारित करने देने से, सिस्टम उन संपीड़न दरों को प्राप्त कर सकता था जो मौजूदा तकनीकों से कहीं बेहतर थीं। GPT-2 नामक मॉडल के लिए, नई विधि ने मानक 16-बिट स्टोरेज की तुलना में स्टोरेज आकार को 37.9 गुना कम कर दिया। बड़े 7-बिलियन-पैरामीटर वाले मॉडलों के लिए, यह कमी 23 गुना से अधिक थी। महत्वपूर्ण रूप से, आकार में यह भारी कमी सटीकता की कीमत पर नहीं आई। सिस्टम ने सटीकता का एक ऐसा स्तर बनाए रखा जो मौजूदा सर्वश्रेष्ठ संपीड़न विधियों के साथ प्रतिस्पर्धा करता था, और कई मामलों में उनसे आगे निकल गया। इस सफलता की कुंजी त्रुटियों को दूर करने के लिए ओवरलैपिंग दृश्यों का उपयोग करने की सिस्टम की क्षमता थी। जब शब्द पते के एक दृश्य में थोड़ी अशुद्धि होती थी, तो ओवरलैपिंग दृश्य इसे सुधारने का दूसरा मौका प्रदान करते थे, ठीक वैसे ही जैसे कई गवाह किसी घटना की स्पष्ट तस्वीर को फिर से बनाने में मदद कर सकते हैं, भले ही एक गवाह थोड़ा गलत हो।
इस प्रक्रिया में एक चतुर दो-चरणीय तंत्र शामिल है। पहले, सिस्टम डेटा के एक बहुत छोटे अंश से स्थानीय ज्यामिति सीखता है, जो कुल शब्दों के एक प्रतिशत से भी कम है। यह इस छोटे नमूने का उपयोग उस "कक्षा" (orbit) या पथ की खोज करने के लिए करता है जिसका डेटा स्वाभाविक रूप से अनुसरण करता है। फिर यह पूरे पुस्तकालय के लिए उपयोग किए जाने वाले साझा पैटर्न के एक छोटे सेट को सीमित करने के लिए इस खोजे गए पथ का उपयोग करता है। एक बार जब ये पैटर्न सीख लिए जाते हैं और एक अंतिम, संक्षिप्त रूप में संकलित हो जाते हैं, तो उन्हें खोजने के लिए उपयोग की जाने वाली जटिल मशीनरी को हटा दिया जाता है। अंतिम डिकोडर, जो वास्तव में कंप्यूटर पर चलता है, अविश्वसनीय रूप से हल्का होता है। इसे उन्हें सीखने के लिए उपयोग किए गए जटिल नियमों या मूल डेटा को याद रखने की आवश्यकता नहीं होती है; इसे केवल पैटर्न के अंतिम सेट और प्रत्येक शब्द के लिए सरल निर्देशों की आवश्यकता होती है। इसका अर्थ है कि सिस्टम को अपने स्वयं के प्रशिक्षण प्रक्रिया के भारी बोझ को ढोए बिना कुशलतापूर्वक तैनात किया जा सकता है।
शोधकर्ताओं ने यह भी प्रदर्शित किया कि उनके द्वारा खोजी गई विशिष्ट ज्यामिति केवल एक यादृच्छिक (random) गणितीय चाल नहीं थी। उन्होंने अपने डेटा-संचालित दृष्टिकोण की तुलना एक मानक, असंरचित विधि से की, जिसने समान आकार के यादृच्छिक आकारों का उपयोग किया था। डेटा-संचालित विधि ने लगातार शब्द पतों की वास्तविक संरचना के अधिक हिस्से को कैप्चर किया, जिससे यादृच्छिक दृष्टिकोण की तुलना में त्रुटि लगभग दस प्रतिशत कम हो गई। इसने सिद्ध किया कि सिस्टम वास्तव में डेटा के बारे में कुछ उपयोगी सीख रहा था, न कि केवल इसे एक बॉक्स में फिट करने का एक सुविधाजनक तरीका ढूंढ रहा था। इसके अलावा, सिस्टम में एक शोधन चरण (refinement step) शामिल था जहाँ यह अंतिम परिणाम को देख सकता था और किसी भी शेष त्रुटि को ठीक करने के लिए पैटर्न में छोटे समायोजन कर सकता था, वह भी बिना किसी अतिरिक्त स्टोरेज स्पेस को जोड़े। प्रारंभिक संपीड़न पूरा होने के बाद अंतिम आउटपुट को बेहतर बनाने की इस क्षमता ने दिखाया कि सिस्टम मजबूत और अनुकूलनीय था।
अंत में, यह कार्य डेटा संपीड़न के बारे में सोचने का एक नया तरीका प्रस्तुत करता है। यह डेटा को पूर्व-मौजूदा सांचों में जबरदस्ती डालने के विचार से हटकर, उस सांचे को खोजने के विचार की ओर बढ़ता है जो डेटा स्वाभाविक रूप से बनाता है। शब्द पतों के भंडारण को केवल संख्याओं को छोटे स्थान में दबाने के बजाय सही ज्यामिति खोजने की समस्या के रूप में मानकर, शोधकर्ताओं ने दिखाया है कि सूचना की गुणवत्ता को बनाए रखते हुए आकार में भारी कमी लाना संभव है। यह विधि एक छोटे नमूने से सीखकर, पैटर्न का एक साझा पुस्तकालय बनाकर, और फिर अंतिम पुनर्निर्माण सटीक हो यह सुनिश्चित करने के लिए ओवरलैपिंग दृश्यों का उपयोग करके काम करती है। यह दृष्टिकोण बड़े भाषा मॉडलों को अधिक कुशल और सुलभ बनाने के लिए एक आशाजनक मार्ग प्रदान करता है, यह सिद्ध करता है कि कभी-कभी किसी चीज़ को सिकोड़ने का सबसे अच्छा तरीका पहले उसके आकार को समझना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।