You Do Not Fully Utilize Transformer's Representation Capacity

आधुनिक आर्टिफिशियल इंटेलिजेंस अक्सर एक विशिष्ट प्रकार के कंप्यूटर प्रोग्राम पर निर्भर करता है जिसे 'ट्रांसफॉर्मर' कहा जाता है। ये प्रोग्राम आज हमारे द्वारा उपयोग किए जाने वाले कई सबसे उन्नत भाषा उपकरणों के पीछे के इंजन हैं, जो विशाल मात्रा में टेक्स्ट को पढ़ने और मानवीय प्रतिक्रियाएं उत्पन्न करने में सक्षम हैं। यह समझने के लिए कि वे कैसे काम करते हैं, एक लंबी कहानी को प्रोसेस करने वाले एक पाठक की कल्पना करें। जैसे-जैसे पाठक पहले वाक्य से अंतिम वाक्य तक बढ़ता है, उसे पूरी कहानी को समझने के लिए हर विवरण, हर पात्र और हर तार्किक संबंध को याद रखना होता है। एक मानक ट्रांसफॉर्मर में, यह स्मृति एक एकल, संकीर्ण चैनल द्वारा नियंत्रित होती है जो प्रोग्राम के एक स्तर (लेयर) से दूसरे स्तर तक जानकारी ले जाती है। प्रत्येक स्तर टेक्स्ट की समझ को परिष्कृत करता है, और अपने परिष्कृत संस्करण को आगे की ओर भेजता है। हालाँकि, ठीक वैसे ही जैसे एक संकरा गलियारा भीड़भाड़ वाला हो सकता है और यदि बहुत से लोग एक साथ वहां से गुजरने की कोशिश करें तो विवरण खो सकते हैं, यह संकरा चैनल प्रोग्राम को अलग-अलग शब्दों या विचारों के बीच महत्वपूर्ण अंतर को धुंधला करने के लिए मजबूर कर सकता है, जैसे-जैसे टेक्स्ट लंबा होता जाता है या प्रोग्राम गहरा होता जाता है। इस घटना को 'रिप्रेजेंटेशन कोलैप्स' (प्रतिनिधित्व पतन) के रूप में जाना जाता है, जिसका अर्थ है कि टोकन (टेक्स्ट की बुनियादी इकाइयाँ) के बीच सूक्ष्म लेकिन महत्वपूर्ण अंतर खो सकते हैं, जिससे मॉडल के लिए जटिल समस्याओं के माध्यम से तर्क करना या लंबी अनुक्रमों को सटीक रूप से याद रखना कठिन हो जाता है।

T-Tech के शोधकर्ताओं ने इस बाधा को हल करने का एक नया तरीका प्रस्तावित किया है, जिसमें उन्होंने 'लेयर-इंटीग्रेटेड मेमोरी' (LIMe) नामक एक विधि पेश की है। हर जानकारी को एक एकल, तत्काल पूर्ववर्ती के माध्यम से निकालने के बजाय, यह नया डिज़ाइन प्रत्येक भाग को पिछले किसी भी स्तर से सीधे जानकारी प्राप्त करने की अनुमति देता है जिसे उसने पहले ही प्रोसेस कर लिया है। इसे पाठक को अपनी पढ़ने की यात्रा के हर चरण में रखे गए 'स्टिकी नोट्स' देने के रूप में सोचें। जब वे किसी कठिन अवधारणा का सामना करते हैं, तो वे केवल उस नोट तक सीमित नहीं होते जो उनके पास वर्तमान में है; वे शुरुआत, मध्य या कहीं भी से नोट्स पर एक नज़र डाल सकते हैं, और वर्तमान वाक्य को समझने में मदद के लिए सबसे प्रासंगिक विवरण चुन सकते हैं। यह दृष्टिकोण अधिक चौड़ा गलियारा बनाने या अधिक मेमोरी स्टोरेज जोड़ने की आवश्यकता नहीं करता है; इसके बजाय, यह केवल इस बात को पुनर्गठित करता है कि मौजूदा मेमोरी तक कैसे पहुँचा जाए, जिससे प्रोग्राम अपनी स्वयं की सोच प्रक्रिया के शुरुआती चरणों से विशिष्ट विशेषताओं को पुनः प्राप्त कर सकता है।

टीम ने इस विचार का परीक्षण करने के लिए ऐसे मॉडल बनाए जो जानकारी को गतिशील रूप से रूट करना सीख सकें। उन्होंने एक ऐसा सिस्टम बनाया जहाँ प्रत्येक 'अटेंशन हेड'—प्रोग्राम का वह हिस्सा जो यह तय करता है कि किन शब्दों पर ध्यान केंद्रित करना है—भार (वेट्स) का एक सेट सीखता है, जो अनिवार्य रूप से यह तय करता है कि उसे अपने ठीक पहले वाले स्तर की जानकारी पर कितना भरोसा करना है बनाम बिल्कुल पहले वाले स्तर या बीच के किसी भी स्तर की जानकारी पर। यह सीखने की प्रक्रिया प्रशिक्षण के दौरान स्वचालित रूप से होती है। शोधकर्ताओं ने पाया कि इस लचीलेपन ने जटिल कार्यों को संभालने की मॉडल की क्षमता में काफी सुधार किया। गणितीय तर्क और तर्क पहेलियों से संबंधित परीक्षणों में, नए मॉडल मानक संस्करणों की तुलना में बहुत बड़े अंतर से बेहतर रहे। उदाहरण के लिए, कई चरणों वाली अंकगणितीय समस्याओं को हल करने के लिए पूछे जाने पर, मानक मॉडल अक्सर चरणों की संख्या बढ़ने के साथ विफल हो जाते थे, क्योंकि वे संभवतः मध्यवर्ती संख्याओं का ट्रैक खो देते थे। हालाँकि, नए मॉडल ने अपनी सटीकता बनाए रखी, भले ही समस्याएँ अधिक कठिन होती गईं, जो यह दर्शाता है कि वे आवश्यक संख्यात्मक अंतरों को स्पष्ट रखने में बेहतर थे।

केवल परीक्षणों में बेहतर स्कोर प्राप्त करने के अलावा, शोधकर्ताओं ने मॉडल के भीतर देखा कि क्या हो रहा था। उन्होंने पाया कि मानक मॉडल गहरे स्तरों में बढ़ते समय विभिन्न शब्दों को लगभग समान प्रस्तुतियों (रिप्रेजेंटेशन) में संकुचित कर देते हैं, जिससे प्रभावी रूप से उनके बीच की रेखाएं धुंधली हो जाती हैं। इसके विपरीत, नए मॉडल बहुत अधिक समृद्ध विविधता वाली प्रस्तुतियाँ बनाए रखते हैं। आंतरिक 'वैल्यू वेक्टर्स', जो शब्दों के मूल अर्थ को ले जाते हैं, नेटवर्क के सबसे गहरे हिस्सों में भी विशिष्ट और विविध बने रहते हैं। विवरणों के इस संरक्षण ने मॉडलों को विभिन्न तर्क पथों को अलग रखने में मदद की, जो उन कार्यों के लिए महत्वपूर्ण है जिनमें कई संभावनाओं का पता लगाना या तर्क की श्रृंखला का पालन करना शामिल है। अध्ययन ने दिखाया कि अपने स्वयं के इतिहास तक अधिक स्वतंत्र रूप से पहुँच प्रदान करके, मॉडल सूचना को अत्यधिक सरल बनाने के जाल से बच सकता है।

परिणाम मॉडलों के विभिन्न आकार और गहराई के मामले में सुसंगत रहे। उन प्रयोगों में जहाँ शोधकर्ताओं ने 128 परतों तक के बहुत गहरे नेटवर्क बनाए, नए तरीके ने 64 परतों वाले मॉडल को 128 परतों वाले मानक मॉडल के समान या उससे बेहतर प्रदर्शन करने की अनुमति दी। यह सुझाव देता है कि केवल अधिक परतें ऊपर से जोड़ने के बजाय सूचना प्रवाह की गुणवत्ता अधिक मायने रखती है। शोधकर्ताओं ने 'रूटिंग वेट्स' का भी विश्लेषण किया जिन्हें मॉडलों ने सीखा था, और पाया कि प्रोग्राम दीर्घकालिक संदर्भ के लिए शुरुआती परतों से विशेषताओं का व्यवस्थित रूप से पुन: उपयोग करते थे और साथ ही अल्पकालिक विवरणों के लिए तत्काल पड़ोसियों पर भी भरोसा करते थे। यह पैटर्न इंगित करता है कि मॉडलों ने मेमोरी के बोझ को एक एकल स्ट्रीम में जमा करने के बजाय पूरे नेटवर्क में वितरित करना सीखा।

हालाँकि इस नए तरीके को इन कनेक्शनों को कंप्यूट करने के लिए थोड़े अतिरिक्त समय की आवश्यकता होती है, लेकिन प्रदर्शन और दक्षता में लाभ की तुलना में यह व्यापार बहुत कम है। यह दृष्टिकोण मौजूदा हार्डवेयर के साथ काम करता है और इसके लिए मेमोरी में भारी वृद्धि की आवश्यकता नहीं है, जो इसे वर्तमान प्रणालियों के लिए एक व्यावहारिक अपग्रेड बनाता है। अध्ययन निष्कर्ष निकालता है कि मानक ट्रांसफॉर्मर की सीमा क्षमता की कमी नहीं है, बल्कि इस क्षमता के उपयोग में एक बाधा है। परतों के बीच सूचना के प्रवाह को खोलकर, नया तरीका तर्क और प्रतिनिधित्व के उच्च स्तर को अनलॉक करता है, जो यह सिद्ध करता है कि कभी-कभी आगे बढ़ने का सबसे अच्छा तरीका यह याद रखना है कि आप पहले कहाँ रहे हैं।