LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

आर्टिफिशियल इंटेलिजेंस की दुनिया में, शक्तिशाली कंप्यूटर प्रोग्रामों का एक वर्ग मौजूद है जिन्हें भाषा मॉडल (language models) के रूप में जाना जाता है। इन प्रणालियों को एक वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, जिससे वे कहानियाँ लिख सकते हैं, प्रश्नों के उत्तर दे सकते हैं, और यहाँ तक कि तर्क की लंबी श्रृंखलाओं को उत्पन्न करके जटिल गणितीय समस्याओं को भी हल कर सकते हैं। इन भविष्यवाणियों को करने के लिए, मॉडल एक सांख्यिकीय प्रक्रिया पर भरोसा करते हैं जहाँ वे संभावनाओं की एक विशाल सूची में से सबसे संभावित अगले शब्द का चयन करते हैं। हालाँकि, एक निरंतर समस्या ने इन प्रणालियों को परेशान किया है, विशेष रूप से जब उन्हें कठिन कार्यों के माध्यम से सोचने के लिए कहा जाता है: वे कभी-कभी एक लूप (चक्र) में फंस जाते हैं। एक नए विचार के साथ आगे बढ़ने के बजाय, मॉडल बार- बार एक ही शब्दों या वाक्यांशों को दोहराने लगता है, जिससे उसका आउटपुट निरर्थक हो जाता है। इस समस्या को 'डिजेनरेट रिपिटिशन' (degenerate repetition) के रूप में जाना जाता है, और यह इन मॉडलों को विश्वसनीय, नियत (deterministic) कार्यों के लिए उपयोग करने में एक महत्वपूर्ण बाधा रही है जहाँ आउटपुट सुसंगत और त्रुटि मुक्त होना चाहिए।

वर्षों से, इंजीनियरों ने मॉडल के विकल्पों पर सरल दंड (penalties) लागू करके इसे ठीक करने का प्रयास किया है। ये दंड मॉडल के निर्णयों पर एक हल्के धक्के की तरह कार्य करते हैं, जो मॉडल को उन शब्दों को चुनने से हतोत्साहित करते हैं जिनका उसने हाल ही में उपयोग किया है। एक विधि यह गिनती करती है कि एक शब्द कितनी बार आया है और उसकी संभावना को कम कर देती है; दूसरी विधि सीधे तौर पर किसी भी ऐसे शब्द को दंडित करती है जो पहले दिखाई दे चुका है। जबकि ये विधियाँ अनौपचारिक बातचीत के लिए अच्छी तरह काम करती हैं, वे अक्सर तब विफल हो जाती हैं जब मॉडल गहन तर्क (deep reasoning) में लगा होता है। रीजनिंग मॉडल, जो तर्क पहेलियों को सुलझाने के लिए पाठ के बहुत लंबे अनुक्रम उत्पन्न करते हैं, मानक सुधारों के बावजूद बार-बार दोहराव वाले चक्रों में गिर जाते हैं। परिणाम स्वरूप एक ऐसी प्रणाली सामने आती है जो शुरुआत तो मजबूती से करती है लेकिन अंततः दोहराए गए शब्दों के एक हकलाते हुए लूप में ढह जाती है, जिससे आउटपुट गंभीर अनुप्रयोगों के लिए बेकार हो जाता है।

सेल्सफोर्स एआई रिसर्च (Salesforce AI Research) के शोधकर्ताओं की एक टीम ने एक नया समाधान प्रस्तावित किया है जो एक पूरी तरह से अलग क्षेत्र से प्रेरणा लेता है: डेटा संपीड़न (data compression)। उनका कार्य एक विधि पेश करता है जिसे 'लेम्पेल-ज़िव पेनल्टी' (Lempel-Ziv penalty) कहा जाता है, जिसे मॉडल की स्पष्ट रूप से सोचने की क्षमता से समझौता किए बिना इन दोहराव वाले लूपों को रोकने के लिए डिज़ाइन किया गया है। इसका मूल विचार वाक्य में अगले शब्द की भविष्यवाणी करने और डेटा की एक फ़ाइल को कंप्रेस (संपीड़ित) करने के बीच एक मौलिक संबंध पर आधारित है। कंप्यूटिंग की दुनिया में, संपीड़न एल्गोरिदम डेटा में पैटर्न और दोहराव को खोजकर फ़ाइलों को छोटा करने का काम करते हैं। यदि शब्दों का एक अनुक्रम बार-बार दोहराया जाता है, तो एक संपीड़न एल्गोरिदम उसे बहुत कुशलता से वर्णित कर सकता है, जिससे सूचना के कम बिट्स का उपयोग होता है। शोधकर्ताओं ने महसूस किया कि यदि वे यह माप सकें कि उनके मॉडल का वर्तमान टेक्स्ट स्ट्रीम कितनी आसानी से कंप्रेस किया जा सकता है, तो वे उस जानकारी का उपयोग मॉडल को दोहराव वाले पैटर्न से दूर ले जाने के लिए कर सकते हैं।

शोधकर्ताओं ने एक ऐसी प्रणाली विकसित की है जो मॉडल द्वारा टेक्स्ट उत्पन्न करते समय वास्तविक समय में 'लेम्पेल-ज़िव एल्गोरिदम' नामक एक विशिष्ट प्रकार के संपीड़न एल्गोरिदम का अनुकरण करती है। यह एल्गोरिदम हाल के टेक्स्ट इतिहास के एक 'स्लाइडिंग विंडो' को देखता है, और शब्द अनुक्रमों के सबसे लंबे संभावित मिलान की खोज करता है। जब मॉडल एक नया शब्द चुनता है, तो सिस्टम गणना करता है कि वह शब्द संपीड़ित फ़ाइल के कुल आकार को कितना बदल देगा। यदि नया शब्द एक लंबा, अनावश्यक पैटर्न बनाता है जिसे संपीड़न एल्गोरिदम आसानी से एनकोड कर सकता है, तो सिस्टम उस शब्द पर दंड लागू करता है, जिससे उसके चुने जाने की संभावना कम हो जाती है। इसके विपरीत, यदि शब्द नई, अप्रत्याशित जानकारी पेश करता है जिसे आसानी से कंप्रेस नहीं किया जा सकता, तो दंड कम या शून्य होता है। यह दृष्टिकोण पिछले तरीकों से भिन्न है क्योंकि यह केवल एक एकल शब्द के कितनी बार आने की गिनती नहीं करता है; बल्कि, यह दोहराए गए अनुक्रम की लंबाई और वह अनुक्रम कितनी दूर पीछे हुआ था, उस पर नज़र रखता है।

इस नए दृष्टिकोण का परीक्षण करने के लिए, शोधकर्ताओं ने इसे दो उन्नत रीजनिंग मॉडलों पर लागू किया, जिनमें से एक 32 बिलियन पैरामीटर्स वाला और दूसरा 14 बिलियन वाला था। उन्होंने अपने नए दंड की तुलना आज उपयोग किए जाने वाले उद्योग-मानक तरीकों से की। परिणाम चौंकाने वाले थे। जब मानक फ्रीक्वेंसी या रिपिटिशन दंड का उपयोग किया गया, तो मॉडल लगभग 4% बार इन दोहराव वाले लूपों में गिर गए, भले ही शोधकर्ताओं ने इसे रोकने के लिए सेटिंग्स को ट्यून करने का प्रयास किया था। इसके विपरीत, नए लेम्पेल-ज़िव दंड ने इन दोहराव वाली विफलताओं की दर को प्रभावी रूप से शून्य तक कम कर दिया। मॉडल बिना अटके लंबे, जटिल तर्क श्रृंखलाएं उत्पन्न करने में सक्षम थे, और कठिन बेंचमार्क परीक्षणों पर उनकी सटीकता अपरिवर्तित रही। यह सुझाव देता है कि नया तरीका सफलतापूर्वक उस रेडंडेंसी (अनावश्यकता) को हटा देता है जो लूप का कारण बनती है, बिना मॉडल की वास्तविक तर्क क्षमताओं में हस्तक्षेप किए।

शोधकर्ताओं ने इस नए दंड को चलाने की कम्प्यूटेशनल लागत का भी परीक्षण किया। चूंकि सिस्टम को प्रत्येक उत्पन्न होने वाले शब्द के लिए एक संपीड़न चरण का अनुकरण करना होता है, इसलिए इसमें थोड़े अतिरिक्त कार्य की आवश्यकता होती है। हालाँकि, उन्होंने पाया कि यह ओवरहेड आश्चर्यजनक रूप से कम है। बड़े मॉडलों के लिए, गति में कमी एक प्रतिशत से भी कम थी, एक ऐसा अंतर जो वास्तविक उपयोग में लगभग नगण्य होगा। यह दक्षता इस पद्धति को तत्काल अपनाने के लिए व्यावहारिक बनाती है, जो बिना किसी महत्वपूर्ण नई कंप्यूटिंग शक्ति की मांग किए रीजनिंग मॉडलों को अधिक विश्वसनीय बनाने का एक तरीका प्रदान करती है।

टीम द्वारा नोट किया गया एक सीमा यह है कि यह विधि विशेष रूप से प्राकृतिक भाषा (natural language) के लिए डिज़ाइन की गई है। संपीड़न एल्गोरिदम इस धारणा पर निर्भर करता है कि भाषा के कुछ सांख्यिकीय गुण होते हैं, जैसे कि यह तथ्य कि शब्द समय के साथ अनुमानित तरीकों से दोहराए जाते हैं। हालांकि यह विधि टेक्स्ट के लिए असाधारण रूप से अच्छी तरह काम करती है, शोधकर्ता चेतावनी देते हैं कि विशिष्ट समायोजनों के बिना यह छवियों या ऑडियो जैसे अन्य प्रकार के डेटा के लिए उतनी प्रभावी नहीं हो सकती है। इसके अतिरिक्त, यह प्रणाली हर conceivable परिदृश्य के लिए पूर्ण नहीं है; उदाहरण के लिए, यदि कोई उपयोगकर्ता मॉडल को स्पष्ट रूप से एक अक्षर को सौ बार दोहराने के लिए कहता है, तो दंड उस विशिष्ट निर्देश में हस्तक्षेप कर सकता है। हालाँकि, उन अधिकांश कार्यों के लिए जहाँ लक्ष्य सुसंगत, गैर-दोहराव वाला तर्क है, यह नई विधि एक मजबूत समाधान प्रतीत होती है।

निष्कर्ष यह सुझाव देते हैं कि हम आर्टिफिशियल इंटेलिजेंस को नियंत्रित करने के तरीके के बारे में अपनी सोच में बदलाव ला रहे हैं। केवल शब्दों की संख्या के आधार पर उन्हें प्रतिबंधित करने वाले 'ब्लंट इंस्ट्रूमेंट्स' (कुंद उपकरणों) पर निर्भर रहने के बजाय, यह दृष्टिकोण टेक्स्ट की संरचना को समझने के लिए सूचना सिद्धांत (information theory) के गणितीय सिद्धांतों का उपयोग करता है। टेक्स्ट जनरेशन को डेटा संपीड़न की एक प्रक्रिया के रूप में मानकर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो दोहराव के शोर को स्वाभाविक रूप से फ़िल्टर करता है और विचार के संकेत (signal of thought) को सुरक्षित रखता है। यह ओपन-सोर्स रीजनिंग मॉडलों को उस स्तर की निश्चितता (determinism) के साथ संचालित करने की अनुमति देता है जो पहले प्राप्त करना कठिन था, जिससे उन क्षेत्रों में अधिक विश्वसनीय अनुप्रयोगों का मार्ग प्रशस्त होता है जहाँ निरंतरता सर्वोपरि है। यह कार्य प्रदर्शित करता है कि डेटा संपीड़न के लेंस से समस्या को देखकर, हम भाषा मॉडलों की प्रगति में लंबे समय से बाधा डालने वाली त्रुटियों के लिए सुरुचिपूर्ण समाधान पा सकते हैं।