The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models
यह शोध पत्र ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग में प्रोबेबिलिस्टिक सर्किट्स और लार्ज लैंग्वेज मॉडल्स के बीच अभिव्यक्ति अंतराल (expressivity gap) की पहचान और विश्लेषण करता है, जो यह प्रकट करता है कि जबकि लॉजिट-स्पेस पैरामीट्राइजेशन और डिकम्पोजेबल आर्किटेक्चर विशिष्ट बाधाओं को कम कर सकते हैं, स्ट्रक्चर्ड-डिकम्पोजेबल पीसी (PCs) की निश्चित रूटिंग संरचना ट्रांसफॉर्मर्स की तुलना में विषम डिपेंडेंसी टोपोलॉजी को मॉडल करने की उनकी क्षमता को मौलिक रूप से सीमित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो अलग-अलग प्रकार के रोबोटों को एक वाक्य में अगले शब्द की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। एक रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, जैसे कि आधुनिक चैटबॉट्स को चलाने वाले मॉडल। दूसरा एक प्रोबेबिलिस्टिक सर्किट (PC) है, जो एक प्रकार का मॉडल है जो गणितीय रूप से "ईमानदार" (honest) है और अनुमान लगाने के बजाय सटीक संभावनाओं की गणना करने में सक्षम है।
लंबे समय से, भाषा संबंधी कार्यों में LLM रोबोट जीत रहा है, जबकि PC रोबोट संघर्ष कर रहा है। यह शोध पत्र पूछता है: PC रोबोट भाषा के मामले में इतना खराब क्यों है, जबकि सैद्धांतिक रूप से यह बहुत शक्तिशाली है?
लेखकों ने पाया कि PC रोबोट इसलिए विफल नहीं हो रहा है क्योंकि वह "मूर्ख" है। वह इसलिए विफल हो रहा है क्योंकि उसके सोचने और बोलने के तरीके में दो विशिष्ट बॉटलनेक (ट्रैफिक जाम) हैं।
1. "आउटपुट बॉटलनेक": पेंट मिक्सर बनाम लेजर प्रिंटर
LLM को एक लेजर प्रिंटर के रूप में सोचें। जब यह तय करता है कि अगला शब्द क्या होगा, तो यह शब्दकोश के हर संभावित शब्द के लिए "स्कोर" (logits) की एक सूची निकाल देता है। इसे इस बात की परवाह नहीं है कि स्कोर अजीब नंबर हैं; यह बस उन्हें प्रिंट कर देता है, और एक अंतिम फिल्टर (Softmax) इसे एक स्पष्ट तस्वीर में बदल देता है जहाँ एक शब्द चमकता हुआ उभरता है और बाकी धुंधले हो जाते हैं। यह भाषा के लिए एकदम सही है, जहाँ संदर्भ आमतौर पर एक बहुत ही विशिष्ट शब्द की ओर इशारा करता है।
हालाँकि, PC रोबोट एक पेंट मिक्सर की तरह काम करता है। यह कुछ पहले से बने हुए "आधार रंगों" (संभावना वितरण/probability distributions) को आपस में मिलाकर अगला शब्द बनाने की कोशिश करता है।
- समस्या: यदि आपको एक बहुत ही तीक्ष्ण, विशिष्ट रंग की आवश्यकता है (जैसे कि एक चमकीला लाल रंग जो एक एकल शब्द का प्रतिनिधित्व करता है), तो बाल्टी में कुछ आधार रंगों को मिलाने से अक्सर एक मटमैला, धुंधला रंग बनता है। आप केवल दूसरों को औसत (average) करके एक "तीक्ष्ण" वितरण आसानी से नहीं बना सकते।
- समाधान: शोध पत्र दिखाता है कि यदि आप PC रोबोट को बाल्टी में पेंट मिलाने के बजाय "स्कोर" निकालने की अनुमति देते हैं (यानी "लॉगिट स्पेस" में काम करना, न कि "प्रोबेबिलिटी स्पेस" में), तो यह अचानक भाषा में बहुत बेहतर हो जाता है। यह अंतर को काफी हद तक कम कर देता है।
2. "कॉन्टेक्स्ट बॉटलनेक": निश्चित रेल की पटरियाँ बनाम गतिशील सड़क
यह एक बड़ी समस्या है। कल्पना कीजिए कि रोबोट को वर्तमान शब्द को समझने के लिए पिछले शब्दों को देखने की आवश्यकता है।
- LLM (एक गतिशील सड़क): LLM "सेल्फ-अटेंशन" नामक एक तंत्र का उपयोग करता है। कल्पना कीजिए कि एक GPS है जो वाक्य के किन्हीं भी दो बिंदुओं के बीच तुरंत एक नई सड़क बना सकता है, चाहे वे कितनी भी दूर हों। यदि वाक्य है "The cat sat on the mat," तो LLM "cat" और "mat" के बीच तुरंत एक सड़क बना सकता है, भले ही उनके बीच 50 शब्द हों। यह अपनी कड़ियों (connections) को वाक्य की वास्तविक आवश्यकता के अनुसार ढाल लेता है।
- PC (निश्चित रेल की पटरियाँ): PC रोबोट एक कठोर संरचना पर बना है जिसे vtree (एक निश्चित ट्री डायग्राम) कहा जाता है। एक ट्रेन प्रणाली की कल्पना करें जहाँ पटरियाँ ट्रेन चलने से पहले ही स्थायी रूप से बिछा दी जाती हैं।
- यदि वाक्य की संरचना पटरियों से मेल खाती है (जैसे, स्थानीय शब्द अपने निकटतम पड़ोसियों से जुड़ते हैं), तो PC सुचारू रूप से चलता है और लगभग LLM के बराबर प्रदर्शन करता है।
- समस्या: यदि वाक्य के लिए ऐसी कड़ी की आवश्यकता होती है जिसे पटरियाँ सहारा नहीं देतीं (जैसे, पहले शब्द को अंतिम शब्द से एक विशिष्ट तरीके से जोड़ना), तो PC अटक जाता है। यह अपना रास्ता नहीं बदल सकता। यह एक कार चलाने की कोशिश करने जैसा है जो गलत दिशा में जाने वाली ट्रेन की पटरी पर है।
शोध पत्र यह सिद्ध करता है कि हालांकि PC सैद्धांतिक रूप से जटिल कड़ियों को संभाल सकता है, लेकिन यह तभी कर सकता है जब "रेल की पटरियाँ" संयोग से उस विशिष्ट वाक्य के लिए बिल्कुल सही तरीके से बिछाई गई हों। चूंकि वास्तविक भाषा अव्यवस्थित है और इसकी संरचना लगातार बदलती रहती है, इसलिए PC की निश्चित पटरियाँ एक बड़ी बाधा हैं।
"सुपर-PC" का विचार
लेखकों ने एक "सुपर-PC" विचार का भी परीक्षण किया। क्या होगा यदि हम PC रोबोट को कई प्रकार के ट्रैक रखने दें और प्रत्येक वाक्य के लिए सबसे अच्छे ट्रैक का चयन करने दें?
- सिद्धांत: गणितीय रूप से, यह "ढीला" (loose) संस्करण कठोर वाले संस्करण की तुलना में स्पष्ट रूप से अधिक शक्तिशाली है।
- वास्तविकता: हालांकि यह सरल, काल्पनिक परीक्षणों में बेहतर काम करता है, लेकिन वास्तविक दुनिया के डेटा पर इन लचीले मॉडलों को प्रशिक्षित करना बहुत कठिन है। शोध पत्र निष्कर्ष निकालता है कि हालांकि हम जानते हैं कि उन्हें अधिक शक्तिशाली कैसे बनाया जाए, लेकिन हमने अभी तक यह नहीं खोजा है कि उन्हें प्रभावी ढंग से सीखने के लिए सिखाने का सबसे अच्छा तरीका क्या है।
सारांश
शोध पत्र यह निष्कर्ष निकालता है कि प्रोबेबिलिस्टिक सर्किट "टूटे" हुए नहीं हैं, बल्कि वे भाषा के लिए मेल नहीं खाते (mismatched) हैं:
- वे स्कोर प्रिंट करने के बजाय पेंट मिलाते हैं: उनके भविष्यवाणियों को बदलने से बहुत मदद मिलती है।
- वे निश्चित पटरियों पर फंसे हुए हैं: वे LLMs की तरह शब्दों को गतिशील रूप से नहीं जोड़ सकते, जो तब नुकसान पहुँचाता है जब वाक्य की संरचना जटिल हो जाती है।
यदि हम "पेंट मिक्सिंग" की समस्या को ठीक कर सकें और लचीले "ट्रैक-स्विचिंग" मॉडलों को प्रशिक्षित करने का तरीका खोज सकें, तो PC भाषा के कार्यों में सटीक गणित करने की अपनी विशेष क्षमता को बनाए रखते हुए अंततः LLMs के बराबर पहुँच सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।