When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction
यह शोध पत्र ESTP को प्रस्तुत करता है, जो एक हल्का ढांचा (लाइटवेट फ्रेमवर्क) है जो अधिक कुशल, लंबाई-जागरूक शेड्यूलिंग को सक्षम करने और कम्प्यूटेशनल ओवरहेड को कम करने के लिए टोकन एंट्रॉपी को अटेंशन-आधारित सिमेंटिक महत्व स्कोर के साथ जोड़कर LLM आउटपुट लंबाई भविष्यवाणी में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली इंजनों के रूप में कार्य करते हैं जो वाक्य में अगले शब्द की भविष्यवाणी करके टेक्स्ट उत्पन्न करते हैं, प्रश्नों के उत्तर देते हैं और समस्याओं को हल करते हैं। इन इंजनों को कंप्यूटर हार्डवेयर पर कुशलतापूर्वक चलाने के लिए, इंजीनियर अक्सर कई अनुरोधों को एक साथ समूहबद्ध करते हैं, ठीक वैसे ही जैसे कई यात्रियों को ले जाने वाली एक बस। हालाँकि, एक निरंतर अक्षमता उत्पन्न होती है क्योंकि हार्डवेयर को एक समूह में प्रत्येक अनुरोध के साथ इस तरह व्यवहार करना पड़ता है जैसे कि वह सबसे लंबा हो, जिससे छोटे उत्तरों को फिट करने के लिए उन्हें खाली स्थान (पैडिंग) से भर दिया जाता है। यह बर्बाद हुआ स्थान पूरे सिस्टम को धीमा कर देता है, विशेष रूप से तब जब मॉडल को जटिल तर्क करने या लंबे, विस्तृत उत्तर उत्पन्न करने के लिए कहा जाता है। इसे ठीक करने के लिए, शोधकर्ता लंबे समय से एक तरीका खोजने की कोशिश कर रहे थे जिससे यह सटीक भविष्यवाणी की जा सके कि उत्तर पूरी तरह से लिखे जाने से पहले वास्तव में कितना लंबा होगा, जिससे सिस्टम संसाधनों का सटीक आवंटन कर सके। कुछ समय के लिए, इन भविष्यवाणियों को करने के लिए अग्रणी विधि मॉडल की अनिश्चितता को मापने पर टिकी थी, जिसे 'एन्ट्रॉपी' (entropy) के रूप में जाना जाता है, जो अनिवार्य रूप से यह मापता है कि मॉडल अपने अगले शब्द के बारे में कितना अनिश्चित है।
एक नया अध्ययन इस धारणा को चुनौती देता है कि अनिश्चितता ही इस कार्य के लिए सबसे अच्छा मार्गदर्शक है। शोधकर्ताओं ने पाया कि हालांकि अनिश्चितता उपयोगी है, लेकिन यह अर्थ की एक महत्वपूर्ण परत को छोड़ देती है। टेक्स्ट उत्पन्न करने की प्रक्रिया में, मॉडल संकेतों की एक विशाल श्रृंखला उत्पन्न करता है, जिनमें से कुछ भ्रम या हिचकिचाहट को दर्शाते हैं, जबकि अन्य सबसे महत्वपूर्ण तथ्यों, संख्याओं या निर्देशों को उजागर करते हैं। पिछली विधियाँ, जो अनिश्चितता पर बहुत अधिक ध्यान केंद्रित करती थीं, अक्सर अनिश्चित और संक्रमणकालीन शब्दों को सबसे महत्वपूर्ण मानती थीं, जबकि अनजाने में उन ठोस, तथ्यात्मक टोकन (tokens) को कम महत्व देती थीं जो वास्तव में प्रतिक्रिया की लंबाई और संरचना को निर्धारित करते हैं। यह एक शहर में केवल धुंधले चौराहों पर ध्यान देने और स्पष्ट सड़क संकेतों को अनदेखा करने जैसा है; परिणाम अक्सर गलत होता है क्योंकि यह मुख्य सामग्री को छोड़ देता है।
इसे हल करने के लिए, टीम ने ESTP नामक एक नया ढांचा पेश किया, जो अनिश्चितता के माप को प्रत्येक शब्द के महत्व के प्रत्यक्ष अवलोकन के साथ जोड़ता है। केवल यह पूछने के बजाय कि मॉडल कितना अनिश्चित है, नई विधि यह भी पूछती है कि मॉडल एक विशिष्ट शब्द पर कितना ध्यान (attention) दे रहा है। इन मॉडलों की वास्तुकला में, 'अटेंशन' एक स्पॉटलाइट की तरह कार्य करता है, जो यह दिखाता है कि कौन से शब्द वर्तमान में सोचने की प्रक्रिया को संचालित कर रहे हैं। शोधकर्ताओं ने पाया कि जिन शब्दों में सबसे अधिक सिमेंटिक भार (semantic weight) होता है—जैसे कि प्रमुख संस्थाएं, विशिष्ट संख्याएं और मुख्य निर्देश—वे अक्सर उच्च अटेंशन प्राप्त करते हैं, भले ही मॉडल उनके बारे में बहुत आश्वस्त हो। इस अटेंशन-आधारित महत्व को पारंपरिक अनिश्चितता संकेत के साथ जोड़कर, नया सिस्टम टेक्स्ट का एक संतुलित दृष्टिकोण बनाता है। यह उत्तर की लंबाई निर्धारित करने वाले महत्वपूर्ण सूचनाओं को महत्व देना सीखता है और साथ ही उन अनिश्चित हिस्सों को भी स्वीकार करता है जो अधिक विस्तार की आवश्यकता का संकेत देते हैं।
शोधकर्ताओं ने जटिल गणितीय तर्क और डायनेमिक सैंपलिंग परिदृश्यों सहित विभिन्न चुनौतीपूर्ण कार्यों पर, कई अलग-अलग लार्ज लैंग्वेज मॉडल्स का उपयोग करके इस दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि उनकी संयुक्त विधि ने पिछले सर्वोत्तम तकनीकों की तुलना में आउटपुट की लंबाई की अधिक सटीक भविष्यवाणी की। कई मामलों में, त्रुटि दर में काफी कमी आई, विशेष रूप से जटिल तर्क कार्यों में जहाँ पिछली विधियाँ सबसे अधिक संघर्ष करती थीं। अध्ययन ने दिखाया कि टोकन का एक बड़ा हिस्सा, जिसे पहले पुराने सिस्टम द्वारा अत्यधिक महत्व दिया गया था, वास्तव में कम मूल्य वाले फिलर शब्द थे, जबकि कई कम मूल्यांकित टोकन वे तथ्य थे जो अंतिम लंबाई को निर्धारित करते थे। इस मिसअलाइनमेंट (misalignment) को ठीक करके, नए सिस्टम ने कंप्यूटर हार्डवेयर को एक बहुत स्पष्ट संकेत प्रदान किया।
जब इसे AI अनुरोधों को प्रबंधित करने के लिए डिज़ाइन किए गए एक पूर्ण सिस्टम में एकीकृत किया गया, तो यह सुधार मूर्त वास्तविक दुनिया के लाभों में परिवर्तित हो गया। सिस्टम कार्यों को अधिक कुशलता से शेड्यूल करने में सक्षम था, जिससे उस खाली स्थान की मात्रा कम हो गई जिसे पैडिंग से भरने की आवश्यकता थी। इससे हार्डवेयर द्वारा अनुरोधों को संसाधित करने की गति में उल्लेखनीय वृद्धि हुई और कार्यों को पूरा करने में लगने वाले समय में कमी आई। इस पद्धति ने बिना किसी अतिरिक्त मेमोरी की आवश्यकता या मॉडल को धीमा किए बिना ये लाभ प्राप्त किए, क्योंकि इसने उन आंतरिक संकेतों का पुन: उपयोग किया जो मॉडल पहले से ही उत्पन्न कर रहा था। परिणाम बताते हैं कि यदि AI सिस्टम को वास्तव में कुशल बनना है, तो उन्हें केवल अनिश्चितता के सरल मापों से परे देखना होगा और उन शब्दों के सिमेंटिक महत्व को पहचानना सीखना होगा जिन्हें वे संसाधित कर रहे हैं। यह बदलाव तकनीक को जटिल, दीर्घ-रूप तर्क को उस सटीकता के साथ संभालने की अनुमति देता है जो पहले पहुंच से बाहर थी, जिससे तेज़ और अधिक विश्वसनीय AI सेवाओं का मार्ग प्रशस्त होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।