💬 NLP

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

यह शोध पत्र डिजिट एंट्रॉपी लॉस (DEL) को प्रस्तुत करता है, जो एक नया प्रशिक्षण उद्देश्य है जो अनसुपरवाइज्ड एंट्रॉपी ऑप्टिमाइज़ेशन को एक सुपरवाइज्ड, डिस्टेंस-फ्री फ्रेमवर्क में पुनर्गठित करता है ताकि गणितीय तर्क और कोड जनरेशन कार्यों में पूर्णांक और फ्लोटिंग-पॉइंट दोनों संख्याओं की भविष्यवाणी करने में लार्ज लैंग्वेज मॉडल्स की सटीकता में सुधार किया जा सके।

मूल लेखक: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को गणित करना सिखा रहे हैं। यह रोबोट कहानियाँ लिखने और बातचीत करने में बहुत माहिर है, लेकिन जब बात संख्याओं की आती है, तो यह अक्सर अंकों को गलत कर देता है। यह "12" कह सकता है जबकि उत्तर "13" होना चाहिए, या यह "12" के बजाय "14" का अनुमान लगा सकता है।

यह शोध पत्र, जो हांगकांग पॉलिटेकनिक यूनिवर्सिटी की विजुअल कंप्यूटिंग लैब से है, यह पेश करता है कि कैसे इस रोबोट को संख्याओं को बेहतर ढंग से संभालने के लिए सिखाया जा सकता है। वे इस नए तरीके को डिजिट एंट्रॉपी लॉस (Digit Entropy Loss - DEL) कहते हैं।

रोबोट के गणित कौशल को ठीक करने की कहानी यहाँ दी गई है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:

1. समस्या: रोबोट की "सबसे अच्छा अनुमान लगाने" की आदत

पारंपरिक रूप से, इन AI रोबोटों (जिन्हें लार्ज लैंग्वेज मॉडल कहा जाता है) को प्रशिक्षित करते समय, हम मैक्सिमम लाइकलीहुड एस्टीमेशन (Maximum Likelihood Estimation - MLE) नामक विधि का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि रोबक एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहा है। MLE रोबोट को बताता है: "बस वही उत्तर चुनो जो तुम्हें सबसे अधिक संभावित लगता है।"
दोष: रोबोट बहुत विनम्र है। वह सोचता है, "खैर, '12' सबसे अच्छा उत्तर है, लेकिन '13' और '11' भी काफी करीब हैं, इसलिए मैं उन्हें भी थोड़ी सी संभावना दे दूँगा।"
परिणाम: रोबोट अनिश्चित हो जाता है। वह संख्याओं के बीच झूलता रहता है, जिससे ऐसी त्रुटियां होती हैं जैसे कि पूर्णांक (whole number) होने के बजाय "12.4" कहना, या केवल इसलिए गलत अंक चुन लेना क्योंकि वह पर्याप्त आत्मविश्वासी नहीं था।

2. पुराने समाधान: "दूरी" का जाल

शोधकर्ताओं ने एक "पेनल्टी" (दंड) प्रणाली जोड़कर इसे ठीक करने की कोशिश की।

उपमा: उन्होंने रोबोट को बताया: "यदि उत्तर 5 है, और तुम 4 का अनुमान लगाते हो, तो यह ठीक है, यह करीब है। लेकिन यदि तुम 9 का अनुमान लगाते हो, तो यह बहुत बुरा है!" उन्होंने एक मानचित्र बनाया जहाँ संख्याएँ एक रेखा पर व्यवस्थित थीं, और रोबोट को उसके अनुमान और सच्चाई के बीच की दूरी के आधार पर दंडित किया जाता था।
समस्या: शोध पत्र का तर्क है कि यह "दूरी मानचित्र" कृत्रिम है। वास्तविक दुनिया में, संख्याएँ केवल एक रेखा पर बिंदु नहीं हैं; वे अपने स्वयं के अर्थ वाले प्रतीक हैं। कभी-कभी, रोबोट सीख जाता है कि संख्या "2" संख्या "3" की तुलना में अक्षर "Z" के अधिक समान दिखती है। उसे एक सख्त दूरी नियम का पालन करने के लिए मजबूर करना उसे भ्रमित करता है और उसके अनुमानों को या तो बहुत कठोर (sharpened) या बहुत अस्पष्ट (flattened) बना देता है।

3. नया समाधान: "कॉन्फिडेंस कोच" (DEL)

लेखक डिजिट एंट्रॉपी लॉस (DEL) का प्रस्ताव करते हैं। यह मापने के बजाय कि रोबोट उत्तर से कितना दूर है, वे इस बात पर ध्यान केंद्रित करते हैं कि रोबोट कितना निश्चित (certain) है।

उपमा: एक कोच की कल्पना करें जिसे आपके अनुमान और लक्ष्य के बीच की दूरी की परवाह नहीं है। इसके बजाय, कोच कहता है: "मुझे इस बात की परवाह नहीं है कि आप लक्ष्य के कितने करीब या दूर हैं। मैं बस चाहता हूँ कि आप अपने उत्तर के प्रति 100% सुनिश्चित हों। यदि आप '5' के प्रति 90% निश्चित हैं और '6' के प्रति 10% निश्चित हैं, तो आप अनिश्चित हो रहे हैं। मैं चाहता हूँ कि आप '5' के प्रति 100% निश्चित हों और बाकी सब के प्रति 0%।"
यह कैसे काम करता है:
1. सुपरवाइज्ड सर्टेन्टी (Supervised Certainty): वे रोबोट को हर अंक को एक साधारण "हाँ/नहीं" प्रश्न की तरह मानने के लिए सिखाते हैं। "क्या यह अंक 5 है? हाँ या नहीं?" यह रोबोट को एक धुंधला अनुमान लगाने के बजाय एक स्पष्ट और सटीक निर्णय लेने के लिए मजबूर करता है।
2. कोई दूरी नियम नहीं: वे "दूरी मानचित्र" को हटा देते हैं। वे रोबोट को देखे गए डेटा के आधार पर संख्याओं के प्राकृतिक संबंध को सीखने देते हैं, न कि किसी मानव-निर्मित नियम को उस पर थोपते हैं।
3. डेसिमल्स (Decimals) को संभालना: पिछले तरीकों ने पूर्ण संख्याओं (जैसे 10) और दशमलव संख्याओं (जैसे 10.5) के साथ अलग व्यवहार किया, जिससे एक "खड़ी ढलान" (cliff) पैदा हुई जहाँ रोबोट लड़खड़ा जाता था। DEL पूरे नंबर और दशमलव भाग को एक सुचारू, निरंतर प्रवाह (continuous flow) के रूप में मानता है, जैसे कि दो अलग-अलग द्वीपों के बजाय एक लंबी संख्या रेखा।

4. परिणाम: तेज गणित

शोधकर्ताओं ने इस नए "कॉन्फिडेंस कोच" का परीक्षण चार अलग-अलग प्रकार के AI रोबोटों (CodeLlama, Mistral, DeepSeek, और Qwen-2.5) पर सात अलग-अलग गणितीय बेंचमार्क का उपयोग करके किया।

परिणाम: DEL के साथ प्रशिक्षित रोबोटों ने कम गलतियाँ कीं। वे न केवल सही उत्तर अधिक बार देते थे; जब वे गलत होते भी थे, तो गलत उत्तर सही वाले के बहुत करीब होता था (उदाहरण के लिए, 13 के बजाय 12 का अनुमान लगाना, न कि 50 का)।
दृश्य प्रमाण: शोध पत्र के उदाहरणों में, आप देख सकते हैं कि पुराने तरीके अक्सर तर्क (logic) को सही करते थे लेकिन अंतिम संख्या को गलत कर देते थे (जैसे खरीदारी की यात्रा की कुल लागत की गणना करना लेकिन अंतिम डॉलर राशि गलत कर देना)। DEL विधि तर्क और अंतिम संख्या दोनों को सही करती है।

सारांश

संक्षेप में, यह शोध पत्र कहता है: AI रोबोट को यह अनुमान लगाना सिखाना बंद करें कि कोई संख्या कितनी "करीब" है। इसके बजाय, उन्हें सटीक अंक के बारे में पूरी तरह से आश्वस्त होना सिखाएं। कृत्रिम दूरी नियमों को हटाकर और सटीक, आत्मविश्वासी भविष्यवाणियों के निर्माण पर ध्यान केंद्रित करके, रोबोट गणित और कोड जनरेशन में बहुत बेहतर हो गए।

तकनीकी सारांश: बड़े भाषा मॉडलों के संख्यात्मक शिक्षण के लिए डिजिट एंट्रॉपी लॉस (Digit Entropy Loss)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने गणितीय तर्क और कोड जनरेशन में महत्वपूर्ण क्षमताएं प्रदर्शित की हैं, फिर भी सटीक संख्यात्मक भविष्यवाणी (numerical prediction) एक मौलिक चुनौती बनी हुई है। LLMs के लिए मानक प्रशिक्षण उद्देश्य, मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE), संख्या भविष्यवाणी के लिए उप-इष्टतम (sub-optimal) है। MLE का ज़ीरो-अवॉइडिंग (zero-avoiding) गुण मॉडल को देखे गए टोकन के लिए गैर-तुच्छ संभावनाओं (non-trivial probabilities) को असाइन करने के लिए मजबूर करता है, जिससे टेक्स्ट डिजनरेशन और डेटा वॉइड ओवरएस्टिमेशन जैसी समस्याएं उत्पन्न होती हैं।

हाल के पेनल्टी-संचालित दृष्टिकोण, विशेष रूप रूप से नंबर टोकन लॉस (NTL) और डिस्क्रीटाइज्ड डिस्टेंस लॉस (DIST2Loss), संख्यात्मक दूरी के एक इंडक्टिव बायस (inductive bias) को पेश करके इसे संबोधित करने का प्रयास करते हैं। हालाँकि, इन विधियों में महत्वपूर्ण सीमाएँ हैं:

ओवर-शार्पनिंग और ओवर-फ्लैटनिंग: NTL गैर-लक्ष्य टोकन की संभावनाओं को शून्य के करीब आक्रामक रूप से दबा देता है, जिससे ओवर-शार्प्ड डिस्ट्रीब्यूशन बनता है, जबकि DIST2Loss एक सुचारू वितरण लागू करता है जिसके परिणामस्वरूप ओवर-फ्लैटेड, अनिश्चित डिजिट भविष्यवाणियां होती हैं।
अनुमानित दूरी (Heuristic Distance) पर निर्भरता: दोनों विधियाँ मैन्युअल रूप से परिभाषित दूरी पदों (जैसे कि अंकों के बीच $L_1$ दूरी) पर निर्भर करती हैं। विश्लेषण से पता चलता है कि LLMs उलझी हुई (entangled) रिप्रजेंटेशन सीखते हैं जहाँ अंक संख्यात्मक मानों और प्रतीकात्मक स्ट्रिंग्स (जैसे तारीखें, आईडी) दोनों के रूप में कार्य करते हैं। फलस्वरूप, मैन्युअल रूप से थोपे गए ज्यामितीय प्रायर (geometric priors) विशाल कॉर्पोरा से सीखे गए सिमेंटिक रिप्रजेंटेशन के साथ विरोधाभासी हो सकते हैं।
समग्र जागरूकता का अभाव: मौजूदा विधियाँ अक्सर एकल-अंक अनुकूलन प्रतिमान (single-digit optimization paradigm) के भीतर कार्य करती हैं या दशमलव को अलग-अलग पूर्णांकों के रूप में मानती हैं, जिससे वे फ्लोटिंग-पॉइंट संख्याओं की निरंतर प्रकृति और वैश्विक संख्यात्मक संरचनाओं को पकड़ने में विफल रहती हैं।

2. कार्यप्रणाली: डिजिट एंट्रॉपी लॉस (DEL)

लेखक डिजिट एंट्रॉपी लॉस (DEL) का प्रस्ताव करते हैं, जो ऑटो-रिग्रेसिव संख्यात्मक शिक्षण के लिए तैयार किया गया पारंपरिक अनसुपरवाइज्ड एंट्रॉपी ऑप्टिमाइज़ेशन का एक पुनर्गठन है। यह कार्यप्रणाली तीन प्रमुख डिज़ाइन सिद्धांतों पर आधारित है जो प्रतिमान को "क्राइटेरियन-डिस्टेंस" से "डिजिट एंट्रॉपी ऑप्टिमाइज़ेशन" की ओर स्थानांतरित करती है।

A. क्राइटेरियन-डिस्टेंस से एंट्रॉपी ऑप्टिमाइज़ेशन तक

मौजूदा संख्यात्मक शिक्षण विधियाँ एक क्राइटेरियन-डिस्टेंस फॉर्मुलेशन (पेपर में समीकरण 4) का पालन करती हैं:
$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$
जहाँ $\mathcal{C}$ एक क्राइटेरियन टर्म है और $\mathcal{D}$ एक डिस्टेंस टर्म है। लेखक तर्क देते हैं कि डिस्टेंस टर्म $\mathcal{D}$ उप-इष्टतम है क्योंकि यह एक ज्यामितीय प्रायर लागू करता है जो LLM के सीखे गए सिमेंटिक स्ट्रक्चर के अनुरूप नहीं हो सकता है।

B. DEL के तीन प्रमुख डिज़ाइन

डिजिट कंडीशनल प्रोबेबिलिटी और BCE के माध्यम से सुपरवाइज्ड एंट्रॉपी:
अनसुपरवाइज्ड तरीके से एंट्रॉपी को कम करने के बजाय (जो तुच्छ वन-हॉट समाधानों की अनुमति देता है), DEL एक सुपरवाइज्ड क्राइटेरियन पेश करता है। यह डिजिट कंडीशनल प्रोबेबिलिटी ( $\hat{p}$ ) और बाइनरी क्रॉस-एंट्रॉपी (BCE) के गुणन का लाभ उठाता है।
$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$
यहाँ, $\bar{p}$ एक सिग्मॉइड-आधारित बाइनरी क्लासिफिकेशन प्रोबेबिलिटी है, और $y_t$ एक वन-हॉट लेबल है। यह फॉर्मुलेशन एंट्रॉपी ऑप्टिमाइज़ेशन को एक सुपरवाइज्ड तरीके से निर्देशित करता है, यह सुनिश्चित करता है कि संभाव्यता द्रव्यमान (probability mass) लक्ष्य अंकों पर केंद्रित हो बिना NTL के निरंतर दंड के कारण होने वाली "ओवर-शार्पनिंग" के।
डिस्टेंस टर्म का परित्याग (Deprecation):
लेखक स्पष्ट रूप से लॉस फंक्शन से डिस्टेंस टर्म ( $\mathcal{D}$ ) को हटा देते हैं। डिजिट टोकन एम्बेडिंग्स के अनुभवजन्य विश्लेषण (t-SNE के माध्यम से) से पता चलता है कि LLMs में अंकों की सीखी गई समानता संरचना (similarity structure) सख्त रूप से आदर्श संख्यात्मक दूरियों का पालन नहीं करती है (उदाहरण के लिए, एम्बेडिंग स्पेस में '0', '1' की तुलना में '8' के करीब हो सकता है)। डिस्टेंस टर्म को हटाकर, DEL विरोधाभासी ज्यामितिक प्रायर डालने से बचता है, जिससे मॉडल को अपने सीखे गए सिमेंटिक रिप्रजेंटेशन पर भरोसा करने की अनुमति मिलती है।
फ्लोटिंग-पॉइंट ऑप्टिमाइज़ेशन के लिए सामान्यीकरण:
मल्टी-डिजिट पूर्णांकों और दशमलवों को समग्र रूप से संभालने के लिए, DEL एक फ्लोटिंग-पॉइंट नंबर ऑप्टिमाइज़ेशन रणनीति पेश करता है। पिछले तरीकों के विपरीत जो दशमलव को अलग-अलग पूर्णांकों के रूप में मानते हैं (जिससे विच्छिन्न दंड/discontinuous penalties होता है), DEL एक निरंतर पेनल्टी फंक्शन $u(t)$ लागू करता है:

पूर्णांक स्थानों ( $i \ge 0$ ) के लिए लीनियर पेनल्टी।
दशमलव स्थानों ( $i < 0$ ) के लिए एक्सपोनेंशियल डिके।
यह पूर्णांक और दशमलव घटकों के बीच एक सुचारू संक्रमण सुनिश्चित करता है, जिससे फ्लोटिंग-पॉइंट संख्याओं की सटीक भविष्यवाणी सक्षम होती है।

3. मुख्य योगदान

सैद्धांतिक विश्लेषण: पेपर एक गहन विश्लेषण प्रदान करता है जो यह प्रकट करता है कि स्टेट-ऑफ-द-आर्ट संख्यात्मक शिक्षण विधियाँ (NTL, DIST2Loss) एक "क्राइटेरियन-डिस्टेंस" प्रतिमान साझा करती हैं जो अनुमानित दूरी पदों पर निर्भर करती हैं, जो अक्सर LLM सिमेंटिक रिप्रजेंटेशन के साथ संरेखित नहीं होते हैं।
नया लॉस फंक्शन: डिजिट एंट्रॉपी लॉस (DEL) का प्रस्ताव, जो डिजिट कंडीशनल प्रोबेबिलिटी को बाइनरी क्रॉस-एंट्रॉपी के साथ जोड़कर संख्यात्मक शिक्षण को पुनर्गठित करता है, प्रभावी रूप से सुपरवाइज्ड तरीके से एंट्रॉपी मिनिमाइजेशन को निर्देशित करता है।
समग्र संख्या जागरूकता (Holistic Number Awareness): एकल-अंक अनुकूलन से फ्लोटिंग-पॉइंट नंबर ऑप्टिमाइज़ेशन तक संख्यात्मक शिक्षण का विस्तार, जो पूर्व कार्यों में पाए जाने वाले दशमलव भविष्यवाणी में विच्छिन्नता (discontinuity) के मुद्दों को संबोधित करता है।
अनुभवजन्य सत्यापन: व्यापक प्रयोग जो दर्शाते हैं कि DEL कई आर्किटेक्चर और बेंचमार्क पर MLE, MixCE, EMO, NTL, और DIST2Loss से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार प्रतिनिधि LLMs: CodeLlama, Mistral, DeepSeek-Math, और Qwen-2.5 का उपयोग करके सात गणितीय तर्क बेंचमार्क (GSM8K, MATH, SVAMP, SimulEq, AQuA, SAT, MMLU) पर DEL का मूल्यांकन किया।

कुल सटीकता (Overall Accuracy): DEL ने सभी मॉडल आर्किटेक्चर और बेंचमार्क में लगातार उच्चतम माध्य सटीकता (mACC) प्राप्त की। उदाहरण के लिए, Qwen-2.5-7B मॉडल पर, DEL ने 70.6 का mACC प्राप्त किया, जो बेसलाइन MLE (68.3) और अगले सर्वश्रेष्ठ विधि, DIST2Loss (69.2) से बेहतर है।
संख्यात्मक दूरी (Numerical Distance): DEL ने अनुमानित और ग्राउंड-ट्रुथ नंबरों के बीच संख्यात्मक दूरी (Mean Absolute Error) को काफी कम कर दिया, जो स्पष्ट डिस्टेंस टर्म के बिना भी अधिक सटीक संख्या जनरेशन प्रदर्शित करता है।
एंट्रॉपी विश्लेषण: DIST2Loss के विपरीत, जो डिजिटल एंट्रॉपी (अनिश्चितता) को बढ़ाता है, और NTL के विपरीत, जो डिस्ट्रीब्यूशन को ओवर-शार्प करता है, DEL ने संख्यात्मक अनिश्चितता के "माइल्ड" (mild) अनुकूलन को बनाए रखा, जिससे निश्चितता और लचीलेपन के बीच संतुलन बना रहा।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि डिस्टेंस टर्म को हटाना और फ्लोटिंग-पॉइंट ऑप्टिमाइज़ेशन को शामिल करना प्रदर्शन लाभ के लिए महत्वपूर्ण था। विशेष रूप से, DEL में डिस्टेंस टर्म जोड़ने से प्रदर्शन कम हो गया, जो इसे परित्याग करने के निर्णय को मान्य करता है।

5. महत्व और दावे

पेपर का दावा है कि डिजिट एंट्रॉपी लॉस (DEL) अनुमानित दूरी-आधारित विधियों की सीमाओं को संबोधित करके LLMs के लिए संख्यात्मक शिक्षण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

प्रतिमान में बदलाव: कार्य तर्क देता है कि संख्यात्मक शिक्षण को मैन्युअल रूप से परिभाषित ज्यामितिक प्रायर (डिस्टेंस टर्म) से हटकर एंट्रॉपी-आधारित अनुकूलन की ओर बढ़ना चाहिए जो मॉडल द्वारा सीखे गए सिमेंटिक रिप्रजेंटेशन का सम्मान करता है।
विश्वसनीयता: संख्यात्मक टोकन के लिए अत्यधिक नियतात्मक (deterministic) जनरेशन प्राप्त करके, DEL मात्रात्मक विश्लेषण और तार्किक निष्कर्ष की आवश्यकता वाले डाउनस्ट्रीम कार्यों में विश्वसनीय LLM परिनियोजन के लिए एक पूर्व शर्त के रूप में कार्य करता है।
सीमित दायरा: लेखक स्वीकार करते हैं कि जबकि DEL संख्या जनरेशन सटीकता में सुधार करता है, यह टोकन स्तर पर काम करता है और अभी तक जटिल गणितीय ऑपरेशंस (जैसे जोड़, गुणा) या वैश्विक संख्यात्मक सिमेंटिक्स को संयुक्त रूप से मॉडल नहीं करता है। वे DEL को गणितीय तर्क के सभी पहलुओं के पूर्ण समाधान के बजाय संख्यात्मक जनरेशन के लिए एक मौलिक सुधार के रूप में देखते हैं।

संक्षेप में, पेपर DEL को मौजूदा संख्यात्मक लॉस फंक्शन के एक मजबूत, सैद्धांतिक रूप से आधारित विकल्प के रूप में प्रस्तुत करता है, यह प्रदर्शित करते हुए कि कृत्रिम दूरी बाधाओं को हटाने और सुपरवाइज्ड एंट्रॉपी के लिए अनुकूलित करने से गणितीय तर्क और कोड जनरेशन कार्यों में बेहतर प्रदर्शन प्राप्त होता है।