💬 NLP

LLMs Know More About Numbers than They Can Say

यह शोध पत्र यह प्रकट करता है कि जबकि लार्ज लैंग्वेज मॉडल्स अक्सर मिश्रित नोटेशन में संख्याओं की मौखिक तुलना करने में विफल रहते हैं, उनके हिडन स्टेट्स वास्तव में सटीक संख्यात्मक परिमाण और रैंकिंग को एनकोड करते हैं, और सहायक प्रशिक्षण उद्देश्यों के माध्यम से इस आंतरिक ज्ञान का लाभ उठाना उनके स्पष्ट संख्यात्मक तर्क प्रदर्शन में महत्वपूर्ण सुधार कर सकता है।

मूल लेखक: Fengting Yuchi, Li Du, Jason Eisner

प्रकाशित 2026-02-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fengting Yuchi, Li Du, Jason Eisner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "LLMs Know More About Numbers than They Can Say" का सरल भाषा में अनुवाद दिया गया है:

मुख्य विचार: "मौन प्रतिभाशाली" (Silent Genius) की समस्या

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान छात्र है जिसने पुस्तकालय की हर गणित की किताब रट ली है। वह अपने दिमाग में जटिल समीकरणों को तुरंत हल कर सकता है। हालाँकि, यदि आप उससे उत्तर ज़ोर से बोलने के लिए कहें, तो वह हकलाने लगता है, अंदाज़ा लगाने लगता है या गलत बोल देता है।

यही इस शोध पत्र ने GPT-4, Llama और अन्य जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) के बारे में खोजा है।

समस्या:
जब आप AI से पूछते हैं, "कौन सा बड़ा है: 5.7 × 10² या 580?" (जो कि 570 बनाम 580 लिखने का एक फैंसी तरीका है), तो AI अक्सर गलत हो जाता है। वह कह सकता है कि 570 बड़ा है, भले ही 580 स्पष्ट रूप से बड़ा है। यह तब भी होता है जब AI सीधे पूछे जाने पर "5.7 गुणा 100" को आसानी से कैलकुलेट कर सकता है।

शोधकर्ताओं ने पूछा: क्या AI वास्तव में संख्याओं को जानता है, या यह केवल अंदाज़ा लगा रहा है?

जाँच: पर्दे के पीछे झाँकना

यह पता लगाने के लिए, शोधकर्ताओं ने केवल AI से प्रश्न नहीं पूछे; उन्होंने "एक्स-रे चश्मे" पहने और AI के सोचने के दौरान उसके मस्तिष्क (इसके हिडन लेयर्स) के अंदर झाँका।

एक LLM को एक विशाल फैक्ट्री असेंबली लाइन की तरह समझें। एक छोर से टेक्स्ट अंदर जाता है, कई कमरों (लेयर्स) से होकर प्रोसेस होता है, और दूसरे छोर से उत्तर के रूप में बाहर आता है। शोधकर्ताओं ने अलग-अलग कमरों में लाइन को रोका ताकि वे देख सकें कि "श्रमिक" (न्यूरॉन्स) संख्याओं के बारे में क्या सोच रहे हैं।

उन्हें दो आश्चर्यजनक चीजें मिलीं:

1. "लॉग-मैग्निट्यूड" का रहस्य (आंतरिक कैलकुलेटर)

शोधकर्ताओं ने पाया कि AI के भीतर गहराई में, एक छिपा हुआ "गुप्त कोड" है जो संख्या के आकार (size) को दर्शाता है।

उपमा (Analogy): कल्पना कीजिए कि AI संख्या "580" को देखता है। केवल टेक्स्ट "5-8-0" देखने के बजाय, उसके मस्तिष्क का एक विशिष्ट हिस्सा तुरंत उसे एक मानसिक "वॉल्यूम नॉब" (आवाज़ का बटन) सेटिंग में बदल देता है जो कहता है "यह तेज़ है।" वह "5.7 × 10²" को ठीक उसी वॉल्यूम नॉब सेटिंग में बदल देता है।
प्रमाण: उन्होंने एक सरल टूल (लिनियर प्रोब) बनाया जो इस गुप्त कोड को पढ़ सकता था। जब उन्होंने ऐसा किया, तो वह टूल 99% सटीकता के साथ संख्या के वास्तविक आकार की भविष्यवाणी कर सका। AI जानता था कि दोनों संख्याएँ आकार में लगभग समान हैं।

2. "तुलना" का रहस्य (आंतरिक न्यायाधीश)

उन्होंने यह भी देखा कि क्या AI बोलने से पहले जानता था कि कौन सी संख्या बड़ी है।

उपमा: कल्पना कीजिए कि AI के मस्तिष्क में एक छोटा न्यायाधीश है जो दो सेब पकड़ता है और खुद से फुसफुसाता है, "बायां वाला बड़ा है।"
प्रमाण: जब उन्होंने इस आंतरिक न्यायाधीश से पूछा, तो वह 95% बार सही था। वह जानता था कि 580, 570 से बड़ा है।

त्रासदी: "मूक" (Mute) होने की समस्या

तो, AI उत्तर जानता है। उसके पास गणना है। उसके पास तुलना है। लेकिन जब वह बोलने के लिए अपना मुँह खोलता है, तो वह विफल हो जाता है।

परिणाम: जब बोलने के लिए कहा गया, तो AI केवल 50% से 70% बार ही सही हो पाया। यह सिक्का उछालकर अंदाज़ा लगाने से मुश्किल से बेहतर है!
क्यों? शोध पत्र सुझाव देता है कि AI उस व्यक्ति की तरह है जो उत्तर जानता है लेकिन बोलने में घबरा जाता है, या वह प्रश्न की शैली की नकल करने में इतना केंद्रित है कि वह गणित भूल जाता है।
- उदाहरण: यदि AI किसी ऐसे सैंपल प्रश्न को देखता है जहाँ उत्तर हमेशा दूसरा नंबर होता है, तो वह वास्तव में गणित करने के बजाय बस "दूसरा नंबर" चुनने का अंदाज़ा लगाने लग सकता है।

समाधान: केवल मुँह को नहीं, बल्कि मस्तिष्क को प्रशिक्षित करना

शोधकर्ता इस समस्या को ठीक करना चाहते थे। उन्होंने एक नई प्रशिक्षण विधि आजमाई।

पुराना तरीका: AI को केवल सही उत्तर देने के लिए प्रशिक्षित करना (जैसे किसी छात्र को उत्तर कुंजी याद करने के लिए सिखाना)।
नया तरीका: प्रशिक्षण के दौरान, उन्होंने AI को आंतरिक रूप से अपने काम की "जाँच" करने के लिए भी मजबूर किया। उन्होंने एक नियम जोड़ा: "बोलने से पहले, सुनिश्चित करें कि आपका आंतरिक 'वॉल्यूम नॉब' और 'न्यायाधीश' सही है।"

परिणाम:
यह जादू की तरह काम कर गया। AI को अपने आंतरिक "संख्या बोध" (number sense) पर ध्यान देने के लिए मजबूर करने से, इसकी बोलने की सटीकता काफी बढ़ गई (कुछ मॉडल्स के लिए ~57% से ~90%+ तक)।

निष्कर्ष (Takeaway)

LLMs सुनने में जितने कमज़ोर लगते हैं, उससे कहीं अधिक स्मार्ट हैं: उनके पास संख्याओं की एक गहरी, आंतरिक समझ है जो उनके बोलने की क्षमता से कहीं बेहतर है।
बाधा भाषण (speech) में है, गणित में नहीं: समस्या यह नहीं है कि AI गणित नहीं कर सकता; समस्या यह है कि वह उस गणित को शब्दों में भरोसेमंद तरीके से अनुवादित नहीं कर सकता।
हम इसे ठीक कर सकते हैं: यदि हम AI को अपने आंतरिक "संख्या बोध" पर ध्यान देने के लिए प्रशिक्षित करते हैं, तो वह संख्याओं के बारे में बात करने में बहुत बेहतर हो जाता है।

संक्षेप में, AI गणित में बुरा नहीं है। वह बस आपको गणित बताने में बुरा है। लेकिन सही प्रशिक्षण के थोड़े से अंश के साथ, हम उसे अपनी आवाज़ खोजने में मदद कर सकते हैं।

यहाँ शोध पत्र "LLMs Know More About Numbers than They Can Say" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग उन डोमेन में तेजी से किया जा रहा है जिनमें उच्च संख्यात्मकता (गणित, विज्ञान) की आवश्यकता होती है। जबकि LLMs अंकगणितीय संक्रियाएं (जैसे, " $5.7 \times 10^2$ क्या है?") कर सकते हैं और एक ही नोटेशन में संख्याओं की तुलना कर सकते हैं (जैसे, "570 या 580 में से कौन सा बड़ा है?"), वे मिश्रित नोटेशन (जैसे, " $5.7 \times 10^2$ या 580 में से कौन सा बड़ा है?") में संख्याओं की तुलना करने के लिए पूछे जाने पर महत्वपूर्ण विफलता दर प्रदर्शित करते हैं।

मुख्य शोध प्रश्न यह है: क्या LLMs वास्तव में संख्यात्मक परिमाण (numerical magnitude) की आंतरिक समझ रखते हैं, या वे केवल संख्याओं के भाषाई निरूपणों (textual representations) का हेरफेर करते हैं? लेखक परिकल्पना करते हैं कि मॉडल अपने हिडन स्टेट्स (hidden states) में सटीक संख्यात्मक जानकारी को एनकोड कर सकते हैं, लेकिन जनरेशन के दौरान इस ज्ञान तक पहुँचने या इसे मौखिक रूप से व्यक्त करने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने 7B–8B ओपन-वेट मॉडल्स (जैसे, Llama-2, Mistral, Qwen, DeepSeek) और फ्रंटियर मॉडल्स (GPT-4.1) पर प्रोबिंग (आंतरिक अवस्थाओं का विश्लेषण) और हस्तक्षेप (फाइन-ट्यूनिंग) को शामिल करते हुए एक बहुआयामी दृष्टिकोण अपनाया।

A. डेटा निर्माण (Data Construction)

सिंथेटिक क्रॉस-नोटेशन डेटासेट: ऐसे संख्याओं के जोड़े बनाए गए जहाँ एक वैज्ञानिक नोटेशन में है और दूसरा मानक दशमलव रूप में (जैसे, $5.7 \times 10^2$ बनाम 560)। इस डेटासेट में 11,200 तुलनात्मक समस्याएं शामिल हैं।
वास्तविक दुनिया का डेटासेट: विविध अर्थपूर्ण संदर्भों में संख्याएँ कहाँ दिखाई देती हैं, इसका परीक्षण करने के लिए peS2o (arXiv) डेटासेट से प्राप्त किया गया।

B. प्रोबिंग प्रयोग (Probing Experiments)

लेखकों ने ट्रांसफॉर्मर लेयर्स के हिडन स्टेट्स पर लीनियर प्रोब्स (linear probes) को प्रशिक्षित किया ताकि मॉडल के वेट्स को बदले बिना संख्यात्मक जानकारी निकाली जा सके।

रिग्रेशन प्रोब (Regression Probes): किसी संख्या के लॉग-मैग्निट्यूड ( $\log_2$ $lo g_{2}$ ) की भविष्यवाणी करने के लिए प्रशिक्षित किए गए।
- लक्ष्य: यह निर्धारित करना कि क्या मॉडल संख्याओं के पूर्ण मान (absolute value) को एनकोड करता है।
वर्गीकरण प्रोब (Classification Probes): यह भविष्यवाणी करने के लिए बाइनरी क्लासिफायर के रूप में प्रशिक्षित किए गए कि क्या पहली संख्या दूसरी से बड़ी है ( $a > b$ $a > b$ )।
- लक्ष्य: यह निर्धारित करना कि क्या मॉडल संख्याओं के बीच के संबंध को एनकोड करता है।
लॉग-रेशियो प्रोब (Log-Ratio Probes): प्रॉम्प्ट के अंतिम हिडन स्टेट से सीधे $\log_2(a/b)$ की भविष्यवाणी करने के लिए प्रशिक्षित किए गए।

C. मौखिक मूल्यांकन (Verbalization Evaluation)

"कौन सा बड़ा है, $a$ या $b$ ?" का उत्तर देने के लिए मॉडल्स को एक वन-शॉट प्रदर्शन (demonstration) के साथ प्रॉम्प्ट किया गया। उनके मौखिक उत्तरों की सटीकता की तुलना प्रोब्स की सटीकता से की गई।

D. हस्तक्षेप (Intervention/Fine-tuning)

कारणता (causality) का परीक्षण करने के लिए, लेखकों ने एक सहायक लॉस फंक्शन का उपयोग करके मॉडल्स को फाइन-ट्यून किया। कुल लॉस को इस प्रकार परिभाषित किया गया था:
$L_{total} = L_{LM} + \beta L_{cls}$
जहाँ $L_{LM}$ मानक लैंग्वेज मॉडलिंग लॉस है, और $L_{cls}$ वर्गीकरण प्रोब से प्राप्त क्रॉस-एन्ट्रॉपी लॉस है। यह मॉडल के आंतरिक निरूपणों को जनरेशन के दौरान तुलना कार्य का बेहतर समर्थन करने के लिए मजबूर करता है।

3. मुख्य परिणाम (Key Results)

A. आंतरिक निरूपण सटीक हैं (Internal Representations are Accurate)

लीनियर एनकोडिंग: हिडन स्टेट्स संख्याओं के लॉग-मैग्निट्यूड्स को लीनियर रूप से एनकोड करते हैं।
- सिंथेटिक डेटा पर, रिग्रेशन प्रोब्स ने ~2.3% का मध्यम सापेक्ष त्रुटि (relative error) प्राप्त किया।
- वास्तविक दुनिया के arXiv डेटा पर, त्रुटि अधिक थी (~19.06%) लेकिन फिर भी महत्वपूर्ण थी, जिसमें सहसंबंध $\rho = 71\%$ था।
तुलना एनकोडिंग: हिडनल स्टेट्स पर प्रशिक्षित लीनियर क्लासिफायर ने यह निर्धारित करने में >90% सटीकता (अक्सर गहरी परतों में >95%) प्राप्त की कि दो संख्याओं में से कौन सी बड़ी है, भले ही संख्याएँ मान में बहुत करीब हों।
विसंगति (Discrepancy): उच्च आंतरिक सटीकता के बावजूद, मॉडल्स की मौखिक सटीकता (verbalized accuracy) उसी कार्य पर केवल 50–70% थी (अक्सर छोटे मॉडल्स के लिए यह रैंडम चांस के करीब थी)।

B. आंतरिक अवस्था और आउटपुट के बीच संबंध (Correlation Between Internal State and Output)

पहले 3 लेयर्स के प्रोब्स के प्रदर्शन और मॉडल की अंतिम मौखिक सटीकता के बीच एक मजबूत सकारात्मक सहसंबंध है।
जिन मॉडल्स में बेहतर आंतरिक मैग्निट्यूड प्रतिनिधित्व था (जैसा कि शुरुआती-लेयर प्रोब्स द्वारा मापा गया), वे मौखिक रूप से उत्तर देने में बेहतर प्रदर्शन करते थे, जो यह सुझाव देता है कि "ज्ञान" मौजूद है लेकिन इसे जनरेशन हेड द्वारा प्रभावी ढंगता से उपयोग नहीं किया जा रहा है।

C. फाइन-ट्यूनिंग का प्रभाव (Impact of Fine-tuning)

कार्य पर मानक फाइन-ट्यूनिंग ने मौखिक सटीकता में महत्वपूर्ण सुधार किया (जैसे, कुछ मॉडल्स के लिए ~50% से ~90% तक)।
महत्वपूर्ण रूप से, प्रोब क्लासिफिकेशन लॉस ( $\beta > 0$ ) को एक सहायक उद्देश्य के रूप में जोड़ने से मानक फाइन-ट्यूनिंग की तुलना में मौखिक सटीकता में 3.22% का अतिरिक्त सुधार हुआ।
विशिष्ट मॉडल्स (जैसे, Mistral-7B, Qwen3-8B) के लिए, इस दृष्टिकोण ने सटीकता को >99% तक पहुँचा दिया, जिससे आंतरिक ज्ञान प्रभावी रूप से "अनलॉक" हो गया।

4. मुख्य योगदान (Key Contributions)

"साइलेंट" संख्यात्मकता का प्रमाण: यह शोध पत्र यह सिद्ध करता है कि LLMs संख्यात्मक परिमाण और तुलना तर्क के परिष्कृत, लीनियरली एनकोडेड निरूपण रखते हैं जो मानक टेक्स्ट जनरेशन के माध्यम से सुलभ नहीं हैं।
मौखिककरण अंतराल (The Verbalization Gap): यह एक विशिष्ट विफलता मोड की पहचान करता है जहाँ मॉडल्स आंतरिक संख्यात्मक तर्क को प्राकृतिक भाषा में अनुवाद करने में विफल रहते हैं, विशेष रूप से क्रॉस-नोटेशन परिदृश्यों में।
सहायक लॉस के माध्यम से कारण संबंध: लेखक अनुभवजन्य प्रमाण प्रदान करते हैं कि आंतरिक निरूपणों को स्पष्ट रूप से अनुकूलित करना (प्रोब लॉस के माध्यम से) मॉडल की संख्यात्मक तर्क को मौखिक रूप से व्यक्त करने की क्षमता में कारण सुधार लाता है।
बेंचमार्किंग: वे सरल अंकगणित से परे संख्यात्मकता का परीक्षण करने के लिए सिंथेटिक और वास्तविक दुनिया के वैज्ञानिक डेटा का उपयोग करके एक कठोर मूल्यांकन ढांचा पेश करते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

ब्लैक-बॉक्स मूल्यांकन से परे: अध्ययन बताता है कि केवल आउटपुट सटीकता का मूल्यांकन करके LLMs की वास्तविक क्षमताओं को कम करके आंका जाता है। आंतरिक प्रोबिंग उस "क्षमता" (competence) को प्रकट करती है जो उनके "प्रदर्शन" (performance) विफलताओं द्वारा छिपी हुई है।
प्रशिक्षण रणनीति: निष्कर्ष बताते हैं कि LLMs में संख्यात्मक तर्क में सुधार करने के लिए आवश्यक रूप से अधिक डेटा या बड़े मॉडल्स की आवश्यकता नहीं है, बल्कि लक्षित फाइन-ट्यूनिंग की आवश्यकता है जो आंतरिक निरूपणों को जनरेशन ऑब्जेक्टिव के साथ संरेखित करे।
सीमाएँ: लेखक नोट करते हैं कि वर्तमान निष्कर्ष 7B–8B मॉडल्स तक सीमित हैं (जहाँ हिडन स्टेट्स सुलभ हैं) और सिंथेटिक डेटा वास्तविक दुनिया के वैज्ञानिक टेक्स्ट की जटिलता को पूरी तरह से कैप्चर नहीं कर सकता है। इसके अतिरिक्त, प्रोब्स निरूपण (representation) को प्रकट करते हैं, न कि अनिवार्य रूप से उस तंत्र (mechanism) को कि इस निरूपण का इन्फरेंस के दौरान कैसे उपयोग किया जाता है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि LLMs संख्याओं के बारे में उतना जानते हैं जितना वे कह सकते हैं, और इस अंतर को पाटने के लिए मॉडल के आंतरिक अवस्था अनुकूलन को उनके जेनेरेटिव लक्ष्यों के साथ संरेखित करने की आवश्यकता है।