💬 NLP

Language Models are Symbolic Learners in Arithmetic

यह शोध पत्र तर्क देता है कि भाषा मॉडल अंकगणित के वास्तविक एल्गोरिदम को नहीं सीखते हैं, बल्कि इसके बजाय वे लालची प्रतीकात्मक शिक्षार्थी (greedy symbolic learners) के रूप में कार्य करते हैं जो सरल, कम-टोकन वाले शॉर्टकट की एक पदानुक्रमित कैस्केड (cascade) को प्राप्त करके कार्यों में महारत हासिल करते हैं, एक ऐसी प्रक्रिया जिसका प्रमाण बहु-अंकों वाले गुणन में एक U-आकार का सटीकता पैटर्न है जो सरलतम इनपुट-आउटपुट मैपिंग की गुणवत्ता को दर्शाता है।

मूल लेखक: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

प्रकाशित 2026-01-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: क्या वे गणित के उस्ताद हैं या केवल पैटर्न पहचानने वाले?

कल्पना कीजिए कि आप एक ऐसे छात्र को देखते हैं जो एक विशाल गुणा की समस्या (जैसे $12,345 \times 67,890$ ) का अंतिम अंक तुरंत बता देता है, लेकिन बीच के अंकों पर अटक जाता है। आप पूछ सकते हैं: क्या वे वास्तव में समझते हैं कि गुणा कैसे काम करता है, या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जिन्हें उन्होंने पहले देखा है?

यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) दूसरे वाले ही हैं। वे गणित के "एल्गोरिदम" (वे चरण-दर-चरण नियम जो हम स्कूल में सिखाते हैं) को नहीं सीख रहे हैं। इसके बजाय, वे लालची शॉर्टकट लेने वालों (greedy shortcut-takers) की तरह काम कर रहे हैं। वे सही उत्तर पाने के लिए सबसे आसान, सरल तरीका खोजते हैं, और अंतर्निहित तर्क (logic) को सीखने के बजाय विशिष्ट प्रतीक-से-प्रतीक (symbol-to-symbol) के ट्रिक्स को याद कर लेते हैं।

जासूसी उपकरण: "सबग्रुप इंडक्शन" (Subgroup Induction)

इसे सिद्ध करने के लिए, लेखकों ने एक नया जासूसी उपकरण बनाया जिसे सबग्रुप इंडक्शन कहा जाता है।

गुणा की समस्या को एक विशाल पहेली की तरह समझें। इसे हल करने के लिए, आपको आमतौर पर इसमें शामिल सभी संख्याओं को देखने की आवश्यकता होती है। लेकिन यह उपकरण एक सरल प्रश्न पूछता है: "क्या हम इनपुट के एक बहुत छोटे, विशिष्ट हिस्से को देखकर ही उत्तर के केवल एक भाग को हल कर सकते हैं?"

उपमा (Analogy): कल्पना कीजिए कि आप केक का स्वाद पहचानने की कोशिश कर रहे हैं।
- एल्गोरिदम का तरीका: आप पूरे केक को चखते हैं, मैदा, चीनी, अंडे और बेकिंग समय का विश्लेषण करते हैं, और स्वाद की गणना करते हैं।
- शॉर्टकट का तरीका: आप बस वैनिला एक्सट्रैक्ट (vanilla extract) की खुशबू सूंघ लेते हैं। यदि आपको वैनिला की खुशबू आती है, तो आप अनुमान लगाते हैं "वैनिला केक"। आपको अंडों या ओवन के तापमान के बारे में जानने की आवश्यकता नहीं थी; आपने बस एक त्वरित, विश्वसनीय शॉर्टकट ढूंढ लिया।

शोध पत्र इन शॉर्टकट को "सबग्रूप्स" (Subgroups) कहता है। एक सबग्रूप एक छोटा सा मैपिंग है, जैसे "यदि अंतिम अंक 3 और 4 हैं, तो उत्तर का अंत जरूर 2 पर होगा।"

"U-आकार" की खोज

शोधकर्ताओं ने मॉडल्स को गुणा की समस्याओं पर प्रशिक्षित करके इसका परीक्षण किया। उन्होंने पाया कि मॉडल्स के प्रदर्शन में एक अजीब, सुसंगत पैटर्न था, जो ग्राफ पर एक U-आकार जैसा दिखता है:

किनारे (उच्च सटीकता): मॉडल्स उत्तर के पहले और अंतिम अंकों की भविष्यवाणी करने में अद्भुत थे।
मध्य (कम सटीकता): मॉडल्स उत्तर के बीच के अंकों की भविष्यवाणी करने में बहुत खराब थे।

ऐसा क्यों होता है?

किनारे आसान शॉर्टकट हैं: गुणा का अंतिम अंक, गुणा की जा रही संख्याओं के अंतिम अंकों पर निर्भर करता है। यह एक आदर्श, सरल शॉर्टकट है (जैसे वैनिला की खुशबू)। मॉडल्स इसे तुरंत सीख लेते हैं क्योंकि इसके लिए बहुत कम संख्याओं को देखने की आवश्यकता होती है।
मध्य कठिन है: बीच के अंक अन्य सभी संख्याओं और "कैरी ओवर" (carry over) मूल्यों के एक जटिल मिश्रण पर निर्भर करते हैं। यहाँ कोई सरल, छोटा शॉर्टकट नहीं है। बीच के अंक को सही करने के लिए, आपको एक साथ लगभग सब कुछ देखना होगा।

शोध पत्र दिखाता है कि मॉडल्स का प्रदर्शन वक्र इन शॉर्टकट की "गुणवत्ता" से पूरी तरह मेल खाता है। वे आसान, कम प्रयास वाले शॉर्टकट में महारत हासिल करते हैं। वे जटिल, उलझे हुए मध्य भागों को सीखना तभी शुरू करते हैं जब उन्हें अधिक प्रशिक्षण द्वारा मजबूर किया जाता है।

सीखने का "पेड़" (The Tree of Learning)

लेखक सीखने की प्रक्रिया को एक पेड़ पर चढ़ने के रूप में देखते हैं:

पेड़ का निचला हिस्सा: बहुत कम संख्याओं का उपयोग करने वाले सरल शॉर्टकट (सीखने में आसान, सिरों के लिए उच्च सटीकता)।
पेड़ का ऊपरी हिस्सा: कई संख्याओं का उपयोग करने वाले जटिल शॉर्टकट (सीखने में कठिन, मध्य भाग के लिए आवश्यक)।

मॉडल्स नीचे से शुरुआत करते हैं। वे पहले आसान जीत (easy wins) हासिल करते हैं। जैसे-जैसे उन्हें अधिक प्रशिक्षण मिलता है, वे कठिन और अधिक जटिल पैटर्न से निपटने के लिए धीरे-धीरे पेड़ पर ऊपर चढ़ते हैं। वे एक साथ "पूरा पेड़" नहीं सीखते; वे सबसे आसान वाले से शुरू करते हुए शाखा-दर-शाखा सीखते हैं।

"एन्ट्रॉपी" मीटर: कठिनाई को मापना

शोध पत्र एक दूसरा उपकरण भी पेश करता है जिसे सबग्रुप एन्ट्रॉपी (Subgroup Entropy) कहा जाता है। इसे एक "कन्फ्यूजन मीटर" (Confusion Meter) के रूप में समझें।

यदि किसी शॉर्टकट की एन्ट्रॉपी कम है, तो इसका मतलब है कि उत्तर बहुत अनुमानित है (जैसे, "3 गुना 4 हमेशा 12 होता है")।
यदि किसी शॉर्टकट की एन्ट्रॉपी अधिक है, तो इसका मतलब है कि उत्तर अराजक और बिना विवरण देखे अनुमान लगाना कठिन है।

शोधकर्ताओं ने पाया कि जब उन्होंने जटिल तर्क कार्यों (जैसे चेन-ऑफ-थॉट, जहाँ मॉडल चरण-दर-चरण सोचता है) को तोड़ दिया, तो वे रास्ते जिनमें सबसे कम कन्फ्यूजन (एन्ट्रॉपी) था, वे ही थे जिन्हें मॉडल्स ने सबसे अधिक बार सही ढंग से हल किया। यह पुष्टि करता है कि मॉडल्स प्रतिरोध के सबसे कम मार्ग (path of least resistance) को पसंद करते हैं—वे उत्तर तक पहुँचने के लिए सबसे आसान, सबसे अनुमानित चरणों को चुनते हैं।

निष्कर्ष (The Bottom Line)

शोध पत्र निष्कर्ष निकालता है कि भाषा मॉडल (Language Models) मानवीय अर्थों में "गणना" (compute) करना नहीं सीख रहे हैं। वे सिंबोलिक लर्नर्स (Symbolic Learners) हैं जो शॉर्टकट का एक पदानुक्रम (hierarchy) बनाते हैं।

वे गुणा की "रेसिपी" नहीं सीखते।
वे "यदि-तो" (if-then) ट्रिक्स का एक विशाल पुस्तकालय सीखते हैं, जो सबसे सरल (जैसे अंतिम अंक) से शुरू होकर, अधिक अनुभव के साथ धीरे-धीरे अधिक जटिल (जैसे मध्य अंक) की ओर बढ़ता है।

संक्षेप में: LLMs कुशल पैटर्न मैचर्स हैं जो शॉर्टकट पसंद करते हैं, न कि एल्गोरिथम विचारक। वे गणित को हमारे तरीके से हल करने के बजाय, प्रतीकों के माध्यम से सबसे आसान रास्ता खोजकर हल करते हैं।

तकनीकी सारांश: भाषा मॉडल अंकगणित में प्रतीकात्मक शिक्षार्थी (Symbolic Learners) हैं

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LMs) द्वारा अंकगणित करने के संबंध में प्रचलित बहस इस बात पर केंद्रित है कि क्या ये मॉडल वास्तव में एल्गोरिदम को कंप्यूट करना सीखते हैं या केवल सतही पैटर्न मिलान (pattern matching) में महारत हासिल करते हैं। जबकि फ्रंटियर मॉडल्स ने GSM8K जैसे बेंचमार्क पर संतृप्ति (saturation) प्राप्त कर ली है, यह स्पष्ट नहीं है कि क्या उनके पास वास्तविक संख्यात्मक तर्क (numerical reasoning) है या उनकी सफलता प्रशिक्षण डेटा में सांख्यिकीय पैटर्न से बुना गया एक "विस्तृत भ्रम" (elaborate illusion) है। यह शोध पत्र दूसरे पक्ष का समर्थन करता है, यह तर्क देते हुए कि LMs "लालची प्रतीकात्मक शिक्षार्थी" (greedy symbolic learners) के रूप में कार्य करते हैं जो गुणन के अमूर्त एल्गोरिदम को सीखने के बजाय डेटासेट सांख्यिकी को फिट करने के लिए सबसे सरल संभव शॉर्टकट को प्राथमिकता देते हैं।

कार्यप्रणाली: उपसमूह प्रेरण (Subgroup Induction)

इस परिकल्पना की जांच करने के लिए, लेखक सोलोमोनॉफ इंडक्शन (SI) से अनुकूलित एक व्यावहारिक ढांचा, उपसमूह प्रेरण (Subgroup Induction) पेश करते हैं। SI एक इष्टतम भविष्यवाणी के लिए एक सैद्धांतिक ढांचा है जो कम्प्यूटैबिलिटी और बेयसियन सिद्धांतों को जोड़ता है, जो कोलमोगोरोव जटिलता (Kolmogorov complexity) के माध्यम से सरल परिकल्पनाओं (Occam's Razor) को प्राथमिकता देता है।

लेखक SI के सिद्धांतों को अंकगणितीय शिक्षण के ठोस परिवेश में अनुकूलित करने के लिए उपसमूह (subgroup) को विश्लेषण की मूल इकाई के रूप में परिभाषित करते हैं। एक उपसमूह $s$ , इनपुट अंकों ( $A, B$ ) के एक उपसमुच्चय से एकल आउटपुट अंक ( $C$ ) तक का एक न्यूनतम मानचित्रण (minimal mapping) है। यह ढांचा अंकगणितीय समस्याओं का विश्लेषण करने के लिए उन्हें इन उपसमूहों में विभाजित करता है ताकि उन "शॉर्टकट" की पहचान की जा सके जिनका उपयोग LMs करते हैं।

उपसमूह जटिलता को मापने के लिए दो पूरक मेट्रिक्स प्रस्तावित किए गए हैं:

उपसमूह गुणवत्ता ( $Q(s)$ ): यह एक विशिष्ट इनपुट टोकन के उपयोग से आउटपुट अंक की भविष्यवाणी करने की व्यवहार्यता को मापकर एक शॉर्टकट की व्यवहार्यता को मापता है (अन्य को शून्य करके मास्क करना)। उच्च $Q(s)$ एक विश्वसनीय, कम-टोकन वाले शॉर्टकट को दर्शाता है।
उपसमूह एंट्रॉपी ( $H(s)$ ): यह एक उपसमूह के लेबल स्पेस के भीतर आउटपुट लेबल की अंतर्निहित अस्पष्टता या परिवर्तनशीलता को मापता है। यह त्रुटि अनुमान और तर्क पथों (reasoning paths) के विश्लेषण के लिए एक कम्प्यूटेशनल रूप से कुशल उपकरण के रूप में कार्य करता है।

लेखक LM के इनपुट टोकन के चयन को एक 'परिकल्पना चयन प्रक्रिया' (hypothesis selection process) के रूप में देखते हैं। उनका अनुमान है कि LMs एक "टोकन-बजट ट्री" (token-budget tree) खोज का पालन करते हैं, जो शुरू में कम टोकन वाले उच्च-गुणवत्ता वाले शॉर्टकट सीखते हैं और केवल तभी अधिक जटिल, बहु-टोकन पैटर्न को शामिल करते हैं जब उन्हें लर्निंग ऑब्जेक्टिव द्वारा मजबूर किया जाता है।

मुख्य परिणाम

1. U-आकार का सटीकता पैटर्न (The U-Shaped Accuracy Pattern)

Gemma-2-2B और Llama-3.1-8B का उपयोग करके मल्टी-डिजिट गुणन (3 से 5 अंक) पर प्रयोग एक विशिष्ट U-आकार के सटीकता वक्र को प्रकट करते हैं।

अवलोकन: मॉडल पहले (सबसे महत्वपूर्ण) और अंतिम (सबसे कम महत्वपूर्ण) आउटपुट अंकों में तेजी से महारत हासिल करते हैं, जिससे >95% सटीकता प्राप्त होती है। इसके विपरीत, अनुक्रम के बीच के अंकों के लिए सटीकता नाटकीय रूप से गिरकर (~10%) हो जाती है।
सहसंबंध: यह U-आकार संयोग नहीं है; यह सरलतम उपसमूहों की उपसमूह गुणवत्ता ( $Q(s)$ ) को पूरी तरह से दर्शाता है।
- किनारे (Edges): सबसे कम महत्वपूर्ण अंक केवल अंतिम इनपुट अंकों (जैसे, $A_2 \times B_2$ ) पर निर्भर करता है, और सबसे महत्वपूर्ण अंक अग्रणी अंकों (leading digits) का उपयोग करके परिमाण अनुमानों द्वारा सीमित होता है। इनके लिए कम टोकन ( $k$ ) और उच्च $Q(s)$ की आवश्यकता होती है।
- मध्य (Middle): मध्य के अंकों को कई इनपुट अंकों से क्रॉस-टर्म और कैरी ऑपरेशंस को एकीकृत करने की आवश्यकता होती है। इन स्थितियों के लिए कम-टोकन वाले उपसमूहों में निम्न $Q(s)$ होता है, जो मॉडल को प्रशिक्षण के दौरान बाद में उच्च-टोकन, अधिक जटिल मैपिंग सीखने के लिए मजबूर करता है।

2. ट्री सर्च के रूप में लर्निंग डायनेमिक्स

लेखक प्रशिक्षण गतिशीलता को एक "टोकन-बजट ट्री" के ऊपर खोज के रूप में व्याख्या करते हैं।

चरण 1: मॉडल न्यूनतम टोकन का उपयोग करके पेड़ के "आसान" पत्तों (किनारे के अंक) को जल्दी से फिट करता है।
चरण 2-n: जैसे-जैसे अवशेष त्रुटियां (residual errors) मध्य स्थितियों में बनी रहती हैं, ग्रेडिएंट्स मॉडल को अस्पष्टता को हल करने के लिए बड़े उपसमूहों (अधिक टोकन) को शामिल करने के लिए प्रेरित करते हैं।
निष्कर्ष: LMs पूरे गुणन के एल्गोरिदम को नहीं सीखते; वे प्रतीक-से-प्रतीक (symbol-to-symbol) मैपिंग की एक पदानुक्रमित श्रृंखला सीखते हैं, जो प्रतिरोध के सबसे कम मार्ग से शुरू होती है।

3. चेन-ऑफ-थॉट (CoT) और उपसमूह एंट्रॉपी

शोध पत्र चेन-ऑफ-थॉट तर्क को भी विस्तारित करता है:

त्रुटि अनुमान: उपसमूह एंट्रॉपी ( $H(s)$ ), मॉडल के प्रदर्शन के साथ मजबूती से सह-संबंधित है। कम कुल एंट्रॉपी वाले कार्य (जैसे, छोटे मॉडुली के साथ मॉडुलर अंकगणित) उच्च सटीकता प्रदान करते हैं।
CoT अनुकूलन: एक CoT सेटिंग में, गुणन समस्या को चरणों में विभाजित करना (जैसे, इजिप्शियन मल्टीप्लिकेशन बनाम स्टैंडर्ड मल्टीप्लिकेशन) प्रदर्शन को प्रभावित करता है। अध्ययन पाता है कि वे CoT पथ जिनमें न्यूनतम कुल उपसमूह एंट्रॉपी होती है, लगातार सर्वोत्तम सटीकता प्राप्त करते हैं। यह सुझाव देता है कि LMs उन तर्क रणनीतियों को पसंद करते हैं जो सरलतम प्रतीकात्मक शॉर्टकट की श्रृंखला से बनी होती हैं।

मुख्य योगदान

उपसमूह प्रेरण ढांचा (Subgroup Induction Framework): अंकगणित में LM लर्निंग मैकेनिज्म का विश्लेषण करने के लिए सोलोमोनॉफ इंडक्शन से व्युत्पन्न एक नया, व्यावहारिक ढांचा, जो समस्याओं को न्यूनतम इनपुट-आउटपुट मैपिंग में तोड़ता है।
U-आकार की सटीकता की खोज: मल्टी-डिजिट गुणन में एक सुसंगत U-आकार के सटीकता पैटर्न की पहचान, जो इस बात का अनुभवजन्य प्रमाण प्रदान करती है कि LMs जटिल मध्यवर्ती अंकों के बीच अंतर्निर्भरता के साथ संघर्ष करते हैं जबकि सरल शॉर्टकट के माध्यम से किनारे के अंकों में महारत हासिल करते हैं।
तंत्र स्पष्टीकरण: U-आकार के "टोकन-बजट" पदानुक्रम के प्रत्यक्ष परिणाम के रूप में कार्य का प्रदर्शन, जहाँ मॉडल जटिल पैटर्न सीखने से पहले कम-टोकन, उच्च-गुणवत्ता वाले शॉर्टकट को प्राथमिकता देते हैं (Occam's Razor)।
मेट्रिक के रूप में एंट्रॉपी: त्रुटि सीमाओं का अनुमान लगाने और CoT सेटिंग्स में तर्क पथों की जटिलता का मूल्यांकन करने के लिए एक गणना योग्य, कुशल मेट्रिक के रूप में उपसमूह एंट्रॉपी का परिचय।

महत्व और दावे

शोध पत्र का दावा है कि LMs के लिए अंकगणितीय महारत का मार्ग अमूर्त एल्गोरिदम की खोज से नहीं, बल्कि सरल, पदानुक्रमित रूप से सीखे गए प्रतीकात्मक शॉर्टकट के कैस्केड से बना है।

विश्वसनीयता के लिए निहितार्थ: निष्कर्ष बताते हैं कि LMs वास्तविक संख्यात्मक तर्क विकसित नहीं करते हैं, बल्कि एक परिष्कृत पैटर्न-मिलान क्षमता विकसित करते हैं जो उन आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों के प्रति नाजुक (brittle) है जहाँ सरल शॉर्टकट विफल हो जाते हैं (जैसे, जटिल गुणन में मध्य-अंक गणना)।
सैद्धांतिक सेतु: यह कार्य सैद्धांतिक यूनिवर्सल प्रेडिक्शन (सोलोमोनॉफ इंडक्शन) को आधुनिक न्यूरल आर्किटेक्चर के साथ जोड़ता है, जो यह समझने के लिए एक लेंस प्रदान करता है कि LMs क्या प्राप्त करते हैं के बजाय कैसे सीखते हैं।
व्यावहारिक उपयोगिता: ढांचा लर्निंग बॉटलनेक्स (bottlenecks) को पहचानने और प्रशिक्षण रणनीतियों को अनुकूलित करने के लिए उपकरण (उपसमूह गुणवत्ता और एंट्रॉपी) प्रदान करता है, जैसे कि मध्य अंकों के लिए आवश्यक टोकन को प्रकट करने के लिए डेटा क्यूरेट करना या कम प्रतीकात्मक जटिलता वाले CoT पथों को डिजाइन करना।

लेखक निष्कर्ष निकालते हैं कि LMs को लालची प्रतीकात्मक शिक्षार्थी के रूप में समझना विश्वसनीय AI तर्क विकसित करने के लिए महत्वपूर्ण है, क्योंकि यह उन कार्यों को संभालने में वर्तमान मॉडल्स की सीमाओं को उजागर करता है जिन्हें सरल, कम-टोकन मैपिंग में विभाजित नहीं किया जा सकता है।