Efficient numeracy in language models through single-token number embeddings
यह शोध पत्र BitTokens को प्रस्तुत करता है, जो IEEE 754 बाइनरी फ्लोटिंग-पॉइंट प्रतिनिधित्व पर आधारित एक नवीन सिंगल-टोकन एन्कोडिंग रणनीति है जो भाषा मॉडलों को अंकगणितीय एल्गोरिदम को लगभग पूर्ण रूप से सीखने और मल्टी-टोकन नंबर स्प्लिटिंग या बाहरी उपकरणों पर निर्भर वर्तमान विधियों की तुलना में जटिल संख्यात्मक समस्याओं को अधिक कुशलता से हल करने में सक्षम बनाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट को गणित करना सिखाने की कोशिश कर रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है। वर्तमान में, जब आप इस रोबोट को दो बड़े नंबरों को गुणा करने के लिए कहते हैं, तो वह उत्तर को केवल "जानता" नहीं है। इसके बजाय, वह खुद से बात करके, चरण-दर-चरण निर्देश लिखकर और अपने काम की बार-बार जाँच करके इसे हल करने की कोशिश करता है।
यह पेपर तर्क देता है कि "खुद से बात करने" का यह तरीका अविश्वसनीय रूप से बर्बादी भरा है। यह वैसा ही है जैसे किसी से की गणना करने के लिए कहने के लिए एक साधारण संख्या प्राप्त करने के अंत में एक 10 पन्नों का निबंध लिखना, जिसमें हर एक चरण की व्याख्या की गई हो। रोबोट बुनियादी अंकगणित करने के लिए बहुत अधिक "मस्तिष्क स्थान" (टोकन) खर्च कर देता है, जिससे उसके पास कठिन समस्याओं को हल करने के लिए कोई जगह नहीं बचती।
समस्या: "शब्द-दर-शब्द" गणित का जाल
अभी, ये रोबोट नंबरों के साथ वैसा ही व्यवहार करते हैं जैसा वे शब्दों के साथ करते हैं। यदि आप "4,080,000" टाइप करते हैं, तो रोबोट इसे अलग-अलग टुकड़ों (टोकन) की एक लंबी स्ट्रिंग के रूप में देखता है, जैसे कि एक किताब को एक-एक अक्षर करके पढ़ना।
- उपमा: कल्पना कीजिए कि आप एक नंबर को तीन अलग-अलग अक्षरों के रूप में पढ़ रहे हैं: "1", "2" और "3"। उन्हें जोड़ने के लिए, आपको प्रत्येक अक्षर को व्यक्तिगत रूप से प्रोसेस करना होगा, दहाई के स्थान से "1" को कैरी (carry) करना होगा, इत्यादि। यह धीमा, बोझिल और त्रुटियों से भरा है।
इस कारण से, रोबोट को एक साधारण गुणा समस्या को हल करने के लिए हजारों शब्दों का "तर्क" (reasoning) उत्पन्न करना पड़ता है।
समाधान: "जादुई आईडी कार्ड" (BitTokens)
लेखक रोबोट को नंबर सिखाने का एक नया तरीका प्रस्तावित करते हैं, जिसे BitTokens कहा जाता है।
नंबरों को टुकड़ों में तोड़ने के बजाय, BitTokens हर नंबर को एक एकल, अद्वितीय आईडी कार्ड देते हैं।
- उपमा: एक नंबर को एक ऐसे वाक्य के रूप में न सोचें जिसे आपको पढ़ना है, बल्कि एक पैलेट पर एक विशिष्ट रंग के रूप में सोचें। "लाल" का वर्णन करने के लिए यह कहने के बजाय कि "यह नीला और पीला का मिश्रण है," आप बस रोबलेट को एक एकल कार्ड थमा देते हैं जो वास्तव में "लाल" है।
- यह कैसे काम करता है: वे कंप्यूटर के मानक तरीके का उपयोग करते हैं जिससे नंबरों को स्टोर किया जाता है (जिसे IEEE 754 कहा जाता है, जो कि एक सार्वभौमिक ब्लूप्रिंट है कि कंप्यूटर दशमलव कैसे स्टोर करते हैं)। वे इस ब्लूप्रिंट को एक एकल टोकन (रोबोट के लिए एक एकल "शब्द") में बदल देते हैं।
- परिणाम: जब रोबोट 4,080,000 देखता है, तो वह इसे अंकों की एक लंबी स्ट्रिंग के रूप में नहीं देखता। वह एक एकल प्रतीक देखता है जो उसे तुरंत वह सब कुछ बता देता है जिसकी उसे उस नंबर के बारे में जानने की आवश्यकता है: उसका आकार, उसकी सटीकता और उसका चिह्न।
यह एक बड़ी बात क्यों है
पेपर ने इसका परीक्षण छोटे रोबोट मॉडल पर किया (इसे सरल और नियंत्रित रखने के लिए)। यहाँ उन्होंने जो पाया वह है:
- गति और दक्षता: BitTokens के साथ, रोबोट को गणित करने के लिए 10 पन्नों का निबंध लिखने की आवश्यकता नहीं थी। यह एक ही चरण में बुनियादी जोड़, गुणा और भाग को लगभग पूरी तरह से हल कर सकता था।
- सीखने वाले एल्गोरिदम: क्योंकि नंबरों को एक संरचित, तार्किक तरीके से एनकोड किया गया है (बाइनरी बिट्स का उपयोग करके, ठीक वैसे ही जैसे कंप्यूटर चिप्स), रोबोट वास्तव में गणित के नियमों को "सीख" सकता था। यह एक बच्चे को "5" के लिए एक एकल ब्लॉक देकर गिनती सिखाने जैसा है, बजाय इसके कि हर बार पांच अलग-अलग कंकड़ गिनने के लिए उसे कहें।
- समझौता (Trade-off): पेपर नोट करता है कि बहुत जटिल, बहु-चरणीय समस्याओं (जैसे संख्याओं की एक विशाल सूची का मानक विचलन/standard deviation निकालना) के लिए, एकल-टोकन विधि अभी भी इस बात से सीमित है कि रोबोट एक बार में कितनी गहराई तक "सोच" सकता है। हालाँकि, मानक अंकगणित के लिए, यह पुराने तरीकों की तुलना में कहीं अधिक श्रेष्ठ था।
यह पेपर क्या दावा नहीं करता है
यह महत्वपूर्ण है कि हम उन बातों पर टिके रहें जो लेखकों ने वास्तव में कही हैं:
- उन्होंने यह नहीं कहा कि इससे चिकित्सा निदान या वित्तीय सलाह तुरंत ठीक हो जाएगी।
- उन्होंने यह दावा नहीं किया कि यह दुनिया के सबसे बड़े, सबसे महंगे मॉडलों पर अभी काम करता है (उन्होंने इसे छोटे, "नैनो" मॉडलों पर टेस्ट किया)।
- उन्होंने यह नहीं कहा कि हमें तर्क (reasoning) का उपयोग पूरी तरह से बंद कर देना चाहिए। उनका सुझाव है कि बुनियादी गणित को कुशल बनाकर, रोबोट के पास वास्तव में कठिन समस्याओं के लिए तर्क करने के लिए अधिक "मस्तिष्क स्थान" बचा रहेगा।
निचोड़ (The Bottom Line)
यह पेपर नंबरों के लिए एक नई "भाषा" पेश करता है जो AI मॉडलों को बुनियादी गणित में लड़खड़ाने से रोकती है। नंबरों को एक लंबी, अव्यवस्थित व्याख्या के बजाय एक एकल, कुशल "आईडी कार्ड" देने से, ये मॉडल तेजी से, अधिक सटीकता से और कम बर्बाद प्रयास के साथ गणना कर सकते हैं। यह AI के नंबरों की दुनिया को "देखने" के तरीके में एक मौलिक अपग्रेड है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।