Language Models Learn Universal Representations of Numbers and Here's Why You Should Care
यह शोध पत्र प्रदर्शित करता है कि विविध लार्ज लैंग्वेज मॉडल्स (LLMs) संख्याओं के लिए आश्चर्यजनक रूप से सार्वभौमिक और विनिमेय साइनुसोइडल (sinusoidal) निरूपणों पर अभिसरित होते हैं, जो संख्यात्मक एन्कोडिंग का सटीक मूल्यांकन करने और यांत्रिक संवर्द्धनों के माध्यम से अंकगणितीय त्रुटियों को कम करने के लिए एक महत्वपूर्ण निष्कर्ष है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI के पास संख्याओं के लिए एक "गुप्त भाषा" है
कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (इंटरनेट) है और आपने एक रोबोट (एक लार्ज लैंग्वेज मॉडल या LLM) को उन्हें पढ़ने के लिए प्रशिक्षित किया है। आप रोबोट से गणित करने के लिए कहते हैं। आश्चर्यजनक रूप से, रोबोट इसमें अक्सर खराब प्रदर्शन करता है। लेकिन क्यों?
यह शोध पत्र जांच करता है कि रोबोट अपने मस्तिष्क के अंदर संख्याओं के बारे में कैसे "सोचता" है। शोधकर्ताओं ने कुछ अद्भुत खोजा है: हर एक AI मॉडल, चाहे उसे किसने बनाया हो या वह कितना भी बड़ा क्यों न हो, संख्याओं को बिल्कुल एक ही तरह से प्रदर्शित (represent) करना सीखता है।
यह ऐसा है जैसे हर AI, एक छोटे से लेकर एक विशाल AI तक, गुप्त रूप से एक विशिष्ट "गणित की बोली" बोलने के लिए सहमत है जो एक साइन वेव (sine wave) (समुद्र की लहरों की तरह एक चिकनी, लुढ़कती हुई लहर) की तरह दिखती है।
1. "यूनिवर्सल वेव" (खोज)
उपमा (Analogy): कल्पना कीजिए कि विभिन्न देशों के संगीतकारों का एक समूह (विभिन्न AI मॉडल) है जो कभी एक-दूसरे से नहीं मिले हैं। उनसे एक विशिष्ट स्वर (संख्या "5") बजाने के लिए कहा जाता है। आप उम्मीद कर सकते हैं कि वे इसे अलग तरह से बजाएंगे। इसके बजाय, वे सभी बिल्कुल उसी वाद्य यंत्र पर, उसी पिच पर, और उसी लय के साथ बजाते हैं।
विज्ञान:
शोधकर्ताओं ने पाया कि जब एक AI किसी संख्या को देखता है, तो वह उसे केवल कोड की एक यादृच्छिक सूची के रूप में संग्रहीत नहीं करता है। यह संख्या को एक साइनुसोइडल पैटर्न (sinusoidal pattern) (एक तरंग/वेव) में परिवर्तित कर देता है।
- सार्वभौमिकता (Universality): चाहे AI मेटा (Llama) द्वारा बनाया गया हो, माइक्रोसॉफ्ट (Phi) द्वारा, या किसी रिसर्च लैब द्वारा, वे सभी संख्याओं को प्रदर्शित करने के लिए एक ही "वेव फ्रीक्वेंसी" का उपयोग करते हैं।
- निरंतरता (Consistency): यह वेव पैटर्न AI के मस्तिष्क की पहली परत से लेकर अंतिम परत तक सुसंगत रहता है। यह एक नदी की तरह है जो समुद्र तक पहुँचने तक एक ही दिशा में बहती है।
2. "गलत चश्मे" की समस्या (हम पहले क्यों गलत थे)
उपमा: कल्पना कीजिए कि आप एक वायलिन सुनने की कोशिश कर रहे हैं, लेकिन आपने भारी मेटल कॉन्सर्ट के लिए डिज़ाइन किए गए नॉइज़-कैंसलिंग हेडफ़ोन पहने हुए हैं। आपको केवल शोर सुनाई देता है और आप सोचते हैं कि वायलिन वादक खराब है। लेकिन यदि आप "क्लासिकल म्यूजिक हेडफ़ोन" पर स्विच करते हैं, तो आप मधुर धुन को पूरी तरह से सुनते हैं।
विज्ञान:
AI क्या सोच रहे हैं, इसे "पढ़ने" के लिए पिछले उपकरण ऐसे थे जैसे कि गलत हेडफ़ोन। उन्होंने माना कि संख्याएँ केवल सरल, सीधी रेखाएं (linear) हैं।
- गलती: क्योंकि उन उपकरणों को "वेव" (लहर) की उम्मीद नहीं थी, इसलिए उन्होंने सोचा कि AI भ्रमित है या जानकारी खो रहा है। उन्होंने संख्याओं को समझने में AI की वास्तविक क्षमता को कम करके आंका।
- समाधान: लेखकों ने एक नया उपकरण (एक प्रोब) बनाया जो विशेष रूप से लहरों को सुनने के लिए डिज़ाइन किया गया था। जब उन्होंने इस नए उपकरण का उपयोग किया, तो उन्हें एहसास हुआ कि AI वास्तव में संख्याओं को बहुत सटीकता के साथ पकड़ रहा था, यहाँ तक कि बहुत लंबी और जटिल संख्याओं के लिए भी।
3. "मैजिक वेव" ट्रिक (गलतियों को सुधारना)
उपमा: कल्पना कीजिए कि एक GPS नेविगेशन सिस्टम रास्ता भटक जाता है क्योंकि मानचित्र थोड़ा विकृत (distorted) है। यदि आप जानते हैं कि मानचित्र कैसे विकृत हुआ है, तो आप GPS को वापस सही रास्ते पर लाने के लिए उसे धीरे से धकेल सकते हैं।
विज्ञान:
शोधकर्ताओं ने पाया कि जब एक AI गणित की गलती करता है (जैसे की गणना करना), तो यह अक्सर इसलिए होता है क्योंकि उत्तर को प्रदर्शित करने वाली "वेव" थोड़ी डगमगा जाती है या अव्यवस्थित हो जाती है।
- प्रयोग: उन्होंने AI के "डगमगाते" आंतरिक सिग्नल को लिया और उसे धीरे से एक पूर्ण, साफ वेव पैटर्न से मेल खाने के लिए धकेला।
- परिणाम: इस साधारण से बदलाव ने AI की गणितीय त्रुटियों को ठीक कर दिया! उन्होंने गुणा में गलतियों को 30% तक और भाग (division) में 42% तक कम कर दिया। इसने सिद्ध कर दिया कि यदि वेव स्पष्ट है, तो गणित सही है।
4. यह केवल संख्याओं के लिए ही नहीं है
उपमा: यदि आप एक कुत्ते को एक विशिष्ट हाथ के संकेत से बैठाना सिखाते हैं, तो वह यह भी समझ सकता है कि वही संकेत संदर्भ के समान होने पर "रुको" या "लुढ़को" का अर्थ भी हो सकता है।
विज्ञान:
शोधकर्ताओं ने परीक्षण किया कि क्या यह "वेव" ट्रिक अन्य क्रमबद्ध चीजों, जैसे सप्ताह के दिनों या वर्ष के महीनों के लिए काम करती है।
- परिणाम: हाँ! AI "सोमवार" और "फरवरी" को समान गोलाकार वेव पैटर्न का उपयोग करके प्रदर्शित करता है। इसका मतलब है कि AI केवल गणित को याद नहीं कर रहा है; उसके पास क्रम और अनुक्रम (order and sequence) को समझने का एक मौलिक तरीका है जो एक वेव की तरह दिखता है।
आपको इसकी परवाह क्यों करनी चाहिए? ("तो क्या?")
- बेहतर गणितीय AI: अब जब हम जानते हैं कि AI संख्याओं के बारे में कैसे सोचता है, तो हम पूरे AI को फिर से प्रशिक्षित किए बिना उनकी गणितीय त्रुटियों को ठीक करने के लिए बेहतर उपकरण बना सकते हैं।
- विश्वसनीय AI: यदि हम "लहरों" को देख सकते हैं, तो हम सत्यापित कर सकते हैं कि क्या AI वास्तव में गणित कर रहा है या केवल अनुमान लगा रहा है। यह AI को अधिक पारदर्शी बनाता है।
- एक ही आकार सबके लिए (One Size Fits All): क्योंकि यह "वेव भाषा" सार्वभौमिक है, हमें प्रत्येक नए AI मॉडल के लिए अलग डिकोडर बनाने की आवश्यकता नहीं है। हम संख्याओं के लिए एक "यूनिवर्सल ट्रांसलेटर" बना सकते हैं जो लगभग किसी भी AI मॉडल पर काम करता है।
सारांश
लार्ज लैंग्वेज मॉडल्स को एक क्वायर (गायक दल) के रूप में सोचें। लंबे समय तक, हमें लगा कि जब उनसे गणित करने के लिए कहा जाता है, तो वे यादृच्छिक स्वर गा रहे होते हैं। यह शोध पत्र प्रकट करता है कि वे वास्तव में एक पूर्ण, सार्वभौमिक सामंजस्य (sine wave) गा रहे हैं। हमें बस सही शीट म्यूजिक (नया प्रोब) की आवश्यकता थी ताकि हम इसे सुन सकें। एक बार जब हम उस सामंजस्य को सुन सकते हैं, तो हम बेसुरी नोटों को ठीक कर सकते हैं और गायक दल को पूरी तरह से गाने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।