🧬 biology

Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

यह शोध पत्र प्रदर्शित करता है कि जहाँ ट्रांसफॉर्मर भाषा मॉडल संख्यात्मक परिमाणों की लॉग-कंप्रेसिव ज्यामिति (log-compressive geometry) को कैप्चर करते हैं, वहीं वे जैविक रूप से देखे गए स्केलर परिवर्तनशीलता (स्थिर गुणांक भिन्नता) को प्रदर्शित करने में विफल रहते हैं, बल्कि इसके बजाय ऐसी प्रतिनिधि शोर (representational noise) दिखाते हैं जो परिमाण बढ़ने के साथ घटता जाता है।

मूल लेखक: Jon-Paul Cacioli

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jon-Paul Cacioli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: क्या AI के दिमाग इंसानी दिमाग की तरह काम करते हैं?

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक मशीन संख्याओं (numbers) के बारे में कैसे "सोचती" है। वैज्ञानिक लंबे समय से जानते हैं कि इंसानी दिमाग संख्याओं को कैसे संभालता है। वे दो विशिष्ट नियमों का पालन करते हैं:

लॉगैरिद्मिक नियम (The Logarithmic Rule): हम 1 और 2 के बीच के अंतर को बहुत बड़ा देखते हैं, लेकिन 100 और 101 के बीच के अंतर को बहुत छोटा मानते हैं। हमारा आंतरिक "रूलर" (मापक) बड़े नंबरों को सिकोड़ देता है।
"स्केलर वेरिएबिलिटी" नियम (The "Scalar Variability" Rule): यह थोड़ा पेचीदा हिस्सा है। इंसानों में, हम किसी संख्या के बारे में जितने अनिश्चित होते हैं, वह संख्या उतनी ही बड़ी होती है।
- उपमा: कल्पना कीजिए कि आप एक पंख के वजन का अनुमान लगा रहे हैं। आप एक ग्राम से ऊपर-नीचे हो सकते हैं। लेकिन यदि आप एक हाथी के वजन का अनुमान लगा रहे हैं, तो आप 100 पाउंड तक गलत हो सकते हैं। आपकी त्रुटि (error) का प्रतिशत समान रहता है। इसे स्केलर वेरिएबिलिटी कहा जाता है। यह एक धुंधली फोटो की तरह है जो ज़ूम आउट करने पर और भी धुंधली होती जाती है।

शोधकर्ता यह जानना चाहते थे: क्या Llama और Mistral जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) भी इन्हीं नियमों का पालन करते हैं?

प्रयोग: AI का "एक्स-रे" लेना

शोधकर्ताओं ने तीन लोकप्रिय AI मॉडल्स को लिया और उनके "दिमाग" के अंदर (विशेष रूप से उन हिडन लेयर्स में जहाँ वे संख्याओं को प्रोसेस करते हैं) झाँका। उन्होंने AI को 5 अलग-अलग वाक्यों के भीतर 26 विभिन्न संख्याओं (1 से 1,000 तक) के बारे में सोचने के लिए कहा।

उन्होंने यह मापा कि वाक्य के आधार पर AI की संख्या की आंतरिक प्रस्तुति (internal representation) कितनी "डगमगाती" (wobble) या बदलती है।

यदि AI इंसान होता: तो डगमगाहट (wobble) बड़ी संख्याओं के साथ बढ़नी चाहिए थी (ठीक वैसे ही जैसे हाथी बनाम पंख के मामले में होता है)।
यदि AI अलग है: तो डगमगाहट स्थिर रह सकती है, या कम हो सकती है।

आश्चर्य: AI बिल्कुल उल्टा व्यवहार करता है

परिणाम चौंकाने वाले थे। AI ने मानव मस्तिष्क की तरह व्यवहार नहीं किया।

निष्कर्ष:
बड़ी संख्याओं के साथ "धुंधला" होने के बजाय, बड़ी संख्याओं के प्रति AI की प्रस्तुति अधिक स्पष्ट और सटीक हो गई।

मानव मस्तिष्क: बड़ी संख्याएँ = उच्च शोर (धुंधलापन/fuzzy)।
AI मस्तिष्क: बड़ी संख्याएँ = कम शोर (क्रिस्टल क्लियर/स्पष्ट)।

लाइब्रेरी की उपमा:
एक ऐसी लाइब्रेरी की कल्पना करें जहाँ किताबें उनकी लोकप्रियता के आधार पर व्यवस्थित की जाती हैं।

छोटी संख्याएँ (1, 2, 3) बेस्टसेलर की तरह हैं। वे लाखों अलग-अलग कहानियों, शैलियों और संदर्भों में दिखाई देती हैं। क्योंकि वे हर जगह हैं, इसलिए AI उन्हें एक अराजक और शोर भरे वातावरण में देखता है।
बड़ी संख्याएँ (500, 1000) दुर्लभ, अज्ञात किताबों की तरह हैं। वे केवल बहुत विशिष्ट, तकनीकी संदर्भों (जैसे "500 साल पहले" या "1000 डॉलर") में दिखाई देती हैं। क्योंकि वे कम और अधिक अनुमानित स्थानों पर दिखाई देती हैं, इसलिए AI के पास उनके अर्थ के बारे में एक बहुत ही स्पष्ट और कठोर विचार है।

AI बड़ी संख्याओं का "अनुमान" नहीं लगा रहा है; वह वास्तव में उनके बारे में अधिक आश्वस्त है क्योंकि उसने उन्हें बहुत विशिष्ट, दोहराव वाले पैटर्न में देखा है।

ऐसा क्यों होता है?

पेपर सुझाव देता है कि AI ने केवल टेक्स्ट पढ़कर संख्याओं के आकार (लॉगैरिद्मिक नियम) को सीख लिया है, क्योंकि वास्तविक जीवन में संख्याएं एक "पावर लॉ" (power law) का पालन करती हैं (छोटी संख्याएं आम हैं, बड़ी संख्याएं दुर्लभ हैं)।

हालाँकि, AI के पास वे जैविक सीमाएँ (biological constraints) नहीं हैं जो इंसानों को "धुंधला" होने के लिए मजबूर करती हैं।

मानव मस्तिष्क: हमारे पास ऊर्जा का सीमित बजट होता है। ऊर्जा बचाने के लिए, हमारे मस्तिष्क यह स्वीकार कर लेते हैं कि बड़ी संख्याएँ थोड़ी धुंधली हो सकती हैं। यह एक समझौता (trade-off) है।
AI मस्तिष्क: उनके पास अनंत ऊर्जा है (रूपक के तौर पर)। उन्हें जगह या ऊर्जा बचाने की आवश्यकता नहीं है। इसलिए, जब वे किसी दुर्लभ, बड़ी संख्या का सामना करते हैं, तो वे उसे पूरी तरह से याद कर लेते हैं क्योंकि ऐसा करना आसान है। उनके पास ढीला छोड़ने के लिए कोई "शोर बजट" (noise budget) नहीं है।

मुख्य बात (The Takeaway)

यह अध्ययन सिद्ध करता है कि बहुत सारा टेक्स्ट पढ़ना ही AI को इंसान की तरह सोचने के लिए पर्याप्त नहीं है।

ज्यामिति (Geometry): AI ने संख्याओं को देखने के आकार (लॉगैरिद्मिक संपीड़न) को सफलतापूर्वक सीख लिया।
शोर (Noise): AI, संख्याओं के प्रति हमारी अनिश्चितता को सीखने में विफल रहा।

सरल शब्दों में: AI के पास सही नक्शा तो है, लेकिन उसके पास इंसान की तरह कांपते हुए हाथ नहीं हैं। वह बहुत सटीक, बहुत स्पष्ट और बड़ी संख्याओं के बारे में बहुत अधिक आश्वस्त है, जबकि हमारा मस्तिष्क बड़े पैमाने की चीजों के साथ निपटने में स्वाभाविक रूप से थोड़ा अव्यवस्थित और धुंधला होता है।

यह हमें बताता है कि AI को वास्तव में मानव संज्ञान (human cognition) की नकल करने के लिए बनाने हेतु, हमें उन्हें कृत्रिम "सीमाएं" या "ऊर्जा बजट" देने पड़ सकते हैं ताकि उन्हें भी हमारी तरह थोड़ा अनिश्चित होने के लिए मजबूर किया जा सके।

यहाँ जॉन-पॉल कैसियोली (Jon-Paul Cacioli) के शोध पत्र "Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) में स्केलर वेरिएबिलिटी (scalar variability) मौजूद है, जो जैविक परिमाण प्रणालियों (biological magnitude systems) की एक पहचान है।

जैविक संदर्भ (Biological Context): जैविक प्रणालियों (जैसे समय, संख्या, या स्थान का मानव बोध) में, प्रतिनिधित्व संबंधी शोर (representational noise) उद्दीपन (stimulus) के परिमाण के अनुपात में बढ़ता है। इसके परिणामस्वरूप एक स्थिर परिवर्तन गुणांक (constant coefficient of variation - CV) प्राप्त होता है, जिसे वेबर का नियम (Weber's Law) कहा जाता है।
सैद्धांतिक ढांचा (Theoretical Framework): एफिशिएंट कोडिंग (Efficient Coding) परिकल्पना के तहत, जब एक निश्चित शोर बजट (चयापचय बाधा/metabolic constraint) वाला तंत्र पावर-लॉ वितरित इनपुट को एनकोड करता है, तो दो गुण संयुक्त रूप से उभरते हैं:
1. लॉग-कंप्रेसिव ज्योमेट्री (Log-compressive geometry): आंतरिक दूरियाँ परिमाण के लघुगणकीय (logarithmic) फलन का अनुसरण करती हैं।
2. स्केलर नॉइज़ (Scalar noise): परिवर्तनशीलता (variability) परिमाण के साथ बढ़ती है (स्थिर CV)।
अंतराल (The Gap): पिछले कार्य (Cacioli, 2026) ने स्थापित किया था कि ट्रांसफॉर्मर परिमाण को लॉग-कंप्रेसिव ज्योमेट्री के साथ एनकोड करते हैं (जो पावर-लॉ इनपुट वितरण के तहत एफिशिएंट कोडिंग के अनुरूप है)। हालांकि, ट्रांसफॉर्मर्स में जैविक चयापचय बाधाओं (जैसे फायरिंग-रेट बाउंड्स या निश्चित शोर बजट) का अभाव होता है।
अनुसंधान प्रश्न (Research Question): क्या ट्रांसफॉर्मर्स में स्केलर वेरिएबिलिटी (दूसरी संपत्ति) मौजूद है, जबकि उनमें वे चयापचय बाधाएं नहीं हैं जो सैद्धांतिक रूप से इसे प्रेरित करती हैं? या क्या ज्योमेट्री और नॉइज़ अलग-अलग (dissociable) हैं?

2. कार्यप्रणाली (Methodology)

इस अध्ययन में तीन 7–8B पैरामीटर वाले मॉडल्स: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, और Llama-3-8B-Base के हिडन-स्टेट रिप्रजेंटेशन के प्री-रजिस्टर्ड विश्लेषण का उपयोग किया गया।

डेटा स्रोत (Data Source): सभी 33 लेयर्स में मैग्निट्यूड टोकन की स्थिति (pre-RMSNorm) पर हिडन-स्टेट वेक्टर्स निकाले गए।
उद्दीपन (Stimuli): 5 विशिष्ट कैरियर-सेंटेंस में एम्बेडेड 26 संख्यात्मक परिमाण (1 से 1000 तक, जैसे 1, 2, ..., 90, 100, 500, 1000)।
परिवर्तनशीलता माप (Variability Measures):
1. $V_{eucl}$ : प्रत्येक परिमाण और लेयर पर सेंट्रॉइड (centroid) से औसत यूक्लिडियन दूरी।
2. $V_{residual}$ : वाक्य-पहचान सुधारित विचरण (सिस्टमैटिक सेंटेंस शिफ्ट को हटाने के लिए सभी मैग्निट्यूड्स में से प्रति-वाक्य माध्य वेक्टर को घटाना)।
3. $V_{proj}$ : 26 सेंट्रॉयड्स के पहले प्रिंसिपल कंपोनेंट (PC1) पर प्रोजेक्ट किए गए वेक्टर्स का विचरण, जो मैग्निट्यूड एक्सिस के साथ फैलाव को अलग करता है।
विश्लेषण (Analysis):
- मुख्य 16 लेयर्स (16–31) पर ध्यान केंद्रित किया गया जहाँ मैग्निट्यूड ज्योमेट्री चरम पर होती है।
- $\log(V)$ को $\log(n)$ (परिमाण) पर ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) और थियोल-सेन (Theil–Sen) एस्टिमेटर्स का उपयोग करके रिग्रेस किया गया ताकि स्केलिंग एक्सपोनेंट ( $\alpha$ ) की गणना की जा सके।
- परिकल्पनाएं (Hypotheses):
  - $H_1$ : $\alpha > 0$ (परिवर्तनशीलता परिमाण के साथ बढ़ती है)।
  - $H_2$ : $\alpha \approx 1$ (स्थिर CV, स्केलर गुण)।
  - $H_3$ : $\alpha < 1$ (सब-स्केलर, चयापचय बाधाओं की कमी को दर्शाता है)।
  - $H_4$ : $\alpha$ लेयर गहराई के साथ बदलता है।

3. मुख्य परिणाम (Key Results)

परिणामों ने इस परिकल्पना का खंडन किया कि ट्रांसफॉर्मर स्केलर वेरिएबिलिटी प्रदर्शित करते हैं। इसके बजाय, उन्होंने एक "एंटी-स्केलर" (anti-scalar) पैटर्न प्रदर्शित किया।

नकारात्मक स्केलिंग एक्सपोनेंट ( $\alpha < 0$ ):
- जैविक प्रणालियों के विपरीत, जहाँ परिमाण के साथ शोर बढ़ता है, ट्रांसफॉर्मर की रिप्रजेंटेशनल वेरिएबिलिटी परिमाण बढ़ने के साथ घटती गई।
- सभी 16 प्राथमिक लेयर्स और तीनों मॉडल्स में $\alpha$ लगातार नकारात्मक रहा।
- औसत $\alpha$ मान:
  - रॉ ( $V_{eucl}$ ): Llama-Base के $-0.031$ से Llama-Instruct के $-0.046$ के बीच।
  - सेंटेंस-करेक्टेड ( $V_{residual}$ ): $-0.005 $से$ -0.009$ के बीच।
  - मैग्निट्यूड-एक्सिस प्रोजेक्शन ( $V_{proj}$ ): सबसे मजबूत प्रभाव, $-0.085 $से$ -0.210$ के बीच।
स्केलर परिकल्पना का खंडन ( $H_2$ ): किसी भी मॉडल की किसी भी लेयर ने स्केलर रेंज $[0.8, 1.2]$ के भीतर $\alpha$ का मान नहीं दिया।
गहराई के साथ स्थिरता ( $H_4$ ): एंटी-स्केलर पैटर्न सभी लेयर्स में स्थिर था; लेयर गहराई और $\alpha$ के बीच कोई महत्वपूर्ण सहसंबंध नहीं था।
मैग्निट्यूड एक्सिस विशिष्टता (Exploratory E4): एंटी-स्केलर प्रभाव ऑर्थोगोनल आयामों की तुलना में मैग्निट्यूड एक्सिस (PC1) पर 3–5 गुना अधिक मजबूत था, जो दर्शाता है कि यह घटना व्यवहारिक रूप से प्रासंगिक सबस्पेस में केंद्रित है।
इंस्ट्रक्शन ट्यूनिंग प्रभाव (Exploratory E6): इंस्ट्रक्शन-ट्यून्ड मॉडल्स (Llama-Instruct) ने बेस मॉडल्स की तुलना में अधिक नकारात्मक $\alpha$ दिखाया, जो यह सुझाव देता है कि फाइन-ट्यूनिंग बड़े नंबरों के लिए रिप्रजेंटेशन को और अधिक संकुचित (compress) करती है।
कॉर्पस फ्रीक्वेंसी सहसंबंध (Exploratory E5): प्रति-मैग्निट्यूड वेरिएबिलिटी लॉग कॉर्पस फ्रीक्वेंसी के साथ मजबूती से सहसंबंधित थी ( $\rho \approx 0.84$ )। बार-बार आने वाले (छोटे) नंबर विविध संदर्भों में दिखाई देते हैं (उच्च फैलाव), जबकि दुर्लभ (बड़े) नंबर रूढ़िबद्ध संदर्भों में दिखाई देते हैं (कम फैलाव)।

4. मुख्य योगदान (Key Contributions)

ज्योमेट्री और नॉइज़ का पृथक्करण (Dissociation of Geometry and Noise): यह पेपर प्रमाण प्रदान करता है कि लॉग-कंप्रेसिव ज्योमेट्री और स्केलर नॉइज़ सैद्धांतिक और अनुभवजन्य रूप से अलग-अलग हैं। ट्रांसफॉर्मर वितरण सांख्यिकी (distributional statistics) से ही परिमाण की ज्यामितीय संरचना सीख सकते हैं बिना शोर स्केलिंग गुणों को प्राप्त किए।
"एंटी-स्केलर" वेरिएबिलिटी की पहचान: यह LLMs में एक नवीन रिप्रजेंटेशनल गुण को परिभाषित करता है जहाँ परिमाण बढ़ने के साथ रिप्रजेंटेशनल अनिश्चितता घटती है, जो जैविक स्केलर वेरिएबिलिटी के विपरीत है।
परिवर्तनशीलता का तंत्र (Mechanism of Variability): यह ट्रांसफॉर्मर्स में रिप्रजेंटेशनल वेरिएबिलिटी को चयापचय बजट के बजाय संदर्भगत विविधता (contextual diversity) (कॉर्पस फ्रीक्वेंसी द्वारा संचालित) के कारण बताता है। बड़े नंबरों को अधिक सटीकता के साथ इसलिए दर्शाया जाता है क्योंकि वे कम और अधिक विशिष्ट भाषाई संदर्भों में आते हैं।
वितरण संबंधी सीखने की सीमा (Limit of Distributional Learning): यह अध्ययन दर्शाता है कि एफिशिएंट कोडिंग की ज्योमेट्री उत्पन्न करने के लिए डिस्ट्रिब्यूशनल लर्निंग पर्याप्त है, लेकिन चयापचय बाधाओं के बिना नॉइज़ स्ट्रक्चर उत्पन्न करने के लिए अपर्याप्त है।

5. महत्व (Significance)

सैद्धांतिक निहितार्थ: निष्कर्ष इस धारणा को चुनौती देते हैं कि AI में एफिशिएंट कोडिंग हर पहलू में जैविक एफिशिएंट कोडिंग की नकल करती है। यह सुझाव देता है कि स्केलर वेरिएबिलिटी (स्थिर CV) के उभरने के लिए चयापचय बाधाएं (या समकक्ष क्षमता सीमाएं) एक आवश्यक शर्त हैं।
LLM रिप्रजेंटेशन की समझ: यह प्रकट करता है कि LLMs छोटे नंबरों की तुलना में बड़े नंबरों को उच्च सटीकता (कम शोर) के साथ दर्शाते हैं, जो मानव साइकोफिज़िक्स के विपरीत एक विरोधाभासी खोज है। इसका तात्पर्य है कि LLM की परिमाण की "समझ" चयापचय बाधाओं के बजाय प्रशिक्षण डेटा के सांख्यिकीय नियमितताओं द्वारा संचालित है।
भविष्य की दिशाएं: परिणाम बताते हैं कि जैविक परिमाण प्रणालियों को पूरी तरह से दोहराने के लिए, AI आर्किटेक्चर को केवल स्केलिंग लॉ और डिस्ट्रिब्यूशनल लर्निंग पर निर्भर रहने के बजाय, स्पष्ट क्षमता बाधाओं या शोर बजटों को शामिल करने की आवश्यकता हो सकती है।

निष्कर्ष:
जबकि ट्रांसफॉर्मर्स जैविक परिमाण प्रानों की लॉग-कंप्रेसिव ज्योमेट्री को सफलतापूर्वक दोहराते हैं, वे स्केलर नॉइज़ सिग्नेचर को विफल कर देते हैं। इसके बजाय, वे एक "एंटी-स्केलर" पैटर्न प्रदर्शित करते हैं जहाँ रिप्रजेंटेशनल वेरिएबिलिटी परिमाण के साथ घटती है, जो चयापचय बाधाओं के बजाय प्रशिक्षण कॉर्पस में संख्या की वितरण आवृत्ति द्वारा संचालित होती है। यह पुष्टि करता है कि न्यूरल रिप्रजेंटेशन में ज्योमेट्री और नॉइज़ स्केलिंग दो अलग-अलग घटनाएं हैं।