💬 NLP

The {\alpha}-Law of Observable Belief Revision in Large Language Model Inference

यह शोध पत्र $\alpha$ -लॉ (Law) को प्रस्तुत करता है, जो एक गुणक स्केलिंग नियम (multiplicative scaling law) है कि कैसे बड़े भाषा मॉडल पुनरावृत्ति अनुमान (iterative inference) के दौरान विश्वासों में संशोधन करते हैं, जो यह प्रदर्शित करता है कि एक से कम घातांक (exponent) अनंत स्थिरता (asymptotic stability) सुनिश्चित करता है और विविध मॉडलों एवं बेंचमार्क में लगभग-बेशियन अपडेट व्यवहारों (near-Bayesian update behaviors) को प्रकट करता है।

मूल लेखक: Mike Farmer, Abhinav Kochar, Yugyung Lee

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mike Farmer, Abhinav Kochar, Yugyung Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अति-आत्मविश्वासी छात्र को कठिन पहेलियाँ हल करना सिखा रहे हैं। आप उसे एक प्रश्न देते हैं, वह एक उत्तर का अनुमान लगाता है, और फिर आप उसे एक संकेत या सत्यापन चरण (verification step) दिखाते हैं। वे फिर अपना मन बदलते हैं और एक नया उत्तर देते हैं।

यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: जब यह छात्र अपना मन बदलता है, तो क्या वह एक स्थिर, तार्किक तरीके से ऐसा करता है, या वह अति-प्रतिक्रिया देकर नियंत्रण से बाहर हो जाता है?

लेखकों ने एक गणितीय "नियम" की खोज की है जो बिल्कुल यह वर्णन करता है कि ये AI मॉडल (जैसे GPT-5.2 या Claude) अपने विश्वासों को कैसे अपडेट करते हैं। वे इसे $\alpha$ -Law कहते हैं।

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. मुख्य अवधारणा: "कॉन्फिडेंस मल्टीप्लायर" ( $\alpha$ )

AI के विश्वास को एक वॉल्यूम नॉब (volume knob) की तरह समझें।

पुराना विश्वास: वह जो AI ने संकेत देखने से पहले सोचा था।
नया साक्ष्य (New Evidence): वह संकेत या सत्यापन जो आपने उसे दिया।
अपडेट: AI दोनों को कैसे जोड़ता है।

एक आदर्श, तार्किक दुनिया में (जैसे एक मानव गणितज्ञ जो सख्त बेयस थ्योरम (Bayes' Theorem) का उपयोग करता है), AI पुराने विश्वास और नए साक्ष्य को पूरी तरह से संयोजित करेगा। इस प्रकार का "मल्टीप्लायर" 1.0 होगा।

लेखकों ने पाया कि इन AI मॉडलों में एक मल्टीप्लायर होता है जिसे $\alpha$ (अल्फा) कहा जाता है।

यदि $\alpha = 1$ है: तो AI पूरी तरह से तार्किक है। वह ठीक उतना ही अपडेट करता है जितना साक्ष्य उचित ठहराते हैं।
यदि $\alpha < 1$ है: तो AI बहुत सतर्क है। वह नए साक्ष्य को अनदेखा करता है और अपने मूल अनुमान पर टिका रहता है।
यदि $\alpha > 1$ है: तो AI अति-आत्मविश्वासी है। वह नए साक्ष्य पर अति-प्रतिक्रिया देता है, और नई दिशा में बहुत अधिक झुक जाता है।

निष्कर्ष: एक एकल चरण (single step) पर, इन AI का $\alpha$ लगभग 1.16 है।

उपमा: कल्पना कीजिए कि आप एक मित्र से कहते हैं, "मुझे लगता है कि बारिश होने वाली है।" वे कहते हैं, "ओह, सच में? मुझे मौसम ऐप देखने दो।" ऐप कहता है "50% संभावना है।" एक पूरी तरह से तार्किक मित्र कहेगा, "ठीक है, अब मुझे लगता है कि 50% संभावना है।"
हालाँकि, यह AI मित्र कहता है, "वाह, ऐप कह रहा है 50%? इसका मतलब है कि बारिश निश्चित रूप से होगी!" उन्होंने थोड़ी अति-प्रतिक्रिया दी। वे "नियर-बेयसियन" (लगभग पूर्ण) हैं, लेकिन नई जानकारी पर विश्वास करने के लिए थोड़े अधिक उत्सुक हैं।

2. बड़ी चिंता: "स्नोबॉल इफेक्ट" (Snowball Effect)

यदि कोई मॉडल एक बार अति-प्रतिक्रिया ( $\alpha > 1$ ) देता है, तो यह ठीक है। लेकिन क्या होगा यदि उसे लगातार दस बार अपने उत्तर को संशोधित करना पड़े (जैसे कि लंबे 'चेन ऑफ थॉट' या मल्टी-एजेंट बहस में)?

खतरा: यदि आप 1 से बड़ी संख्या को दस बार खुद से गुणा करते हैं, तो वह विस्फोट कर जाती है। AI का आत्मविश्वास अनियंत्रित रूप से झूलने लगेगा, जिससे एक छोटा सा संदेह एक विशाल, गलत निश्चितता में बदल जाएगा। इसे एक विस्तारवादी (expansive) प्रणाली कहा जाता है।
अच्छी खबर: लेखकों ने पाया कि जबकि पहला चरण थोड़ा अति-आत्मविश्वासी ( $\alpha \approx 1.16$ ) है, AI जितना अधिक सोचता है, वह उतना ही अधिक सतर्क होता जाता है।
उपमा: कल्पना कीजिए कि एक कार का स्टीयरिंग व्हील थोड़ा ढीला है। पहले मोड़ पर, वह थोड़ा ज्यादा चौड़ा जाता है। लेकिन जैसे ही ड्राइवर को एहसास होता है कि वह बहुत ज्यादा चौड़ा जा रहा है, वह अवचेतन रूप से अपनी पकड़ मजबूत कर लेता है। 7वें मोड़ तक, वह बहुत सावधानी से स्टीयरिंग चला रहा होता है।
परिणाम: 7 चरणों के संशोधन के बाद, $\alpha$ गिरकर 0.54 हो जाता है। क्योंकि यह अंततः 1 से नीचे गिर जाता है, "स्नोबॉल" बढ़ना बंद कर देता है और वास्तव में सिकुड़ने लगता है। सिस्टम समय के साथ खुद को स्थिर कर लेता है।

3. "ट्रस्ट फिंगरप्रिंट" (Trust Fingerprint)

शोध पत्र ने यह भी देखा कि विभिन्न AI परिवार साक्ष्य को कैसे तौलते हैं।

GPT-5.2: एक संतुलित न्यायाधीश की तरह कार्य करता है। यह अपने मूल विचार और नए साक्ष्य को समान रूप से तौलता है ( $\tau \approx 1.0$ )।
Claude: एक थोड़े अधिक प्रतिक्रियाशील जासूस की तरह कार्य करता है। यह अपने मूल विचार की तुलना में नए साक्ष्य पर थोड़ा अधिक भरोसा करता है ( $\tau \approx 1.1$ )।
Gemini (प्रारंभिक): एक बहुत ही उछलने वाले जासूस की तरह कार्य करता है, जो साक्ष्य पर काफी अधिक अति-प्रतिक्रिया देता है ( $\tau \approx 2.3$ ), हालांकि डेटा अव्यवस्थित था।

4. यह क्यों मायने रखता है (मैं इसकी परवाह क्यों करूँ?)

यह केवल गणित के लिए गणित नहीं है। यह AI के भविष्य के लिए एक नैदानिक उपकरण (diagnostic tool) है।

"झूठ पकड़ने वाला यंत्र" (Lie Detector): यदि कोई AI अपने उत्तर को संशोधित कर रहा है और गणित दिखाता है कि $\alpha$ अजीब व्यवहार कर रहा है (या यदि साक्ष्य दूषित/शोर युक्त है), तो हम अंतिम उत्तर देने से पहले पता लगा सकते हैं कि AI गलती करने वाला है।
"स्थिरता का ब्रेक" (Stability Brake): चूंकि हम नियम ( $\alpha$ -law) जानते हैं, इसलिए हम AI सिस्टम के लिए एक "ब्रेक" बना सकते हैं। यदि AI अति-प्रतिक्रिया देने लगता है (बहुत जल्दी बहुत अधिक आत्मविश्वासी हो जाता है), तो एक सुरक्षा प्रणाली हस्तक्षेप कर सकती है और कह सकती है, "धीमे हो जाओ, तुम अति-प्रतिक्रिया दे रहे हो," और AI को अधिक रूढ़िवादी होने के लिए मजबूर कर सकती है।
वास्तविक दुनिया बनाम पाठ्यपुस्तकें: शोध पत्र चेतावनी देता है कि जबकि ये AI साफ, आदर्श परीक्षण प्रश्नों पर स्थिर हैं, वास्तविक दुनिया में (जहाँ साक्ष्य अव्यवस्थित और शोर युक्त होते हैं), वे टूट सकते हैं। यदि साक्ष्य दूषित है, तो AI का "तर्क" बिखर जाता है।

सारांश

शोध पत्र ने खोजा है कि लार्ज लैंग्वेज मॉडल्स में एक छिपा हुआ "व्यक्तित्व गुण" होता है कि वे अपना मन कैसे बदलते हैं। वे जब पहली बार नई जानकारी सुनते हैं तो थोड़े अति-आत्मविश्वासी होते हैं, लेकिन जैसे-जैसे वे अधिक सोचते हैं, वे शांत होना सीख जाते हैं।

लेखक इसे $\alpha$ -Law कहते हैं। यह हमें यह मापने, भविष्यवाणी करने और नियंत्रित करने का एक तरीका देता है कि AI सिस्टम अपने विश्वासों को कैसे अपडेट करते हैं, जिससे यह सुनिश्चित होता है कि वे जटिल समस्याओं को हल करते समय नियंत्रण से बाहर न हों। यह AI के लिए "सोचने के भौतिकी (physics of thinking)" को खोजने जैसा है।

यहाँ शोध पत्र "The $\alpha$ -Law of Observable Belief Revision in Large Language Model Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अपने आउटपुट को संशोधित करने के लिए तेजी से पुनरावृत्ति परिशोधन तकनीकों (जैसे, Chain-of-Thought, self-reflection, multi-agent debate) का उपयोग कर रहे हैं। हालाँकि, यह गणितीय संरचना कि कैसे ये मॉडल संभावित उत्तरों पर अपने संभाव्यता असाइनमेंट (probability assignments) को अपडेट करते हैं, अभी भी अच्छी तरह से समझ में नहीं आई है।

मुख्य प्रश्न: जब एक LLM नए साक्ष्य के आधार पर अपने विश्वासों को संशोधित करता है, तो क्या अपडेट प्रक्रिया स्थिर होती है?
जोखिम: यदि पुनरावृत्ति अपडेट की ज्यामिति विस्तारवादी (expansive - जहाँ त्रुटियाँ बढ़ती हैं) है न कि संकुचनकारी (contractive - जहाँ त्रुटियाँ सुधरती हैं), तो पुनरावृत्ति तर्क (iterative reasoning) अभिसरण (convergence) के बजाय विचलन (divergence) और मतिभ्रम (hallucination) की ओर ले जा सकता है।
अंतराल (Gap): मौजूदा कार्य अनुभवजन्य प्रदर्शन सुधारों पर ध्यान केंद्रित करते हैं लेकिन विश्वास संशोधन की स्थिरता या अभिसरण गतिशीलता पर सिद्धांतों की कमी है।

2. कार्यप्रणाली (Methodology)

लेखक नियंत्रण सिद्धांत (control theory) के माध्यम से विश्वास संशोधन (belief revision) के दृष्टिकोण से इसे देखते हैं, जो आंतरिक बेयसियन अनुमान (Bayesian inference) को मानने के बजाय अवलोकन योग्य आउटपुट संभावनाओं की गणितीय संरचना को परिभाषित करता है।

A. सैद्धांतिक ढांचा: $\alpha$ -कानून ( $\alpha$ -Law)

यह शोध पत्र प्रस्तावित करता है कि इंस्ट्रक्शन-ट्यून्ड LLMs विश्वास संशोधन के लिए एक विशिष्ट गुणात्मक स्केलिंग लॉ (multiplicative scaling law) का पालन करते हैं:
$\log q_1(i) = \alpha [\log q_0(i) + \log b(i)] + c$
जहाँ:

$q_0(i)$ : उम्मीदवार $i$ की पूर्व प्रायिकता (Prior probability)।
$b(i)$ : सत्यापन से प्राप्त साक्ष्य संकेत (Evidence signal)।
$q_1(i)$ : संशोधन के बाद की उत्तरवर्ती प्रायिकता (Posterior probability)।
$\alpha$ : विश्वास संशोधन घातांक (Belief revision exponent)।
$c$ : सामान्यीकरण स्थिरांक (Normalization constant)।

स्थिरता प्रमेय (Stability Theorem - Theorem 1):

$\alpha < 1$ (संकुचनकारी/Contractive): प्रणाली स्पर्शोन्मुखी रूप से स्थिर (asymptotically stable) है; त्रुटियाँ ज्यामितीय रूप से घटती हैं।
$\alpha = 1$ (सीमांत/Marginal): मानक बेयसियन अपडेटिंग।
$\alpha > 1$ (विस्तारवादी/Expansive): प्रणाली अस्थिर है; त्रुटियाँ तेजी से बढ़ती हैं।

B. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट्स: चार स्नातक स्तर के बेंचमार्क में 4,975 समस्याएँ: GPQA Diamond (विज्ञान), TheoremQA (गणित), MMLU-Pro (सामान्य ज्ञान), और ARC-Challenge (कॉमन सेंस)।
मॉडेल्स: प्राथमिक विश्लेषण GPT-5.2 और Claude Sonnet 4 पर। सत्यापन Llama-3.3-70B (logprobs) और GPT-4 (multi-step) पर।
प्रोटोकॉल:
1. संभावित समाधान उत्पन्न करना।
2. पूर्व विश्वास ( $q_0$ ) प्राप्त करना।
3. साक्ष्य ( $b$ ) उत्पन्न करने के लिए नियत (deterministic) सत्यापन लागू करना।
4. उत्तरवर्ती विश्वास ( $q_1$ ) प्राप्त करना।
विश्लेषण: $\alpha$ घातांक को फिट करने के लिए ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) रिग्रेशन। डेटा गुणवत्ता फ़िल्टरिंग ने उच्च "फालबैक" दरों वाले मॉडलों को बाहर कर दिया (जैसे, Gemini 2.5 को >68% फालबैक संदूषण के कारण बाहर किया गया था)।

3. मुख्य योगदान (Key Contributions)

$\alpha$ -कानून की खोज: इंस्ट्रक्शन-ट्यून्ड LLMs में विश्वास संशोधन को नियंत्रित करने वाले एक सुसंगत गुणात्मक स्केलिंग लॉ की पहचान।
स्थिरता प्रमाण: KL डाइवर्जेंस में स्पर्शोन्मुखी स्थिरता (asymptotic stability) के लिए $\alpha < 1$ की आवश्यकता और पर्याप्तता का प्रमाण।
ट्रस्ट रेश्यो फिंगरप्रिंट्स (Trust Ratio Fingerprints): अपडेट नियम को पूर्व (prior) और साक्ष्य (evidence) घटकों में विभाजित करना, जो विभिन्न मॉडल परिवारों में विशिष्ट "ट्रस्ट रेश्यो" ( $\tau$ ) को प्रकट करता है।
व्यापक सत्यापन: लगभग 5,000 समस्याओं, कई मॉडल परिवारों और विविध तर्क डोमेन में अनुभवजन्य सत्यापन।

4. मुख्य परिणाम (Key Results)

A. निकट-बेयसियन व्यवहार (एकल-चरण/Single-Step)

निष्कर्ष: 3,921 स्वच्छ रिकॉर्ड्स में, औसत $\alpha$ $1.163 \pm 0.084$ है।
व्याख्या: मॉडल्स निकट-बेयसियन अपडेटिंग प्रदर्शित करते हैं लेकिन थोड़े अति-आत्मविश्वासी ( $\alpha > 1$ ) हैं। यह सुझाव देता है कि एकल-चरण संशोधन थोड़े विस्तारवादी हैं, जो सैद्धांतिक रूप से बिना सुधार के अनिश्चित काल तक दोहराए जाने पर अस्थिरता का जोखिम उठाते हैं।
निरंतरता: यह व्यवहार GPT-5.2 और Claude Sonnet 4 के बीच, और सभी चार बेंचमार्क में सुसंगत है ( $R^2$ माध्य = 0.76)।

B. बहु-चरण अभिसरण (Multi-Step Convergence - समाधान)

निष्कर्ष: जबकि एकल-चरण $\alpha > 1$ है, बहु-चरण सत्यापन (198 GPQA समस्याओं पर 7 संशोधन चरण) दिखाता है कि $\alpha$ व्यवस्थित रूप से 0.84 से घटकर 0.54 हो जाता है।
निहितार्थ: 7 चरणों में $\alpha$ का ज्यामितीय माध्य 0.75 है, जो कि $< 1$ है। यह पुष्टि करता है कि भले ही व्यक्तिगत चरण विस्तारवादी हों, लेकिन दीर्घकालिक गतिशीलता संकुचनकारी (contractive) है, जो अभिसरण सुनिश्चित करती है। यह एकल-चरण निष्कर्ष और स्थिरता प्रमेय के बीच स्पष्ट विरोधाभास को हल करता है।

C. ट्रस्ट रेश्यो फिंगरप्रिंट्स ( $\tau$ )

मॉडल को अलग-अलग भार (weights) के लिए ढीला करते हुए ( $\log q_1 = \alpha_q \log q_0 + \alpha_b \log b + c$ ), लेखकों ने ट्रस्ट रेश्यो $\tau = \alpha_b / \alpha_q$ को परिभाषित किया:

GPT-5.2: $\tau \approx 1.0$ (संतुलित वेटिंग, निकट-बेयसियन)।
Claude Sonnet 4: $\tau \approx 1.1$ (साक्ष्य-पक्षपाती/evidence-favoring)।
Gemini 2.5 (प्रारंभिक): $\tau \approx 2.3$ (मजबूत साक्ष्य प्रवर्धन, हालांकि डेटा शोर युक्त था)।

D. मजबूती और संवेदनशीलता (Robustness and Sensitivity)

प्राप्ति (Elicitation): कानून स्व-रिपोर्ट की गई संभावनाओं और कच्चे टोकन-स्तरीय logprobs दोनों के लिए लागू होता है (मध्यिका $\alpha \approx 1.0$ दोनों के लिए)।
डोमेन: $\alpha$ -कानून डोमेन-स्वतंत्र है, जो विज्ञान, गणित और तर्क में मान्य है।
शोर संवेदनशीलता: साक्ष्य संकेत में शोर डालने से फिट की गुणवत्ता कम हो जाती ( $R^2$ गिर जाता है) और यह मापे गए $\alpha$ को शून्य की ओर पक्षपाती बनाता है (attenuation bias), जिससे पता चलता है कि $\alpha$ साक्ष्य विश्वसनीयता के लिए एक डायग्नोस्टिक के रूप में कार्य कर सकता है।
एन्कोडिंग: कानून का रूप साक्ष्य की शक्ति के प्रति मजबूत है, लेकिन $\alpha$ का पूर्ण मान साक्ष्य एन्कोडिंग पैरामीटर ( $s$ ) पर निर्भर करता है।

5. महत्व और निहितार्थ (Significance and Implications)

A. सैद्धांतिक अंतर्दृष्टि

यह शोध पत्र LLM इन्फरेंस को एक ब्लैक बॉक्स के रूप में नहीं, बल्कि एक ज्यामितीय प्रक्रिया के रूप में पुनर्परिभाषित करता है जिसकी मापने योग्य संरचना है। यह नियंत्रण सिद्धांत (control theory) और LLM व्यवहार के बीच के अंतर को पाटता है, यह दिखाते हुए कि हालांकि मॉडल्स पूर्ण बेयसियन नहीं हैं, वे एक "निकट-बेयesian" शासन (regime) में काम करते हैं जो स्वयं-स्थिर (self-stabilizing) है।

B. व्यावहारिक अनुप्रयोग

रनटाइम डायग्नोस्टिक्स: $\alpha$ घातांक को वास्तविक समय में (शून्य लागत पर) अपडेट की गुणवत्ता की निगरानी करने के लिए कंप्यूट किया जा सकता है। $\alpha$ या $R^2$ में अचानक गिरावट दूषित साक्ष्य या मतिभ्रम (hallucination) का संकेत दे सकती है।
स्थिरता नियंत्रण: लेखक एक बलीफ ज्योमेट्री कंट्रोलर (Belief Geometry Controller - BGC) का प्रस्ताव करते हैं जो इन्फरेंस के समय स्थिरता बाधाओं को लागू कर सकता है, जो मॉडल को पुनः प्रशिक्षित किए बिना अपडेट को नियंत्रित (damping) करता है।
मॉडल तुलना: "ट्रस्ट रेश्यो" मॉडल आर्किटेक्चर और एलाइनमेंट रणनीतियों (जैसे, RLHF प्रभाव) की तुलना करने के लिए एक नया मीट्रिक प्रदान करता है।

C. सीमाएँ और भविष्य का कार्य

उच्च सटीकता पूर्वाग्रह (High Accuracy Bias): वर्तमान मॉडल्स परीक्षण किए गए बेंचमार्क पर >99% सटीकता प्राप्त करते हैं, जो विफलता मोड के विश्लेषण को सीमित करता है। भविष्य के कार्य को कठिन कार्यों (40–70% सटीकता) पर परीक्षण करना चाहिए।
दायरा: $\alpha$ -कानून वर्तमान में केवल इंस्ट्रक्शन-ट्यून्ड मॉडल्स पर मान्य है; बेस मॉडल्स में खराब फिट देखा गया।
कारणता (Causality): शोध पत्र दृश्य व्यवहार का वर्णन करता है, आंतरिक कारण तंत्र का नहीं (जैसे, क्या $\alpha$ सीधे RLHF का परिणाम है)।

निष्कर्ष

$\alpha$ -कानून यह समझने के लिए एक सिद्धांतपूर्ण, गणितीय ढांचा प्रदान करता है कि LLMs अपने विश्वासों को कैसे संशोधित करते हैं। यह प्रकट करता है कि हालांकि अत्याधुनिक मॉडल्स में एकल-चरण अपडेट थोड़े विस्तारवादी ( $\alpha \approx 1.16$ ) होते हैं, लेकिन पुनरावृत्ति प्रक्रिया स्वाभाविक रूप से एक स्थिर, संकुचनकारी शासन ( $\alpha < 1$ ) में बदल जाती है। यह निष्कर्ष इन्फरेंस गुणवत्ता की निगरानी के लिए एक नया डायग्नोस्टिक टूल और अधिक स्थिर, नियंत्रणीय एजेंटिक AI सिस्टम डिजाइन करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

1. मुख्य अवधारणा: "कॉन्फिडेंस मल्टीप्लायर" (α\alphaα)