📊 statistics

LLMs are Bayesian, In Expectation, Not in Realization

यह शोध पत्र तर्क देता है कि जबकि ट्रांसफॉर्मर क्रम-निर्भर भविष्यवाणियों के कारण सख्त विनिमेयता (exchangeability) का उल्लंघन करते हैं, वे अपेक्षा में प्रभावी रूप से बेयसियन (Bayesian) बने रहते हैं, क्योंकि उनका प्रिक्वेंशियल रिग्रेट (prequential regret) एक संचयी भविष्य कहनेवाला KL डाइवर्जेंस (cumulative predictive KL divergence) में विघटित होता है जो बेयसियन पोस्टेरियर्स (Bayesian posteriors) के साथ प्रतिस्पर्धी रहता है और फ्रीक्वेंटिस्ट प्लग-इन बेसलाइन्स (frequentist plug-in baselines) की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Leon Chlon, Fatima Sheaib, Zein Khamis, Maggie Chlon, Mahdi El Zein, MarcAntonio M. Awada

प्रकाशित 2026-06-24

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leon Chlon, Fatima Sheaib, Zein Khamis, Maggie Chlon, Mahdi El Zein, MarcAntonio M. Awada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक शोध पत्र "LLMs are Bayesian in Expectation, Not Realization" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य प्रश्न: क्या AI मॉडल "बेयसियन" (Bayesian) हैं या नहीं?

कल्पना कीजिए कि आप एक कहानी में अगला शब्द पहचानने की कोशिश कर रहे हैं। एक बेयसियन (Bayesian) दृष्टिकोण एक सुपर-स्मार्ट जासूस की तरह है जिसके पास एक सटीक मानसिक नियम पुस्तिका है। यदि आप जासूस को कुछ सुराग (उदाहरण) देते हैं, तो उसे अगले शब्द के बारे में बिल्कुल वही निष्कर्ष निकालना चाहिए, चाहे आप उसे सुराग किस क्रम में भी दें। यदि आप सुराग A और सुराग B को आपस में बदल देते हैं, तो उत्तर नहीं बदलना चाहिए।

लंबे समय तक, लोगों को उम्मीद थी कि लार्ज लैंग्वेज मॉडल्स (LLMs) ये आदर्श जासूस हैं। लेकिन हाल के परीक्षणों ने दिखाया कि वे ऐसा नहीं हैं। यदि आप प्रॉम्प्ट में उदाहरणों का क्रम बदल देते हैं, तो AI कभी-कभी अलग उत्तर देता है। इससे ऐसा लगा जैसे AI आदर्श बेयसियन नियमों का पालन नहीं कर रहा है।

यह शोध पत्र इस "विफलता" को एक गलतफहमी बताता है। लेखक कहते हैं: "यह न देखें कि क्या AI हर एक मामले में पूर्ण है। इसके बजाय, यह देखें कि अपूर्ण होने के लिए AI कितना 'जुर्माना' (penalty) चुकाता है।"

मुख्य सादृश्य (Analogy): किराने की दुकान की रसीद

AI के प्रदर्शन को किराने की दुकान की रसीद की तरह समझें।

"बेयसियन आदर्श" (The Bayesian Ideal) वह सैद्धांतिक न्यूनतम कीमत है जो आप तब दे सकते थे जब आपके पास पूर्ण ज्ञान होता।
"AI की कीमत" (The AI's Price) वह है जो AI आपसे वास्तव में वसूलता है।

लेखक कहते हैं कि भले ही AI वस्तुओं के क्रम में गलती करता है (रसीद को आगे-पीछे करने पर), इसका मतलब यह नहीं है कि AI खराब है। इसका मतलब सिर्फ इतना है कि AI को एक विशिष्ट क्रम में सूची को प्रोसेस करने के लिए एक बहुत छोटा "सुविधा शुल्क" (convenience fee/अतिरिक्त लागत) देना पड़ रहा है।

लेखक गणितीय रूप से सिद्ध करते हैं कि:

शुल्क बहुत कम है: क्रम बदलने के लिए AI जो अतिरिक्त लागत चुकाता है, वह इतनी कम है (जिसे "बिट" के अंश में मापा जाता है, जो सूचना की एक बहुत छोटी इकाई है) कि AI अभी भी लगभग एक आदर्श बेयसियन जासूस जितना ही अच्छा है।
यह औसत के बारे में है: यदि आप सुरागों को बदलने के सभी संभावित तरीकों का औसत निकाल लें, तो AI का औसत प्रदर्शन लगभग पूर्ण होगा। एक विशिष्ट क्रम थोड़ा अलग होने से व्यापक परिप्रेक्ष्य में कोई खास फर्क नहीं पड़ता।

सरल भाषा में मुख्य निष्कर्ष

1. "ऑर्डरिंग शुल्क" (क्रम बदलने की लागत)

यह शोध पत्र एक अवधारणा पेश करता है जिसे ऑर्डर-एवरेजिंग गेन (Order-Averaging Gain) कहा जाता है।

कल्पना करें: आपके पास उदाहरणों का प्रतिनिधित्व करने वाला ताश का एक डेक है। एक पूर्ण प्रणाली समान उत्तर देती है चाहे आप कार्ड बाएं-से-दाएं बांटें या दाएं-से-बाएं।
वास्तविकता: AI उन्हें बाएं-से-दाएं बांटता है। कभी-कभी, यह विशिष्ट क्रम इसे अलग क्रम की तुलना में थोड़ा कम आत्मविश्वासी बना देता है।
परिणाम: लेखकों ने इस "आत्मविश्वास की कमी" को मापा। उन्होंने पाया कि यह अविश्वसनीय रूप से कम है। यह $100 की खरीदारी पर अतिरिक्त$ 0.01 देने जैसा है। आपको लूटा नहीं जा रहा है; आप बस एक विशिष्ट क्रम की सुविधा के लिए एक छोटा सा शुल्क दे रहे हैं।

2. "सेफ कोड" (अज्ञात को संभालना)

AI मॉडल कभी-कभी तब घबरा जाते हैं जब वे कोई ऐसा शब्द या नंबर देखते हैं जो उन्होंने उदाहरणों में नहीं देखा होता। एक "पूर्ण" बेयसियन मॉडल इसे बहुत सहजता से संभालता है।

परीक्षण: लेखकों ने सरल गणित और तर्क पहेलियों (जैसे संख्या के क्रम में अगला नंबर पहचानना) पर AI का परीक्षण किया।
परिणाम: AI के अनुमान लगभग सटीक बेयसियन अनुमानों के समान थे। यहाँ तक कि जब AI को एक नए नंबर का अनुमान लगाना पड़ा, तब भी वह घबराया नहीं। वह "आदर्श" गणित के बहुत करीब रहा, विशेष रूप से जब उसने कुछ उदाहरण देख लिए थे।
तुलना: उन्होंने AI की तुलना एक "फ्रीक्वेंटिस्ट" (Frequentist - एक सरल, कठोर सांख्यिकीविद जो केवल उसी पर भरोसा करता है जो उसने देखा है) से की। AI, उस कठोर सांख्यिकीविद की तुलना में "पूर्ण बेयसियन" के बहुत करीब था, खासकर जब उदाहरण बहुत कम थे।

3. "पोजीशन" (स्थिति) की समस्या (क्यों क्रम मायने रखता है)

AI को क्रम की चिंता क्यों होती है?

प्रयोग: लेखकों ने AI के "पोजीशनिंग सिस्टम" (वह हिस्सा जो जानता है कि कौन सा शब्द पहले, दूसरा या तीसरा आता है) के साथ छेड़छाड़ की।
खोज: जब उन्होंने स्थिति (position) के संकेतों को हटा दिया, तो AI क्रम के प्रति पूरी तरह उदासीन हो गया (वह एक पूर्ण बेयसियन बन गया)। जब उन्होंने स्थिति के संकेत वापस जोड़े, तो AI फिर से क्रम की परवाह करने लगा।
निष्कर्ष: AI की "क्रम संवेदनशीलता" (order sensitivity) उसकी तर्क प्रक्रिया की त्रुटि नहीं है; बल्कि यह उसके पढ़ने के तरीके की एक विशेषता है। यह एक व्यक्ति द्वारा किताब पढ़ने जैसा है: वे बाएं-से-दाएं पढ़ते हैं। यदि आप उन्हें पन्ने क्रम से बाहर दे दें, तो वे भ्रमित हो जाते हैं। लेकिन यदि आप उन सभी तरीकों का औसत निकाल लें जिनसे वे पन्ने पढ़ सकते थे, तो वे कहानी को अच्छी तरह समझ लेते हैं।

4. "एक्टिवेशन" चेक (क्या AI वास्तव में सोच रहा है?)

लेखक यह जानना चाहते थे कि क्या AI वास्तव में "गणित कर रहा है" या सिर्फ अनुमान लगा रहा है।

परीक्षण: उन्होंने "एक्टिवेशन पैचिंग" (activation patching) नामक तकनीक का उपयोग किया (जैसे घड़ी के एक विशिष्ट गियर को बदलना)। उन्होंने एक साफ उदाहरण से "गिनती" (counting) की जानकारी ली और उसे एक अस्त-व्यस्त उदाहरण में डाल दिया।
परिणाम: AI का उत्तर बिल्कुल वैसा ही बदला जैसा गणित ने भविष्यवाणी की थी। यह साबित करता है कि AI केवल याद नहीं कर रहा है; वह वास्तव में आंतरिक रूप से सांख्यिकी (गिनती और स्थिति) की गणना कर रहा है और भविष्यवाणियां करने के लिए उनका उपयोग कर रहा है।

निचोड़ (The Bottom Line)

यह शोध पत्र एक विरोधाभास को सुलझाता है:

पुराना विचार: "AI अपना निर्णय बदल लेता है जब आप उदाहरणों का क्रम बदलते हैं, इसलिए यह एक सच्चा बेयसियन नहीं है।"
नया विचार: "AI अपने निर्णय में थोड़ा बदलाव करता है, लेकिन उस बदलाव की 'लागत' इतनी कम है कि व्यावहारिक उद्देश्यों के लिए, यह एक बेयसियन की तरह ही कार्य करता है।"

सादृश्य (Analogy):
एक शेफ की कल्पना करें जो एक आदर्श रेसिपी का उपयोग करके केक बनाने की कोशिश कर रहा है।

परफेक्ट शेफ (बेयसियन): चाहे वे चीनी से पहले आटा डालें या आटे से पहले चीनी, वे बिल्कुल एक जैसा केक बनाएंगे।
AI शेफ: चीनी से पहले आटा डालता है। यदि आप उनसे पहले चीनी डालने को कहें, तो उनका केक थोड़ा अलग होगा (शायद 1% कम फूला हुआ)।
शोध का निष्कर्ष: AI एक "खराब" शेफ नहीं है। बात बस इतनी है कि सामग्री का क्रम उनके लिए थोड़ा मायने रखता है। लेकिन यदि आप कई प्रयासों में उनके द्वारा बनाए गए औसत केक को देखें, तो वह पूर्ण केक से अलग नहीं होगा। "फुलाव की कमी" (fluffiness loss) नगण्य है।

संक्षेप में: ट्रांसफॉर्मर्स (AI आर्किटेक्चर) को भविष्य की भविष्यवाणी करने में अविश्वसनीय रूप से अच्छा होने के लिए पूर्ण, क्रम-निरपेक्ष (order-agnostic) मशीन होने की आवश्यकता नहीं है। उन्हें बस "पर्याप्त बेयसियन" होने की आवश्यकता है ताकि उनकी क्रम-संवेदनशीलता का दंड (penalty) बहुत कम हो। और गणित दिखाता है कि वह दंड वास्तव में बहुत कम है।

तकनीकी सारांश: LLMs अपेक्षा में बेयसियन हैं, वास्तविकता में नहीं

1. समस्या विवरण

यह शोध पत्र इन-कॉन्टेक्स्ट लर्निंग (ICL) की बेयसियन व्याख्या और ट्रांसफॉर्मर की वास्तुशिल्प वास्तविकता के बीच एक मौलिक तनाव को संबोधित करता है।

बेयसियन दृष्टिकोण: ICL को अक्सर एक ऐसी प्रक्रिया के रूप में व्याख्यायित किया जाता है जहाँ सपोर्ट उदाहरण (support examples) एक गुप्त कार्य (latent task) की पहचान करते हैं, और मॉडल अगले टोकन के लिए पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन (posterior predictive distribution) उत्पन्न करता है। इस दृष्टिकोण के तहत, विनिमेय डेटा (exchangeable data) के लिए, पोस्टीरियर प्रेडिक्टिव को सपोर्ट सेट के क्रम के प्रति अपरिवर्तनीय होना चाहिए।
अनुभवजन्य वास्तविकता: ट्रांसफॉर्मर्स ऑटोरिग्रेसिव मॉडल हैं जो पोजीशनल एनकोडिंग के साथ अनुक्रमों (sequences) को प्रोसेस करते हैं। हालिया डायग्नोस्टिक्स (मार्टिंगेल टेस्ट) से पता चलता है कि एक अनियंत्रित सपोर्ट सेट को बदलने (permuting) से अक्सर अगले-टोकन की संभावना बदल जाती है, जो सटीक विनिमेयता (exact exchangeability) का उल्लंघन करती है।
संघर्ष: इन उल्लंघनों को बेयसियन ICL परिकल्पना के खंडन के रूप में व्याख्यायित किया गया है। लेखक तर्क देते हैं कि यह एक श्रेणीगत त्रुटि (category error) है: यह संरचनात्मक अपरिवर्तनीयता (एक सटीक पोस्टीरियर लॉ का गुण) को परिचालन प्रदर्शन (ऑनलाइन सेटिंग में भविष्यवाणी की लागत) के साथ मिला देती है।

केंद्रीय प्रश्न यह नहीं है कि क्या ट्रांसफॉर्मर्स सटीक विनिमेय पोस्टीरियर सैंपलर हैं (वे नहीं हैं), बल्कि यह है कि क्या वे सीरियलाइजेशन-प्रेरित क्रम संवेदनशीलता के बावजूद प्रिक्वेंशियल लॉग लॉस (prequential log loss) के संदर्भ में बेयस-प्रतिस्पर्धी (Bayes-competitive) बने रहते हैं।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

2.1 सैद्धांतिक सेतु: प्रिक्वेंशियल रिग्रेट और KL डाइवर्जेंस

लेखक मूल्यांकन लक्ष्य को बाइनरी इनवेरिएंस से बदलकर अतिरिक्त प्रिक्वेंशियल कोड लेंथ (excess prequential code length) पर स्थानांतरित करते हैं।

प्रिक्वेंशियल तुलना पहचान (थ्योरम 1): वे सिद्ध करते हैं कि एक बेयसियन संदर्भ $B$ के सापेक्ष एक मॉडल $Q$ का अपेक्षित अतिरिक्त लॉग लॉस, प्रेडिक्टिव कुलबैक-लीब्लर (KL) डाइवर्जेंसेस का संचयी योग है:
$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$
यह स्थापित करता है कि विनिमेयता के उल्लंघन केवल तभी मायने रखते हैं जब वे महत्वपूर्ण प्रेडिक्टिव KL को संचित करते हैं।
ऑर्डर-एवरेजिंग डिकम्पोजिशन (थ्योरम 2): अनियंत्रित सूचना अवस्थाओं के लिए जिन्हें क्रमबद्ध (serialized) किया जाना है, एक एकल रिग्रेट का अपघटन होता है:
1. ऑर्डर-एवरेज्ड प्रेडिक्टर का रिग्रेट (सभी कार्य-संरक्षण क्रमों पर अपेक्षा)।
2. एक गैर-ऋणात्मक ऑर्डर-एवरेजिंग गेन ( $J_t$ ), जो औसत वितरण के बजाय एक एकल मनमाने सीरियलाइजेशन का उपयोग करने के कारण चुकाया गया अतिरिक्त लॉग लॉस है।
- निहितार्थ: विनिमेयता की विफलता एक बाइनरी "खंडन" नहीं है, बल्कि बिट्स में मापी जाने वाली एक मात्रात्मक लागत है।

2.2 प्रयोगात्मक प्रोटोकॉल

लेखक इस सिद्धांत का मूल्यांकन Qwen2.5-7B/14B और Llama-3.1-8B का कई मोर्चों पर उपयोग करके करते हैं:

क्लोज्ड-फॉर्म बेयसियन ऑडिट: डिस्क्रीट कार्यों (Beta-Bernoulli, Dirichlet-categorical) और निरंतर कार्यों (Coarsened Bayesian Linear Regression - BLR) पर परीक्षण, जहाँ वास्तविक बेयसियन पोस्टीरियर प्रेडिक्टिव ज्ञात है।
फ्रीक्वेंटिस्ट बेसलाइन्स: मॉडल के प्रदर्शन की तुलना मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) और लैप्लेस प्लग-इन प्रेडिक्टर्स से करना, ताकि यह सुनिश्चित हो सके कि मॉडल का व्यवहार सरल फ्रीक्वेंटिस्ट काउंटिंग से अलग है।
हस्तक्षेप (Interventions):
- पोजीशन इंटरवेंशन: टास्क-प्रिजर्विंग ऑर्डर (जहाँ क्रम मायने नहीं रखना चाहिए) और सिमेंटिक ऑर्डर (जहाँ स्थिति संकेत देती है) के बीच अंतर करने के लिए इन्फरेंस के दौरान position_ids को संशोधित करना।
- फ्रॉम-स्क्रैच एब्लेशन: पोजीशनल एनकोडिंग के साथ और बिना छोटे ट्रांसफॉर्मर्स को प्रशिक्षित करना ताकि ऑर्डर संवेदनशीलता के स्रोत को अलग किया जा सके।
- एक्टिवेशन पैचिंग: यह परीक्षण करना कि क्या पर्याप्त सांख्यिकी (counts और positions) भविष्यवाणियों को निर्धारित करने के लिए कॉज़ल रूप से उपयोग की जाती हैं।
डाउनस्ट्रीम डायग्नोस्टिक्स: परम्यूटेशन मिश्रणों का उपयोग करके MMLU, GSM8K और एविडेंस-ग्राउंडेड QA कार्यों पर अनियंत्रित ऑर्डरिंग की लागत को मापना।

3. मुख्य योगदान

मूल्यांकन लक्ष्य का औपचारिकीकरण: यह पेपर बाइनरी "क्या यह विनिमेय है?" परीक्षण के बजाय "उल्लंघन कितना KL लागत देता है?" नामक मात्रात्मक मीट्रिक के रूप में अतिरिक्त प्रिक्वेंशियल कोड लेंथ को परिभाषित करता है।
ऑर्डर-एवरेजिंग डिकम्पोजिशन: यह एक सैद्धांतिक अपघटन प्रदान करता है जो दिखाता है कि एक एकल सीरियलाइजेशन का रिग्रेट, ऑर्डर-एवरेज्ड प्रेडिक्टर के रिग्रेट और एक मापने योग्य "ऑर्डर-एवरेजिंग गेन" के योग के बराबर है।
सेफ-कोड फ्लोर्स और कैंडिडेट डिकम्पोजिशन: यह संभाव्यता द्रव्यमान (probability mass) को छिपाए बिना फिक्स्ड कैंडिडेट सेट्स पर मॉडल्स को स्कोर करने का एक तरीका पेश करता है, जो "सेफ-कोड फ्लोर" (यूनिफॉर्म के साथ मिक्सिंग) का उपयोग करता है ताकि फाइनाइट-होराइजन एडमिसिबिलिटी और स्पष्ट ओवरहेड रिपोर्टिंग सुनिश्चित हो सके।
बेयसियन तंत्रों का कॉज़ल सत्यापन: एक्टिवेशन पैचिंग और लीनियर प्रोबिंग के माध्यम से, लेखक प्रदर्शित करते हैं कि मॉडल्स में न केवल पर्याप्त सांख्यिकी (counts, positions) हैं, बल्कि वे भविष्य-टोकन वितरण को आकार देने के लिए उन्हें कॉज़ल रूप से उपयोग भी करते हैं।

4. मुख्य परिणाम

4.1 प्रेडिक्टिव KL और बेयस-प्रतिस्पर्धात्मकता

डिस्क्रीट कार्य: 256 के सपोर्ट साइज के साथ बर्नौली और 4-वे कैटेगोरिकल कार्यों पर, मॉडल अत्यंत कम वन-स्टेप अतिरिक्त प्रिक्वेंशियल कोड लेंथ प्रदर्शित करते हैं:
- Bernoulli: 0.020 बिट्स (7B) और 0.011 बिट्स (14B)।
- Categorical: 0.039 बिट्स (7B) और 0.022 बिट्स (14B)।
- कैंडिडेट मास (स्कोर किए गए इवेंट्स को दी गई संभाव्यता) 0.999 से अधिक है।
निरंतर कार्य (BLR): जैसे-जैसे सपोर्ट साइज बढ़ता है, मॉडल का प्रेरित डिजिट डिस्ट्रीब्यूशन (induced digit distribution) कोआर्सेन्ड बेयसियन पोस्टीरियर प्रेडिक्टिव के साथ तेजी से मेल खाता है। 100 के सपोर्ट पर, बेयसियन अपेक्षा के साथ सहसंबंध (correlation) ~0.988 (1-covariate) और ~0.965 (2-covariate) तक पहुँच जाता है।

4.2 फ्रीक्वेंटिस्ट प्लग-इन्स से अंतर

छोटा डेटा रिजीम: मॉडल MLE प्लग-इन की तुलना में बेयसियन पोस्टीरियर प्रेडिक्टिव के काफी करीब है।
- MLE अक्सर डिजेनरेट होता है (अनदेखे प्रतीकों को शून्य संभाव्यता देना), जिससे अनंत कोड लेंथ हो सकती है।
- 4-वे कैटेगोरिकल कार्यों के लिए सपोर्ट 4 पर, मॉडल MLE की तुलना में बेयसियन संदर्भ के ~3.3 बिट्स (7B) और ~3.8 बिट्स (14B) करीब है।
अभिसरण (Convergence): जैसे-जैसे सपोर्ट बढ़ता है, मॉडल, बेयसियन संदर्भ और फ्रीक्वेंटिस्ट प्लग-इन के बीच का अंतर समाप्त हो जाता है, जो एसिम्प्टोटिक थ्योरी के अनुरूप है।

4.3 ऑर्डर संवेदनशीलता का स्रोत

पोजीशनल एनकोडिंग: पोजीशन इंटरवेंशन से पता चलता है कि एब्सोल्यूट डेमोंस्ट्रेशन पोजीशंस सीरियलाइजेशन वेरिएंस को संचालित करती हैं। डेमोंस्ट्रेशन के भीतर पोजीशंस को रीसेट करने से बेयसियन प्रेडिक्शन कार्यों में ऑर्डर वेरिएंस ~21× कम हो जाता है।
एब्लेशन: बिना पोजीशनल एनकोडिंग के प्रशिक्षित ट्रांसफॉर्मर्स लगभग पूर्ण विनिमेयता (variance $\approx 10^{-16}$ ) प्राप्त करते हैं। जिन मॉडल्स में एब्सोल्यूट, साइनुसोइडल, RoPE, या ALiBi एनकोडिंग्स सीखे गए हैं, उनमें वेरिएंस $10^{-8}$ से $10^{-6}$ की रेंज में दिखता है। यह पुष्टि करता है कि ऑर्डर संवेदनशीलता एनकोडिंग का गुण है, न कि आर्किटेक्चर का।
कॉज़ल उपयोग: एक्टिवेशन पैचिंग पुष्टि करती है कि पर्याप्त सांख्यिकी (counts और positions) कॉज़ल रूप से अगले-टोकन लॉजिट्स से जुड़े हुए हैं।

4.4 डाउनस्ट्रीम लागत

ऑर्डर-एवरेजिंग गेन: MMLU और GSM8K पर, रैंडम परम्यूटेशन के ऊपर भविष्यवाणियों का औसत निकालने से नेगेटिव लॉग-लाइक्लीहुड (NLL) और कैलिब्रेशन में छोटा लेकिन मापने योग्य सुधार होता है, जो पुष्टि करता है कि मनमाना सीरियलाइजेशन एक छोटा लॉग-लॉस खर्च करता है।
एविडेंस QA: अनियंत्रित एविडेंस चंक्स वाले कार्यों में, ऑर्डर-एवरेजिंग गेन मापने योग्य है (उदाहरण के लिए, Qwen2.5-7B के लिए 0.1041 नैट्स/टोकन), जो सुझाव देता है कि एक मनमाने क्रम को कार्य मानना उप-इष्टतम (suboptimal) है।

5. महत्व और दावे

यह शोध पत्र ट्रांसफॉर्मर आर्किटेक्चर के साथ बेयसियन ICL परिकल्पना का एक मात्रात्मक समाधान (quantitative reconciliation) होने का दावा करता है:

"सटीकता" का खंडन: ट्रांसफॉर्मर्स हर सीरियलाइजेशन के लिए सटीक विनिमेय पोस्टीरियर-प्रेडिक्टिव डिस्ट्रीब्यूशन नहीं हैं।
"प्रतिस्पर्धात्मकता" का सत्यापन: वे बेय-प्रतिस्पर्धी प्रिक्वेंशियल प्रेडिक्टर हैं। ऑर्डर संवेदनशीलता की परिचालन लागत (बिट्स के अंश में मापी गई) बहुत कम और सीमित है।
दृष्टिकोण में बदलाव: सटीक विनिमेयता की विफलता को बेयसियन ICL के बाइनरी खंडन के रूप में नहीं देखा जाना चाहिए। इसके बजाय, इसे एक मूल्यित लागत (priced cost) के रूप में देखा जाना चाहिए। "कीमत" ऑर्डर-एवरेजिंग गेन है, जो इतनी कम है कि मॉडल ऑनलाइन प्रेडिक्शन सेटिंग्स में इष्टतम बेयसियन प्रेडिक्टर के साथ प्रतिस्पर्धी बना रहता है।

लेखक इस बात पर जोर देते हैं कि यह एक डायग्नोस्टिक फ्रेमवर्क है। यह दावा नहीं करता कि ट्रांसफॉर्मर्स शाब्दिक (literal) पोस्टीरियर सैंपलर हैं, बल्कि यह कि उनके प्रेडिक्टिव डिस्ट्रीब्यूशन फ्रीक्वेंटिस्ट प्लग-इन्स की तुलना में बेयसियन पोस्टीरियर प्रेडिक्टिव के अधिक निकट हैं, और सीरियलाइजेशन के कारण होने वाला विचलन परिचालन रूप से नगण्य है।