🤖 machine learning

Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise

यह शोध पत्र बेयसियन फ़िल्टरिंग ट्रांसफॉर्मर (BFT) प्रस्तुत करता है, जो एक सिद्धांतपूर्ण ढांचा है जो अनिश्चितता को स्पष्ट रूप से मॉडल करने के लिए ट्रांसफॉर्मर घटकों को कलमन फ़िल्टरिंग और क्रिगिंग ऑपरेशन्स के रूप में पुनर्व्याख्या करता है, जिससे अनुक्रमिक अनुशंसा (sequential recommendation) में कोल्ड-स्टार्ट परिदृश्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है और बड़े भाषा मॉडलों में शोर वाले डेटा के विरुद्ध मजबूती बढ़ती है।

मूल लेखक: Bo Long, Deepak Agarwal, Jelena Markovic-Voronov, Yi Wang, Liuqing Li

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Long, Deepak Agarwal, Jelena Markovic-Voronov, Yi Wang, Liuqing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन उसके कुछ टुकड़े धुंधले हैं, कुछ टूटे हुए हैं, और कुछ बिल्कुल नए हैं जिनके कोई निर्देश नहीं हैं। यह ठीक वही समस्या है जिसका सामना ट्रांसफॉर्मर (आधुनिक AI जैसे चैटबॉट्स और रिकमेंडेशन इंजन के पीछे का मस्तिष्क) करता है।

वर्तमान में, ट्रांसफॉर्मर अपने द्वारा देखी गई जानकारी के हर एक टुकड़े को समान विश्वास के साथ देखता है। चाहे वह एक अत्यधिक विश्वसनीय तथ्य हो या एक रैंडम, शोर भरा अनुमान, AI उन्हें समान महत्व देता है। यह एक शेफ की तरह है जो सूप चखता है और हर सामग्री में समान रूप से नमक डालता है, चाहे वह सामग्री ताजी हो या सड़ चुकी हो।

यह पेपर BFT (बेयसियन फिल्टरिंग ट्रांसफॉर्मर) नामक एक नई प्रणाली पेश करता है। BFT को उस हर जानकारी के लिए एक "कॉन्फिडेंस मीटर" (विश्वास मीटर) देने के रूप में सोचें जिसे वह प्रोसेस करता है। हर जानकारी पर आँख बंद करके भरोसा करने के बजाय, AI यह सीखना शुरू करता है: "क्या यह विशिष्ट डेटा कितना विश्वसनीय है?"

यहाँ बताया गया है कि BFT कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "यूनिफॉर्म कॉन्फिडेंस" (समान विश्वास) का जाल

पुराने सिस्टम में, यदि कोई AI एक ऐसे उपयोगकर्ता को देखता है जिसने 1,000 आइटम पर क्लिक किया है, तो वह उसके इतिहास पर भरोसा करता है। यदि वह एक नए उपयोगकर्ता को देखता है जिसने केवल एक बार क्लिक किया है, तो वह उस एकल क्लिक को भी ठीक उसी स्तर के विश्वास के साथ देखता है।

परिणाम: AI "कोल्ड-स्टार्ट" समस्याओं (नए उपयोगकर्ता/आइटम) में भ्रमित हो जाता है और "शोर" (बुरे डेटा) से विचलित हो जाता है। यह "अटेंशन सिंक्स" (attention sinks) से भी ग्रस्त होता है, जहाँ यह बेकार की शुरुआती जानकारी पर ध्यान केंद्रित करने में फंस जाता है क्योंकि यह महत्वपूर्ण और महत्वहीन डेटा के बीच अंतर नहीं कर पाता।

2. समाधान: "कॉन्फिडेंस मीटर" (कलमन फिल्टरिंग)

लेखकों ने ट्रांसफॉर्मर को नेविगेशन की एक अवधारणा का उपयोग करके पुनर्कल्पित किया है जिसे कलमन फिल्टरिंग (Kalman Filtering) कहा जाता है। कल्पना कीजिए कि एक जहाज कोहरे के बीच से गुजर रहा है।

पुराना तरीका: जहाज मान लेता है कि उसका नक्शा और उसका दिशा-सूचक यंत्र (compass) एकदम सही है, इसलिए वह बस अंधे होकर नक्शे का पालन करता है।
BFT का तरीका: जहाज लगातार जाँच करता है: "क्या अभी कोहरा घना है? क्या मेरा दिशा-सूचक यंत्र डगमगा रहा है?"
- यदि डेटा शोर भरा है (घना कोहरा), तो जहाज अपने पिछले ज्ञान (नक्शे) पर अधिक भरोसा करता है और डगमगाते दिशा-सूचक यंत्र को अनदेखा कर देता है।
- यदि डेटा स्पष्ट है (धूप वाला दिन), तो जहाज दिशा-सूचक यंत्र की नई रीडिंग पर भरोसा करता है और अपनी स्थिति को अपडेट करता है।

पेपर में, यह "जाँच" गणितीय रूप से प्रिसिजन (Precision) का उपयोग करके होती है (जो कि केवल "विश्वास" के लिए एक तकनीकी शब्द है)।

3. यह तीन चरणों में कैसे काम करता है

यह पेपर AI की सोचने की प्रक्रिया को तीन चरणों में विभाजित करता है, ठीक वैसे ही जैसे एक जासूस किसी मामले को सुलझाता है:

चरण 1: अवलोकन (जासूस की आँख)
AI डेटा को देखता है। पुराने सिस्टम में, यह सब कुछ का औसत निकाल देता है। BFT में, यह एक प्रिसिजन स्कोर (Precision Score) की गणना करता है।
- उपमा: यदि कोई गवाह अविश्वसनीय माना जाता है (कम प्रिसिजन), तो जासूस उनकी कहानी को कम महत्व देता है। यदि कोई गवाह विशेषज्ञ है (उच्च प्रिसिजन), तो उनकी कहानी को भारी महत्व दिया जाता है।
- जादू: AI इस स्कोर की गणना बिना किसी अतिरिक्त ट्रेनिंग डेटा के गणित (Kriging और REML) का उपयोग करके स्वचालित रूप से करता है। यह देखता है कि डेटा कितना सुसंगत है। यदि डेटा बहुत बिखरा हुआ है, तो कॉन्फिडेंस स्कोर गिर जाता है।
चरण 2: अपडेट (जासूस की नोटबुक)
AI अपने पुराने विश्वास को नए साक्ष्य के साथ जोड़ता है।
- उपमा: यदि नया साक्ष्य डगमगाता हुआ है (कम विश्वास), तो जासूस अपनी नोटबुक में बहुत कम बदलाव करता है। यदि साक्ष्य चट्टान की तरह ठोस है (उच्च विश्वास), तो वह उसे स्पष्ट रूप से लिख लेता है।
- जादू: इसे कलमन गेन (Kalman Gain) कहा जाता है। यह एक स्मार्ट गेटकीपर की तरह कार्य करता है। यह तय करता है कि सूचना कितनी विश्वसनीय है, इसके आधार पर कितनी नई जानकारी को अंदर आने देना है।
चरण 3: भविष्यवाणी (जासूस का भविष्य का अनुमान)
AI अनुमान लगाने की कोशिश करता है कि आगे क्या होगा।
- उपमा: यदि जासूस वर्तमान स्थिति के बारे में अनिश्चित है, तो वह भविष्य की भविष्यवाणियों के बारे में अधिक सतर्क हो जाता है। यदि वह बहुत आश्वस्त है, तो वह साहसी भविष्यवाणियाँ करता है।
- जादू: AI ट्रैक करता है कि जैसे-जैसे यह अपने लेयर्स (परतों) के माध्यम से आगे बढ़ता है, कितनी "प्रोसेस नॉइज़" (रैंडमनेस) जोड़ी जाती है, जिससे यह सुनिश्चित होता है कि वह गलती से अति-आत्मविश्वासी न हो जाए।

4. यह क्यों मायने रखता है (परिणाम)

लेखकों ने इस नए "कॉन्फिडेंस मीटर" का परीक्षण दो मुख्य क्षेत्रों में किया:

रिकमेंडेशन सिस्टम्स ("कोल्ड स्टार्ट" का हीरो):
जब फिल्में या उत्पाद सुझाने की बात आती है, तो AI आमतौर पर नए उपयोगकर्ताओं या दुर्लभ वस्तुओं के साथ संघर्ष करता है क्योंकि वहां इतिहास बहुत कम होता है।
- परिणाम: BFT यहाँ उत्कृष्ट प्रदर्शन करता है। दुर्लभ वस्तुओं और नए उपयोगकर्ताओं पर (जहाँ अनिश्चितता सबसे अधिक होती है), AI ने अपने सुझावों में 15% तक सुधार किया। इसने बेतरतीब ढंग से अनुमान लगाना बंद कर दिया और उन कुछ विश्वसनीय संकेतों पर भरोसा करना शुरू कर दिया जो उसके पास थे।
लार्ज लैंग्वेज मॉडल्स (LLMs) ("नॉइज़" फ़िल्टर):
जब AI को अव्यवस्थित डेटा (जैसे टाइपो वाले प्रश्न या फेक न्यूज़ वाले सर्च रिजल्ट्स) पर प्रशिक्षित किया जाता है, तो AI अक्सर भ्रमित हो जाता है।
- परिणाम: BFT ने AI को बहुत अधिक मजबूत बनाया। भले ही ट्रेनिंग डेटा खराब या भटकाने वाला था, AI ने अपना प्रदर्शन बेहतर बनाए रखा। इसने "शोर" को अनदेखा करना और वास्तविक संकेत (signal) पर ध्यान केंद्रित करना सीख लिया।

5. सबसे अच्छी बात: यह एक "ड्रॉप-इन" अपग्रेड है

लेखक इस बात पर जोर देते हैं कि आपको पूरे AI को फिर से बनाने की आवश्यकता नहीं है।

उपमा: यह एक मानक कार इंजन में फ्यूल इंजेक्टर को एक स्मार्ट इंजेक्टर से बदलने जैसा है जो सड़क की स्थितियों के आधार पर ईंधन के मिश्रण को एडजस्ट करता है। बाकी कार (पहिए, चेसिस, ट्रांसमिशन) बिल्कुल वैसी ही रहती है।
दावा: आप AI के केवल एक लेयर को BFT संस्करण के साथ बदल सकते हैं, और यह लगभग बिना किसी अतिरिक्त कंप्यूटिंग लागत के तुरंत काम करता है।

सारांश

पेपर का दावा है कि AI को हर उस डेटा के लिए अनिश्चितता (uncertainty) और विश्वास (confidence) मापने का तरीका देकर, हम इसकी सबसे बड़ी कमजोरियों को ठीक कर सकते हैं: नए उपयोगकर्ताओं को संभालना, बुरे डेटा को अनदेखा करना और लंबी बातचीत में भ्रमित होने से बचना। यह डेटा के एक "अंधे अनुयायी" को डेटा के एक "स्मार्ट जज" में बदल देता है।

तकनीकी सारांश: कलमन फ़िल्टरिंग, क्रिगिंग और प्रोसेस नॉइज़ के माध्यम से प्रिसिजन ट्रैक्ड ट्रांसफॉर्मर

1. समस्या विवरण

मानक ट्रांसफॉर्मर आर्किटेक्चर, हालांकि आधुनिक AI के लिए आधारभूत है, एक महत्वपूर्ण अंतर्निहित धारणा के तहत कार्य करता है: प्रत्येक टोकन समान रूप से विश्वसनीय है। वास्तविक दुनिया के अनुप्रयोगों में, यह एकीकरण (uniformity) एक क्षीण मामला है जो व्याप्त अनिश्चितता को समझने में विफल रहता है। लेखक इन तीन विशिष्ट विफलता मोड की पहचान करते हैं जो अनिश्चितता के सिद्धांतपूर्ण प्रबंधन की कमी से उत्पन्न होते हैं:

कोल्ड-स्टार्ट परिदृश्य (Cold-start scenarios): अनुक्रमिक अनुशंसा (sequential recommendation) में, दुर्लभ वस्तुओं और नए उपयोगकर्ताओं का इतिहास विरल (sparse) होता है, फिर भी मानक ट्रांसफॉर्मर उन्हें लोकप्रिय वस्तुओं के समान ही विश्वास के साथ देखते हैं।
शोरयुक्त पर्यवेक्षण (Noisy supervision): लार्ज लैंग्वेज मॉडल (LLM) फाइन-ट्यूनिंग में, टोकन-लेबल भ्रष्टाचार या डोमेन कॉर्पोरा में विषम सिग्नल गुणवत्ता के कारण समान ग्रेडिएंट अपडेट होते हैं, जो कम-सिग्नल वाले टोकन को उच्च-सिग्नल वाले टोकन के समान ही मानते हैं।
अटेंशन सिंक्स (Attention sinks): अनियंत्रित सॉफ्टमैक्स अटेंशन अनफॉर्मेटिव शुरुआती टोकन (अटेंशन सिंक्स) पर द्रव्यमान केंद्रित कर सकता है या लॉन्ग-कॉन्टेक्स्ट रिट्रिवल में स्थिति अनिश्चितता के अनुकूल होने में विफल हो सकता है, क्योंकि आर्किटेक्चर के पास किसी स्थिति को "अविश्वसनीय" घोषित करने का कोई मूल चैनल नहीं है।

वर्तमान समाधान (जैसे, डिनोइजिंग मास्क, अटेंशन कैलिब्रेशन, सिग्मॉइड गेट्स) अक्सर अलग-थलग ह्यूरिस्टिक्स होते हैं। पेपर का तर्क है कि ये घटनाएँ एक सामान्य संरचनात्मक कारण साझा करती हैं: मानक ट्रांसफॉर्मर में प्रिसिजन ( $\lambda = 1$ ) की क्षय (degeneracy), जहाँ अनिश्चितता को न तो ट्रैक किया जाता है और न ही प्रसारित किया जाता है।

2. कार्यप्रणाली: द बेयसियन फ़िल्टरिंग ट्रांसफॉर्मर (BFT)

लेखक बेयसियन फ़िल्टरिंग ट्रांसफॉर्मर (BFT) का प्रस्ताव करते हैं, जो एक ढांचा है जो ट्रांसफॉर्मर लेयर को तीन-चरणीय बेयसियन फ़िल्टर (अवलोकन $\to$ अपडेट $\to$ भविष्यवाणी) के रूप में पुनर्व्याख्या करता है। यह फॉर्मूलेशन प्रिसिजन (व्युत्क्रम विचरण/inverse variance) को एक प्रथम श्रेणी के नागरिक के रूप में बहाल करता है, जिससे मॉडल विश्वसनीयता के आधार पर साक्ष्य को अनुकूल रूप से भारित (weight) कर सकता है।

2.1 फ्रेमवर्क मैपिंग

BFT मानक ट्रांसफॉर्मर ऑपरेशन्स को कलमन फ़िल्टर चरणों में मैप करता है:

अवलोकन (क्रिगिंग के रूप में सेल्फ-अटेंशन):
- मानक अटेंशन वैल्यूज का भारित माध्य (weighted mean) कंप्यूट करता है। BFT इसे एक क्रिगिंग प्रेडिक्टर (एक भू-सांख्यिकीय अनुमानक) के रूप में मानता है।
- कच्चे अटेंशन वेट्स $\alpha_{tj}$ का उपयोग करने के बजाय, BFT प्रासंगिकता (क्वेरी-की समानता) को पड़ोसी के प्रायर प्रिसिजन $\bar{\lambda}_j$ के साथ जोड़कर प्रिसिजन-वेटेड क्रिगिंग वेट्स $\tilde{\alpha}_{tj}$ कंप्यूट करता है:
  $\tilde{\alpha}_{tj} = \frac{\alpha_{tj} \bar{\lambda}_j}{\sum_{j'} \alpha_{tj'} \bar{\lambda}_{j'}}$
- यह प्रभावी रूप से अटेंशन लॉजिट्स में एक प्रिसिजन बायस जोड़ता है। अविश्वसनीय पड़ोसी (कम $\bar{\lambda}$ ), भले ही वे प्रासंगिक हों, उन्हें कम भार दिया जाता है।
- ऑब्जर्वेशन प्रिसिजन ( $\lambda^{obs}_t$ ): एक कंजुगेट बेयसियन प्रायर (Inverse- $\chi^2$ ) के साथ रिस्ट्रिक्टेड मैक्सिमम लाइक्लीहुड (REML) एस्टिमेटर का उपयोग करके क्रिगिंग एस्टीमेट के रेजिडुअल्स से प्राप्त किया जाता है। यह ऑब्जर्वेशन के विचरण का एक पैरामीटर-फ्री, कंटेंट-अवेयर अनुमान प्रदान करता है।
अपडेट (रेसिड्यूअल कनेक्शन के रूप में कलमन अपडेट):
- मानक रेसिड्यूअल कनेक्शन $h' = h + e$ एक फिक्स्ड गेन $K=1$ के साथ कलमन अपडेट है।
- BFT एक अनुकूलित कलमन गेन $K_t$ पेश करता है:
  $K_t = \frac{\lambda^{obs}_t}{\lambda_t + \lambda^{obs}_t}$
- यदि ऑब्जर्वेशन शोरयुक्त है (कम $\lambda^{obs}$ ), तो $K_t \to 0$ , और मॉडल प्रायर स्टेट पर भरोसा करता है। यदि प्रायर अनिश्चित है (कम $\lambda_t$ ), तो $K_t \to 1$ , और मॉडल ऑब्जर्वेशन पर भरोसा करता है। यह सीखे गए गेटिंग मैकेनिज्म की आवश्यकता को समाप्त करता है।
प्रेडिक्ट (FFN के रूप में डायनेमिक्स मॉडल):
- फीड-फॉरवर्ड नेटवर्क (FFN) स्टेट को आगे विकसित करता है। BFT डेल्टा मेथड और FFN के डायगोनल जैकोबियन $J_{FFN}$ का उपयोग करके प्रिसिजन को आगे बढ़ाता है:
  $\tilde{\lambda}''_t = \frac{\lambda'_t}{(1 + J_{FFN,t})^2}$
- प्रोसेस नॉइज़ ( $Q$ ): प्रिसिजन को मोनोटोनिक रूप से जमा होने (जिससे मॉडल फ्रीज हो जाएगा) से रोकने के लिए, एक लर्न करने योग्य प्रोसेस नॉइज़ टर्म $Q$ जोड़ा जाता है, जो प्रिसिजन अपडेट को सीमित करता है:
  $\lambda''_t = \left( \frac{(1 + J_{FFN,t})^2}{\lambda'_t} + Q \right)^{-1}$
- यह मॉडल को उन आयामों (dimensions) की पहचान करने की अनुमति देता है जहाँ डायनेमिक्स अप्रत्याशित हैं और नए साक्ष्य के प्रति खुलापन बढ़ाता है।

2.2 कार्यान्वयन विवरण

पैरामीटर-फ्री: मुख्य एस्टिमेटर्स (कंजुगेट प्रायर के साथ REML) के लिए किसी सीखे गए नॉइज़ फ्लोर या कैलिब्रेशन हाइपरपैरामीटर की आवश्यकता नहीं होती है।
ड्रॉप-इन इंटीग्रेशन: BFT एक एकल ट्रांसफॉर्मर लेयर क्लास को बदल देता है। यह नगण्य ओवरहेड (<0.1% पैरामीटर्स) जोड़ता है और रेजिडुअल्स को कंप्यूट करने के लिए "एक्सपेंडेड-स्क्वायर" आइडेंटिटी का उपयोग करके मानक अटेंशन के पीक मेमोरी उपयोग से मेल खाता है।
इनिशियल प्रिसिजन: लेयर 0 पर, प्रायर रिलायबिलिटी (जैसे अनुशंसा में आइटम फ्रीक्वेंसी) को एनकोड करने के लिए प्रति आइटम एक सीखा गया $\tau_i$ (या एम्बेडिंग्स पर एक छोटा MLP) उपयोग किया जाता है।
विस्तार: फ्रेमवर्क विभिन्न विचरण एस्टिमेटर्स (जैसे HSTU जैसे नॉन-नॉर्मलाइज्ड अटेंशन के लिए सैंडविच एस्टिमेटर) और मल्टी-हेड एक्सटेंशन का समर्थन करता है।

3. प्रमुख योगदान

एकीकृत फ्रेमवर्क: पेपर ने ट्रांसफॉर्मर को एक बेयसियन फ़िल्टर के रूप में तैयार किया है, जो यूनिफॉर्म प्रिसिजन ( $\lambda=1$ ) को अटेंशन सिंक्स, नॉइजी-फीडबैक करप्शन और कोल्ड-स्टार्ट डिग्रेडेशन के मूल कारण के रूप में पहचानता है।
कुशल एल्गोरिदम: एक ड्रॉप-इन एल्गोरिदम (BFT) जो REML के माध्यम से ऑब्जर्वेशन प्रिसिजन प्राप्त करता है और जैकोबियन-आधारित डेल्टा मेथड्स और प्रोसेस नॉइज़ का उपयोग करके FFN के माध्यम से इसे प्रसारित करता है, यह सब मानक मेमोरी कॉम्प्लेक्सिटी के साथ।
अनुभवजन्य सत्यापन:
- सिक्वेंशियल रिकमेंडेशन: तीन अलग-अलग बैकबोन (SASRec, BERT4Rec, HSTU) पर छह डेटासेट्स में लागू किया गया। BFT महत्वपूर्ण लाभ देता है, विशेष रूप से कोल्ड-स्टार्ट यूजर्स और दुर्लभ वस्तुओं पर (जैसे स्पोर्ट्स डेटासेट में दुर्लभ वस्तुओं पर HR@10 में +14.5% की वृद्धि)।
- LLM फाइन-ट्यूनिंग: नॉइजी सुपरविजन (टोकन-लेबल भ्रष्टाचार) और नॉइजी कॉन्टेक्स्ट (RAG डिस्ट्रैक्टर्स) के तहत TinyLlama-1.1B पर लागू किया गया। BFT, स्टैंडर्ड SFT की तुलना में शोरयुक्त डेटा पर मजबूती और प्रदर्शन में सुधार करता है, यहाँ तक कि साफ डेटा पर भी, अनिश्चित टोकनों को नॉइजी अटेंशन के बजाय FFN डायनेमिक्स के माध्यम से रूट करके।

4. परिणाम

रिकमेंडेशन: स्पार्स Amazon डेटासेट्स (Sports, Instruments) पर, BFT लगातार बेसलाइन्स से बेहतर प्रदर्शन करता है। लाभ स्पष्ट रूप से सिग्नल-टू-नॉइज़ रेश्यो के साथ सह-संबंधित हैं: डेटा जितना विरल (उच्च अनिश्चितता) होगा, सुधार उतना ही अधिक होगा। उदाहरण के लिए, Instruments डेटा के साथ HSTU पर, BFT ने +15.1% HR@10 का सुधार हासिल किया।
कोल्ड-स्टार्ट विश्लेषण: स्ट्रैटिफिकेशन विश्लेषण पुष्टि करता है कि BFT के लाभ दुर्लभ वस्तुओं (Q0) और कोल्ड यूजर्स पर केंद्रित हैं। मैकेनिज्म विश्लेषण से पता चलता है कि दुर्लभ वस्तुओं के लिए, मॉडल एक कम कलमन गेन ( $K \approx 0.77$ ) और उच्च प्रायर प्रिसिजन सीखता है, जो प्रभावी रूप से भविष्यवाणियों को नॉइजी अटेंशन कॉन्टेक्स्ट के बजाय FFN डायनेमिक्स के माध्यम से रूट करता है।
LLM मजबूती: नॉइजी SQuAD फाइन-ट्यूनिंग में, BFT ने स्टैंडर्ड SFT और फोकल-लॉस बेसलाइन दोनों को पछाड़ दिया। विशेष रूप से, क्लीन डेटा ($np=0$) पर, BFT ने SFT की तुलना में F1 में +8.3% का सुधार किया, जो दर्शाता है कि यह तंत्र केवल एक नॉइज़ फ़िल्टर नहीं है बल्कि एक स्ट्रक्चर्ड रेगुलराइज़र है जो टोकन-लेवल रिलायबिलिटी के अनुकूल होकर रिप्रेजेंटेशन क्वालिटी में सुधार करता है।
अटेंशन सिंक्स: एक गेटेड-अटेंशन मॉडल (Qiu et al., 2025) के विश्लेषण ने दिखाया कि सीखा गया सिग्मॉइड गेट कॉन्टेक्स्ट लेंथ के प्रति संरचनात्मक रूप से इनवेरिएंट है, जबकि BFT-व्युत्पन्न कलमन गेन स्वाभाविक रूप से सूचना ज्यामिति (प्रभावी सैंपल साइज) को ट्रैक करता है, जो यह समझाने के लिए एक सिद्धांतपूर्ण आधार प्रदान करता है कि गेटिंग क्यों मदद करती है।

5. महत्व और दावे

पेपर का दावा है कि प्रिसिजन को बहाल करना एक एकल, सिद्धांतपूर्ण संशोधन है जो शास्त्रीय अनुक्रम मॉडलिंग और आधुनिक LLM दोनों व्यवस्थाओं में पर्याप्त क्षमता को अनलॉक करता है।

समग्र समाधान: अलग-अलग विफलता मोड (जैसे कोल्ड-स्टार्ट के लिए डिनोइजिंग मास्क, सिंक्स के लिए गेट्स) के लिए आइसोलेटेड पैच के विपरीत, BFT एक एकीकृत बेयसियन फॉर्मूलेशन के माध्यम से इन मुद्दों को एक साथ संबोधित करता है।
अनुकूलित रूटिंग (Adaptive Routing): मुख्य तंत्र केवल "शोर को कम करना" नहीं है बल्कि अनुकूलित सूचना रूटिंग है: मॉडल अनिश्चित टोकनों के लिए FFN के सीखे गए डायनेमिक्स और आत्मविश्वासी टोकनों के लिए अटेंशन मैकेनिज्म पर भरोसा करना सीखता है।
स्केलेबिलिटी: दृष्टिकोण कम्प्यूटेशनल रूप से कुशल है, जिसमें कोई अतिरिक्त फॉरवर्ड पास की आवश्यकता नहीं होती (MC Dropout या एन्सेम्बल्स के विपरीत) और नगण्य पैरामीटर ओवरहेड होता है।
सीमित दायरा: लेखक नोट करते हैं कि सत्यापन मुख्य रूप से अनुक्रमिक अनुशंसा स्केल पर है, जबकि LLM प्रयोग TinyLlama-1.1B पर प्रूफ-ऑफ-कॉन्सेप्ट के रूप में कार्य करते हैं। वे स्वीकार करते हैं कि जबकि BFT लो सिग्नल-टू-नॉइज़ रेजीम में सबसे अधिक मदद करता है, घने डेटासेट्स पर लाभ कम होते हैं जहाँ प्रायर पहले से ही अच्छी तरह से निर्धारित होता है।

संक्षेप में, पेपर का तर्क है कि ट्रांसफॉर्मर की सीमा उसका आर्किटेक्चर नहीं है, बल्कि उसके इनपुट और मध्यवर्ती अवस्थाओं की अनिश्चितता को मॉडल करने में उसकी विफलता है। ट्रांसफॉर्मर को एक बेयसियन फ़िल्टर के रूप में मानकर, BFT इस लापता आयाम को बहाल करता है, जिससे अनिश्चित वातावरण में अधिक मजबूत और सटीक मॉडल मिलते हैं।