📊 statistics

PFN-TS: Thompson Sampling for Contextual Bandits via Prior-Data Fitted Networks

यह शोध पत्र PFN-TS का प्रस्ताव करता है, जो एक थॉम्पसन सैंपलिंग एल्गोरिदम है जो शोर वाले भविष्य कहनेवाला वितरणों (predictive distributions) को सबसैम्पल्ड सेंट्रल लिमिट थ्योरम के माध्यम से माध्य-पुरस्कार नमूनों (mean-reward samples) में परिवर्तित करके, एकल फॉरवर्ड पास में बेयसियन पोस्टीरियर्स (Bayesian posteriors) को अनुमानित करने के लिए प्रायर-डेटा फिटेड नेटवर्क्स (Prior-Data Fitted Networks) का लाभ उठाता है, जिससे विभिन्न कॉन्टेक्स्टुअल बैंडिट बेंचमार्क पर मजबूत अनुभवजन्य प्रदर्शन और सैद्धांतिक रिग्रेट बाउंड्स प्राप्त होते हैं।

मूल लेखक: Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कई अलग-अलग बटनों (कार्यों) वाले एक वेंडिंग मशीन के मैनेजर हैं। हर बार जब कोई ग्राहक आता है, तो उनका एक विशिष्ट मूड या स्थिति (संदर्भ/context) होती है, और आपको यह अनुमान लगाने की आवश्यकता होती है कि कौन सा बटन उन्हें सबसे अच्छा स्नैक (इनाम/reward) देगा। पेच यह है कि आप नहीं जानते कि किस मूड के लिए कौन सा बटन सबसे अच्छा है, और आपको यह तभी पता चलता है जब आप उसे दबा देते हैं। आपका लक्ष्य समय के साथ अधिक से अधिक खुश ग्राहक बनाना है जबकि गलत अनुमान लगाने की संख्या को कम करना है। यह एक "कॉन्टेक्स्टुअल बैंडिट" (Contextual Bandit) समस्या है।

इसे हल करने के लिए, आपको एक ऐसी रणनीति की आवश्यकता है जो एक्सप्लोरिंग (सीखने के लिए नए बटन आज़माना) और एक्सप्लोलेटिंग (उस जानकारी का उपयोग करना जो आप पहले से जानते हैं कि काम करती है) के बीच संतुलन बनाए रखे। थॉम्पसन सैंपलिंग (Thompson Sampling) नामक एक लोकप्रिय रणनीति है। यह एक ऐसे क्रिस्टल बॉल की तरह है जो हर बटन के लिए एक "सबसे अच्छा अनुमान" देता है, लेकिन एक ट्विस्ट के साथ: क्रिस्टल बॉल थोड़ी धुंधली है। यह संभावनाओं की एक सीमा (range) प्रदान करती है। आप उस बटन को चुनते हैं जो इस धुंधले अनुमान में सबसे अच्छा दिखता है, जो स्वाभाविक रूप से आपको उन बटनों को आज़माने के लिए प्रोत्साहित करता है जो बेहतरीन हो सकते हैं लेकिन जिनके बारे में आप अभी निश्चित नहीं हैं।

समस्या: क्रिस्टल बॉल बहुत शोर वाली (Noisy) है

वर्षों से, लोगों ने इन क्रिस्टल बॉल्स को बनाने के लिए सरल मॉडलों (जैसे सीधी रेखाओं) का उपयोग किया है। लेकिन मानवीय व्यवहार सीधा नहीं होता; यह जटिल, अव्यवस्थित और आश्चर्यों से भरा होता है। नए, स्मार्ट मॉडल जिन्हें प्रायर-डेटा फिटेड नेटवर्क्स (PFNs) (जैसे TabPFN) कहा जाता है, अद्भुत हैं। वे "सुपर-ट्रेन्ड शेफ" की तरह हैं जिन्होंने लाखों व्यंजनों का स्वाद चखा है। जब आप उन्हें कुछ सामग्रियां (डेटा) दिखाते हैं, तो वे तुरंत जान जाते हैं कि व्यंजन का स्वाद कैसा होगा, बिना उसे दोबारा पकाए।

हालाँकि, एक अड़चन है। ये सुपर-शेफ अंतिम स्वाद (शोर वाले इनाम) की भविष्यवाणी करने में माहिर हैं, लेकिन थॉम्पसन सैंपलिंग को रेसिपी की अनिश्चितता (अंतर्निहित औसत इनाम) के बारे में जानने की आवश्यकता होती है। शेफ आपको रेसिपी की अनिश्चितता सीधे तौर पर नहीं देते; वे केवल अंतिम व्यंजन देते हैं। रेसिपी की अनिश्चितता का पता लगाने के लिए शेफ को एक मिलियन बार व्यंजन पकाने के लिए कहना एक वास्तविक समय की वेंडिंग मशीन के लिए बहुत धीमा होगा।

समाधान: PFN-TS (एक स्मार्ट शॉर्टकट)

लेखकों ने इस वेंडिंग मशीन समस्या के लिए इन सुपर-शेफ मॉडलों का उपयोग करने का एक नया तरीका बनाया है: PFN-TS।

1. "सब-सैम्पल्ड" शॉर्टकट (ज्यामितीय ग्रिड)
हर एक सामग्री संयोजन के लिए शेफ को व्यंजन पकाने के लिए कहने के बजाय (जिसमें बहुत समय लगता है), PFN-TS एक चतुर गणितीय ट्रिक का उपयोग करता है जिसे सब-सैम्पल्ड सेंट्रल लिमिट थ्योरम कहा जाता है।

उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि एक नदी का जल स्तर कितना उतार-चढ़ाव भरा है। आप इसे एक साल तक हर सेकंड माप सकते हैं (बहुत अधिक काम!)। इसके बजाय, PFN-TS विशिष्ट, अंतराल पर जल स्तर को मापता है: दिन 1, दिन 2, दिन 4, दिन 8, दिन 16, और इसी तरह।
इन "ज्यामितीय" स्नैपशॉट्स को देखकर, एल्गोरिदम गणितीय रूप से नदी के समग्र उतार-चढ़ाव (अनिश्चितता) का बहुत सटीक अनुमान लगा सकता है, लेकिन बहुत कम प्रयास के साथ। यह सिस्टम को थॉम्पसन सैंपलिंग के लिए आवश्यक "धुंधला क्रिस्टल बॉल" प्राप्त करने की अनुमति देता है बिना प्रक्रिया को धीमा किए।

2. "मेमोरी" ट्रिक (कैशिंग)
पेपर नए "सुपर-शेफ" मॉडलों की एक विशेषता का भी उपयोग करता है जिसे KV-कैशिंग कहा जाता है।

उपमा: यदि आप शेफ से पूछते हैं, "क्या होता है अगर मैं नमक डालूँ?" और फिर "क्या होता है अगर मैं नमक और काली मिर्च डालूँ?", तो एक सामान्य शेफ नमक वाला हिस्सा भूल जाएगा और फिर से शुरू करेगा। लेकिन यह विशिष्ट शेफ "नमक" वाले हिस्से को याद रखता है और केवल "काली मिर्च" वाले हिस्से की गणना करता है।
PFN-TS इस मेमोरी का उपयोग पिछली गणनाओं को पुन: उपयोग करने के लिए करता है। जब वेंडिंग मशीन कई बटन चेक करती है, तो वह सब कुछ शुरू से फिर से कैलकुलेट नहीं करती; यह केवल उन हिस्सों को अपडेट करती है जो बदले हैं। यह सिस्टम को अविश्वसनीय रूप से तेज़ बनाता है।

3. "शेप-शिफ्टर" (अनुकूली एन्कोडिंग)
कभी-कभी, मशीन के बटन एक-दूसरे से पूरी तरह अलग होते हैं (जैसे सोडा बटन बनाम स्नैक बटन)। अन्य समय में, वे बहुत समान होते हैं (जैसे "तीखा" स्नैक बनाम "हल्का" स्नैक)।

Pền-TS में एक अंतर्निहित "शेप-शिफ्टर" है। यह एक ही समय में डेटा को व्यवस्थित करने के दो अलग-अलग तरीकों को आज़माता है। यह देखने के लिए कि कौन सा तरीका बेहतर काम कर रहा है, यह एक स्कोरिंग सिस्टम (CRPS) का उपयोग करता है। यदि बटन समान हैं, तो यह उन्हें एक मॉडल में मिला देता है। यदि वे अलग हैं, तो यह उन्हें अलग रखता है। यह सीखते समय स्वचालित रूप से सबसे अच्छी रणनीति चुनता है।

उन्होंने क्या पाया?

लेखकों ने अपने इस नए सिस्टम (PFN-TS) का कई अन्य तरीकों के विरुद्ध परीक्षण किया, जिसमें शामिल थे:

नकली डेटा: जटिल, गैर-रेखीय नियमों (जैसे प्रसिद्ध "फ्रीडमैन" फंक्शन्स) वाले सिम्युलेटेड परिदृश्य।
वास्तविक दुनिया का डेटा: OpenML लाइब्रेरी से आठ अलग-अलग डेटासेट (जैसे वयस्क आय या मशरूम के प्रकार की भविष्यवाणी करना)।
एक वास्तविक मोबाइल हेल्थ ट्रायल: "ड्रिंक लेस" (Drink Less) ऐप, जिसने यह पता लगाने की कोशिश की कि लोगों को शराब कम पीने में मदद करने के लिए सबसे अच्छी पुश-नोटिफिकेशन रणनीति क्या है।

परिणाम:

गैर-रेखीय कार्य (Non-linear tasks): PFN-TS स्पष्ट विजेता था। जब नियम जटिल और अव्यवस्थित थे, तो इसने सभी अन्य तरीकों को पीछे छोड़ दिया।
रेखीय कार्य (Linear tasks): जब नियम सरल थे (सीधी रेखाएं), तो इसने मानक रेखीय तरीकों के समान प्रदर्शन किया।
मोबाइल हेल्थ: "ड्रिंक लेस" ट्रायल में, PFN-TS ने उच्चतम अनुमानित मूल्य प्राप्त किया, जिसका अर्थ है कि यह लोगों को शराब कम करने में मदद करने के लिए सबसे प्रभावी रणनीति होती।

सारांश में

PFN-TS एक नया टूल है जो एक शक्तिशाली, प्री-ट्रेन्ड AI मॉडल (द "सुपर-शेफ") को अनिश्चित स्थितियों में एक आदर्श निर्णय लेने वाला बनने के लिए सिखाता है। यह अनिश्चितता का तेजी से अनुमान लगाने के लिए एक गणितीय शॉर्टकट का उपयोग करके और तेजी से चलने के लिए एक मेमोरी ट्रिक का उपयोग करके ऐसा करता है। यह स्वचालित रूप से अनुकूलित होता है कि समस्या सरल है या जटिल, जिससे यह सिंथेटिक परीक्षणों और वास्तविक दुनिया के मोबाइल स्वास्थ्य अनुप्रयोगों दोनों के लिए एक शीर्ष प्रदर्शन करने वाला टूल बन जाता है।

तकनीकी सारांश: PFN-TS

समस्या विवरण

कॉन्टेक्स्टुअल बैंडिट्स (Contextual bandits) अनिश्चितता के तहत अनुक्रमिक निर्णय लेने की प्रक्रिया को संबोधित करते हैं, जहाँ एक लर्नर एक कॉन्टेक्स्ट (संदर्भ) देखता है, एक एक्शन (कार्य) चुनता है, और एक स्टोकेस्टिक रिवॉर्ड (यादृच्छिक पुरस्कार) प्राप्त करता है। लक्ष्य समय के साथ संचयी रिग्रेट (cumulative regret) को कम करना है। थॉम्पसन सैंपलिंग (TS) एक मानक रणनीति है जो रिवॉर्ड फंक्शन के ऊपर एक बेयसियन पोस्टीरियर (Bayesian posterior) बनाए रखती है और इस पोस्टीरियर से ग्रिडली (greedy) एक्शन सैंपल करती है। हालाँकि, TS की प्रभावकारिता अंतर्निहित रिवॉर्ड मॉडल की गुणवत्ता पर निर्भर करती है।

टेबुलर अनुप्रयोगों (जैसे मोबाइल हेल्थ, अनुशंसाएँ) में, लीनियर रिवॉर्ड मॉडल अक्सर मिसस्पेसिफाइड (misspecified) होते हैं क्योंकि वे इंटरैक्शन, थ्रेशोल्ड इफेक्ट्स और हेटेरोजेनिटी जैसे जटिल मानवीय व्यवहारों को पकड़ने में विफल रहते हैं। जबकि समृद्ध विकल्प मौजूद हैं (कर्नेल मेथड्स, न्यूरल नेटवर्क, ट्री एन्सेम्बल्स), वे स्केलेबिलिटी समस्याओं, उच्च कम्प्यूटेशनल ओवरहेड या कठोर संरचनात्मक धारणाओं से ग्रस्त होते हैं। इसके अलावा, इन मॉडलों को ऑनलाइन सेटिंग्स में कठिन-से-ट्यून करने योग्य हाइपरपैरामीटर्स की आवश्यकता होती है।

प्रायर-डेटा फिटेड नेटवर्क्स (PFN), जैसे कि TabPFN और TabICL, एक आशाजनक विकल्प प्रदान करते हैं। ये ट्रांसफॉर्मर-आधारित मॉडल हैं जिन्हें डेटा-जनरेटिंग प्रक्रियाओं के एक व्यापक प्रायर (prior) पर बेयसियन पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन (PPDs) को अनुमानित करने के लिए प्रशिक्षित किया गया है। ये इन-कॉन्टेक्स्ट लर्निंग (ICL) के माध्यम से कार्य करते हैं, जिसमें किसी पैरामीटर अपडेट या हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं होती है। हालाँकि, एक महत्वपूर्ण अंतर मौजूद है: PFNs PPDs आउटपुट करते हैं (शोर वाले भविष्य के रिवॉर्ड्स पर अनिश्चितता), जबकि TS को लेटेंट मीन रिवॉर्ड फंक्शन (latent mean reward function) पर अनिश्चितता की आवश्यकता होती है। PPD से सीधे सैंपल लेना लेटेंट मीन फंक्शन के पोस्टीरियर से सैंपल लेने के बराबर नहीं है, जिससे सबऑप्टिमल एक्सप्लोरेशन (suboptimal exploration) होता है।

कार्यप्रणाली: PFN-TS

लेखक PFN-TS का प्रस्ताव करते हैं, जो एक थॉम्पसन सैंपलिंग एल्गोरिदम है जो PFN पोस्टीरियर प्रेडिक्टिव्स को लेटेंट मीन रिवॉर्ड फंक्शन के सैंपल्स में बदलकर इस अंतर को पाटता है। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. सबसैम्प्ड प्रेडिक्टिव सेंट्रल लिमिट थ्योरम (SubCLT)

PFN के प्रेडिक्टिव सीक्वेंस से लेटेंट मीन $f_0(x)$ के पोस्टीरियर डिस्ट्रीब्यूशन को पुनः प्राप्त करने के लिए, लेखक एक प्रेडिक्टिव सेंट्रल लिमिट थ्योरम (CLT) का लाभ उठाते हैं।

सैद्धांतिक आधार: विशिष्ट धारणाओं (एसिम्प्टोटिक वेरिएंस, क्वाज़ी-मार्टिंगेल स्थितियाँ, और बाउंडेड मोमेंट्स) के तहत, प्रेडिक्टिव मीन सीक्वेंस की पूंछ (tail) लेटेंट मीन पर केंद्रित एक गॉसियन डिस्ट्रीब्यूशन की ओर अभिसरित होती है।
दक्षता नवाचार: डेटासेट के सभी $n$ प्रीफिक्स पर प्रेडिक्टिव मीन की गणना करने के लिए पारंपरिक दृष्टिकोणों में अत्यधिक कम्प्यूटेशनल लागत ( $O(n)$ फॉरवर्ड पासेस) लगती है। PFN-TS एक सबसैम्प्ड एस्टिमेटर पेश करता है जो केवल $O(\log n)$ ज्यामितीय रूप से स्पेस किए गए प्रीफिक्स ( $t_0, t_1, \dots, t_J$ ) का उपयोग करके वेरिएंस की गणना करता है।
वेरिएंस एस्टीमेशन: वेरिएंस का अनुमान हार्मोनिक रूप से भारित ( $w_j$ ) ब्लॉक इंक्रीमेंट्स $D_j = m_{t_j}(x) - m_{t_{j-1}}(x)$ का उपयोग करके लगाया जाता है। लेखक सिद्ध करते हैं कि यह सबसैम्प्ड एस्टिमेटर सुसंगत (consistent) है ( $\hat{V}_{s_n} \xrightarrow{p} V(x)$ ) और CLT का पालन करता है, जिससे थॉम्पसन सैंपलिंग के लिए एक ट्रैक्टेबल गॉसियन एप्रोक्सिमेशन $N(m_{s_n}(x), \hat{V}_{s_n}(x)/s_n)$ संभव हो पाता है।

2. कैशिंग और कम्प्यूटेशनल ऑप्टिमाइजेशन

प्रति-राउंड लागत को और कम करने के लिए, PFN-TS, TabICL (विशिष्ट PFN जिसका उपयोग किया गया है) के आर्किटेक्चर का लाभ उठाता है:

KV-कैश पुन: उपयोग: TabICL एक निश्चित ट्रेनिंग सेट के लिए की-वैल्यू अटेंशन मैट्रिसेस को कैश करता है। PFN-TS राउंड्स के बीच इन कैश किए गए रिप्रेजेंटेशन्स का पुन: उपयोग करता है।
रिफ्रेश पॉइंट्स: एल्गोरिदम केवल SubCLT ग्रिड द्वारा परिभाषित ज्यामितिक "रिफ्रेश पॉइंट्स" ( $t_j$ ) पर नए फॉरवर्ड पासेस करता है। रिफ्रेश पॉइंट्स के बीच, यह नवीनतम कैश किए गए स्टेट से प्राप्त स्नैपशॉट गॉसियन एप्रोक्सिमेशन का उपयोग करता है। यह जटिलता को प्रति आर्म प्रति राउंड $O(n)$ से घटाकर $O(\log n)$ फॉरवर्ड पासेस कर देता है।

3. एडेप्टिव एनकोडिंग स्ट्रैजी

पेपर इस बात के डिज़ाइन विकल्प को संबोधित करता है कि इनपुट में आर्म आइडेंटिटी को कैसे दर्शाया जाए:

डिस्जॉइंट एनकोडिंग (Disjoint Encoding): प्रत्येक आर्म के लिए स्वतंत्र मॉडल बनाए रखता है।
जॉइंट एनकोडिंग (Joint Encoding): आर्म आइडेंटिटी को कॉन्टेक्स्ट के साथ वन-हॉट वेक्टर के रूप में जोड़ता है, जिससे आर्म्स के बीच सूचना साझा करने की अनुमति मिलती है।
एडेप्टिव सिलेक्शन: चूंकि कोई भी एनकोडिंग सार्वभौमिक रूप से प्रभावी नहीं है, इसलिए PFN-TS एक "ड्यूल-एनकोडिंग" चरण के दौरान दोनों को समानांतर में चलाता है। यह कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर (CRPS) के आधार पर सक्रिय एनकोडिंग का चयन करता है, जो एक स्ट्रिक्टली प्रॉपर स्कोरिंग नियम है और कैलिब्रेशन को मापता है। कम संचयी CRPS वाला एनकोडिंग रिटेन किया जाता है, और पूर्व-निर्धारित स्विच टाइम के बाद चैलेंजर को हटा दिया जाता है।

प्रमुख योगदान

एल्गोरिद्मिक ब्रिज: PFN-TS पहला ऐसा तरीका है जो सफलतापूर्वक PFNs (जो PPDs आउटपुट करते हैं) को थॉम्पसन सैंपलिंग के लिए अनुकूलित करता है, जो सबसैम्प्ड CLT के माध्यम से लेटेंट मीन पोस्टीरियर वेरिएंस के लिए एक सुसंगत एस्टिमेटर व्युत्पन्न करता है।
सैद्धांतिक गारंटी:
- कंसिस्टेंसी: सौम्य धारणाओं के तहत सबसैम्प्ड वेरिएंस एस्टिमेटर की निरंतरता को सिद्ध करता है।
- रिग्रेट बाउंड: PFN के प्रायर के तहत सटीक थॉम्पसन सैंपलिंग के रिग्रेट और PFN एवं सबसैंपलिंग प्रक्रिया की गुणवत्ता पर निर्भर एक एरर टर्म के बीच PFN-TS के लिए एक बेयसियन रिग्रेट बाउंड व्युत्पन्न करता है।
दक्षता: यह प्रदर्शित करता है कि डेटासेट के आकार में $O(\log n)$ फॉरवर्ड पासेस सुसंगत वेरिएंस एस्टीमेशन के लिए पर्याप्त हैं, जिससे PFN-आधारित बैंडिट्स का ऑनलाइन परिनियोजन (deployment) व्यावहारिक हो जाता है।
अनुभवजन्य प्रदर्शन (Empirical Performance):
- सिंथेटिक बेंचमार्क्स: PFN-TS नॉनलीनियर सिंथेटिक टास्क (Friedman वेरिएंट्स) पर सर्वश्रेष्ठ औसत रैंक प्राप्त करता है और लीनियर टास्क पर प्रतिस्पर्धी बना रहता है।
- OpenML बेंचमार्क्स: आठ में से छह क्लासिफिकेशन-टू-बैंडिट डेटासेट्स पर बेसलाइन (LinTS, NeuralTS, BFTS, XGBoostTS) को पछाड़ता है।
- रियल-वर्ल्ड एप्लीकेशन: Drink Less मोबाइल हेल्थ ट्रायल के ऑफलाइन मूल्यांकन में, PFN-TS अंतिम क्षितिज (horizon) पर उच्चतम अनुमानित पॉलिसी वैल्यू (SNIPS) प्राप्त करता है, जो BFTS और अन्य बेसलाइन्स से बेहतर है।

महत्व और दावे

पेपर दावा करता है कि PFN-TS यह दर्शाता है कि टेबुलर इन-कॉन्टेक्स्ट लर्निंग, कुशल अनिश्चितता निष्कर्षण और एडेप्टिव एनकोडिंग लागू होने के बाद, अनुक्रमिक निर्णय लेने के लिए एक प्रभावी रिवॉर्ड मॉडल के रूप में कार्य कर सकती है।

मॉडल फ्लेक्सिबिलिटी: पारंपरिक मॉडलों के विपरीत, PFN-TS को किसी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं होती है और यह PFN के व्यापक प्रायर में निहित डेटा संरचना (स्पार्सिटी, स्मूथनेस, नॉनलिनियरी) के अनुसार स्वतः अनुकूलित हो जाता है।
व्यावहारिक व्यवहार्यता: अनिश्चितता अनुमान की कम्प्यूटेशनल बाधा को डेटासेट के आकार में लीनियर से लॉगरिदमिक में कम करके, यह विधि फाउंडेशन मॉडल्स को ऑनलाइन बैंडिट सेटिंग्स में तैनात करना व्यावहारिक बनाती है।
मजबूती (Robustness): विधि को विविध डेटा-जनरेटिंग प्रक्रियाओं में मजबूत दिखाया गया है, जो सिंथेटिक नॉनलीनियर टास्क और वास्तविक दुनिया के मोबाइल हेल्थ डेटा दोनों पर अच्छा प्रदर्शन करती है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि बार-बार मॉडल मूल्यांकन के कारण रनटाइम अभी भी एक बाधा है, और जब आर्म हिस्ट्री छोटी या कमजोर रूप से सूचनात्मक हो, तो फाइनाइट-सैंपल कैलिब्रेशन खराब हो सकता है। वे रेगुलराइज्ड वेरिएंस एस्टीमेशन और विशिष्ट TabPFN/TabICL प्रायर्स के लिए शार्पर रिग्रेट बाउंड्स के लिए भविष्य के कार्य का सुझाव देते हैं।