🤖 machine learning

Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

यह शोधपत्र यांत्रिक साक्ष्य प्रदान करता है कि प्रायर-डेटा फिटेड नेटवर्क्स (PFNs) संरचित, कारण-उपयोगिता वाले स्पेक्ट्रल निरूपणों को सीखते हैं जिन्हें स्पष्ट रूप से पोर्टेबल बेयसियन कर्नेल में निकाला जा सकता है, जो केवल स्मृति-आधारित रटने पर निर्भर हुए बिना प्रतिस्पर्धी सिंगल-पास रिग्रेशन को सक्षम बनाता है।

मूल लेखक: Kaustubh Sharma, Srijan Tiwari, Ojasva Nema, Parikshit Pareek

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaustubh Sharma, Srijan Tiwari, Ojasva Nema, Parikshit Pareek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है (जिसे PFN कहा जाता है) जिसे लाखों काल्पनिक उदाहरणों से सीखे गए पैटर्न के आधार पर भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है। यह अविश्वसनीय रूप से तेज़ है: आप इसे कुछ डेटा पॉइंट देते हैं, और एक पल की झपकी में, यह बताता है कि आगे क्या होने वाला है।

हालाँकि, एक पेंच है। यह रोबोट एक "ब्लैक बॉक्स" है। हम जानते हैं कि यह काम करता है, लेकिन हमें पता नहीं है कि यह कैसे सोचता है। यह एक जादूगर की तरह है जो टोपी से खरगोश निकालता है, लेकिन हम जादू की तरकीब नहीं देख सकते। क्या खरगोश वास्तव में वहां है, या जादूगर बस ट्रिक को रट रहा है?

यह शोध पत्र उन जासूसों की टीम की तरह है जिन्होंने जादूगर की टोपी के अंदर झाँकने में कामयाबी हासिल की। उन्होंने केवल शो नहीं देखा; उन्होंने यह भी पता लगाया कि वह ट्रिक वास्तव में कैसे काम करती है और यह साबित किया कि रोबोट वास्तव में वास्तविक गणित कर रहा है, न कि केवल याद कर रहा है।

यहाँ उनकी खोज की कहानी है, जिसे सरल भागों में विभाजित किया गया है:

1. रहस्य: क्या रोबोट "सोच" रहा है या सिर्फ "सुना" रहा है?

रोबोट (PFN) को बायेसियन इन्फरेंस (Bayesian inference) करने के लिए डिज़ाइन किया गया है, जो एक फैंसी तरीका है "स्मार्ट अंदाज़ा लगाने का जबकि यह स्वीकार करना कि वह क्या नहीं जानता।" आमतौर पर, इसे करने के लिए, गणितज्ञ एक विशिष्ट उपकरण का उपयोग करते हैं जिसे कर्नेल (Kernel) कहा जाता है। कर्नेल को एक रेसिपी की तरह समझें कि डेटा पॉइंट्स एक-दूसरे से कैसे संबंधित हैं (जैसे, "पास के बिंदु समान होते हैं")।

समस्या यह है कि इस रोबोट में, वह "रेसिपी" कहीं लिखी हुई नहीं है। यह रोबोट के मस्तिष्क (इसके वेट्स/weights) के अंदर छिपी हुई है। बड़ा सवाल यह था: क्या रोबोट वास्तव में उस रेसिपी को समझता है, या वह केवल उत्तरों को रट रहा है?

2. पहला सुराग: "फ्रीक्वेंसी" के निशान

शोधकर्ताओं ने रोबोट का परीक्षण सरल तरंगों (जैसे ध्वनि तरंगें या समुद्र की लहरें) के साथ करने का निर्णय लिया। उन्होंने पूछा: "यदि मैं लहर की गति (फ्रीक्वेंसी) बदल दूँ, तो क्या रोबोट की आंतरिक मानसिक स्थिति एक अनुमानित तरीके से बदलेगी?"

खोज:
उन्होंने पाया कि रोबोट के मस्तिष्क में एक विशिष्ट "कंट्रोल पैनल" (इसकी आंतरिक स्मृति का एक हिस्सा जिसे अटेंशन स्कोर कहा जाता है) होता है।

जब लहर की गति बदलती है, तो रोबट इस कंट्रोल पैनल का एक विशिष्ट "नॉब" (घुंडी) घुमाता है।
यह एक रेडियो डायल की तरह है: यदि आप डायल को थोड़ा घुमाते हैं, तो स्टेशन थोड़ा बदल जाता है। रोबोट की आंतरिक स्थिति इनपुट की फ्रीक्वेंसी के लिए पूरी तरह से ट्यून की गई है।
उपमा: एक पियानो की कल्पना करें। यदि आप "C" कुंजी दबाते हैं, तो एक विशिष्ट तार कंपन करता है। शोधकर्ताओं ने पाया कि इस रोबोट के पास एक "C-स्ट्रिंग" है जो तब कंपन करती है जब वह "C-नोट" (एक विशिष्ट फ्रीक्वेंसी) देखता है, भले ही उसे स्पष्ट रूप से फ्रीक्वेंसी देखने के लिए कभी नहीं सिखाया गया हो।

3. दूसरा सुराग: "सर्जरी" (कारण और प्रभाव को सिद्ध करना)

सिर्फ इसलिए कि रोबोट के पास फ्रीक्वेंसी का नॉब है, इसका मतलब यह नहीं है कि वह इसका उपयोग करता है। हो सकता है कि यह केवल सजावट हो। यह साबित करने के लिए कि यह आवश्यक है, शोधकर्ताओं ने रोबोट पर "ब्रेन सर्जरी" की।

प्रयोग: उन्होंने दो अलग-अलग तरंगें लीं (लहर A और लहर B)। उन्होंने रोबोट को लहर A को देखने दिया, फिर उन्होंने सर्जिकल तरीके से रोबोट के "फ्रीक्वेंसी नॉब" को लहर B वाले नॉब से बदल दिया।
परिणाम: रोबोट तुरंत लहर A के बजाय लहर B की भविष्यवाणी करने लगा।
निष्कर्ष: फ्रीक्वेंसी नॉब केवल सजावट नहीं है; यह भविष्यवाणी करने वाला इंजन है। यदि आप नॉब बदलते हैं, तो रोबोट का मन बदल जाता है।

4. तीसरा सुराग: यह एक संक्षिप्त "गुप्त भाषा" है

शोधकर्ताओं ने यह भी जांचा कि इस "फ्रीक्वेंसी जानकारी" को स्टोर करने के लिए रोबोट के मस्तिष्क में कितनी जगह लगती है।

निष्कर्ष: रोबोट को इस जानकारी को संग्रहीत करने के लिए अपने पूरे मस्तिष्क की आवश्यकता नहीं है। यह सभी फ्रीक्वेंसी डेटा को एक छोटे, लो-डायमेंशनल "बैकपैक" (एक छोटा सबस्पेस) में पैक करता है।
उपमा: एक लाइब्रेरी की कल्पना करें। आप सोच सकते हैं कि रोबोट को फ्रीक्वेंसी के बारे में किताब खोजने के लिए पूरी लाइब्रेरी की आवश्यकता होगी। लेकिन शोधकर्ताओं ने पाया कि रोबोट अपनी सारी फ्रीक्वेंसी की किताबें एक छोटी सी जेब में रखता है। यह अविश्वसनीय रूप से कुशल है।

5. ग्रैंड फिनाले: "रेसिपी" निकालना

सबसे रोमांचक हिस्सा वह है जो उन्होंने इस खोज के साथ किया। चूंकि उन्होंने "फ्रीक्वेंसी नॉब" को ढूंढ लिया और यह साबित कर दिया कि यह काम करता है, इसलिए उन्होंने एक डिकोडर (एक अनुवादक) बनाया।

उन्होंने क्या किया: उन्होंने रोबोट के आंतरिक "फ्रीक्वेंसी नॉब" सेटिंग्स को लिया और उन्हें वापस एक मानव-पठनीय कर्नेल (गणितीय रेसिपी) में अनुवादित किया।
परिणाम: वे सफलतापूर्वक रोबोट के मस्तिष्क से एक पोर्टेबल, स्पष्ट रेसिपी निकाल पाए।
यह क्यों मायने रखता है: आमतौर पर, उत्तर प्राप्त करने के लिए आपको रोबोट को चलाना पड़ता है। अब, आप रोबोट की "ब्रेन स्टेट" को ले सकते हैं, उसे एक रेसिपी में अनुवाद कर सकते हैं, और उस रेसिपी का उपयोग एक सामान्य कंप्यूटर पर भविष्यवाणियां करने के लिए कर सकते हैं (बिना रोबोट के!)। यह जादूगर की गुप्त रेसिपी को टोपी से बाहर निकालने और आपको यह देने जैसा है ताकि आप खुद वह ट्रिक कर सकें।

शोध पत्र के दावों का सारांश

मैकेनिस्टिक प्रमाण (Mechanistic Proof): रोबोट केवल रट नहीं रहा है; इसके पास फ्रीक्वेंसी का एक संरचित, व्यवस्थित आंतरिक मानचित्र है।
कारण भूमिका (Causal Role): यह आंतरिक मानचित्र ही वह वास्तविक कारण है जिससे रोबोट सही भविष्यवाणियां करता है।
निष्कर्षण (Extraction): हम इस छिपी हुई "रेसिपी" (कर्नेल) को रोबोट के जमे हुए मस्तिष्क से निकाल सकते हैं और एयरलाइन यात्री संख्या या दूध उत्पादन जैसे अन्य कार्यों के लिए इसका उपयोग कर सकते हैं, बिना हर बार रोबोट को चलाने की आवश्यकता के।

शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह रोबोट अब डॉक्टर या वित्तीय सलाहकार है।
यह दावा नहीं करता कि यह हर प्रकार के डेटा के लिए काम करता है (यह निरंतर रिग्रेशन कार्यों जैसे तरंगों और टाइम सीरीज़ पर ध्यान केंद्रित करता है)।
यह नहीं कहता कि रोबोट परफेक्ट है; यह स्वीकार करता है कि निकाली गई रेसिपी स्वयं रोबोट की तुलना में थोड़ी कम सटीक है, लेकिन यह समझने की दिशा में एक बहुत बड़ी छलांग है कि रोबोट कैसे काम करता है।

संक्षेप में, शोधकर्ताओं ने ब्लैक बॉक्स को खोला, गियर ढूंढे, यह साबित किया कि वे मशीन को घुमाते हैं, और फिर एक मैनुअल बनाया ताकि कोई भी मशीन के बिना ही मशीन के तर्क का उपयोग कर सके।

तकनीकी सारांश: प्रायर-डेटा फिटेड नेटवर्क्स में स्पेक्ट्रल संरचनाओं के लिए यांत्रिक साक्ष्य

समस्या विवरण
प्रायर-डेटा फिटेड नेटवर्क्स (PFNs) संदर्भ डेटा को सीधे पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन (posterior predictive distributions) में मैप करके एमोर्टाइज्ड बायेसियन इन्फरेंस (amortized Bayesian inference) को सक्षम करते हैं, जो पारंपरिक तरीकों जैसे कि गॉसियन प्रोसेस (GPs) की तुलना में महत्वपूर्ण कम्प्यूटेशनल लाभ प्रदान करते हैं। हालाँकि, PFNs अपनी संरचनात्मक अपारदर्शिता (structural opacity) से ग्रस्त हैं। जबकि क्लासिकल GPs स्पष्ट और व्याख्या योग्य कर्नेल्स (kernels) का उपयोग करते हैं, यह माना जाता है कि PFNs अपने वेट्स (weights) और एक्टिवेशन्स (activations) में बायेसियन संरचना को अंतर्निहित रूप से अवशोषित कर लेते हैं। यह अज्ञात बना हुआ है कि क्या PFNs पहचान योग्य स्पेक्ट्रल संरचनाओं (spectral structures) को एनकोड करते हैं या केवल इनपुट-आउटपुट मैपिंग को याद रखते हैं, और क्या ऐसी कोई अंतर्निहित संरचना को एक पोर्टेबल, स्पष्ट बायेसियन ऑब्जेक्ट के रूप में निकाला जा सकता है।

कार्यप्रणाली
लेखक तीन अलग-अलग PFN आर्किटेक्चर की आंतरिक प्रस्तुतियों की जांच करने के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी टूल्स और नवीन डिकोडिंग आर्किटेक्चर के संयोजन का उपयोग करते हैं: एक मानक वेनिला अटेंशन PFN (VA-PFN), एक डिकपल्ड-वैल्यू अटेंशन PFN (DVA-PFN), और सार्वजनिक रूप से जारी किया गया TabPFN।

प्रोबिंग प्रयोग: अध्ययन स्पेक्ट्रल जानकारी की सुलभता का आकलन करने के लिए "लैडर ऑफ प्रोब्स" (ladder of probes) का उपयोग करता है, जो लेटेंट अटेंशन स्कोर ( $\bar{H}$ ) के भीतर होती है। इसमें पैरामीटर-मुक्त ज्यामितीय संरेखण मेट्रिक्स (इनपुट फ्रीक्वेंसी परिवर्तनों के साथ लेटेंट दूरियों को सह-संबंधित करना) और स्पेक्ट्रल मापदंडों (फ्रीक्वेंसी, वेट) को निर्धारित करने के लिए लीनियर और नॉन-लीनियर (MLP) क्लासिफायर के साथ सुपरवाइज्ड प्रोबिंग शामिल है।
कॉज़ल इंटरवेंशन (Causal Interventions): सह-संबंध से आगे बढ़ने के लिए, लेखक एक्टिवेशन पैचिंग और लक्षित सबस्पेस इंटरवेंशन लागू करते हैं।
- एक्टिवेशन पैचिंग: एक सिग्नल के लेटेंट रिप्रेजेंटेशन को दूसरे से बदलकर प्रेडिक्शन पर पड़ने वाले कॉज़ल इफेक्ट (CE) को मापना।
- टारगेटेड सबस्पेस पैचिंग: केवल लेटेंट स्पेस के टॉप- $k$ प्रिंसिपल कंपोनेंट्स को बदलकर यह निर्धारित करना कि क्या स्पेक्ट्रल जानकारी एक लो-डायमेंशनल सबस्पेस में केंद्रित है या विसरित (diffusely) रूप से वितरित है।
फिल्टर बैंक डिकोडर: अपने मैकेनिस्टिक निष्कर्षों पर निर्माण करते हुए, लेखक एक "फिल्टर बैंक डिकोडर" पेश करते हैं। यह मॉड्यूल फ्रोजन (frozen) PFN लेटेंट्स को स्पष्ट स्पेक्ट्रल डेंसिटी एस्टिमेट्स में मैप करता है। बोchner के प्रमेय का उपयोग करके, इन डेंसिटीज को स्टेशनरी कर्नेल्स में पुनर्गठित किया जाता है, जिससे बिना टेस्ट-टाइम ऑप्टिमाइज़ेशन के डाउनस्ट्रीम GP रिग्रेशन संभव होता है।

मुख्य योगदान

स्पेक्ट्रल एनकोडिंग का मैकेनिस्टिक साक्ष्य: यह पेपर व्यवस्थित साक्ष्य प्रदान करता है कि PFNs संरचित स्पेक्ट्रल रिप्रेजेंटेशन सीखते हैं। स्पेक्ट्रल जानकारी $\bar{H}$ से लीनियर रूप से डिकोडेबल पाई जाती है और एक प्रमुख प्रिंसिपल एक्सिस के साथ व्यवस्थित होती है।
कॉज़ल वैलिडेशन: एक्टिवेशन पैचिंग के माध्यम से, लेखक प्रदर्शित करते हैं कि $\bar{H}$ स्पेक्ट्रल आइडेंटिटी का एक कॉज़ल कैरियर है। महत्वपूर्ण रूप से, लक्षित सबस्पेस इंटरवेंशन प्रकट करते हैं कि यह जानकारी एक लो-डायमेंशनल सबस्पेस (अक्सर शीर्ष कुछ प्रिंसिपल कंपोनेंट्स) में केंद्रित है, जो रैंडम दिशाओं की तुलना में भविष्यवाणी के लिए काफी अधिक प्रभावी है।
सामान्यीकरण (Generalizability): ये स्पेक्ट्रल गुण निरंतर रिग्रेशन कार्यों पर PFN-शैली के एमोर्टाइजेशन के उभरते हुए फीचर्स हैं, न कि विशिष्ट ट्रेनिंग प्रायर्स के आर्टिफैक्ट्स। ये विभिन्न अटेंशन मैकेनिज्म (जॉइंट, डिकपल्ड, अल्टरनेटिंग) और सिंथेटिक इनपुट्स और रियल-वर्ल्ड टाइम सीरीज़ (Airline Passengers, Milk Production) दोनों पर, जिन्हें टैबुलर रिग्रेशन में बदला गया है, समान रूप से लागू होते हैं।
एक्सप्लिसिट कर्नेल एक्सट्रैक्शन: प्रस्तावित फिल्टर बैंक डिकोडर फ्रोजन PFN रिप्रेजेंटेशन्स से स्पष्ट, पोर्टेबल कर्नेल्स को सफलतापूर्वक निकालता है। ये कर्नेल्स डीप कर्नेल लर्निंग और रैंडम फूरियर फीचर्स जैसे इटरेटिव बेसलाइन्स के साथ प्रतिस्पर्धी GP रिग्रेशन का समर्थन करते हैं, जबकि इनमें केवल एक सिंगल फॉरवर्ड पास की आवश्यकता होती है और कोई टेस्ट-टाइम ऑप्टिमाइज़ेशन नहीं चाहिए होता।

परिणाम

लीनियर डिकोडेबिलिटी: लीनियर प्रोब्स $\bar{H}$ से फ्रीक्वेंसी और वेट्स को रिकवर करने में उच्च $R^2$ स्कोर ( $>0.93$ ) प्राप्त करते हैं, जो इंगित करता है कि स्पेक्ट्रल जानकारी लगभग लीनियरली सेपरेबल रूप में एनकोड की गई है।
कॉज़ल सबस्पेस: टारगेटेड सबस्पेस पैचिंग में, TabPFN के टॉप स्पेक्ट्रल प्रिंसिपल कंपोनेंट्स को बदलने से प्रेडिक्शन्स डोनर सिग्नल की ओर अत्यधिक दक्षता के साथ शिफ्ट हो जाते हैं। उदाहरण के लिए, केवल कुछ स्पेक्ट्रल दिशाओं को पैच करने से फुल-टेंसर रिप्लेसमेंट के बराबर कॉज़ल इफेक्ट प्राप्त होता है, जबकि रैंडम दिशाओं को समान प्रभाव प्राप्त करने के लिए 100 से अधिक आयामों को पैच करने की आवश्यकता होती है।
डिकोडेड कर्नेल प्रदर्शन: निकाले गए कर्नेल्स मानक कर्नेल बेंचमार्क्स (RBF, Periodic, Spectral Mixture) पर प्रतिस्पर्धी प्रदर्शन करते हैं। विशेष रूप से, डिकोडर इटरेटिव बेसलाइन्स (जो प्रति-टास्क ऑप्टिमाइज़ेशन की मांग करते हैं) की तुलना में $\sim250\times$ तेज़ चलता है। हालांकि डिकोडर PFN के अपने प्रेडिक्टिव प्रदर्शन से मेल नहीं खाता (जो पूर्ण लेटेंट तक पहुंच बनाए रखता है), यह अनसीन टारगेट्स पर क्लासिकल स्पेक्ट्रल एस्टिमेशन मेथड्स (जैसे पीरियडोग्राम) से काफी बेहतर प्रदर्शन करता है क्योंकि यह PFN के स्ट्रक्चरल रेगुलराइजेशन को विरासत में लेता है।
आर्किटेक्चर अंतर्दृष्टि: अध्ययन सुझाव देता है कि स्पेक्ट्रल संरचना पहले क्रॉस-अटेंशन स्टेप में निर्मित होती है, और बाद के लेयर्स मुख्य रूप से पोस्टीरियर फॉर्मेटिंग के लिए समर्पित होते हैं। इसका तात्पर्य है कि एक निश्चित बिंदु के बाद PFN डेप्थ और विड्थ के रिटर्न घटते जाते हैं।

महत्व और दावे
यह पेपर एमोर्टाइज्ड इन्फरेंस की दक्षता और स्पष्ट बायेसियन ऑब्जेक्ट्स की व्याख्यात्मकता के बीच के अंतर को पाटने का दावा करता है। यह प्रदर्शित करके कि PFN प्रायर्स केवल अंतर्निहित नहीं हैं बल्कि पोर्टेबल कर्नेल्स के रूप में स्पष्ट रूप से रिकवरेबल हैं, यह कार्य PFNs को केवल "ब्लैक बॉक्स" मानने वाली धारणा को चुनौती देता है। लेखक तर्क देते हैं कि ये निष्कर्ष PFN डिज़ाइन के लिए एक "सेनिटी चेक" (sanity check) प्रदान करते हैं, जो सुझाव देते हैं कि भविष्य के आर्किटेक्चर को गहरे फॉर्मेटिंग लेयर्स के बजाय स्पेक्ट्रल कंस्ट्रक्शन के लिए प्रारंभिक क्रॉस-अटेंशन स्टेप्स पर ध्यान केंद्रित करके अनुकूलित किया जा सकता है। इसके अलावा, कर्नेल्स को निकालने की क्षमता जो डाउनस्ट्रीम कार्यों (जैसे CPU पर बायेसियन ऑप्टिमाइज़ेशन) का समर्थन करती है, न्यूरल नेटवर्क को फिर से बुलाए बिना, संसाधन-बाधित या व्याख्या-महत्वपूर्ण सेटिंग्स में PFNs को तैनात करने के लिए एक व्यावहारिक मार्ग को उजागर करती है। लेखक विनम्र रहते हैं, यह स्वीकार करते हुए कि डिकोडर एक डायग्नोस्टिक रीड-आउट है न कि PFN का पूर्ण प्रतिस्थापन, और कुछ प्रेडिक्टिव जानकारी स्पेक्ट्रल-मिक्सचर पैरामीट्राइजेशन के बाहर बनी रहती है।