🤖 machine learning

Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization

यह शोध पत्र तर्क देता है कि न्यूरल नेटवर्क में आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (out-of-distribution generalization), फीचर इंजीनियरिंग और संरचनात्मक प्रतिबद्धताओं (structural commitments) के माध्यम से उत्पन्न "आइडेंटिफिएबिलिटी बायस" (identifiability bias) पर निर्भर करता है, जो केवल इन-डिस्ट्रीब्यूशन डेटा से डेटा-जनरेटिंग प्रक्रियाओं की नॉन-आइडेंटिफिएबिलिटी (non-identifiability) को हल करते हैं, जिससे तब सफल एक्सट्रपलेशन (extrapolation) सक्षम होता है जब चुने गए निरूपण (representations) अंतर्निहित कारण संरचना (underlying causal structure) को सही ढंग से कैप्चर करते हैं।

मूल लेखक: Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

प्रकाशित 2026-05-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Does Your Neural Network Extrapolate?" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: "मानचित्र बनाम क्षेत्र" (Map vs. Territory) की समस्या

कल्पना कीजिए कि आप एक टूर गाइड हैं जो एक रोबोट को शहर में नेविगेट करना सिखा रहे हैं। आप रोबोट को केवल वही पड़ोस दिखाते हैं जहाँ आप रहते हैं (प्रशिक्षण डेटा/Training Data)। फिर आप रोबोट से उस शहर के बारे में अनुमान लगाने के लिए कहते हैं जो एक बिल्कुल अलग जिला है जहाँ वह कभी नहीं गया (आउट-ऑफ-डिस्ट्रीब्यूशन/OOD क्षेत्र)।

यह शोध पत्र तर्क देता है कि न्यूरल नेटवर्क अज्ञात का अनुमान लगाने में बहुत खराब होते हैं, जब तक कि आप उन्हें शुरू करने से पहले सही "मानचित्र" न दे दें।

यदि आप केवल रोबोट को कच्चे सड़क के नाम दिखाते हैं, तो वह अनुमान लगा सकता है कि नया जिला एक विशाल, चिकनी पहाड़ी जैसा है क्योंकि आपके पड़ोस के आधार पर वह सबसे सरल आकार यही बना सकता है। लेकिन यदि नया जिला वास्तव में एक पर्वत श्रृंखला है, तो रोबोट बुरी तरह विफल हो जाएगा।

हालाँकि, यदि आप रोबोट को एक ऐसा मानचित्र देते हैं जो इलाके के आकार (जैसे कि एक स्थलाकृतिक मानचित्र/topographic map) को उजागर करता है, तो वह नए जिले को पूरी तरह से समझ सकता है, भले ही वह वहां कभी न गया हो।

मूल समस्या: "अनंत अनुमान का खेल" (The Infinite Guessing Game)

लेखक एक गणितीय तथ्य सिद्ध करते हैं: डेटा की एक एकल खिड़की (window) से, आप भविष्य को नहीं जान सकते।

कल्पना कीजिए दो अलग-अलग कहानियों की कि दुनिया कैसे काम करती है:

कहिका A: दुनिया एक चिकनी, अनंत पहाड़ी है।
कहिका B: दुनिया एक लहरदार समुद्र है जो अचानक एक ऊबड़-खाबड़ चट्टान में बदल जाता है।

यदि आप केवल जमीन के एक छोटे से टुकड़े (आपका प्रशिक्षण डेटा) को देखते हैं, तो दोनों कहानियाँ बिल्कुल एक जैसी लग सकती हैं। पहाड़ी और लहर दोनों ही इस छोटे से टुकड़े में एक समान दिखते हैं। क्योंकि वे यहाँ एक जैसे दिखते हैं, रोबोट यह नहीं बता सकता कि कौन सी कहानी सच है। वह एक को चुनता है, और यदि वह गलत चुनता है, तो चट्टान से टकराते समय वह क्रैश हो जाएगा।

शोध पत्र इसे अवलोकन संबंधी समानता (Observational Equivalence) कहता है। अतिरिक्त मदद के बिना, डेटा अकेले रोबोट को यह नहीं बता सकता कि कौन सी कहानी वास्तविक है।

समाधान: "संरचनात्मक प्रतिबद्धता" (The Structural Commitment)

तो, हम इसे कैसे ठीक करें? शोध पत्र कहता है कि हमें एक संरचनात्मक प्रतिबद्धता (Structural Commitment) बनाने की आवश्यकता है। यह कहने का एक औपचारिक तरीका है: "हम रोबोट को दुनिया के लिए एक विशिष्ट आकार मानने के लिए मजबूर करेंगे।"

इस प्रतिबद्धता के तीन भाग हैं:

फीचर मैप ( $\phi$ ): हम कच्चे डेटा को एक नई भाषा में कैसे बदलते हैं (जैसे, "समय" को "साइन वेव्स" में बदलना)।
लेबल मैप ( $\psi$ ): हम उत्तरों को कैसे अनुवादित करते हैं (जैसे, "जनसंख्या" को "लॉगारिदम" में बदलना)।
मॉडल क्लास ( $M$ ): वह प्रकार का मस्तिष्क जिसका रोबोट उपयोग करता है (जैसे, एक साधारण लीनियर कैलकुलेटर बनाम एक जटिल डीप थिंकर)।

जादुई उपमा: सर्कल ट्रिक (The Circle Trick)
शोध पत्र एक क्लासिक उदाहरण का उपयोग करता है: साइन वेव ( $\sin(x)$ ) की भविष्यवाणी करना।

गलत तरीका: यदि आप रोबोट को कच्चे नंबर ( $x$ ) खिलाते हैं, तो वह सोचता है कि दुनिया एक सीधी रेखा या एक बहुपद वक्र (polynomial curve) है। जब वह भविष्य की भविष्यवाणी करने की कोशिश करता है, तो वह बस ऊपर या नीचे की ओर बढ़ता रहता है। वह विफल हो जाता है।
सही तरीका: यदि आप रोबोट को एक "फूरियर मैप" (x को एक जोड़ी निर्देशांक: $\sin(x)$ $sin (x)$ और $\cos(x)$ $cos (x)$ में बदलना) देते हैं, तो आप अनिवार्य रूप से रोबोट को कह रहे हैं: "दुनिया एक वृत्त (circle) है।"
- इस नई भाषा में, प्रशिक्षण डेटा और भविष्य का डेटा दोनों एक ही वृत्त पर स्थित बिंदु हैं।
- भविष्य की भविष्यवाणी करना अब "अज्ञात का अनुमान लगाना" नहीं रह जाता; यह केवल एक वृत्त पर बिंदुओं को जोड़ना (interpolation) है।
- रोबोट पूरी तरह सफल होता है।

प्रयोगों ने क्या दिखाया

लेखकों ने इस विचार का तीन बहुत अलग वास्तविक दुनिया के परिदृश्यों में परीक्षण किया, और परिणाम हमेशा एक ही था: सही मानचित्र जीतता है, गलत मानचित्र हार जाता है।

रसायन विज्ञान (Mass-Action Kinetics):
- कार्य: रसायन कैसे मिलते हैं, इसकी भविष्यवाणी करना।
- परिणाम: यदि आप कच्चे नंबरों का उपयोग करते हैं, तो प्रशिक्षण क्षेत्र के बाहर भविष्यवाणी अनियंत्रित हो जाती है। यदि आप एक "बाइलीनियर मैप" (रसायन संख्याओं को संयोजित करने का एक विशिष्ट तरीका) का उपयोग करते हैं, तो रोबलेट भविष्य की सटीक भविष्यवाणी करता है।
भौतिकी (केपलर के नियम):
- कार्य: तारे के आधार पर ग्रह के कक्ष में घूमने में लगने वाले समय की भविष्यवाणी करना।
- परिणाम: यदि आप रोबोट को कच्ची दूरी और द्रव्यमान देते हैं, तो वह दूर के ग्रहों की भविष्यवाणी करने में विफल रहता है। यदि आप उसे लॉगारिदम (एक विशिष्ट गणितीय रूपांतरण) का उपयोग करने के लिए कहते हैं, तो वह तुरंत गुरुत्वाकर्षण के नियम को सीख लेता है और नए ग्रहों की सटीक भविष्यवाणी करता है।
जीव विज्ञान (DNA डिटेक्शन):
- कार्य: विभिन्न प्रजातियों (जैसे यीस्ट बनाम बैक्टीरिया) में कोडिंग DNA की पहचान करना।
- परिgetResult: मानक AI मॉडल नई प्रजातियों को देखते समय विफल रहे। लेकिन जब शोधकर्ताओं ने "जैविक विशेषताओं" (जैसे कि DNA कितनी बार रुकता है या हर 3 अक्षरों में दोहराता है) को जोड़ा, तो मॉडल सभी प्रजातियों में काम करने लगा, यहाँ तक कि उन प्रजातियों में भी जिन्हें उसने कभी नहीं देखा था।

"फाउंडेशन मॉडल" का मोड़

शोध पत्र ने बड़े, पूर्व-प्रशिक्षित AI मॉडलों (जैसे TimesFM या TabPFN) को भी देखा। ये वे मॉडल हैं जिन्होंने पहले से ही बहुत कुछ सीख लिया है और जिन्हें फिर से प्रशिक्षित नहीं किया जा सकता।

निष्कर्ष: यदि आप उन्हें गलत "भाषा" खिलाते हैं, तो ये स्मार्ट मॉडल भी विफल हो जाते हैं।
सुधार: यदि आप केवल इनपुट फॉर्मेट को बदलते हैं (उदाहरण के लिए, मॉडल को कच्चे नंबर देने के बजाय, आप उसे नंबरों का "लॉग" देते हैं), तो स्थिर मॉडल अचानक एक्सट्रपोलेशन (extrapolation) में जीनियस बन जाता है। आपने मस्तिष्क को नहीं बदला; आपने बस उसके पहने हुए चश्मे को बदल दिया।

सफलता के तीन नियम

शोध पत्र निष्कर्ष निकालता है कि न्यूरल नेटवर्क को एक्सट्रपोलेट (अज्ञात की भविष्यवाणी) करने के लिए आपको तीन चीजों की एक साथ आवश्यकता होती है:

सही मानचित्र: आपको डेटा को एक ऐसे प्रारूप में बदलना होगा जो दुनिया के वास्तविक आकार से मेल खाता हो (जैसे, तरंगों के लिए वृत्त, विकास के लिए लॉग)।
सही मस्तिष्क: मॉडल के पास उस आकार को समझने की क्षमता होनी चाहिए (जैसे, यदि मैप सही है तो एक लीनियर मॉडल वृत्तों के लिए काम करता है; एक जटिल डीप नेट विफल हो सकता है यदि वह एक साधारण रेखा को अत्यधिक जटिल बनाने की कोशिश करता है)।
पर्याप्त कवरेज: आपके पास अपने प्रशिक्षण विंडो में पर्याप्त डेटा बिंदु होने चाहिए ताकि मानचित्र को "टाइल" किया जा सके। यदि मानचित्र एक वृत्त है, तो आपको वृत्त का इतना हिस्सा देखना चाहिए कि आप जान सकें कि यह एक वृत्त है, न कि केवल एक सीधी रेखा।

निचोड़ (The Bottom Line)

फीचर इंजीनियरिंग मर चुकी है, ऐसा नहीं है।

कई लोगों को लगा कि "बिग डेटा" और "विशाल मॉडल" का मतलब है कि हमें अब मैन्युअल रूप से फीचर्स डिजाइन करने या डेटा को बदलने की आवश्यकता नहीं है। यह शोध पत्र कहता है: नहीं।

डीप लर्निंग आपके पास मौजूद डेटा के भीतर की रिक्तियों को भरने में अद्भुत है। लेकिन आपके डेटा के बाहर क्या होता है, इसका अनुमान लगाने के लिए, आपको स्पष्ट रूप से बताना होगा कि दुनिया कैसी दिखती है। आपको "संरचनात्मक प्रतिबद्धता" प्रदान करनी होगी। यदि आप ऐसा नहीं करते हैं, तो मॉडल केवल अनुमान लगा रहा है, और वह संभवतः गलत अनुमान लगाएगा।

संक्षेप में: आप केवल अपने सड़क की फोटो दिखाकर रोबोट को नए शहर में नेविगेट करना नहीं सिखा सकते। आपको उसे एक ऐसा मानचित्र देना होगा जो शहर की ज्यामिति (geometry) को समझाता हो।

तकनीकी सारांश: फीचर इंजीनियरिंग एक आइडेंटिफिएबिलिटी बायस (Identifiability Bias) के रूप में OOD जनरलाइजेशन के लिए

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क अपने प्रशिक्षण डेटा के सपोर्ट (support) के भीतर इंटरपोलेशन (interpolation) करने में उत्कृष्ट हैं, लेकिन वे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) एक्सट्रपलेशन (extrapolation) में अक्सर विफल हो जाते हैं। जबकि यूनिवर्सल एप्रोक्सिमेशन थ्योरम (Universal Approximation Theorem) इंटरपोलेशन क्षमताओं की गारंटी देता है, गणितीय रूप से गारंटीकृत एक्सट्रपलेशन अभी भी एक अनसुलझी समस्या बनी हुई है।

इस कार्य में पहचाना गया मुख्य मुद्दा ऑब्जर्वेशनल इक्विवेलेंस (Observational Equivalence) है। किसी भी परिमित प्रशिक्षण विंडो $W$ पर, अनंत डेटा-जनरेटिंग प्रोसेस (DGPs) $\epsilon$ -ऑब्जर्वेशनली इक्वीवलेंट (एक टॉलरेंस $\epsilon$ के भीतर अविभेद्य) हो सकते हैं, फिर भी $W$ के बाहर मनमाने ढंग से भिन्न हो सकते हैं। फलस्वरूप, कोई भी इन-डिस्ट्रीब्यूशन मानदंड (जैसे कि ट्रेनिंग लॉस, क्रॉस-वैलिडेशन, या $W$ पर होल्ड-आउट लॉस) वास्तविक अंतर्निहित प्रक्रिया को इन भ्रमित करने वाली परिकल्पनाओं से विश्वसनीय रूप से अलग नहीं कर सकता। शोध पत्र तर्क देता है कि OOD एक्सट्रपलेशन अकेले डेटा से नॉन-आइडेंटिफिएबल (non-identifiable) है; प्रतिनिधित्व (representation) और मॉडल क्लास का चुनाव एक "स्ट्रक्चरल कमिटमेंट" (structural commitment) है जो इस अस्पष्टता को हल करता है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

2.1 DGP कमिटमेंट $(\phi, \psi, M)$

लेखक सीखने की प्रक्रिया को तीन घटकों वाले एक संयुक्त कमिटमेंट के रूप में औपचारिक रूप देते हैं:

फीचर मैप ( $\phi$ ): इनपुट $x$ को रिप्रेजेंटेशन स्पेस $Z_x$ में रूपांतरित करता है।
लेबल मैप ( $\psi$ ): टारगेट $y$ को $Z_y$ में रूपांतरित करता है।
मॉडल क्लास ( $M$ ): रूपांतरित स्पेस पर कार्य करने वाला हाइपोथीसिस क्लास।

पेपर यह प्रतिपादित करता है कि ट्रिपलेट $(\phi, \psi, M)$ अनुमानित DGP को निर्धारित करता है। यदि यह कमिटमेंट वास्तविक DGP के साथ संरेखित है ताकि टारगेट रूपांतरित स्पेस में लीनियर रूप से अभिव्यक्त (या अन्यथा सरल) हो सके, तो OOD एक्सट्रपलेशन, इंटरपोलेशन बन जाता है।

2.2 ऑब्जर्वेशनल इक्वीवलेंस और आइडेंटिफिएबिलिटी

प्रपोजिशन 1 स्थापित करता है कि एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) ऑब्जर्वेशनली इक्वीवलेंट प्रक्रियाओं के प्रति अंधा है। किसी भी परिमित विंडो $W$ और शोर स्तर $\sigma$ के लिए, यदि दो प्रक्रियाएं $\epsilon$ टॉलरेंस के भीतर $W$ पर सहमत हैं, तो कोई भी टेस्ट जो $W$ पर समर्थित है, उन्हें तब तक विश्वसनीय रूप से अलग नहीं कर सकता जब $\epsilon\sqrt{n} \ll \sigma$ हो। इसका तात्पर्य है कि मानक चयन मानदंड (जैसे क्रॉस-वैलिडेशन) उन प्रतिस्पर्धी DGPs के बीच के अंतर को नहीं तोड़ सकते जो प्रशिक्षण सेट पर ऑब्जर्वेशनली इक्वीवलेंट हैं।

प्रपोजिशन 2 इस अंतर को तोड़ने के लिए एक ह्यूरिस्टिक पेश करता है: नियर-बाउंड्री डेटा (near-boundary data)। यदि दो प्रक्रियाएं प्रशिक्षण विंडो के बाहर दर $r$ से भिन्न होती हैं, तो प्रशिक्षण सीमा के ठीक बगल में $\delta \ge \epsilon/r$ चौड़ाई वाला एक वैलिडेशन सेगमेंट सहमति क्षेत्र से बाहर निकल जाएगा। इस नियर-बाउंड्री सेगमेंट पर उम्मीदवारों को स्कोर करना सही स्ट्रक्चरल कमिटमेंट के चयन की अनुमति देता है।

2.3 कंस्ट्रक्टिव अस्तित्व (Constructive Existence)

पेपर यह प्रदर्शित करता है कि यदि वास्तविक DGP मॉडल क्लास $M$ के भीतर रियलाइजेबल है (अर्थात, $g^* \circ \phi = f$ सभी $X$ पर, न कि केवल $W$ पर), और मॉडल परिमित नमूनों से आइडेंटिफिएबल है, तो OOD एरर शून्य हो जाता है ( $\epsilon_{OOD} = 0$ )। यह निम्नलिखित के लिए दिखाया गया है:

साइनुसोइडल फंक्शन्स (Sinusoidal functions): फूरियर कोऑर्डिनेट्स $\phi(x) = (\sin x, \cos x)$ का उपयोग करने से पीरियडिक एक्सट्रपलेशन एक सर्कल $S^1$ पर इंटरपोलेशन में बदल जाता है।
पावर लॉ (Power laws): लॉग-लॉग ट्रांसफॉर्मेशन का उपयोग करके।
एक्सपोनेंशियल (Exponentials): लॉग-y ट्रांसफॉर्मेशन का उपयोग करके।

3. मुख्य योगदान (Key Contributions)

ऑब्जर्वेशनल इक्वीवलेंस का औपचारिकीकरण: पेपर इन-डिस्ट्रीब्यूशन टेस्ट की क्षमता पर एक सैद्धांतिक निचली सीमा प्रदान करता है जो ऑब्जर्वेशनली इक्वीवलेंट प्रक्रियाओं के बीच अंतर कर सके, यह सिद्ध करते हुए कि स्ट्रक्चरल कमिटमेंट के बिना OOD रिस्क नॉन-आइडेंटिफिएबल है।
DGP कमिटमेंट फ्रेमवर्क: यह $(\phi, \psi, M)$ को एकमात्र स्रोत के रूप में पहचानता है जो मॉडलर द्वारा प्रदान की गई स्ट्रक्चरल जानकारी है, जो OOD अस्पष्टता को हल करती है। यह तर्क देता है कि "फीचर इंजीनियरिंग" डीप लर्निंग की सफलता से विचलन नहीं है, बल्कि आवश्यक स्ट्रक्चरल कमिटमेंट का स्पष्ट इंजेक्शन है।
मिनिमल पेयर्स पर नियंत्रित प्रयोग: लेखक चरों को अलग करते हैं ताकि यह दिखाया जा सके कि समान आर्किटेक्चर और समान इन-डिस्ट्रीब्यूशन (ID) लॉस वाले मॉडल केवल फीचर मैप $\phi$ के आधार पर OOD प्रदर्शन में कई गुना (जैसे, $\sim520\times$ ) भिन्न हो सकते हैं।
क्रॉस-डोमेन वैलिडेशन: तंत्र को तीन प्राकृतिक विज्ञान डोमेन में मान्य किया गया है:
- केमिस्ट्री: मास-एक्शन काइनेटिक्स (MAK) जहाँ बाइलिनियर फीचर्स डायनेमिक्स को लीनियर कर देते हैं।
- फिजिक्स: एक्सोप्लैनेट भविष्यवाणी के लिए केपलर का तीसरा नियम, जहाँ लॉग-ट्रांसफॉर्म भौतिक घातांकों (exponents) को रिकवर करते हैं।
- बायोलॉजी: क्रॉस-स्पीशीज कोडिंग-DNA डिटेक्शन, जहाँ जेनेटिक-कोड-इनवेरिएंट फीचर्स विभिन्न GC कंटेंट वाले जीवों के बीच जीरो-शॉट ट्रांसफर सक्षम करते हैं।
प्रैक्टिशनर आर्टिफैक्ट्स (Practitioner Artefacts):
- नियर-बाउंड्री वैलिडेशन: फीचर मैप्स चुनने के लिए क्रॉस-वैलिडेशन से बेहतर एक चयन ह्यूरिस्टिक।
- $\delta_{OOD}$ डायग्नोस्टिक: एक मेट्रिक जो SINDy (Sparse Identification of Nonlinear Dynamics) पर आधारित है और OOD डेटा पर एक स्पार्स फिट के रेसिड्यूल को फीचर मैप की शुद्धता के साथ सह-संबंधित करता है।
- आर्किटेक्चर-इनवेरिएंस चेक: एक अध्ययन जो दिखाता है कि OOD गारंटी फीचर मैप (जैसे, एक्ज़ैक्ट फूरियर पोजीशनल एनकोडिंग) से संबंधित है, न कि बैकबोन (Transformer, Mamba, या S4D) से।

4. प्रयोगात्मक परिणाम (Experimental Results)

4.1 टॉय एक्सपेरिमेंट्स (Sin(x) और Power Laws)

Sin(x): कच्चे $x$ पर प्रशिक्षित एक MLP एक स्मूथ, लेवलिंग कर्व के रूप में एक्सट्रपलेशन करता है जिसमें उच्च OOD एरर ( $\sim156\%$ ) होता है। फूरियर फीचर्स $(\sin x, \cos x)$ के साथ प्रशिक्षित एक समान MLP लगभग शून्य OOD एरर ( $\sim0.3\%$ ) प्राप्त करता है। फाउंडेशन मॉडल्स (TimesFM, TabPFN) समान व्यवहार प्रदर्शित करते हैं: वे तब सफल होते हैं जब इनपुट फॉर्मेट स्पष्ट रूप से सही फीचर मैप प्रदान करता है, और अन्यथा विफल हो जाते हैं।
पावर लॉ बनाम एक्सपोनेंशियल: एक सेटिंग में जहाँ $x^2$ और $e^{\alpha(x-1)}$ ऑब्जर्वेशनली इक्वीवलेंट हैं $[1, 2]$ पर, केवल सही लॉग-ट्रांसफॉर्म फीचर मैप और एक लीनियर मॉडल (OLS) का संयोजन ही निम्न OOD एरर प्राप्त करता है। गलत कमिटमेंट्स (जैसे, एक्सपोनेंशियल टारगेट के लिए लॉग-लॉग) विनाशकारी विफलता ( $>9,999\%$ एरर) का परिणाम देते हैं।

4.2 प्राकृतिक विज्ञान डोमेन

केमिस्ट्री (MAK): बाइलिनियर फीचर्स OLS को $0.0\%$ OOD एरर के साथ सटीक गवर्निंग इक्वेशन्स रिकवर करने की अनुमति देते हैं, जबकि रॉ MLPs विफल हो जाते हैं ( $24.4\%$ )।
फिजिक्स (Kepler): $(\log a, \log M_{star})$ का उपयोग करने वाला OLS $3.8\%$ OOD एरर के साथ भौतिक नियम को रिकवर करता है। रॉ MLPs ID डेटा पर ओवरफिट होते हैं ( $6.9\%$ ) लेकिन OOD पर विफल हो जाते हैं ( $79.0\%$ )।
बायोलॉजी (CDS): स्टैंडर्ड पोजीशनल एनकोडिंग (Learned APE, Sinusoidal) विभिन्न प्रजातियों के बीच GC कंटेंट के आधार पर जनरलाइज करने में विफल रहते हैं (चांस लेवल तक गिर जाते हैं)। कोडन पीरियोडिसिटी और अमीनो एसिड कंपोजिशन को एनकोड करने वाले फीचर मैप्स विविध जीवों के बीच जीरो-शॉट ट्रांसफर को $0.96$ तक के AUROC के साथ सक्षम करते हैं।

4.3 आर्किटेक्चर इनवेरिएंस (Transformer, Mamba, S4D)

एक पीरियडिक सीक्वेंस टास्क में, एक्ज़ैक्ट फूरियर पोजीशनल एनकोडिंग तीनों आर्किटेक्चर और विभिन्न पीरियड लेंथ्स में लगभग शून्य OOD एरर ( $\le 0.2\%$ ) प्राप्त करता है। इसके विपरीत, स्टैंडर्ड साइनुसोइडल, RoPE और लर्नड पोजीशनल एनकोडिंग विफल ( $>90\%$ एरर) हो जाते हैं। यह पुष्टि करता है कि OOD गारंटी फीचर मैप का गुण है, न कि आर्किटेक्चर का।

4.4 सीमाएं और आवश्यक शर्तें

एक पीरियडिक $d$ -टोरस बेंचमार्क का उपयोग करते हुए, पेपर तीन संयुक्त रूप से आवश्यक शर्तें पहचानता जो OOD जनरलाइजेशन के लिए जरूरी हैं:

रिप्रेजेंटेशन अलाइनमेंट: फीचर मैप को DGP के साथ संरेखित होना चाहिए।
मॉडल क्लास कैपेसिटी: मॉडल को रूपांतरित स्पेस में टारगेट के इंटरेक्शन ऑर्डर को व्यक्त करने में सक्षम होना चाहिए।
कवरेज: प्रशिक्षण डेटा को प्रासंगिक रिप्रेजेंटेशन स्पेस को पर्याप्त रूप से कवर करना चाहिए (क्रिटिकल कवरेज $M_{crit} \approx 4$ )।
अध्ययन दिखाता है कि सही फीचर मैप के साथ भी, OOD विफलता तब होती है जब मॉडल क्लास में क्षमता की कमी हो या सैंपल कवरेज अपर्याप्त हो।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह न्यूरल नेटवर्क एक्सट्रपलेशन विफलता के "कब और क्यों" को हल करता है। यह तर्क देता है कि:

OOD रिस्क सिंगल विंडो के डेटा से नॉन-आइडेंटिफिएबल है; स्ट्रक्चरल कमिटमेंट $(\phi, \psi, M)$ ही इस अस्पष्टता को हल करने का एकमात्र तंत्र है।
फीचर इंजीनियरिंग अप्रचलित नहीं है। हालांकि डीप लर्निंग इन-डिस्ट्रीब्यूशन में फीचर्स सीख सकता है, एक्सट्रपलेशन के लिए स्पष्ट स्ट्रक्चरल कमिटमेंट की आवश्यकता होती है।
प्रीट्रेनिंग समस्या को हल नहीं करती है। प्रीट्रेन्ड मॉडल्स अपने इनपुट फॉर्मेट के माध्यम से कमिटमेंट समस्या को विरासत में प्राप्त करते हैं; वे केवल तभी सफल होते हैं जब उपयोगकर्ता सही ट्रांसफॉर्मेशन प्रदान करता है।
सही फीचर्स आवश्यक हैं लेकिन पर्याप्त नहीं हैं। मॉडल क्लास को टारगेट को व्यक्त करना चाहिए, और डेटा को रिप्रेजेंटेशन स्पेस को कवर करना चाहिए।

लेखक निष्कर्ष निकालते हैं कि "राशोमन सेट" (उन मॉडल्स का सेट जो प्रशिक्षण डेटा पर सहमत हैं लेकिन ऑफ-डिस्ट्रीब्यूशन पर असहमत हैं) को केवल डेटा द्वारा नहीं, बल्कि मॉडलर द्वारा चुने गए स्ट्रक्चरल कमिटमेंट द्वारा नेविगेट किया जाता है। यह पेपर फीचर इंजीनियरिंग को उस DGP कमिटमेंट के स्पष्ट इंजेक्शन के रूप में पुनर्गठित करता जो एक्सट्रपलेशन को आइडेंटिफिएबल बनाने के लिए आवश्यक है।