Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization
यह शोध पत्र तर्क देता है कि न्यूरल नेटवर्क में आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (out-of-distribution generalization), फीचर इंजीनियरिंग और संरचनात्मक प्रतिबद्धताओं (structural commitments) के माध्यम से उत्पन्न "आइडेंटिफिएबिलिटी बायस" (identifiability bias) पर निर्भर करता है, जो केवल इन-डिस्ट्रीब्यूशन डेटा से डेटा-जनरेटिंग प्रक्रियाओं की नॉन-आइडेंटिफिएबिलिटी (non-identifiability) को हल करते हैं, जिससे तब सफल एक्सट्रपलेशन (extrapolation) सक्षम होता है जब चुने गए निरूपण (representations) अंतर्निहित कारण संरचना (underlying causal structure) को सही ढंग से कैप्चर करते हैं।