Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners
यह शोध पत्र प्रकट करता है कि सारणीबद्ध डेटा (tabular data) के लिए इन-कॉन्टेक्स्ट लर्नर्स (in-context learners) अनिवार्य रूप से वास्तविक कारण संकेतों (causal signals) के बजाय मिश्रित विशेषताओं (composite features) में निहित भ्रामक संकेतों (spurious signals) के माध्यम से भविष्यवाणियों को निर्देशित करते हैं, एक ऐसी विफलता जो बड़े संदर्भों और मॉडल की अभिव्यक्ति क्षमता (expressiveness) के साथ और भी खराब हो जाती है, लेकिन इसे एनवायरनमेंट-स्ट्रैटिफाइड कॉन्टेक्स्ट कंस्ट्रक्शन (environment-stratified context construction) और एस-स्वैप ऑग्मेंटेशन (S-swap augmentation) द्वारा प्रभावी ढंग से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आप उसे धूप वाले दिनों की एक हज़ार तस्वीरें दिखाते हैं, और हर एक तस्वीर में आसमान नीला है। रोबोट एक सरल नियम सीख जाता है: "नीला आसमान मतलब धूप।" लेकिन यहाँ एक पेंच है: आपके प्रशिक्षण चित्रों में आसमान हमेशा नीला था क्योंकि आपने केवल दिन के समय ही तस्वीरें ली थीं। आपने रोबोट को कभी भी बादलों वाली रात की एक भी तस्वीर नहीं दिखाई। रोबोट ने यह नहीं सीखा कि "धूप" के कारण "नीला आसमान" होता है; उसने बस यह सीखा कि "नीला" और "धूप" साथ-साथ दिखाई देते हैं। यदि आप बाद में उसे नीले आसमान वाली रात की एक तस्वीर दिखाते हैं (जो असंभव है, लेकिन मान लीजिए कि रोबोट एक नीली स्क्रीन देखता है), तो वह भ्रमित हो सकता है। यह मशीन लर्निंग (Machine Learning) की दुनिया है, विशेष रूप से एक चतुर तकनीक जिसे इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) कहा जाता है। हर बार रोबोट को शुरू से फिर से प्रशिक्षित करने के बजाय, आप उसे अनुमान लगाने से ठीक पहले कुछ उदाहरण देते हैं, और वह चलते-फिरते पैटर्न को समझ लेता है। यह एक जासूस को कुछ सुराग देने और कहने जैसा है, "इस मामले को सुलझाओ," बिना उसके दिमाग को बदले। लेकिन क्या होगा अगर वे सुराग भ्रामक हों? क्या होगा अगर सुराग ऐसे संदिग्ध की ओर इशारा करते हैं जो निर्दोष है, सिर्फ इसलिए क्योंकि वह हर उस फोटो में मौजूद था जो आपने जासूस को दिखाई थी?
यह शोध पत्र इस बात की जांच करता है कि कैसे ये स्मार्ट, लचीले रोबोट तब धोखा खा सकते हैं जब उनका उपयोग अस्पतालों में रोगी के ठीक होने की भविष्यवाणी करने जैसे कार्यों के लिए किया जाता है। शोधकर्ताओं ने पाया कि जब एक रोबोट "असली" जानकारी (जैसे रोगी का वास्तविक स्वास्थ्य) और "नकली" जानकारी (जैसे अस्पताल के विशिष्ट उपकरणों में एक गड़बड़ी/ग्लिच) का मिश्रण देखता है, तो वह अक्सर धोखा खा जाता है। वह गड़बड़ी (glitch) पर भरोसा करना सीख जाता है क्योंकि प्रशिक्षण डेटा में, वह गड़बड़ी परिणाम के साथ पूरी तरह से मेल खाती थी। शोध पत्र सिद्ध करता है कि रोबोट को केवल अधिक उदाहरण देने से यह समस्या ठीक नहीं होती है; वास्तव में, यह रोबोट को और भी अधिक जिद्दी रूप से गलत बना सकता है। हालाँकि, लेखकों ने इस जादू को तोड़ने के लिए एक चतुर, हल्का तरीका भी खोजा, जिससे रोबोट गड़बड़ी को अनदेखा कर सके और असली स्वास्थ्य संकेतों पर ध्यान केंद्रित कर सके, भले ही उसे यह न पता हो कि गड़बड़ी वास्तव में कैसी दिखती है।
जासूस और टूटा हुआ थर्मामीटर
आइए कहानी में उतरते हैं। एक अस्पताल की कल्पना करें जहाँ एक नया AI सिस्टम यह भविष्यवाणी करने के लिए काम पर रखा गया है कि मरीज कितनी जल्दी ठीक होंगे। सिस्टम को एक विशिष्ट अस्पताल का डेटा दिखाया जाता है। इस अस्पताल में एक छिपी हुई समस्या है: थर्मामीटर थोड़े खराब हैं। वे हमेशा वास्तविक रीडिंग से 2 डिग्री अधिक पढ़ते हैं। लेकिन यहाँ एक मोड़ है: जो मरीज इन खराब थर्मामीटरों पर "तेज बुखार" की रीडिंग दिखाते हैं, वे ही वे मरीज होते हैं जो जल्दी ठीक हो जाते हैं। क्यों? क्योंकि खराब थर्मामीटर केवल VIP वार्ड में उपयोग किए जाते हैं, और VIP मरीजों को बेहतर देखभाल मिलती है और वे तेजी से ठीक होते हैं।
AI, एक सुपर-स्मार्ट पैटर्न मैचर के रूप में, डेटा को देखता है और कहता है, "आहा! उच्च तापमान रीडिंग का मतलब है तेज़ रिकवरी!" वह VIP वार्ड या टूटे हुए थर्मामीटर के बारे में नहीं जानता। वह बस देखता है कि उसे दिए गए डेटा में तापमान (S) और रिकवरी (Y) सबसे अच्छे दोस्त हैं। इसलिए, जब वह भविष्यवाणी करता है, तो वह अपने निर्णय को तापमान रीडिंग के माध्यम से निर्देशित (route) करता है। वह सोचता है, "मैं तापमान पर दांव लगाऊंगा!"
अब, कल्पना कीजिए कि इस AI को एक नए अस्पताल में भेजा जाता है। इस नए अस्पताल में बिल्कुल नए, सटीक थर्मामीटर हैं। VIP वार्ड गायब है। "उच्च तापमान" और "तेज़ रिकवरी" के बीच का संबंध टूट गया है। लेकिन AI अभी भी अपने पुराने नियम का उपयोग कर रहा है: "उच्च तापमान = तेज़ रिकवरी।" क्योंकि नए थर्मामीटर सटीक हैं, AI बीमार मरीजों के लिए सामान्य तापमान देखता है और भविष्यवाणी करता है कि वे धीरे-धीरे ठीक होंगे, या वह स्वस्थ मरीजों के लिए उच्च तापमान देखता है और भविष्यवाणी करता है कि वे तेजी से ठीक होंगे। वह पूरी तरह से विफल हो जाता है, और वह चुपचाप विफल होता है, क्योंकि उसे यह जानने का कोई तरीका नहीं है कि उसे टूटे हुए थर्मामीटर ने धोखा दिया था।
शोध पत्र इसे "स्पूरियस रूटिंग" (Spurious Routing) कहता है। AI अपने निर्णय को एक नकली संकेत (टूटे हुए थर्मामीटर) के माध्यम से "रूट" कर रहा है बजाय वास्तविक संकेत (रोगी के वास्तविक स्वास्थ्य) के।
मिश्रित संकेतों का जाल
शोधकर्ताओं ने महसूस किया कि यह केवल टूटे हुए थर्मामीटरों के बारे में नहीं है। यह तब होता है जब डेटा का एक हिस्सा दो चीजों का "बंडल" होता है: असली संकेत (Real Signal) (रोगी का वास्तविक स्वास्थ्य) और भ्रामक संकेत (Spurious Signal) (उपकरण की गड़बड़ी)। गणित की दुनिया में, वे इसे "कंपोजिट रिप्रेजेंटेशन" (composite representation) कहते हैं।
शोध पत्र एक बड़ा सवाल पूछता है: क्या हम AI को गड़बड़ी को अनदेखा करना सिखा सकते हैं? लेखकों ने दो प्रकार के AI जासूसों का परीक्षण किया:
- लीनियर डिटेक्टिव (Linear Detective): एक सरल, नियम-आधारित AI जो बुनियादी गणित करता है (एक बहुत ही स्मार्ट स्प्रेडशीट की तरह)।
- TabPFN: एक सुपर-कॉम्प्लेक्स, "स्टेट-ऑफ-द-आर्ट" AI जो एक जीनियस जासूस की तरह है जिसने दुनिया की हर मेडिकल किताब पढ़ ली है।
उन्होंने हजारों सिमुलेशन चलाए जहाँ उन्होंने नियंत्रित किया कि "गड़बड़ी" (S) को "वास्तविक स्वास्थ्य" (C) के साथ कितना मिलाया गया है। उन्होंने कुछ आश्चर्यजनक और थोड़ा डरावना पाया: AI इसे अपने आप ठीक नहीं कर सकता।
भले ही आप AI को पहले अस्पताल से और अधिक उदाहरण दें, वह गड़बड़ी के बारे में और स्मार्ट नहीं होता है। वास्तव में, शोध पत्र दिखाता है कि AI को अधिक संदर्भ (अधिक उदाहरण) देना वास्तव में उसे गलत उत्तर के प्रति और भी अधिक प्रतिबद्ध बनाता है। यदि गड़बड़ी प्रशिक्षण डेटा में थोड़ी मददगार थी, तो AI उस पर और अधिक जोर देगा। आप उसे जितने अधिक उदाहरण दिखाएंगे, वह गड़बड़ी को उतना ही अधिक सच मानने लगेगा।
लेखकों ने गणितीय रूप से सिद्ध किया कि जब तक गड़बड़ी और परिणाम प्रशिक्षण डेटा में जुड़े हुए हैं, AI जरूर गड़बड़ी का उपयोग करेगा। यह कोई बग नहीं है; यह यह बताने का एक तरीका है कि ये मॉडल कैसे काम करते हैं। वे इसे "अनएवेडेबल स्पूरियस रूटिंग" (unavoidable spurious routing) कहते हैं।
जादू का खेल: "S-स्वैप" (S-Swap)
तो, यदि AI को धोखा देने के लिए अभिशप्त किया गया है, तो क्या कोई उम्मीद है? लेखक कहते हैं हाँ, और उन्होंने एक समाधान खोजा जो आश्चर्यजनक रूप से सरल है। वे इसे "S-स्वैप ऑग्मेंटेशन" (S-swap augmentation) कहते हैं।
कल्पना कीजिए कि आप फिर से जासूस हैं। आपके पास केस फाइलों का ढेर है। हर फाइल में, एक तापमान रीडिंग और एक रिकवरी समय है। सभी फाइलें टूटे हुए थर्मामीटर वाले VIP वार्ड से हैं।
"S-स्वैप" का तरीका यह है: आप फ़ाइल A से तापमान रीडिंग लेते हैं और उसे फ़ाइल B की तापमान रीडिंग के साथ बदल देते हैं, लेकिन आप रिकवरी समय को समान रखते हैं।
- फ़ाइल A: "टूटा हुआ थर्मामीटर कहता है 104°F, मरीज जल्दी ठीक हुआ।"
- फ़ाइल B: "टूटा हुआ थर्मामीटर कहता है 98°F, मरीज धीरे ठीक हुआ।"
आप तापमान बदलते हैं:
- फ़ाइल A (संशोधित): "टूटा हुआ थर्मामीटर कहता है 98°F, मरीज जल्दी ठीक हुआ।"
- फ़ाइल B (संशोधित): "टूटा हुआ थर्मामीटर कहता है 104°F, मरीज धीरे ठीक हुआ।"
अब, पैटर्न को देखें। तापमान अब रिकवरी की भविष्यवाणी नहीं करता है! उच्च तापमान अब धीमी रिकवरी के साथ जुड़ा है, और कम तापमान तेज़ रिकवरी के साथ जुड़ा है। लिंक टूट गया है। AI इस नए, स्वैप किए गए डेटा को देखता है और महसूस करता है, "रुको ज़रा, तापमान मायने ही नहीं रखता! यह सिर्फ शोर (noise) है।"
शोध पत्र दिखाता है कि यह ट्रिक अविश्वसनीय रूप से अच्छी तरह से काम करती है।
- साधारण लीनियर डिटेक्टिव के लिए, इसने गड़बड़ी पर निर्भरता को 74% कम कर दिया।
- सुपर-स्मार्ट TabPFN के लिए, इसने निर्भरता को भारी 98.8% कम कर दिया।
इससे भी बेहतर, AI केवल "भ्रमित" नहीं हुआ या "हार" नहीं माना। वास्तव में, इसने वास्तविक स्वास्थ्य संकेत पर ध्यान देना शुरू कर दिया। शोध पत्र ने पाया कि AI की वास्तविक कारण के प्रति संवेदनशीलता 8.4 गुना बढ़ गई। इसने सीखना बंद नहीं किया; इसने बस सही चीज़ सीखी।
यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने वास्तविक दुनिया के डेटा पर भी इसका परीक्षण किया, जिसमें विभिन्न प्रयोगशालाओं के मानव अग्नाशय (pancreas) कोशिकाओं का एक डेटासेट शामिल था। भले ही उन्हें यह नहीं पता था कि डेटा के कौन से हिस्से "गड़बड़ी" थे और कौन से "असली जीव विज्ञान" थे, वे प्रयोगशालाओं के बीच डेटा के उतार-चढ़ाव को देखकर गड़बड़ी का अनुमान लगा सकते थे। जब उन्होंने S-स्वैप ट्रिक लागू की, तो लैब-विशिष्ट गड़बड़ियों पर AI की निर्भरता लगभग 89% गिर गई।
शोध पत्र निष्कर्ष निकालता है कि हमें इन शक्तिशाली AI मॉडलों को फिर से बनाने या उन्हें जटिल नए नियम सिखाने की आवश्यकता नहीं है। हमें बस उन उदाहरणों के बारे में अधिक स्मार्ट होने की आवश्यकता है जो हम उन्हें दिखाते हैं। AI को कोई अनुमान लगाने से पहले डेटा के "गड़बड़" हिस्सों को बदलकर, हम AI को नकली संकेतों को अनदेखा करने और सच्चाई पर ध्यान केंद्रित करने के लिए मजबूर कर सकते हैं।
यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी सबसे स्मार्ट काम जो आप कर सकते हैं वह रोबोट को अधिक डेटा देना नहीं है, बल्कि आपके पास मौजूद डेटा को इस तरह से पुनर्व्यवस्थित करना है कि रोबोट सच्चाई देखने के लिए मजबूर हो जाए। शोध पत्र सिद्ध करता है कि हालांकि ये मॉडल शक्तिशाली हैं, वे "स्पूरियस रूटिंग" के प्रति संवेदनशील भी हैं, लेकिन डेटा के थोड़े से चतुर मिश्रण के साथ, हम उन्हें सही रास्ते पर वापस ला सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।