कल्पना कीजिए कि आप रहस्यों को सुलझाने के लिए एक परम "डिटेक्टिव बॉट" (जासूस रोबोट) बनाने की कोशिश कर रहे हैं। इस बॉट को दो प्रकार के सुरागों को देखने की आवश्यकता होगी: दृश्य की एक फोटो और तथ्यों (जैसे तापमान, समय, या नाम) का एक स्प्रेडशीट। इस बॉट को स्मार्ट बनाने के लिए, आपको प्रत्येक प्रकार के सुराग के लिए एक विशेष "अनुवादक" (translator) की आवश्यकता होगी जो सुरागों को उस भाषा में बदल सके जिसे बॉट समझता है।

फोटोओं के लिए, हमारे पास अद्भुत अनुवादक हैं (जैसे प्रसिद्ध ViT मॉडल)। लेकिन स्प्रेडशीट के लिए? वर्षों से, वैज्ञानिक एक बहुत ही सरल, बुनियादी अनुवादक का उपयोग कर रहे हैं जिसे MLP (एक साधारण, उथला न्यूरल नेटवर्क) कहा जाता है। यह पिज्जा डिलीवर करने के लिए एक साइकिल का उपयोग करने जैसा है जबकि आपके पास स्पोर्ट्स कारों का बेड़ा उपलब्ध है। यह शोध प्रबंध तर्क देता है कि यह एक बहुत बड़ी गलती है क्योंकि शायद वह साइकिल ही कारण है जिससे पिज्जा ठंडा पहुँच रहा है, न कि डिलीवरी का रास्ता।

बड़ी खोज: "अनुवादक" उम्मीद से कहीं अधिक महत्वपूर्ण है

इस अध्ययन के लेखकों ने इस सिद्धांत का परीक्षण करने का निर्णय लिया। उन्होंने उबाऊ साइकिल (साधारण MLP) को हटाकर स्प्रेडशीट के लिए उपलब्ध कुछ सबसे उन्नत, अत्याधुनिक "स्पोर्ट्स कारों" से बदल दिया। इन नए अनुवादकों को इन-कॉन्टेक्स्ट लर्निंग टैबुलर फाउंडेशन मॉडल्स (एक लंबा नाम, तो चलिए इन्हें ICL सुपर-ट्रांसलेटर्स कहते हैं) कहा जाता है।

यहाँ उन्हें जो मोड़ मिला: आपका डिटेक्टिव बॉट कौन सा है जो "सबसे अच्छा" है, इसकी रैंकिंग पूरी तरह से बदल जाती है, यह इस बात पर निर्भर करता है कि आप किस अनुवादक का उपयोग कर रहे हैं।

यदि आप अपने बॉट का परीक्षण एक कमजोर अनुवादक के साथ करते हैं, तो एक फैंसी, जटिल डिटेक्टिव विधि एक जीनियस की तरह लग सकती है। लेकिन यदि आप एक मजबूत अनुवादक पर स्विच करते हैं, तो वही फैंसी विधि औसत लग सकती है, जबकि एक सरल, उबाऊ विधि अचानक एक सुपरहीरो की तरह दिखने लगती है। पेपर सुझाव देता है कि वर्षों से, हम शायद गलत तरीकों की प्रशंसा कर रहे थे क्योंकि हम केवल खराब अनुवादकों का उपयोग कर रहे थे।

"द घोस्ट इन द मशीन" (मशीन में भूत) की समस्या

इन नए ICL सुपर-ट्रांसलेटर्स के साथ एक बड़ी बाधा थी। ये मॉडल एक "कॉन्टेक्स्ट" (हल किए गए उदाहरणों की एक सूची जिसमें उत्तर शामिल हैं) को देखकर एक नए "क्वेरी" (एक रहस्य जिसका उत्तर नहीं है) का अनुमान लगाने का काम करते हैं।

लेखकों ने एक डरावनी गड़बड़ी की खोज की: मॉडल एक ही जानकारी को अलग तरह से देखता है, चाहे वह "कॉन्टेक्स्ट" में हो या "क्वेरी" में।

कल्पना कीजिए कि आप अपने दोस्त को अपनी पसंदीदा फिल्म के बारे में बता रहे हैं।

• कॉन्टेक्स्ट मोड: आप फिल्म के बारे में तब बता रहे हैं जब आप पहले ही अंत देख चुके हैं। आप कहानी के ट्विस्ट जानते हैं।
• क्वेरी मोड: आप फिल्म के बारे में तब बता रहे हैं जब आपने अभी तक अंत नहीं देखा है। आप अनुमान लगा रहे हैं कि आगे क्या होगा।

भले ही यह एक ही फिल्म है, आपका विवरण (इसका "एम्बेडिंग") पूरी तरह से अलग है क्योंकि आपकी ज्ञान की स्थिति अलग है। पेपर ने पाया कि जब ये मॉडल ट्रेनिंग डेटा को "कॉन्टेक्स्ट" की भूमिका में और टेस्ट डेटा को "क्वेरी" की भूमिका में रखते हैं, तो वे कंप्यूटर की मेमोरी में दो अलग-अलग मोहल्लों में पहुँच जाते हैं। यह न्यूयॉर्क के नक्शे को लंदन के नक्शे से मिलाने जैसा है क्योंकि मॉडल इस बात को लेकर भ्रमित हो गया कि वह किस शहर को देख रहा है।

लेखक इस बात को खारिज करते हैं:
लेखकों ने स्पष्ट रूप से इस विचार का परीक्षण किया और इसे खारिज कर दिया कि यह अंतर केवल डेटा के अलग होने के कारण था। उन्होंने दिखाया कि भले ही एक ही डेटा पॉइंट को दोनों भूमिकाओं में उपयोग किया गया हो, फिर भी मॉडल ने उनके साथ अलग व्यवहार किया। यह इन मॉडल्स के काम करने के तरीके में एक संरचनात्मक दोष है, न कि डेटा की समस्या।

द "वैनिला" ट्रैप (साधारण जाल)

इस गड़बड़ी के कारण, लेखकों ने इन मॉडल्स को डेटा फीड करने के तीन तरीके परीक्षण किए:

1. वैनिला (The "Naive" तरीका): बस ट्रेनिंग डेटा को कॉन्टेक्स्ट के रूप में और टेस्ट डेटा को क्वेरी के रूप में फीड करें।
2. LOFO (Leave-One-Fold-Out): डेटा को शफल करने का एक जटिल तरीका ताकि हर चीज़ को क्वेरी बनने का मौका मिले।
3. NP (Non-Partitioned): एक चतुर ट्रिक जहाँ मॉडल ट्रेनिंग डेटा को कॉन्टेक्स्ट और क्वेरी दोनों के रूप में एक साथ देखता है।

फैसला: "वैनिला" तरीका एक आपदा है। पेपर दिखाता है कि नेटिव (naive) तरीके का उपयोग करना लगातार बॉट के प्रदर्शन को खराब करता है। यह स्पोर्ट्स कार चलाने की कोशिश करने जैसा है जिसमें पार्किंग ब्रेक लगा हुआ हो। लेखक इस तरीके को पूरी तरह से टालने का सुझाव देते हैं। इसके बजाय, NP (Non-partitioned) तरीका इन मॉडल्स की पूरी शक्ति को अनलॉक करने की अनुशंसित "चाबी" है।

क्या हमें फैंसी फ्यूजन की आवश्यकता है?

लंबे समय से, शोधकर्ताओं को लगा कि उन्हें फोटो और स्प्रेडशीट को संयोजित करने के लिए अविश्वसनीय रूप से जटिल, महंगे सिस्टम की आवश्यकता है। इन सिस्टमों में लाखों पैरामीटर्स होते हैं और उन्हें विशेष प्री-ट्रेनिंग की आवश्यकता होती है।

पेपर ने एक आश्चर्यजनक बात पाई: उन डेटासेट्स पर जहाँ फोटो और स्प्रेडशीट दोनों उपयोगी हैं, एक सरल "बाइलिनियर फ्यूजन" (एक बुनियादी गणितीय ट्रिक) एक मजबूत अनुवादक के साथ मिलकर, सुपर-जटिल सिस्टम के समान ही अच्छा प्रदर्शन करता है।

वास्तव में, उपयोग किए गए फैंसी जटिल सिस्टम, औसतन, साधारण बेसलाइन की तुलना में 13.2 गुना अधिक पैरामीटर्स वाले थे। लेखक सुझाव देते हैं कि यदि आप एक पर्याप्त मजबूत अनुवादक का उपयोग करते हैं, तो आपको महंगे, ओवर-इंजीनियर्ड फ्यूजन तरीकों की आवश्यकता नहीं है। सरल दृष्टिकोण उतना ही अच्छा है और बहुत सस्ता भी है।

"वन-मोडैलिटी" चेतावनी

पेपर उन डेटासेट्स के बारे में भी चेतावनी देता है जहाँ एक प्रकार का सुराग बेकार है।

• यदि आपके पास ऐसा डेटासेट है जहाँ स्प्रेडशीट केवल शोर (noise) है (जैसे CCD डेटासेट), तो फोटो में स्प्रेडशीट जोड़ने से वास्तव में बॉट के प्रदर्शन को नुकसान पहुँचता है।
• यदि फोटो बेकार है (जैसे Petfinder में, जहाँ स्प्रेडशीट मुख्य है), तो फोटो जोड़ने से नुकसान होता है।

लेखक ने पाया कि फ्यूजन मॉड्यूल जादुई रूप से बेकार सुराग को "अनदेखा" करना नहीं सीखता है। इसके बजाय, यह भ्रमित हो जाता है और केवल अच्छे सुराग के उपयोग की तुलना में खराब प्रदर्शन करता है। यह सुझाव देता है कि डेटा को अंधाधुंध मिलाना हमेशा सही नहीं होता; कभी-कभी, आपको बस सही सुराग चुनना होता है।

हम कितने आश्वस्त हैं?

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने सात अलग-अलग वास्तविक दुनिया के डेटासेट्स (मेडिकल स्किन इमेजेस से लेकर आर्ट ऑक्शन और कार लिस्टिंग तक) में व्यापक प्रयोग चलाए।

• उन्होंने प्रदर्शन को F1 स्कोर (सटीकता का एक मानक तरीका) का उपयोग करके मापा।
• उन्होंने यह साबित करने के लिए सांख्यिकीय उपकरणों (जैसे OLS रिग्रेशन और Spearman कोरिलेशन) का उपयोग किया कि जैसे-जैसे अनुवादक बेहतर होता है, डेटा का "लिफ्ट" कम होता जाता है।
• उन्होंने MMD (Maximum Mean Discrepancy) का उपयोग करके "कॉन्टेक्स्ट-क्वेरी शिफ्ट" की पुष्टि की, जो दो समूहों के बीच की दूरी मापने का एक गणितीय तरीका है।

पेपर निष्कर्ष निकालता है कि अनुवादक का चुनाव एक "क्रिटिकल कॉन्फाउंड" (महत्वपूर्ण भ्रम कारक) है। इसका मतलब है कि यदि आप सही अनुवादक नहीं चुनते हैं, तो आपका पूरा प्रयोग भ्रामक हो सकता है। निष्कर्ष वास्तविक डेटा पर आधारित हैं, न कि केवल सिमुलेशन पर, और लेखक आश्वस्त हैं कि "वैनिला" एक्सट्रैक्शन मेथड से बचना चाहिए और "NP" मेथड ही अधिकांश मामलों के लिए सही तरीका है।

तो अगली बार जब आप एक डिटेक्टिव बॉट बनाएं, तो याद रखें: केवल डिटेक्टिव पर ध्यान केंद्रित न करें; सुनिश्चित करें कि आपका अनुवादक आँखों पर पट्टी बांधे हुए न हो।