Rashomon Alignment
यह शोध पत्र रशोमोन अलाइनमेंट (RA) को प्रस्तुत करता है, जो एक नया ज्यामितीय माप है जो केवल देखे गए डेटा के बजाय संपूर्ण इनपुट स्पेस में मशीन लर्निंग मॉडलों के बीच कार्यात्मक समानता का आकलन करता है, जो मॉडल चयन और व्याख्यात्मकता जैसे अनुप्रयोगों के लिए वितरण संबंधी विधियों के लिए एक पूरक परिप्रेक्ष्य प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और वह मूंछों और नुकीले कानों को पहचानना सीख जाता है। लेकिन यहाँ एक पेचीदा बात है: दो रोबोट दोनों ही 90% तस्वीरों को सही पहचान सकते हैं, फिर भी वे पूरी तरह से अलग तरीकों से "सोच" रहे हो सकते हैं। एक बैकग्राउंड (पृष्ठभूमि) को देख रहा हो सकता है, जबकि दूसरा कानों पर ध्यान केंद्रित कर रहा हो सकता है। मशीन लर्निंग की दुनिया में, यह एक बहुत बड़ी बात है। यदि आप केवल अंतिम स्कोर (सटीकता/accuracy) देखते हैं, तो आपको लग सकता है कि दो रोबोट जुड़वां भाई हैं, जबकि वास्तव में, वे अजनबी हैं जो बस उस परीक्षण पर सहमत हुए हैं जो आपने उन्हें दिया है। यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट क्षेत्र, "मॉडल समानता" (model similarity) की गहराई में जाता है। यह एक सरल लेकिन गहन प्रश्न पूछता है: हम कैसे जान सकते हैं कि क्या दो AI मॉडल वास्तव में दुनिया को एक ही तरह से देख रहे हैं, या यह सिर्फ एक भाग्यशाली संयोग है? लेखक केवल टेस्ट स्कोर की जांच करने से आगे बढ़कर वास्तविक "डिसीजन बाउंड्रीज़" (decision boundaries)—उन अदृश्य रेखाओं को मैप करना चाहते हैं जिन्हें मॉडल एक श्रेणी को दूसरी से अलग करने के लिए अपने मन में खींचते हैं।
इस पेपर के लेखक, मोइसेस सैंटोस और उनकी टीम, इस समानता को मापने का एक नया तरीका प्रस्तावित करते हैं जिसे Rashomon Alignment कहा जाता है। इसे ऐसे समझें: कल्पना कीजिए कि दो मानचित्रकार (cartographers) एक रहस्यमय द्वीप का नक्शा बना रहे हैं। एक मानचित्रकार केवल द्वीप के उन हिस्सों को बनाता है जहाँ पर्यटक आमतौर पर जाते हैं (लोकप्रिय समुद्र तट और होटल)। दूसरा पूरे द्वीप का नक्शा बनाता है, जिसमें घने, अनछुए जंगल और छिपी हुई गुफाएं भी शामिल हैं। यदि आप केवल पर्यटक क्षेत्रों को देखते हैं, तो उनके नक्शे बिल्कुल समान दिख सकते हैं। लेकिन यदि आप पूरे द्वीप को देखने के लिए ज़ूम आउट करते हैं, तो आप पाएंगे कि एक मानचित्रकार ने वहां पहाड़ बनाया है जहां दूसरे ने झील बनाई थी।
यह शोध पत्र मानचित्र-जांच उपकरण के दो संस्करण पेश करता है। पहला है Distributional Rashomon Alignment (dRA)। यह पहले मानचित्रकार की तरह है; यह यह जांचता है कि मॉडल उस डेटा पर कितना सहमत हैं जिसे उन्होंने वास्तव में देखा है ("पर्यटक स्थल")। दूसरा, और इस पेपर का मुख्य सितारा, Geometric Rashomon Alignment (gRA) है। यह दूसरे मानचित्रकार की तरह है। यह इस बात की परवाह नहीं करता कि डेटा वास्तव में कहाँ है, बल्कि यह मॉडलों को पूरे संभावित स्थान को कवर करने वाले एक पूर्णतः समान ग्रिड (uniform grid) पर अनुमान लगाने के लिए कहता है। यह मॉडलों को उन क्षेत्रों पर अपना पक्ष दिखाने के लिए मजबूर करता है जिन्हें उन्होंने पहले कभी नहीं देखा है, जिससे यह पता चलता है कि उनका आंतरिक तर्क वास्तव में समान है या यह केवल उस विशिष्ट डेटा का एक संयोग है जिस पर उन्हें प्रशिक्षित किया गया था।
इसका परीक्षण करने के लिए, टीम ने UCI मशीन लर्निंग रिपॉजिटरी के 92 अलग-अलग डेटासेट्स का उपयोग करके एक विशाल प्रयोग चलाया। उन्होंने दो प्रकार के डिसीजन ट्रीज़ (decision trees) को एक-दूसरे के विरुद्ध खड़ा किया: "अनप्रून्ड" (unpruned) पेड़ (जिन्हें जंगली और जटिल रूप से बढ़ने की अनुमति दी जाती है, जो अक्सर हर छोटी बारीकी को याद कर लेते हैं) और "प्रून्ड" (pruned) पेड़ (जिन्हें सरल और अधिक सामान्य बनाने के लिए छाँटा जाता है)। उन्होंने पाया कि केवल सटीकता (accuracy) को देखना अक्सर भ्रामक होता है। कई मामलों में, दोनों पेड़ों के स्कोर बहुत समान थे, लेकिन gRA ने खुलासा किया कि वे पूरे स्पेस में निर्णय लेने के तरीके में पूरी तरह से अलग थे।
परिणाम चौंकाने वाले थे। अध्ययन ने दिखाया कि gRA और dRA अलग-अलग, पूरक दृश्य प्रदान करते हैं। कभी-कभी, मॉडल उस डेटा पर पूरी तरह सहमत होते हैं जो उन्होंने देखा है (उच्च dRA), लेकिन बाकी जगहों पर वे पूरी तरह असहमत होते हैं (कम gRA)। यह एक खतरनाक स्थिति है: इसका मतलब है कि मॉडल नाजुक हैं और यदि डेटा में थोड़ा भी बदलाव होता है तो वे बुरी तरह विफल हो सकते हैं। टीम ने पाया कि लगभग 92 डेटासेट्स में, ज्यामितिक संरेखण (gRA) व्यापक रूप से भिन्न था, जो 0 से 1 की पूरी रेंज में फैला हुआ था, जबकि वितरण संरेखण (dRA) उच्च मूल्यों पर केंद्रित था, जो बताता है कि मॉडल अक्सर पूरे द्वीप की तुलना में "पर्यटक स्थलों" पर अधिक सहमत होते हैं।
महत्वपूर्ण रूप से, यह पेपर सुझाव देता है कि केवल सटीकता या केवल डेटा-आधारित सहमति पर भरोसा करना भ्रामक हो सकता है। उदाहरण के लिए, उन्होंने ऐसे मामले पहचाने जहाँ दो मॉडलों की सटीकता बिल्कुल समान थी लेकिन वे संरचनात्मक रूप से बहुत अलग थे (कम gRA), और ऐसे मामले भी जहाँ वे संरचनात्मक रूप से लगभग समान थे (उच्च gRA) लेकिन उनके सटीकता स्कोर अलग थे क्योंकि टेस्ट डेटा किसी कठिन जगह पर था। लेखक निष्कर्ष निकालते हैं कि Geometric Rashomon Alignment एक शक्तिशाली नया उपकरण है। यह सटीकता का स्थान नहीं लेता है, बल्कि समझ की एक महत्वपूर्ण परत जोड़ता है, जिससे हमें यह देखने में मदद मिलती है कि क्या दो मॉडल वास्तव में अपने तर्क में संरेखित हैं या वे केवल उस विशिष्ट डेटा पर दिखावा कर रहे हैं जो हमारे पास उपलब्ध है। यह इंजीनियरों को बेहतर AI टीमें (ensembles) बनाने और यह समझने में मदद कर सकता है कि एक मॉडल गलती क्यों करता है, न कि केवल यह कि उसने गलती की है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।