All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
यह शोध पत्र 'राशोमोन एक्सप्लेनेशन' (Rashomon Explanation) प्रतिमान और 'राशोमोनएलएलएम' (RashomomLLM) ढांचे को पेश करके पारंपरिक सटीकता-व्याख्यात्मकता (accuracy-explainability) के बीच के समझौते को चुनौती देता है, जो विविध वास्तविक दुनिया के कार्यों में मॉडल की भविष्यवाणी सटीकता और व्याख्या की गुणवत्ता दोनों को एक साथ सुधारने के लिए विश्वसनीय, प्राकृतिक भाषा की व्याख्याओं के एक सेट का लाभ उठाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को यह भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं कि आगे क्या होगा—जैसे कि क्या कोई ग्राहक बैंक खाता बंद कर देगा या कोई लाइव स्ट्रीम पर क्लिक करेगा। लंबे समय तक, विशेषज्ञों का मानना था कि आपको एक भयानक चुनाव करना होगा: एक ऐसा मॉडल चुनना जो बहुत सटीक हो लेकिन एक "ब्लैक बॉक्स" (आप उससे पूछ नहीं सकते कि उसने जो निर्णय लिया वह क्यों लिया) हो, या एक ऐसा मॉडल चुनना जो समझने में आसान हो लेकिन भविष्यवाणी करने में बहुत अच्छा न हो। यह ऐसा था जैसे यह सोचना कि आप या तो एक स्वादिष्ट केक ले सकते हैं या एक स्वस्थ सलाद, लेकिन दोनों कभी नहीं।
यह पेपर कहता है: वह नियम गलत है।
लेखक तर्क देते हैं कि यदि आप एक मॉडल को यह समझाने के लिए प्रशिक्षित करते हैं कि वह अपनी सोच को कैसे समझाता है, जबकि वह भविष्यवाणी करना सीख रहा होता है, तो वह वास्तव में भविष्यवाणी करने में बेहतर हो जाता है। यह एक ऐसे छात्र की तरह है जो केवल परीक्षा के लिए उत्तरों को रटता नहीं है बल्कि उसे अपने तर्क को चरण-दर-चरण लिखना पड़ता है; समझाने की प्रक्रिया उसे सामग्री को गहराई से समझने के लिए मजबूर करती है, जिससे उसका स्कोर बेहतर होता है।
"एक सत्य" की समस्या
पेपर इस बात पर ध्यान दिलाकर एक बड़ी खामी की ओर इशारा करता है कि हम आमतौर पर AI को समझाने की कोशिश कैसे करते हैं। हम अक्सर किसी मॉडल द्वारा निर्णय लेने के पीछे के कारणों के लिए केवल एक स्पष्टीकरण खोजने की कोशिश करते हैं (जैसे यह कहना कि "आयु सबसे महत्वपूर्ण कारक थी")। लेकिन लेखक दिखाते हैं कि यह जोखिम भरा है।
इसे जासूसों के एक समूह की तरह सोचें जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं। यदि आप केवल एक जासूस की बात सुनते हैं, तो आपको एक ऐसी कहानी मिल सकती है जो वर्तमान में आपके पास मौजूद सुरागों के लिए एकदम सही लगती है, लेकिन यदि स्थिति थोड़ी भी बदल जाती है (एक "डिस्ट्रीब्यूशन शिफ्ट"), तो उस एक जासूस की कहानी बिखर जाती है। पेपर गणितीय रूप से सिद्ध करता है कि कोई भी एक स्पष्टीकरण हर संभावित स्थिति के लिए पूर्ण नहीं है। यह एक विशिष्ट कहानी पर दांव लगाने जैसा है जबकि वास्तव में कई समान रूप से प्रशंसनीय कहानियाँ मौजूद हैं जो डेटा के अनुकूल हैं।
"राशोमोन" समाधान: स्पष्टीकरणों का एक समूह
एक आदर्श कहानी खोजने के बजाय, लेखक स्पष्टीकरणों का एक सेट बनाने का प्रस्ताव देते हैं। वे इसे "राशोमोन एक्सप्लेनेशन सेट" कहते हैं।
एक गायक दल (choir) की कल्पना करें। एक अकेले गायक से एकदम सही स्वर लगाने के लिए कहने के बजाय, आप पूरे गायक दल को गाने के लिए कहते हैं। व्यक्तिगत रूप से, प्रत्येक गायक थोड़ा सा गलत हो सकता है या गीत के किसी अलग हिस्से पर ध्यान केंद्रित कर सकता है, लेकिन जब आप उन्हें मिलाते हैं, तो आपको एक समृद्ध, मजबूत और सटीक सामंजस्य प्राप्त होता है। पेपर दिखाता है कि कई अलग-अलग, विश्वसनीय स्पष्टीकरणों को इकट्ठा करके और उन्हें संयोजित करके, आप एक परिणाम प्राप्त करते हैं जो किसी भी एकल स्पष्टीकरण की तुलना में बहुत अधिक विश्वसनीय है।
उन्होंने यह कैसे किया: "एक्सप्लेन-प्रेडिक्ट-रिफ्लेक्ट" लूप
इस स्पष्टीकरणों के समूह को बनाने के लिए, उन्होंने RashomonLLM नामक एक प्रणाली बनाई। यह एक लार्ज लैंग्वेज मॉडल (LLM)—एक बहुत ही उन्नत AI जो मानव भाषा बोलता है—का उपयोग करता है और तीन-चरणीय टीम स्थापित करता है:
- द एक्सप्लेनर (The Explainer): यह एजेंट डेटा को देखता है और पैटर्न समझाने के लिए प्राकृतिक भाषा में एक कहानी लिखता है (जैसे, "उपयोगकर्ता तब क्लिक करने की संभावना रखते हैं यदि उन्होंने हाल ही में बहुत सारे वीडियो देखे हैं")।
- द प्रेडिक्टर (The Predictor): यह एजेंट उस कहानी को लेता है और केवल उसी कहानी के आधार पर भविष्यवाणियां करने की कोशिश करता है।
- द रिफ्लेक्टर (The Reflector): यह जादुई कदम है। यदि प्रेडिक्टर गलती करता है, तो रिफ्लेक्टर उस त्रुटि को देखता है और कहता है, "हे, हमने जो कहानी लिखी थी वह यहाँ गलत थी। आइए इसे ठीक करने के लिए स्पष्टीकरण को फिर से लिखें।"
वे इस लूप को बार-बार चलाते हैं। मॉडल अपने स्वयं के स्पष्टीकरण को वास्तविकता के साथ बेहतर ढंग से मिलाने के लिए बार-बार लिखता रहता है। पेपर सिद्ध करता है कि कुछ शर्तों के तहत, यह प्रक्रिया कन्वर्ज (converge) होती है, जिसका अर्थ है कि यह सर्वोत्तम संभव स्पष्टीकरणों का सेट मिलने पर रुक जाती है।
परिणाम: बेहतर स्पष्टीकरण, बेहतर भविष्यवाणियां
लेखकों ने तीन अलग-अलग वास्तविक दुनिया के परिदृश्यों पर इसका परीक्षण किया:
- बैंक चर्न (Bank Churn): यह भविष्यवाणी करना कि क्या बैंक ग्राहक छोड़ देगा।
- मेडिकल सर्वाइवल (Medical Survival): यह भविष्यवाणी करना कि ट्रांसप्लांट के बाद मरीज कितने समय तक जीवित रह सकता है।
- लाइव स्ट्रीमिंग (Live Streaming): यह भविष्यवाणी करना कि क्या कोई दर्शक लाइव स्ट्रीम पर क्लिक करेगा (कुआईशौ - Kuaishou के 17.6 मिलियन से अधिक इंटरैक्शन के विशाल डेटासेट का उपयोग करके)।
इन तीनों मामलों में, RashomonLLM ने न केवल अच्छे स्पष्टीकरण दिए; बल्कि इसने परिणाम की भविष्यवाणी करने में मौजूदा सर्वश्रेष्ठ मॉडलों को हरा दिया।
- बैंक डेटा पर, इसने 0.921 की सटीकता प्राप्त की, जो पिछले सर्वश्रेष्ठ 0.902 से बेहतर थी।
- स्ट्रीमिंग डेटा पर, इसने 0.771 की सटीकता प्राप्त की, जो विशेष उद्योग मॉडलों को पछाड़ दिया जो केवल 0.761 तक पहुँच पाते थे।
महत्वपूर्ण रूप से, उन्होंने दिखाया कि सटीकता में वृद्धि विशेष रूप से स्पष्टीकरण की विश्वसनीयता (faithfulness) से आई थी। जब उन्होंने वास्तविक स्पष्टीकरण को एक नकली, यादृच्छिक (random) स्पष्टीकरण से बदल दिया, तो प्रदर्शन गिर गया। यह सिद्ध करता है कि मॉडल इसलिए स्मार्ट हुआ क्योंकि उसे सच्चाई से खुद को समझाने के लिए मजबूर किया गया था।
यह क्या नहीं है
पेपर बहुत सावधानी से उन बातों के बारे में भी बताता है जिनका वह दावा नहीं करता है।
- यह यह दावा नहीं करता कि यह चीजों के "वास्तविक कारण" (जैसे यह साबित करना कि एक विशिष्ट आयु कारण है कि कोई व्यक्ति छोड़ देता है) को खोज लेता है। यह केवल उन पैटर्न को समझाता है जो मॉडल देखता है।
- यह यह नहीं कहता कि एक एकल स्पष्टीकरण बेकार है। यह कहता है कि एक एकल स्पष्टीकरण नाजुक है और यदि दुनिया बदलती है तो विफल हो सकता है, लेकिन उनके सेट शक्तिशाली होते हैं।
- यह यह सुझाव नहीं देता कि यह हर चीज़ के लिए काम करता है। पेपर नोट करता है कि यह तरीका संरचित डेटा (जैसे संख्याओं और श्रेणियों की टेबल) के साथ सबसे अच्छा काम करता है और बिना अतिरिक्त चरणों के कच्चे, असंरचित डेटा जैसे कि मूल छवियों या ऑडियो के साथ संघर्ष कर सकता है।
निचोड़
पेपर सुझाव देता है कि हमें एक स्मार्ट, रहस्यमय ब्लैक बॉक्स और एक सरल, मंद व्हाइट बॉक्स के बीच चयन करने की आवश्यकता नहीं है। AI एजेंटों की एक टीम का उपयोग करके जो लगातार अपने स्वयं के स्पष्टीकरणों की आलोचना और पुनर्लेखन करते हैं, हम ऐसे मॉडल बना सकते हैं जो अत्यधिक सटीक और अपनी सोच के प्रति ईमानदार दोनों हों। यह "सटीकता बनाम व्याख्यात्मकता" के समझौते को एक जीत-जीत (win-win) में बदल देता है, जहाँ मॉडल को बोलने के लिए प्रशिक्षित करना वास्तव में उसे बेहतर सोचने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।