The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction
यह अध्ययन प्रदर्शित करता है कि जबकि मल्टीमॉडल एलएलएम (LLMs) केवल स्क्रीनशॉट के आधार पर वास्तविक ए/बी (A/B) परीक्षण परिणामों की विश्वसनीय रूप से भविष्यवाणी नहीं कर सकते क्योंकि उनमें अविश्वसनीय लेबल की ओर एक साझा पूर्वाग्रह है, वे अनिश्चित मामलों की पहचान करने और उनसे बचने के लिए अपनी भविष्यवाणियों को कैलिब्रेट करके सार्थक सटीकता प्राप्त कर सकते हैं, जो एक ऐसी सीमा को दर्शाता है जो उच्च अंतर-रेटर सहमति (inter-rater consensus) के बावजूद संयोग से बेहतर प्रदर्शन करने में मानव विशेषज्ञों की अक्षमता की नकल करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "इन दो संदिग्धों में से कौन दोषी है?" वेबसाइटों की दुनिया में, "संदिग्ध" दो थोड़े अलग संस्करण वाले पेज हैं, और "दोषी" वह संस्करण है जो अधिक लोगों को कुछ खरीदने या साइन अप करने के लिए प्रेरित करता है। इसे A/B टेस्ट कहा जाता है। आमतौर पर, विजेता को खोजने के लिए, आपको दिनों या हफ्तों तक वास्तविक लोगों को साइट के साथ बातचीत करते हुए देखने और प्रतीक्षा करने की आवश्यकता होती है। लेकिन हाल ही में, एक नया प्रकार का जासूस आया है: आर्टिफिशियल इंटेलिजेंस (AI)। सबसे बड़ा सवाल जो हर कोई पूछ रहा है, वह यह है, "क्या एक AI दो वेबसाइटों की तस्वीर देखकर हमें तुरंत बता सकता है कि कौन सा जीतेगा, जिससे हमारा वह प्रतीक्षा करने का समय बच सके?"
इस शोध पत्र को समझने के लिए, आपको यह जानना आवश्यक है कि विज्ञान में "अच्छे" को हम कैसे मापते हैं। सबसे पहले, किस्मत से सही होने और कौशल से सही होने के बीच का अंतर है। यदि आप सिक्का उछालने पर "हेड्स" का अनुमान लगाते हैं, तो आप केवल संयोग से 50% बार सही होंगे। यदि कोई जासूस दावा करता है कि वह जीनियस है लेकिन केवल 51% बार सही होता है, तो वह वास्तव में कुछ विशेष नहीं कर रहा है। वैज्ञानिक "कोहेन का कप्पा" (जिसे हम "स्किल स्कोर" कह सकते हैं) नामक एक विशेष स्कोर का उपयोग करते हैं ताकि किस्मत को हटाकर यह देखा जा सके कि क्या उस जासूस के पास वास्तव में दिमाग है। दूसरा, "साझा पूर्वाग्रह" (Shared Bias) की समस्या है। कल्पना कीजिए कि एक शिक्षक और एक छात्र दोनों एक ही शहर में पले-बढ़े हैं। वे हर बात पर सहमत हो सकते हैं, इसलिए नहीं कि छात्र बुद्धिमान है, बल्कि इसलिए क्योंकि उन दोनों ने अपने माता-पिता से एक ही गलत तथ्य सीखे थे। यदि एक AI और वह लोग जिन्होंने टेस्ट डेटा बनाया है, दोनों ने एक ही "लोक ज्ञान" (folk wisdom) को सीख लिया है, तो वे उत्तर पर सहमत हो सकते हैं, लेकिन इसका मतलब यह नहीं है कि AI भविष्य की भविष्यवाणी कर सकता है।
यह शोध पत्र 'स्क्वूश' (Squoosh) नामक एक टीम द्वारा लिखा गया एक बहुत ही ईमानदार और बहुत सख्त रिपोर्ट है, जिन्होंने इस बड़े सवाल का जवाब देने की कोशिश की। उन्होंने केवल AI को अनुमान लगाने के लिए नहीं कहा; उन्होंने एक जाल बिछाया। उन्होंने अपने नियम शुरू होने से पहले ही लॉक कर दिए थे, ठीक वैसे ही जैसे एक वैज्ञानिक खाना बनाने से पहले रेसिपी लिख देता है, ताकि वे बाद में AI को बेहतर दिखाने के लिए नियमों को बदल न सकें। उन्होंने यह देखने के लिए वास्तविक दुनिया के वेबसाइट परीक्षणों का एक विशाल पुस्तकालय उपयोग किया कि क्या AI वास्तव में विजेताओं की भविष्यवाणी कर सकता है।
यहाँ मोड़ आता है: AI अपने मुख्य काम में ज्यादातर विफल है। जब टीम ने AI से 330 वास्तविक परीक्षणों को देखने और हर बार एक विजेता चुनने के लिए कहा, तो इसने लगभग यादृच्छिक अनुमान (random guessing) से थोड़ा ही बेहतर प्रदर्शन किया। वास्तव में, ऐसा लगा कि AI "अविश्वसनीय" परीक्षणों (जहाँ परिणाम स्पष्ट नहीं था) के साथ अधिक सहमत था बजाय "विश्वसनीय" परीक्षणों के। ऐसा प्रतीत होता है कि AI और टेस्ट डेटा बनाने वाले लोग, वास्तव में यह भविष्यवाणी करने के बजाय कि क्या होगा, इस बारे में दोहरा रहे थे कि एक अच्छी वेबसाइट क्या बनाती है (पुराने मिथकों को)। यहाँ तक कि एक बहुत अधिक स्मार्ट, अधिक महंगी AI का उपयोग करने से भी कोई मदद नहीं मिली; यह उतना ही खराब था। यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि हम केवल एक बेहतर AI "खरीद" सकते हैं या एक बेहतर प्रॉम्प्ट लिखकर इसे हल कर सकते हैं। वह "जादुई क्रिस्टल बॉल" जो केवल स्क्रीनशॉट से वेबसाइट विजेताओं की भविष्यवाणी करती है? वह मौजूद नहीं है।
हालाँकि, यह पेपर यह नहीं कहता कि AI बेकार है। यह कहता है कि AI एक ईमानदार जासूस है। टीम ने एक विशेष ट्रिक खोजी: यदि वे AI को बताते हैं, "केवल तभी अनुमान लगाएं जब आप पूरी तरह से आश्वस्त हों, अन्यथा कहें 'मुझे नहीं पता'," तो AI उन समयों में आश्चर्यजनक रूप से अच्छा हो जाता है जब वह बोलता है। जब AI की आंतरिक न्यायाधीशों की टीम एक उत्तर पर दृढ़ता से सहमत हुई, तो इसने विश्वसनीय परीक्षणों पर लगभग 31% बार सही विजेता चुना। यह कम लग सकता है, लेकिन याद रखें, वास्तविक मानव विशेषज्ञ (जिनके पास वर्षों का अनुभव है) भी औसतन केवल 29% बार ही सही होते हैं। AI कोई सुपर-जीनियस नहीं है; यह बस एक उपकरण है जो जानता है कि वह कब अनुमान लगा रहा है और कब नहीं।
सबसे महत्वपूर्ण निष्कर्ष विश्वास के बारे में है। पेपर दिखाता है कि जब AIs का एक समूह आपस में सहमत होता है, तो इसका मतलब यह नहीं है कि वे सही हैं; अक्सर इसका मतलब केवल यह होता है कि वे सभी एक ही साझा पूर्वाग्रह को दोहरा रहे हैं। यह एक ऐसे जूरी की तरह है जहाँ सभी रिश्तेदार हैं; वे सभी एक ही तरह से वोट करेंगे, लेकिन इससे उनका फैसला सही नहीं हो जाता। पेपर यह भी साबित करता है कि यह "साझा पूर्वाग्रह" मनुष्यों के साथ भी होता है। जब उन्होंने 15 वास्तविक मानव विशेषज्ञों से विजेताओं का अनुमान लगाने के लिए कहा, तो विशेषज्ञ एक-दूसरे के साथ दृढ़ता से सहमत थे, लेकिन वे AI की तरह ही अक्सर गलत भी थे।
तो, अंतिम निष्कर्ष क्या है? पेपर निष्कर्ष निकालता है कि हम एक ऐसा उपकरण नहीं बना सकते जो वेबसाइट विजेताओं की 100% निश्चितता के साथ भविष्यवाणी कर सके। इसके बजाय, सबसे अच्छा उपकरण एक "कैलिब्रेटेड स्क्रीनिंग इंस्ट्रूमेंट" (Calibrated Screening Instrument) है। यह एक ऐसा सिस्टम है जो कहता है, "मुझे विश्वास है कि यह जीतेगा," या "मैं सुनिश्चित नहीं हूँ, मुझसे मत पूछिए।" यह अपनी सीमाओं के प्रति ईमानदार है। पेपर यह भी दिखाता है कि आपको यह करने के लिए बहुत महंगी, बड़ी AI की आवश्यकता नहीं है; यदि आप "ईमानदारी" वाली ट्रिक का उपयोग करते हैं तो एक छोटा, सस्ता संस्करण भी उतना ही अच्छा काम करता है। वास्तविक मूल्य हर बार उत्तर प्राप्त करने में नहीं है; बल्कि यह जानने में है कि आपको किन समय पर उत्तर पर भरोसा नहीं करना चाहिए। पेपर अपने सभी डेटा, अपने विफल प्रयोगों और अपने नियमों को जारी करके समाप्त होता है, जो यह सिद्ध करता है कि कभी-कभी, सबसे महत्वपूर्ण खोज यह स्वीकार करना है कि जादू का खेल काम नहीं करता, लेकिन उसका एक बहुत ही सावधान, बहुत ही ईमानदार संस्करण शायद उपयोगी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।