Learning When to Trust via Selective Context Preference Optimization
यह शोध पत्र चयनात्मक विश्वास (selective trust) के लिए एक बेंचमार्क के रूप में MIST प्रस्तुत करता है और SCOPE का प्रस्ताव देता है, जो मॉडलों को भ्रामक संदर्भों का विरोध करने के लिए अनुकूलित करता है और साथ ही सहायक या अप्रासंगिक जानकारी का सही ढंग से उपयोग करने की उनकी क्षमता को बनाए रखता है, जिससे सभी बाहरी संकेतों को केवल अनदेखा करने की सीमा को संबोधित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विलक्षण जासूस हैं जो मेज पर मौजूद सुरागों को देखकर किसी भी रहस्य को सुलझा सकते हैं। आप तर्क में इतने कुशल हैं कि आपके दिमाग में ही किसी पहेली का उत्तर तुरंत निकल आता है। लेकिन तभी, कोई आपके कान में एक संकेत फुसफुसाता है। कभी-कभी, वह संकेत मददगार होता है और सही समाधान की ओर ले जाता है। अन्य समय में, वह एक चाल है—एक बहुत ही सम्मोहक, विश्वसनीय दिखने वाला झूठ जिसे आपका मन बदलने और गलत उत्तर चुनने के लिए बनाया गया है।
यह आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है, जो हमारे साथ चैट करते हैं, कोड लिखते हैं और गणित की समस्याओं को हल करते हैं, वे सुपर-स्मार्ट AI दिमाग हैं। ये मॉडल हमारे जासूस की तरह हैं: वे अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन उनकी एक टेढ़ी आदत है। यदि आप उन्हें एक प्रश्न देते हैं और फिर एक ऐसा वाक्य जोड़ देते हैं जो एक मददगार संकेत जैसा दिखता है लेकिन वास्तव में गलत है, तो वे अक्सर भ्रमित हो जाते हैं और गलत उत्तर दे देते हैं, भले ही वे पहले सही उत्तर जानते थे। वैज्ञानिक इसे "ससेप्टिबिलिटी" (susceptibility - संवेदनशीलता) कहते हैं। बड़ा सवाल यह है कि: हम इन AI जासूसों को झूठ बोलने वालों को अनदेखा करने और सच बोलने वालों को सुनने के बीच कैसे फर्क करना सिखाएं? यदि हम उन्हें बस सभी को अनदेखा करने के लिए कह दें, तो वे बेकार हो जाएंगे क्योंकि वे अच्छे संकेतों को सुनना भी बंद कर देंगे।
यह शोध पत्र इन AI दिमागों को परखने और प्रशिक्षित करने का एक नया तरीका पेश करता है, जो इस समस्या को "कैसे जिद्दी बनें" के रूप में नहीं, बल्कि "कैसे चयनात्मक बनें" के रूप में देखता है। शोधकर्ताओं ने एक विशेष खेल का मैदान बनाया जिसे MIST (मिसलीडिंग सिग्नल टेस्टबेड) कहा जाता है। MIST को एक विशाल गेम शो की तरह समझें जहाँ प्रत्येक प्रतियोगी (AI) एक ही पहेली का चार बार सामना करता है। पहले दौर में, कोई अतिरिक्त संकेत नहीं होते। दूसरे में, एक चालाक झूठा गलत उत्तर फुसफुसाता है। तीसरे में, एक मददगार दोस्त सही उत्तर फुसफुसाता है। चौथे में, एक बड़बोला व्यक्ति पूरी तरह से असंबंधित चीज़ों के बारे में बात करता है। इन चारों परिदृश्यों में से प्रत्येक पर AI की प्रतिक्रिया को देखकर, शोधकर्ता देख सकते थे कि कौन सा AI झूठ पकड़ने में इतना स्मार्ट था कि उसने दोस्त को अनदेखा नहीं किया।
उन्होंने पाया कि यह बात चौंकाने वाली थी: लगभग हर AI मॉडल, जिनका उन्होंने परीक्षण किया, चाहे वे सबसे बड़े सुपर-स्मार्ट हों या छोटे ओपन-सोर्स, वे जाल में फंस गए। जब एक विश्वसनीय लेकिन गलत संकेत जोड़ा गया, तो उनकी सटीकता में काफी गिरावट आई। यहाँ तक कि "सबसे स्मार्ट" मॉडल भी ठगे गए। इससे सिद्ध हुआ कि यह समस्या सार्वभौमिक है; AI केवल लापरवाह नहीं हो रहा है; वह वास्तव में एक मददगार संकेत और एक भ्रामक संकेत के बीच अंतर करने के लिए संघर्ष कर रहा है।
यह शोध पत्र इस पुराने तरीके की आलोचना करता है कि इसे ठीक करने का तरीका क्या है—AI को "प्रतिरोधी" बनने या सभी बाहरी संकेतों को अनदेखा करने के लिए प्रशिक्षित करना—यह एक बुरा विचार है। यह एक जासूस को सभी गवाहों को अनदेखा करने के लिए सिखाने जैसा है, यहाँ तक कि ईमानदार गवाहों को भी, ताकि वह झूठ बोलने वालों से बच सके। परिणाम एक ऐसा जासूस होगा जो झूठ से तो सुरक्षित है लेकिन मामलों को सुलझाने के लिए बेकार है।
इसके बजाय, लेखक एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं जिसे SCOPE (सिलेक्टिव कॉन्टेक्स्ट प्रेफरेंस ऑप्टिमाइजेशन) कहा जाता है। कल्पना कीजिए कि आप एक कुत्ते को प्रशिक्षित कर रहे हैं। यदि आप उसे केवल तब दंडित करते हैं जब वह एक गलत आदेश सुनता है, तो हो सकता है कि वह किसी की भी बात सुनना बंद कर दे। लेकिन यदि आप उसे अच्छे आदेशों को सुनने, बुरे आदेशों को अनदेखा करने और मौसम के बारे में बात करने पर शांत रहने के लिए पुरस्कृत करते हैं, तो वह सीख जाता है कि किसे सुनना है। SCOPE ठीक यही AI के लिए करता है। यह AI की गलतियों (जहाँ वह झूठे व्यक्ति से ठगा गया) को लेता है और उन्हें उन क्षणों के साथ जोड़ता है जहाँ उसने इसे सही किया (जब उसने झूठे को अनदेखा किया या मददगार की बात सुनी)। फिर यह AI को सभी चार स्थितियों में समान रूप से "स्मार्ट" विकल्प चुनने के लिए सिखाता है।
परिणाम उत्साहजनक हैं। जब उन्होंने कुछ लोकप्रिय AI मॉडलों को प्रशिक्षित करने के लिए SCOPE का उपयोग किया, तो मॉडल झूठ पकड़ने में बहुत बेहतर हो गए। उन्होंने गलत संकेतों से ठगना बंद कर दिया, लेकिन उन्होंने सही संकेतों का उपयोग करने या उबाऊ बातों को अनदेखा करने की अपनी क्षमता नहीं खोई। वास्तव में, वे मूल पहेलियों को हल करने में भी बेहतर हो गए। शोधकर्ताओं ने इनका परीक्षण उन अन्य पहेलियों पर किया जिन्हें AI ने पहले कभी नहीं देखा था, और "चयनात्मक विश्वास" का यह कौशल बना रहा। AI ने सीखा कि कब भरोसा करना है, न कि केवल यह कि हर चीज़ पर अविश्वास कैसे करना है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि विश्वसनीय AI का भविष्य सूचना को बाहर रखने के लिए दीवारें बनाने के बारे में नहीं है। यह AI को एक आलोचनात्मक विचारक बनाने के बारे में है: सच सुनने, झूठ को अनदेखा करने और शोर बढ़ने पर भी केंद्रित रहने के बारे में। उन्होंने इस समस्या को पूरी तरह से हल नहीं किया है (कुछ पेचीदा झूठ अभी भी AI को मूर्ख बना देते हैं), लेकिन उन्होंने एक स्पष्ट रास्ता दिखाया है: AI को जिद्दी बनाना छोड़ दें, और उसे बुद्धिमान बनना सिखाना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।