Sharding Prevents LLM Oversight Failures and Adversarial Exploitation
यह शोध पत्र यह प्रदर्शित करता है कि "शार्डिंग" (sharding)—अर्थात मूल्यांकन आवश्यकताओं को अलग-अलग कॉल्स में विभाजित करना और उनके निर्णयों को एकत्रित करना—समग्र एकल-कॉल निर्णयों की तुलना में, भले ही कुल कंप्यूट बजट स्थिर रखा जाए, एलएलएम (LLM) निरीक्षण सटीकता और प्रतिकूल शोषण के विरुद्ध मजबूती में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक टैलेंट शो के मुख्य जज हैं। आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जिसका काम हर एक्ट को नियमों की एक लंबी सूची के विरुद्ध जांचना है: "क्या उन्होंने सुर में गाया? क्या पोशाक सुरक्षित थी? क्या उन्होंने समय पर समाप्त किया?" यदि सूची में केवल तीन नियम हैं, तो रोबट एकदम सटीक है। लेकिन क्या होगा अगर सूची में 100 नियम हों? एक सुपर-स्मार्ट रोबोट भी भी घबरा सकता है। वह सरसरी तौर पर देखना शुरू कर सकता है, अनुमान लगा सकता है, या बहुत थक जाने के कारण बस सब कुछ देखकर "हाँ" कहना शुरू कर सकता है। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में एक समस्या है, विशेष रूप से जब हम एक AI का उपयोग दूसरे के काम की जांच करने के लिए करते हैं। हम इसे "ओवरसाइट" (oversight) कहते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: यदि हम जांच करने वाले रोबोट को अधिक मस्तिष्क शक्ति (अधिक "कंप्यूट" या समय) देते हैं, तो क्या वह अंततः एक विशाल सूची की बेहतर जांच कर पाएगा? या हमें कोई अलग तरकीब अपनाने की आवश्यकता है?
"शार्डिंग प्रिवेंट्स एलएलएम ओवरसाइट फेलियर्स एंड एडवर्सरियल एक्सप्लोइटेशन" (Sharding Prevents LLM Oversight Failures and and Adversarial Exploitation) नामक यह शोध पत्र सीधे इसी टैलेंट शो की अराजकता में उतरता है। शोधकर्ताओं ने पाया कि केवल जांच करने वाले रोबोट को एक विशाल सूची को प्रोसेस करने के लिए अधिक समय या पैसा देने से वास्तव में समस्या हल नहीं होती है। रोबोट अभी भी अभिभूत हो जाता है और गलतियाँ करना शुरू कर देता है, अक्सर वास्तविक विफलताओं को अनदेखा कर देता है या खराब प्रदर्शनों को होने देता है। इसके बजाय, उन्होंने एक चतुर रणनीति खोजी जिसे "शार्डिंग" (sharding) कहा जाता है। एक थके हुए सुपर-जज के बजाय न्यायाधीशों की एक टीम को काम पर रखने के बारे में सोचें। आप 100 नियमों को दस छोटे दस-दस के समूहों में विभाजित करते हैं, और प्रत्येक समूह को एक अलग जज को सौंप देते हैं। भले ही एक एकल थके हुए जज की तुलना में खर्च किया गया कुल समय और पैसा बिल्कुल समान हो, लेकिन न्यायाधीशों की यह टीम बहुत बेहतर काम करती है।
मजेदार बात यह है कि शोधकर्ताओं ने यह भी पाया कि यह "अभिभूत" (overwhelmed) होने की स्थिति एक बड़ी कमजोरी है जिसका बुरे इरादे वाले लोग फायदा उठा सकते हैं। कल्पना कीजिए कि एक चालाक कलाकार जानता है कि रोबोट थक गया है। वे एक ही एक्ट को आठ अलग-अलग तरीकों से प्रस्तुत कर सकते हैं, नियमों का क्रम बदल सकते हैं या अपनी पोशाक का वर्णन करने का तरीका बदल सकते हैं। थका हुआ रोबोट, तालमेल बनाए रखने की कोशिश में, अनजाने में एक ऐसे नियम के लिए "हाँ" कह सकता है जो वास्तव में टूटा हुआ था। चालाक कलाकार बस उस संस्करण को चुनता है जो रोबोट को सबसे अधिक धोखा दे सके। पेपर दिखाता है कि "शार्डिंग" इस चाल को रोकती है। क्योंकि प्रत्येक छोटा जज समूह एक समय में केवल कुछ ही नियमों को देखता है, उन्हें चालाक प्रस्तुति द्वारा आसानी से धोखा नहीं दिया जा सकता। वे वास्तव में नियमों को पढ़ते हैं।
हालाँकि, इसमें एक पेंच है। यदि चालाक कलाकार बहुत कुशल है और हर एक नियम के लिए (यहाँ तक कि उन नियमों के लिए भी जिन्हें छोटे जज ध्यान से पढ़ रहे हैं) एक आदर्श, प्रेरक तर्क लिखता है, तो केवल शार्डिंग पर्याप्त नहीं है। उस स्थिति में, पेपर सुझाव देता है कि एक "डिबेट" (बहस) शैली का बचाव जोड़ा जाए, जहाँ एक जज तर्क दे कि एक्ट अच्छा है और दूसरा तर्क दे कि यह बुरा है, जिससे विचारों के टकराव के आधार पर एक अंतिम निर्णय लिया जा सके। लेकिन अधिकांश स्थितियों के लिए, काम को विभाजित करना ही जादुई कुंजी है।
शोधकर्ताओं ने वास्तविक दुनिया के कार्यों पर इसका परीक्षण किया, जैसे कानूनी अनुबंधों की जांच करना, शोध पत्रों को ग्रेड देना और मेडिकल ट्रायल रिपोर्टों की समीक्षा करना। उन्होंने पाया कि जब नियमों की सूची लंबी होती है, तो छोटे जजों की एक टीम (शार्डिंग) एक एकल, सुपर-पावर्ड जज की तुलना में मानव विशेषज्ञों के साथ बहुत अधिक सहमत होती है जो एक साथ सब कुछ करने की कोशिश करता है। वास्तव में, शार्डिंग का उपयोग करने वाले थोड़े कमजोर जजों की एक टीम एक एकल, बहुत स्मार्ट जज को हरा सकती है जो अकेले सब कुछ करने की कोशिश करता है। उन्होंने यह भी साबित किया कि यह तरीका तब भी काम करता है जब उपयोग की गई कंप्यूटर शक्ति बिल्कुल समान हो। पेपर सुझाव देता है कि समस्या मस्तिष्क शक्ति की कमी नहीं है; यह ध्यान (attention) की कमी है। जब आप एक मस्तिष्क को एक साथ बहुत सारी चीजें पकड़ने के लिए कहते हैं, तो वह गेंद गिरा देता है। भार को विभाजित करने से ध्यान तेज रहता है।
तो, मुख्य निष्कर्ष यह है कि AI को एक विश्वसनीय रेफरी बनाने के लिए, हमें केवल एक विशाल मस्तिष्क पर अधिक पैसा नहीं लगाना चाहिए। इसके बजाय, हमें बड़े काम को छोटे, प्रबंधनीय हिस्सों में तोड़ देना चाहिए और दिमागों की एक टीम को उन्हें संभालने देना चाहिए। यह न केवल AI को अधिक सटीक बनाता है, बल्कि इसे धोखा देना भी बहुत कठिन बना देता है। यह एक स्कूल प्रिंसिपल द्वारा एक घंटे में 500 होमवर्क असाइनमेंट चेक करने के संघर्ष जैसा है, जबकि शिक्षकों का एक पूरा स्टाफ प्रत्येक 100 चेक करके इसे पूरी तरह से कर सकता है। पेपर दिखाता है कि "विभाजित करो और जीतो" (divide and conquer) वाला यह दृष्टिकोण AI को ईमानदार रखने का रहस्य है, भले ही काम कितना भी बड़ा क्यों न हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।