Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation
यह शोध पत्र एक स्केलेबल, केवल-अनुमान (inference-only) डेटा ऑडिटिंग पाइपलाइन पेश करता है जो LLM अलाइनमेंट डेटासेट और बेंचमार्क से विरोधाभासी, गलत लेबल वाले या असुरक्षित रिकॉर्ड्स को कुशलतापूर्वक पहचानने और हटाने के लिए शापली वैल्यूज (Shapley values) का अनुमान लगाता है, जिससे मैन्युअल ऑडिट प्रयासों में काफी कमी आती है और मानव-एनोटेटेड ग्राउंड ट्रुथ में महत्वपूर्ण खामियों को उजागर किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक सहायक, सुरक्षित और ईमानदार मानव सहायक बनना सिखाने की कोशिश कर रहे हैं। आप उसे कठोर नियम प्रोग्राम नहीं करते; इसके बजाय, आप उसे अच्छे और बुरे संवादों के लाखों उदाहरण दिखाते हैं, जिससे वह उदाहरणों से सीख सके। इसी तरह आधुनिक एआई (AI) को अपना "व्यक्तित्व" और सुरक्षा फिल्टर मिलते हैं। लेकिन यहाँ एक पेंच है: रोबोट उतना ही अच्छा है जितनी अच्छी आपकी कहानियाँ हैं। यदि आपकी कहानी की किताब गलतियों, झूठ या भ्रमित करने वाले विरोधाभासों से भरी है, तो रोबोट भ्रमित हो जाएगा और अजीब व्यवहार करना शुरू कर सकता है।
लंबे समय तक, इन कहानी की किताबों की जाँच करना एक पहाड़ के बराबर फलों में से एक खराब सेब को खोजने जैसा था, जिसे एक-एक करके देखना पड़ता था। यह धीमा, महंगा था और अक्सर सूक्ष्म समस्याओं को भी छोड़ देता था। वैज्ञानिकों ने यह पता लगाने के लिए गणित का उपयोग करने की कोशिश की कि कौन सी कहानियाँ सबसे महत्वपूर्ण हैं, जिसे "शापली वैल्यू" (Shapley value) नामक विधि कहा जाता है, लेकिन इसका सटीक गणित लगाना इतना भारी काम है कि डेटा के विशाल ढेर के लिए इसमें अनंत समय लग जाएगा। बड़ा सवाल यह है: हम इन विशाल प्रशिक्षण पुस्तकों में छिपी गलतियों, भ्रमित करने वाले विरोधाभासों और खराब सलाहों को बिना हर एक पन्ना पढ़े या रोबोट को फिर से सिखाए बिना, कितनी तेज़ी से पहचान सकते हैं?
यह शोध पत्र एक चतुर नए जासूसी उपकरण को पेश करता है जिसे "इन्फ्लुएंस-बेस्ड डेटा ऑडिटिंग पाइपलाइन" (influence-based data auditing pipeline) कहा जाता है। इसे एक जादुई आवर्धक लेंस (magnifying glass) की तरह समझें जिसे पूरी किताब को फिर से पढ़ने की आवश्यकता नहीं है। पूरे डेटा को फिर से प्रशिक्षित करने के बजाय, शोधकर्ता एक तरकीब का उपयोग करते हैं: वे रोबोट से पूछते हैं, "यदि मैं इसे इस अगली कहानी को पढ़ने से पहले उसे दिखाऊं, तो क्या यह उसे समझने में मदद करता है, या यह उसे भ्रमित करता है?"
शोधकर्ताओं ने समान कहानियों को एक साथ समूहबद्ध करने वाला एक सिस्टम बनाया और फिर उन्हें "अंतर पहचानो" (spot the difference) के खेल की तरह टेस्ट किया। वे एक कहानी लेते हैं और रोबोट से उसका अंत अनुमान लगाने को कहते हैं। फिर, वे रोबोट को पहले एक समान कहानी (जैसे कि एक संकेत के रूप में) दिखाते हैं और फिर से अंत का अनुमान लगाने के लिए कहते हैं। यदि "संकेत" वाली कहानी रोबोट के अनुमान को बदतर बना देती है, तो यह एक बहुत बड़ा रेड फ्लैग (चेतावनी का संकेत) है। इसका मतलब है कि दोनों कहानियाँ एक-दूसरे से लड़ रही हैं, जैसे एक कह रही हो "हमेशा सच बोलो" और दूसरी कह रही हो "इस मामले में झूठ बोलना ठीक है।"
टीम ने इसे दो प्रसिद्ध प्रशिक्षण डेटा संग्रहों पर परखा। पहले, उन्होंने 'हेल्पस्टीयर2' (HelpSteer2) नामक एक डेटासेट को देखा। उनके उपकरण ने पाया कि हजारों रिकॉर्डों में से, वे उन चीजों की सूची को 99.1% तक कम कर सकते थे जिन्हें मनुष्यों को जांचने की आवश्यकता थी। उन्होंने उन छिपे हुए दोषों को उजागर किया जहाँ मनुष्यों ने उन उत्तरों को पूर्ण अंक दिए थे जो वास्तव में मनगढ़ंत तथ्यों से भरे थे या महत्वपूर्ण निर्देशों को अनदेखा कर रहे थे। उदाहरण के लिए, उन्होंने ऐसे मामले खोजे जहाँ एक रोबोट को एक ऐसा निबंध लिखने के लिए सराहा गया जो दिखने में तो एकदम सही था लेकिन उसमें फर्जी तारीखें और फर्जी वैज्ञानिक शोध पत्र शामिल थे, जबकि उसी तरह के फर्जी तथ्यों वाले निबंध को सही ढंग से दंडित किया गया था। इसने एक "सतही पूर्वाग्रह" (superficiality bias) को प्रकट किया, जहाँ मानव समीक्षकों को पाठ (text) कैसा दिखता है यह पसंद आया, लेकिन उन्होंने यह जाँच नहीं की कि तथ्य वास्तविक हैं या नहीं।
इसके बाद, उन्होंने 'HH-RLHF' का ऑडिट किया, जिसका उपयोग रोबोट को दो उत्तरों के बीच चयन करना सिखाने के लिए किया जाता है। उन्होंने हजारों छिपे हुए विरोधाभासों को पाया जहाँ मनुष्यों द्वारा चुना गया "सही" उत्तर वास्तव में खतरनाक या अनुपयोगी था। एक डरावने उदाहरण में, एक मानव समीक्षक ने एक ऐसे जवाब को चुना जिसमें किसी की आँख में मज़ाक के तौर पर ब्लीच डालने का सुझाव दिया गया था, जबकि एक सुरक्षित जवाब को खारिज कर दिया गया जिसने केवल स्पष्टीकरण मांगा था। उपकरण ने उन सुरक्षा जोखिमों को पकड़ लिया जिन्हें मानक जाँच चूक गई थी।
शायद सबसे आश्चर्यजनक रूप से, जब उन्होंने इस उपकरण का उपयोग टेस्ट प्रश्नों (परीक्षाओं जिनका उपयोग रोबलों को ग्रेड देने के लिए किया जाता है) की जाँच करने के लिए किया, तो उन्होंने पाया कि परीक्षा स्वयं ही त्रुटिपूर्ण थी। टेस्ट बैंक में "सही" उत्तर अक्सर गलत थे। कई मामलों में, सबसे स्मार्ट रोबोट वास्तव में सुरक्षित और बेहतर उत्तर चुन रहे थे, लेकिन टेस्ट ने उन्हें "गलत" के रूप में चिह्नित किया क्योंकि मानव-लिखित उत्तर कुंजी दोषपूर्ण थी। यह सुझाव देता है कि एआई सुरक्षा की सबसे बड़ी समस्याओं में से कुछ रोबोट की विफलता नहीं, बल्कि परीक्षणों का अनुचित होना है।
लेखक सावधानीपूर्वक कहते हैं कि हालांकि उनका गणितीय उपकरण बहुत तेज़ और प्रभावी है, फिर भी इसे यह अंतिम निर्णय लेने के लिए एक मनुष्य (या एक बहुत बुद्धिमान एआई जज) की आवश्यकता होती है कि क्या कोई कहानी वास्तव में त्रुटिपूर्ण है। उन्होंने डेटा को स्वयं ठीक नहीं किया, बल्कि उन्होंने एक अत्यधिक कुशल मानचित्र बनाया है जो ठीक वही जगह दिखाता है जहाँ गड्ढे हैं, जिससे शोधकर्ताओं को गड्ढों को खोजने के लिए सड़क के हर इंच को छानने की आवश्यकता से बचाया जा सके। इस पद्धति का उपयोग करके, उन्होंने एक विशाल डेटासेट की जाँच करने के काम को हजारों वस्तुओं को देखने से घटाकर केवल कुछ दर्जन उच्च-प्राथमिकता वाले संदिग्धों तक सीमित कर दिया, जिससे यह सिद्ध हुआ कि कभी-कभी, सच्चाई खोजने का सबसे अच्छा तरीका यह देखना है कि पहेली के टुकड़े एक-दूसरे को कैसे धकेलते और खींचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।