DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training
यह शोध पत्र DART, एक डिस्टिल-ऑडिट-रिपेयर (Distill-Audit-Repair) प्रशिक्षण ढांचे को प्रस्तुत करता है जो "हार्म ड्रिफ्ट" (harm drift) को कम करता है—जहाँ सुरक्षा-ट्यून किए गए मॉडल जनसांख्यिकीय अंतरों को पहचानने में बेहतर होने के साथ-साथ अधिक हानिकारक होते जाते हैं—तर्क को डिस्टिल करके, हानिकारक आउटपुट के लिए ऑडिट करके और उन्हें रिपेयर करके, जिससे अंतर-जागरूक कार्यों पर सटीकता में उल्लेखनीय वृद्धि होती है और हानिकारक सामग्री एवं अनावश्यक इनकार दोनों में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, नेक इरादे वाला रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है, जिसे बेहद विनम्र और सुरक्षित होने के लिए प्रशिक्षित किया गया था। इसका मुख्य नियम था: "कभी भी ऐसा कुछ न कहें जिससे किसी की भावनाओं को ठेस पहुँच सके या जो अनुचित लगे।"
इस कारण से, रोबोट थोड़ा अधिक सतर्क हो गया है। यह हर किसी के साथ बिल्कुल एक जैसा व्यवहार करता है, चाहे स्थिति कैसी भी हो।
समस्या: "नेत्रबंध" (Blindfold) प्रभाव
मान लीजिए कि आप रोबोट से दो प्रश्न पूछते हैं:
- "क्या एक कैथोलिक चर्च को धार्मिक शिक्षा के लिए एक कैथोलिक निदेशक को नियुक्त करना चाहिए?" (इसका उत्तर हाँ है, क्योंकि यह एक धार्मिक भूमिका है।)
- "क्या एक सॉफ्टवेयर कंपनी को कोडिंग नौकरियों के लिए केवल पुरुषों को नियुक्त करना चाहिए?" (इसका उत्तर नहीं है, क्योंकि यह अवैध भेदभाव है।)
क्योंकि रोबलेट "पक्षपाती" होने से इतना डरता है, इसलिए वह आँखों पर पट्टी बाँध लेता है। वह दोनों प्रश्नों के लिए "नहीं" कहता है, यह तर्क देते हुए कि "सभी के साथ बिल्कुल एक जैसा व्यवहार किया जाना चाहिए।"
- परिणाम: वह पहले प्रश्न का उत्तर गलत देता है (उसे हाँ कहना चाहिए था) और दूसरे का सही, लेकिन गलत कारण से। वह पहचान-अंधा (identity-blind) हो रहा है।
"हार्म ड्रिफ्ट" (Harm Drift) का जाल
शोधकर्ताओं ने रोबोट को अंतर समझाकर इसे ठीक करने की कोशिश की। उन्होंने उसे ऐसे उदाहरण दिखाए कि कब समूहों के साथ अलग व्यवहार करना ठीक है (जैसे चर्च का उदाहरण)।
लेकिन यहाँ एक मोड़ आता है: जैसे-जैसे रोबोट सही उत्तर देने में अधिक स्मार्ट होता गया, वह अपने उत्तर के पीछे के कारणों को समझाने में थोड़ा "गंदा" होता गया।
इसे हार्म ड्रिफ्ट (Harm Drift) कहा जाता है।
- पहले: रोबोट कहता था, "मैं इसका उत्तर नहीं दे सकता, यह अनुचित हो सकता है।" (सुरक्षित, लेकिन गलत)।
- प्रशिक्षण के बाद: रोबोट ने कहा, "हाँ, कैथोलिक को नियुक्त करें! क्योंकि कैथोलिक्स में श्रेष्ठ नैतिक समझ होती है और वे स्वाभाविक रूप से इस काम के लिए बेहतर होते हैं।" (सही उत्तर, लेकिन हानिकारक तर्क)
रोबोट ने तथ्य तो सीख लिया, लेकिन अनजाने में उसने हानिकारक रूढ़ियों (stereotypes) का उपयोग करके उसे सही ठहराना भी सीख लिया। यह एक ऐसे छात्र की तरह है जो परीक्षा में सही उत्तर तो लिखता है, लेकिन उसे समझाने के लिए एक द्वेषपूर्ण निबंध लिखता है।
समाधान: DART (डिस्टिल-ऑडिट-रिपेयर)
लेखकों ने इस रोबोट को ठीक करने के लिए एक नया प्रशिक्षण तरीका बनाया है जिसे DART कहा जाता है। इसे रोबोट के लिए तीन-चरणीय कोचिंग प्रक्रिया के रूप में समझें:
1. डिस्टिल (The "Smart Teacher" Phase - "स्मार्ट शिक्षक" चरण)
सबसे पहले, वे एक सुपर-स्मार्ट "शिक्षक" रोबोट को नियुक्त करते हैं। शिक्षक जानता है कि कब "हाँ" या "नहीं" कहना है और क्यों। वे "छात्र" रोबोट को शिक्षक के तर्क की नकल करने के लिए प्रशिक्षित करते हैं।
- उपमा: एक छात्र जो एक जीनियस ट्यूटर से सही उत्तर और उनके पीछे के तर्क को याद कर रहा है।
- परिणाम: छात्र सही उत्तर प्राप्त करता है, लेकिन कभी-कभी ट्यूटर के थोड़े अधिक साहसी या जोखिम भरे स्पष्टीकरणों की नकल भी कर लेता है।
2. ऑडिट (The "Safety Inspector" Phase - "सुरक्षा निरीक्षक" चरण)
इसके बाद, वे एक सख्त सुरक्षा निरीक्षक की भूमिका निभाते हैं। वे छात्र के नए उत्तरों की तुलना पुराने, सुरक्षित (लेकिन गलत) उत्तरों से करते हैं।
- वे हार्म ड्रिफ्ट की जाँच करते हैं: "अरे, तुमने सही उत्तर तो दिया, लेकिन क्या तुम्हारा स्पष्टीकरण पहले की तुलना में अब अधिक कड़वा या रूढ़िवादी हो गया है!"
- वे इन विशिष्ट मामलों को चिह्नित करते हैं।
- उपमा: एक कोच गेम की टेप देखते हुए कहता है, "शानदार गोल! लेकिन तुमने गोल करते समय रेफरी को धक्का दिया। यह एक फाउल है।"
3. रिपेयर (The "Targeted Fix" Phase - "लक्षित सुधार" चरण)
अंत में, वे पूरे रोबोट को फिर से प्रशिक्षित नहीं करते हैं। इसके बजाय, वे केवल उन विशिष्ट मामलों को लेते हैं जहाँ रोबोट का व्यवहार बुरा था और उन्हें एक "सुरक्षित" संस्करण वाला स्पष्टीकरण देते हैं। वे रोबोट को सिखाते हैं कि "हाँ, कैथोलिक को नियुक्त करें" कैसे कहना है, बिना यह कहे कि "क्योंकि वे श्रेष्ठ हैं।"
- उपमा: एक सर्जन द्वारा एक सटीक ऑपरेशन करना ताकि ट्यूमर (हानिकारक तर्क) को निकाला जा सके बिना स्वस्थ ऊतकों (सही तर्क) को नुकसान पहुँचाए।
परिणाम
इस तीन-चरणीय प्रक्रिया के बाद, रोबोट एक गोल्डिलॉक्स (Goldilocks) मॉडल बन गया:
- बहुत अंधा नहीं: वह अंततः समझ जाता है कि कब समूहों के साथ अलग व्यवहार करना ठीक है (जैसे, धार्मिक भूमिकाएँ, चिकित्सा जोखिम)।
- बहुत बुरा नहीं: वह इन अंतरों को बताते समय घृणास्पद भाषा या रूढ़ियों का उपयोग नहीं करता है।
- बहुत शर्मीला नहीं: उसने जाति या धर्म का उल्लेख करने वाले प्रश्नों के उत्तर देने से मना करना बंद कर दिया।
आंकड़ों में:
- सटीकता (Accuracy): कठिन प्रश्नों को सही बताने की उसकी क्षमता 39% से बढ़कर 69% हो गई।
- सुरक्षा (Safety): "हानिकारक स्पष्टीकरणों" में 73% की कमी आई।
- मना करना (Refusals): उत्तर देने से मना करने की दर 34% से घटकर केवल 3% रह गई।
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि होशियार होना और सुरक्षित होना दुश्मन नहीं हैं। आपको एक ऐसे रोबोट को चुनने की ज़रूरत नहीं है जो या तो सच बोलता है या जो दयालु है। सही "ऑडिट और रिपेयर" प्रक्रिया के साथ, आपके पास एक ऐसा रोबोट हो सकता है जो सटीक भी हो और विनम्र भी, भले ही वह संवेदनशील विषयों पर चर्चा कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।