LLM Ghostbusters: Surgical Hallucination Suppression via Adaptive Unlearning
यह योगदान एडेप्टिव अनलर्निंग (AU) को प्रस्तुत करता है, जो एक पोस्ट-डिप्लॉयमेंट फ्रेमवर्क है जो सर्जिकल तरीके से एलएलएम (LLM) के मतिभ्रम (hallucinations) को दबाता है—विशेष रूप से कोड जनरेशन में, जहाँ वे "स्लॉपस्क्वैटिंग" (Slopsquatting) हमलों को सक्षम करते हैं—एक हाइब्रिड टोकन-लेवल ऑब्जेक्टिव और एक एडेप्टिव डिस्कवरी लूप के माध्यम से, जिससे बिना मानव एनोटेशन या पूर्ण मॉडल रिट्रेनिंग की आवश्यकता के मतिभ्रम की दर में 81% की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत रचनात्मक सहायक है जो आपके लिए कंप्यूटर कोड लिखता है। यह सहायक अविश्वसनीय रूप से तेज़ है और "कंप्यूटर" की भाषा में पूरी तरह से बात करता है, लेकिन इसकी एक खतरनाक आदत है: यह कभी-कभी चीजें गढ़ लेता है।
विशेष रूप से, जब उससे कोई प्रोग्राम लिखने के लिए कहा जाता है, तो वह एक ऐसा सॉफ्टवेयर टूल बना सकता है जिसका अस्तित्व ही नहीं है। वह कह सकता है, "आपको super-fast-plotter लाइब्रेरी इंस्टॉल करने की आवश्यकता है," और इसे करने के लिए आपको कमांड भी दे देगा।
यहाँ समस्या यह है कि क्योंकि सहायक बहुत आत्मविश्वास के साथ बोलता है, इसलिए एक डेवलपर वास्तव में उस नाम को इंस्टॉल करने की कोशिश कर सकता है। यदि कोई हैकर देखता है कि सहायक ने यह नाम गढ़ा है, तो वह तुरंत इंटरनेट पर super-fast-plotter नामक एक नकली पैकेज रजिस्टर कर सकता है, उसमें वायरस भर सकता है, और इंतजार कर सकता है। जब डेवलपर (या कोई स्वचालित बॉट) सहायक द्वारा सुझाये गए "टूल" को इंस्टॉल करने की कोशिश करता है, तो वह अनजाने में वायरस डाउनलोड कर लेता है। इसे "स्लॉपस्क्वाटिंग" (SlopSquatting) हमला कहा जाता है।
यह शोध पत्र इस समस्या को ठीक करने के लिए "एडेप्टिव अनलर्निंग" (Adaptive Unlearning - AU) नामक एक नई विधि प्रस्तुत करता है। इसे एक "सर्जिकल इरेज़र" (शल्य चिकित्सा वाले रबर) के रूप में समझें जो सहायक की बुरी आदतों को हटा देता है बिना उसे कोडिंग भूलने दिए।
पुराने समाधानों के साथ समस्या
सामान्यतः, जब कोई AI गलतियाँ करता है, तो आपके पास दो बुरे विकल्प होते हैं:
- पूरे मॉडल को फिर से प्रशिक्षित करना (Retrain): यह सहायक को सब कुछ फिर से सीखने के लिए एक साल तक वापस स्कूल भेजने जैसा है। यह महंगा है, धीमा है, और इस प्रक्रिया में आप अन्य कौशल भी खो सकते हैं।
- बस यह कहना कि, "ऐसा मत करो": यदि आप केवल कहते हैं, "नकली लाइब्रेरी के नाम बनाना बंद करो," तो AI अक्सर भ्रमित हो जाता है। ऐसा हो सकता है कि वह नाम गढ़ना तो बंद कर दे, लेकिन फिर वह सही कोड लिखना भी बंद कर देता है, या वह अन्य गलत चीजें गढ़ने लगता है।
समाधान: एडेप्टिव अनलर्निंग (द "घोस्टबस्टर" अप्रोच)
लेखकों ने एक ऐसा सिस्टम विकसित किया है जो AI की कल्पना के लिए एक "घोस्टबस्टर" (भूत भगाने वाला) की तरह काम करता है। AI की पूरी याददाश्त को मिटाने के बजाय, यह केवल "भूतों" (नकली पैकेज) को सर्जिकल तरीके से हटा देता है जबकि "वास्तविकता" (असली कोड) को बरकरार रखता है।
यह एक सरल तीन-चरणीय लूप का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:
1. डिटेक्टिव लूप (एडेप्टिव डिस्कवरी)
यह सिस्टम केवल यह अनुमान नहीं लगाता कि AI क्या गलत कर सकता है। यह एक जासूस की तरह काम करता है, लगातार AI से पूछता है: "मुझे X, Y और Z के लिए कोड लिखकर दिखाओ।"
- यदि AI एक नकली पैकेज गढ़ता है, तो सिस्टम उसे पकड़ लेता है।
- यदि AI उस विशिष्ट नकली पैकेज को गढ़ना बंद कर देता है, तो सिस्टम सवाल को थोड़ा बदल देता है (एक "म्यूटेशन" या रूपांतरण) ताकि AI को एक नया नकली पैकेज गढ़ने के लिए प्रेरित किया जा सके।
- उपमा: कल्पना कीजिए कि एक शिक्षक लगातार गणित के सवाल बदल रहा है। यदि छात्र ने "2+2" का उत्तर रट लिया है, तो शिक्षक "3+3" पूछता है। लक्ष्य छात्र को गणित के विशिष्ट उत्तर को नहीं, बल्कि गणित के नियम को सिखाना है।
2. सर्जिकल मास्क (ट्राय-मास्किंग/Tri-Masking)
यह इस शोध पत्र की सबसे चतुर तकनीक है। जब AI एक वाक्य लिखता है जैसे "Import real-lib and fake-lib," तो सिस्टम उन शब्दों पर एक विशेष मास्क लगा देता है:
- हरा मास्क (Reinforce - सुदृढ़ करें):
real-libके लिए, यह कहता है, "बहुत अच्छा! याद रखो कि यह असली है।" - लाल मास्क (Suppress - दबाएं):
fake-libके लिए, यह कहता है, "रुको! यह झूठ है। इस नाम को भूल जाओ।" - धूसर/ग्रे मास्क (Ignore - अनदेखा करें): वाक्य के बाकी हिस्से (कोड संरचना, विराम चिह्न) के लिए, यह कहता है, "इसे छुओ मत। सामान्य रूप से कोड लिखना जारी रखो।"
उपमा: कल्पना कीजिए कि एक चित्रकार ने गलती से सफेद दीवार पर लाल धब्बा बना दिया है। पूरे दीवार को फिर से पेंट करने के बजाय (जिससे चित्र बिगड़ सकता है), सिस्टम एक स्टेंसिल का उपयोग करके केवल लाल धब्बे को साफ करता है जबकि पेंटिंग का बाकी हिस्सा सुरक्षित रहता है।
3. "प्रैक्टिस" लूप (नेस्टेड ट्रेनिंग)
सिस्टम केवल एक बार त्रुटि को ठीक करने की कोशिश नहीं करता और आगे नहीं बढ़ जाता। यह पहचानता है कि यदि यह AI की सोच को बहुत तेज़ी से बदलने की कोशिश करता है, तो AI भ्रमित हो जाता है और दीवार पर पेंट करना ही भूल जाता है।
- इसलिए, यह उन "बुरे" उदाहरणों को लेता है जिन्हें इसने पाया है और AI को उन्हें बार-बार सुधारने का अभ्यास करवाता है, इससे पहले कि वह नई गलतियाँ खोजने के लिए बाहर निकले।
- उपमा: यह एक कोच की तरह है जो एक एथलीट को एक विशिष्ट गलत मूवमेंट को लगातार 10 बार अभ्यास करने के लिए कहता है ताकि मांसपेशियों की स्मृति (muscle memory) बन सके, बजाय इसके कि केवल एक बार कहें "ऐसा मत करो" और तुरंत उन्हें एक नई गेंद थमा दें।
परिणाम
इस शोध पत्र ने दो अलग-अलग AI कोडिंग मॉडलों पर इसका परीक्षण किया। यहाँ हुआ:
- नकली पैकेज: AI द्वारा बनाए गए आविष्कारित, खतरनाक पैकेज नामों की संख्या में 81% से 88% की गिरावट आई।
- असली कोड: वास्तविक, कार्यशील कोड लिखने की AI की क्षमता बिल्कुल वैसी ही रही (या थोड़ा बेहतर हुई)।
- सुरक्षा: परिवर्तन इतने सटीक थे कि AI का "मस्तिष्क" केवल "पैकेज नाम" के विशिष्ट क्षेत्र में ही बदला। कोडिंग करने का उसका सामान्य ज्ञान अछूता रहा।
यह क्यों महत्वपूर्ण है
यह एक "पोस्ट-डिप्लॉयमेंट" (तैनाती के बाद का) समाधान है। इसका अर्थ है कि कंपनियों को अपने AI को बंद करने, महीनों तक इसे फिर से प्रशिक्षित करने और इसे नुकसान पहुँचाने के जोखिम उठाने की आवश्यकता नहीं है। वे बस इस "घोस्टबस्टर" प्रक्रिया को अपने मौजूदा AI पर लागू कर सकते हैं और काल्पनिक सॉफ्टवेयर लाइब्रेरी बनाने के विशिष्ट सुरक्षा जोखिम को सर्जिकल तरीके से हटा सकते हैं, जबकि AI को सहायक और बुद्धिमान बनाए रख सकते हैं।
संक्षेप में: यह शोध पत्र हमें सिखाता है कि कैसे AI की कुछ चीजों के बारे में झूठ बोलने की प्रवृत्ति को सर्जिकल तरीके से हटाया जा सकता है (नकली सॉफ्टवेयर पैकेज), बिना उसके वास्तविक काम (कोडिंग) को करने की क्षमता को भुलाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।