DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail
DT-Guard एक 4B-पैरामीटर वाला सुरक्षा गार्डरेल है जो "रीज़निंग-एक्टिव ट्रेनिंग, रीज़निंग-फ्री इन्फरेंस" प्रतिमान को अपनाकर उच्च-सटीकता और कम-विलंबता वाली मॉडरेशन प्राप्त करता है, जहाँ यह इन्फरेंस के दौरान केवल संरचित सुरक्षा लेबल उत्सर्जित करने के लिए इरादा-संचालित पर्यवेक्षण और लक्षित कठिन-मामला अनुकूलन के माध्यम से प्रशिक्षण के दौरान जटिल तर्क पैटर्न को आंतरिक रूप से आत्मसात कर लेता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त, हाई-स्पीड एयरपोर्ट सुरक्षा चेकपॉइंट चला रहे हैं। आपका काम हर यात्री (यूज़र का इनपुट) और उनके सामान के हर टुकड़े (AI का रिस्पॉन्स) को स्कैन करना है ताकि कोई भी खतरनाक चीज़ अंदर न जा सके।
चुनौती यह है कि आपको बेहद तेज़ (लो लेटेंसी) होना होगा क्योंकि हज़ारों लोग तेज़ी से निकल रहे हैं, लेकिन आपको बेहद स्मार्ट भी होना होगा क्योंकि कुछ बुरे तत्व चालाकी से हथियारों को छिपाने की कोशिश करते हैं (जेलब्रेक, छिपे हुए इरादे)।
यहाँ इस पेपर का नया सिस्टम, DT-Guard, इस समस्या को कैसे हल करता है, इसे सरल उपमाओं (analogies) के माध्यम through समझाया गया है:
1. पुरानी समस्या: गति बनाम बुद्धिमत्ता (Speed vs. Smarts)
इस पेपर से पहले, सुरक्षा गार्डों के पास दो बुरे विकल्प थे:
- तेज़ गार्ड (क्लासिफिकेशन-आधारित): यह गार्ड बस एक बैग पर एक नज़र डालता है और एक त्वरित चेकलिस्ट के आधार पर चिल्लाता है "सुरक्षित!" या "असुरक्षित!"। वे बहुत तेज़ हैं, लेकिन वे चतुराई से छिपे खतरों को मिस कर देते हैं या पेचीदा सवालों से भ्रमित हो जाते हैं।
- जासूस गार्ड (रीज़निंग-आधारित): यह गार्ड रुकता है, बैग खोलता है, गहराई से सोचता है, और यह समझाने के लिए एक लंबी रिपोर्ट लिखता है कि कोई चीज़ क्यों खतरनाक है, और फिर एक निर्णय लेता है। वे लगभग सब कुछ पकड़ लेते हैं, लेकिन वे बहुत धीमे हैं। यदि आप उन्हें एक व्यस्त हवाई अड्डे पर इस्तेमाल करेंगे, तो लाइन लग जाएगी और सिस्टम क्रैश हो जाएगा।
लक्ष्य: एक ऐसा गार्ड बनाना जो एक जासूस की तरह सोचे लेकिन एक तेज़ गार्ड की तरह चले।
2. समाधान: "रीज़निंग-एक्टिव ट्रेनिंग, रीज़निंग-फ्री इन्फरेंस"
लेखकों ने एक प्रशिक्षण पद्धति बनाई है जिसे DT-Guard कहा जाता है। इसे एक मार्शल आर्ट्स मास्टर द्वारा छात्र को प्रशिक्षित करने की तरह समझें।
ट्रेनिंग के दौरान (दोजो/Dojo): छात्र (AI मॉडल) को ज़ोर से सोचने के लिए मजबूर किया जाता है। उन्हें एक जासूस की तरह स्टेप-बाय-स्टेप अपनी तर्क प्रक्रिया (reasoning) को समझाना होता है। वे पहचानना सीखते हैं:
- इरादा (Intent): यह व्यक्ति वास्तव में क्या करने की कोशिश कर रहा है? (क्या वे एक सवाल पूछ रहे हैं, या सिस्टम को हैक करने की कोशिश कर रहे हैं?)
- श्रेणी (Category): यह किस प्रकार का जोखिम है? (क्या यह नफरत फैलाने वाली भाषा है? अवैध गतिविधि?)
- सुरक्षा (Safety): क्या इसे अंदर जाने देना सुरक्षित है?
- उपमा: छात्र जटिल पहेलियों को ज़ोर से हल करने का अभ्यास करते हैं ताकि उनका दिमाग गहरी लॉजिक को समझ सके।
इन्फरेंस के दौरान (असली काम): एक बार जब छात्र ने तर्क को मास्टर कर लिया, तो उन्हें कहा जाता है: "बोलना बंद करो। बस मुझे जवाब दो।"
- जब एक वास्तविक यात्री सामने आता है, तो गार्ड रिपोर्ट नहीं लिखता। वे तुरंत उस पैटर्न को पहचान लेते हैं जिसका उन्होंने अभ्यास किया था और चिल्लाते हैं "सुरक्षित" या "असुरक्षित"।
- जादू: गहरी सोच अभ्यास के दौरान हुई थी, इसलिए गार्ड को वास्तविक काम के दौरान "ज़ोर से सोचने" की ज़रूरत नहीं है। उन्होंने तर्क को आत्मसात (internalize) कर लिया है।
3. "रोलआउट" ट्रिक: गलतियों से सीखना
पेपर एक चतुर तकनीक पेश करता है जिसे RG-PHO (रोलआउट-गाइडेड प्रोग्रेसिव हार्ड-केस ऑप्टिमाइज़ेशन) कहा जाता है। कल्पना कीजिए कि एक कोच एक खिलाड़ी को लगातार 3 बार एक कठिन शॉट लेने का अभ्यास कराते हुए देख रहा है।
- "स्थिर" (Stable) शॉट्स: यदि खिलाड़ी 3/3 बार लक्ष्य हिट करता है, तो कोच कहता है, "अच्छा है, आगे बढ़ो।" किसी अतिरिक्त काम की आवश्यकता नहीं है।
- "लगातार विफल" (Persistently Failed) शॉट्स: यदि खिलाड़ी 3/3 बार चूक जाता है, तो कोच जानता है कि खिलाड़ी पूरी तरह से भ्रमित है। वे मौलिक गलतफहमी को ठीक करने के लिए हस्तक्षेप करते हैं और कठोर, स्टेप-बाय-स्टेप सुधार (सुपरवाइज्ड फाइन-ट्यूनिंग) देते हैं।
- "अस्थिर" (Unstable) शॉट्स: यदि खिलाड़ी एक बार हिट करता है लेकिन दो बार चूक जाता है, तो वे सही उत्तर जानते हैं लेकिन वे केवल असंगत (inconsistent) हैं। कोच एक टूर्नामेंट (DPO - डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) आयोजित करता है जहाँ खिलाड़ी को अपने "अच्छे" प्रयास और अपने "बुरे" प्रयास के बीच चयन करना होता है, जिससे वे विजेता को लगातार चुनना सीखते हैं।
यह सुनिश्चित करता है कि मॉडल आसान मामलों पर समय बर्बाद न करे और उसे ठीक वहीं अतिरिक्त मदद मिले जहाँ वह संघर्ष कर रहा है।
4. परिणाम: छोटा आकार, बड़ी शक्ति
इस पेपर का सबसे आश्चर्यजनक हिस्सा मॉडल का आकार है।
- अधिकांश टॉप-टियर सुरक्षा गार्ड बहुत बड़े होते हैं (8 बिलियन पैरामीटर्स)। वे भारी, धीमे टैंकों की तरह हैं।
- DT-Guard छोटा है (4 बिलियन पैरामीटर्स)। यह एक फुर्तीले, चुस्त एथलीट की तरह है।
परिणाम:
अपने "भारी टैंकों" के आधे आकार के बावजूद, DT-Guard ने सुरक्षा परीक्षणों पर उनसे बेहतर प्रदर्शन किया।
- इसने छिपे हुए खतरों को अधिक पकड़ा।
- इसने पेचीदा, सीमावर्ती मामलों में कम गलतियाँ कीं।
- इसने यह सब वास्तविक समय के उपयोग के लिए पर्याप्त तेज़ गति से किया।
सारांश
पेपर का दावा है कि सुरक्षित होने के लिए आपको एक धीमे, बातूनी AI की आवश्यकता नहीं है। यदि आप एक छोटे AI को अभ्यास के दौरान गहराई से सोचने (रीज़निंग और इंटेंट लेबल का उपयोग करके) के लिए प्रशिक्षित करते हैं लेकिन काम के दौरान तेज़ी से कार्य करने (केवल सरल लेबल आउटपुट करने) के लिए तैयार करते हैं, तो आपको दोनों का सर्वश्रेष्ठ मिलता है: एक जासूस की बुद्धिमत्ता और एक स्प्रिंटर की गति।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।