🤖 machine learning

Curriculum Learning for Safety Alignment

यह शोध पत्र 'स्टेज्ड-कॉम्पिटेंस' (Staged-Competence) का प्रस्ताव देता है, जो एक करिकुलम लर्निंग फ्रेमवर्क है जो प्राथमिकता डेटा को कठिनाई के आधार पर व्यवस्थित करता है और संदर्भ मॉडल (reference model) को प्रगतिशील रूप से अपडेट करता है ताकि सामान्य क्षमताओं को बनाए रखते हुए सुरक्षा संरेखण (safety alignment) के लिए डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) की आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती और जेलब्रेक प्रतिरोधकता में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Sandeep Kumar, Virginia Smith, Chhavi Yadav

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sandeep Kumar, Virginia Smith, Chhavi Yadav

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: AI को सुरक्षित बनाना बहुत नाजुक है

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक सहायक के रूप में प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह दयालु और मददगार हो, लेकिन आपको यह भी सुनिश्चित करना होगा कि वह कभी भी किसी खतरनाक काम के लिए सहमत न हो, जैसे बम बनाना या कार चुराना।

वर्तमान में, इसे सिखाने का मानक तरीका (जिसे DPO कहा जाता है) ऐसा है जैसे रोबोट पर एक साथ बहुत सारे "अच्छे बनाम बुरे" उदाहरणों की बौछार कर देना, और वे भी बिना किसी क्रम के।

खामी: पेपर का तर्क है कि यह तरीका "नाजुक" (brittle) है। यह एक छात्र को भारी ट्रैफिक में तुरंत फेंककर गाड़ी चलाना सिखाने जैसा है। वे उस विशिष्ट ट्रैफिक जाम के नियमों को तो सीख सकते हैं, लेकिन यदि आप उन्हें किसी दूसरे शहर (एक नई स्थिति) में ले जाते हैं या कोई उन्हें अजीब सवाल पूछकर बेवकूफ बनाने की कोशिश करता है (एक "जेलब्रेक" हमला), तो वे अक्सर दुर्घटनाग्रस्त हो जाते हैं। उन्होंने वास्तव में सुरक्षा की अवधारणा नहीं सीखी है; उन्होंने केवल उन विशिष्ट उदाहरणों को याद कर लिया है जो उन्होंने देखे थे।

समाधान: "स्टेज्ड-कॉम्पिटेंस" सिलेबस (चरण-दर-चरण क्षमता पाठ्यक्रम)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे Staged-Competence कहा जाता है। इसे एक अव्यवस्थित फ्लैशकार्ड के ढेर से बदलकर एक संरचित, चरण-दर-चरण स्कूल सिलेबस में बदलने के रूप में समझें।

वे Curriculum Learning (पाठ्यक्रम शिक्षण) की अवधारणा का उपयोग करते हैं, जो इस विचार पर आधारित है कि आपको चीजें आसान से कठिन की ओर सीखनी चाहिए।

यहाँ उनका सिस्टम कैसे काम करता है, इसे तीन सरल चरणों में समझाया गया है:

1. होमवर्क की ग्रेडिंग (कठिनाई स्कोरिंग)

रोबोट द्वारा प्रशिक्षण शुरू करने से पहले, सिस्टम "अच्छे बनाम बुरे" व्यवहार के हर एक उदाहरण को देखता है।

पुराना तरीका: उदाहरणों को बेतरतीब ढंग से चुनें।
नया तरीका: सिस्टम पूछता है, "रोबोट के लिए अभी यह कितना कठिन है?"
- यदि रोबोट पहले से ही उत्तर आसानी से जानता है, तो वह एक आसान (Easy) उदाहरण है।
- यदि रोबोट भ्रमित है या उसके गलत होने की संभावना है, तो वह एक कठिन (Hard) उदाहरण है।
- उपमा: कल्पना कीजिए कि एक शिक्षक गणित के सवालों के ढेर को ग्रेड कर रहा है। वे उन्हें बस यूं ही नहीं बांटते। वे उन्हें छाँटते हैं: "यहाँ कुछ 1+1 के सवाल हैं (आसान), फिर कुछ 2-अंकों का गुणा (मध्यम), और अंत में कुछ कैलकुलस (कठिन)।"

2. तीन-चरण वाला स्कूल (स्टेज्ड ट्रेनिंग)

सब कुछ एक साथ सीखने के बजाय, प्रशिक्षण को तीन चरणों (बकेट) में विभाजित किया गया है।

चरण 1: रोबोट केवल "आसान" उदाहरण देखता है। वह उनमें महारत हासिल करने तक अभ्यास करता है।
चरण 2: रोबोट अब "मध्यम" कठिनाई को संभालने के लिए पर्याप्त "सक्षम" (competent) हो गया है। वह इन्हें सीखता है, जो उसने चरण 1 में सीखा था उस पर आधारित है।
चरण 3: अंत में, वह "कठिन" उदाहरणों का सामना करता है।

सीक्रेट सॉस: इन चरणों के बीच में, सिस्टम रोबोट के "आंतरिक शिक्षक" (रेफरेंस मॉडल) को अपडेट करता है।

उपमा: एक कोच की कल्पना करें। पहले सप्ताह में, कोच आपको रैकेट पकड़ना सिखाता है। एक बार जब आप इसमें महारत हासिल कर लेते हैं, तो कोच आपकी उम्मीदों को अपडेट करता है और आपको स्विंग करना सिखाना शुरू कर देता है; वह आपको केवल रैकेट पकड़ना सिखाना जारी नहीं रखता। रोबोट चरणों के माध्यम से गुजरते समय "बड़ा" होता जाता है, ताकि वह उन बुनियादी बातों को दोबारा सीखने में समय बर्बाद न करे जो वह पहले से जानता है।

3. स्मार्ट सैंपलिंग (क्षमता-आधारित)

एक ही चरण के भीतर भी, रोबोट केवल यादृच्छिक क्रम में उदाहरण नहीं देखता है। उसे वह मिश्रण मिलता है जिसे वह संभाल सकता है और थोड़े कठिन चुनौतियाँ, जो धीरे-धीरे कठिनाई को बढ़ाता जाता है।

उपमा: एक वीडियो गेम के बारे में सोचें। आप अंतिम बॉस (final boss) से शुरुआत नहीं करते। आप ट्यूटोरियल से शुरू करते हैं, फिर पहले स्तर से, फिर दूसरे स्तर से। जैसे-जैसे आप बेहतर होते जाते हैं, गेम स्वचालित रूप से कठिन स्तरों को अनलॉक कर देता है। यह पेपर AI सुरक्षा के लिए यही करता है।

उन्होंने क्या पाया? (परिणाम)

लेखकों ने इसे तीन अलग-अलग प्रकार के AI मॉडल्स पर टेस्ट किया। यहाँ क्या हुआ:

मजबूत सुरक्षा: इस "सिलेबस" के साथ प्रशिक्षित रोबोट "जेलब्रेक" हमलों (वे चालें जिनका उपयोग AI को बुरी बातें कहने के लिए उकसाने के लिए किया जाता है) का विरोध करने में बहुत बेहतर थे। वे इन ट्रिक्स को अनदेखा करने में मानक विधि की तुलना में 20% बेहतर थे।
बेहतर सामान्यीकरण (Generalization): जब उन चीजों के बारे में पूछा गया जो उन्होंने पहले नहीं देखी थीं (Out-of-Distribution), तो वे हानिकारक उत्तर देने की संभावना में 16% कम थे।
गहरी समझ: मानक प्रशिक्षण अक्सर केवल AI को पहली ही पंक्ति में "ना" कहना सिखाता है, फिर वह बाद में चूक सकता है। यह नई विधि AI को पूरी बातचीत के दौरान सुरक्षित रहने के लिए सिखाती है, जैसे एक गार्ड जो केवल दरवाजे पर ही नहीं, बल्कि पूरे समय सतर्क रहता है।
डेटा दक्षता: उन्होंने पाया कि इस विधि के साथ 25% कम डेटा का उपयोग करने पर भी मानक विधि के 100% डेटा के बराबर परिणाम प्राप्त हुए। यह कम पाठ्यपुस्तकों के साथ बेहतर शिक्षा प्राप्त करने जैसा है।
बुद्धिमत्ता का कोई नुकसान नहीं: महत्वपूर्ण रूप से, AI को सुरक्षित बनाने से वह कम बुद्धिमान नहीं हुआ। वह पहले की तरह ही सामान्य प्रश्नों के उत्तर दे सकता था।

"साफ किए गए" डेटासेट का बोनस

पेपर में एक अन्य खोज का भी उल्लेख है। जिन दो बड़े सार्वजनिक डेटासेट्स का उपयोग इन मॉडल्स को प्रशिक्षित करने के लिए किया गया था, वे वास्तव में अस्त-व्यस्त थे।

कभी-कभी, "सुरक्षित" उत्तर वास्तव में खतरनाक था।
कभी-कभी, "असुरक्षित" उत्तर वास्तव में मददगार था।
उपमा: यह एक शिक्षक के उत्तर कुंजी (answer key) के गलत होने जैसा था।
लेखकों ने इन डेटासेट्स को साफ किया, गलतियों को सुधारा और एक नया, अधिक स्वच्छ संस्करण सभी के लिए उपलब्ध कराया।

सारांश

यह पेपर तर्क देता है कि AI को वास्तव में सुरक्षित और मजबूत बनाने के लिए, हमें केवल डेटा को बेतरतीब ढंग से उस पर नहीं फेंकना चाहिए। इसके बजाय, हमें इसे एक मानव छात्र की तरह सिखाना चाहिए: बुनियादी बातों से शुरू करें, क्षमता विकसित करें, और धीरे-धीरे कठिनाई बढ़ाएं। यह "स्टेज्ड-कॉम्पिटेंस" दृष्टिकोण AI को सुरक्षित, ट्रिक्स के प्रति प्रतिरोधी और प्रशिक्षित करने में अधिक कुशल बनाता है, बिना इसे कम मददगार बनाए।

तकनीकी सारांश: सुरक्षा संरेखण (Safety Alignment) के लिए करिकुलम लर्निंग

समस्या विवरण (Problem Statement)

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) बिना किसी अलग रिवॉर्ड मॉडल के, मानव प्राथमिकता युग्मों (human preference pairs) से सीखकर लार्ज लैंग्वेज मॉडल्स (LLMs) को सुरक्षा-संरेखित करने के लिए एक मानक दृष्टिकोण बन गया है। हालांकि, पूर्व शोध संकेत देते हैं कि मानक DPO भंगुर (brittle) है, जो आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रॉम्प्ट्स के प्रति खराब सामान्यीकरण (generalization) प्रदर्शित करता है और सरल जेलब्रेकिंग हमलों का प्रतिरोध करने में विफल रहता है। इसके अलावा, मानक DPO में सुरक्षा संरेखण अक्सर प्रतिक्रिया के केवल पहले कुछ टोकन तक ही सीमित रहता है, जिससे बाद के टोकन असुरक्षित रह जाते हैं। करिकुलम लर्निंग (उदाहरणों को आसान से कठिन के क्रम में व्यवस्थित करना) ने मशीन अनुवाद और सामान्य संरेखण जैसे अन्य डोमेन में अभिसरण (convergence) और मजबूती सुधारने में सफलता दिखाई है, लेकिन DPO-आधारित सुरक्षा संरेखण की विशिष्ट भंगुरता को संबोधित करने में इसकी क्षमता का अब तक व्यापक रूप से अन्वेषण नहीं किया गया है।

कार्यप्रणाली: स्टेज्ड-कॉम्पिटेंस (Methodology: Staged-Competence)

लेखक स्टेज्ड-कॉम्पिटेंस (Staged-Competence) का प्रस्ताव करते हैं, जो DPO-आधारित सुरक्षा संरेखण की मजबूती सुधारने के लिए डिज़ाइन किया गया एक करिकुलम-आधारित ढांचा है। यह विधि दो प्राथमिक चरणों से मिलकर बनी है:

चरण 1: कठिनाई स्कोरिंग (Preference Alignment Margin)

स्थिर ह्यूरिस्टिक्स या स्थानीय प्रॉम्प्ट-आधारित स्कोरिंग पर निर्भर पिछले दृष्टिकोणों के विपरीत, स्टेज्ड-कॉम्पिटेंस कठिनाई को एक मॉडल-निर्भर (model-dependent) तरीके से परिभाषित करता है।

तंत्र (Mechanism): प्रत्येक प्रॉम्प्ट $x_i$ के लिए, अनअलाइन्ड बेस मॉडल एक ज़ीरो-शॉट प्रतिक्रिया $\hat{y}_i$ उत्पन्न करता है।
स्कोरिंग: लेखक ज़ीरो-शॉट प्रतिक्रिया, सुरक्षित (चुनी गई) प्रतिक्रिया $y^+_i$ , और असुरक्षित (अस्वीकृत) प्रतिक्रिया $y^-_i$ के एम्बेडिंग्स की गणना करते हैं। वे एक प्रेफरेंस अलाइनमेंट मार्जिन ( $m_i$ ) को परिभाषित करते हैं:
$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$
क्रम (Ordering): एक बड़ा सकारात्मक मार्जिन इंग दर्शाता है कि मॉडल पहले से ही सुरक्षित और असुरक्षित व्यवहार के बीच अंतर कर पा रहा है (आसान उदाहरण), जबकि एक छोटा या नकारात्मक मार्जिन मिसअलाइनमेंट (कठिन उदाहरण) को दर्शाता है। डेटासेट को इस मार्जिन द्वारा वैश्विक स्तर पर व्यवस्थित किया जाता है ताकि एक 'आसान-से-कठिन' करिकुलम बनाया जा सके।

चरण 2: करिकुलम ट्रेनिंग (Curriculum Training)

ट्रेनिंग एल्गोरिदम स्टेज्ड रेफरेंस-मॉडल अपडेट्स को कॉम्पिटेंस-आधारित सैंपलिंग के साथ जोड़ता है ताकि चरणों के भीतर और चरणों के बीच एक सूक्ष्म (granular) आसान-से-कठिन प्रगति सुनिश्चित की जा सके।

स्टेजिंग (Staging): सॉर्ट किए गए डेटासेट को बढ़ते कठिनाई वाले $K$ बकेट (जैसे, $K=3$ ) में विभाजित किया गया है।
रेफरेंस अपडेट्स: चरणों के बीच, रेफरेंस पॉलिसी को अपडेट किया जाता है ( $\pi^{(k+1)}_{ref} = \pi^{(k)}$ )। यह अगली स्टेज की पॉलिसी को पिछले सीखे गए कॉन्सेप्ट्स को फिर से सीखने के बजाय वर्तमान कठिनाई बकेट को आत्मसात करने पर ध्यान केंद्रित करने की अनुमति देता है।
कॉम्पिटेंस-आधारित सैंपलिंग: प्रत्येक स्टेज के भीतर, एक कॉम्पिटेंस फंक्शन $c(t)$ (जो स्क्वायर-रूट शेड्यूल पर आधारित है) एक कठिनाई थ्रेशोल्ड निर्धारित करता है। केवल वे उदाहरण जिनकी कठिनाई $d_i \leq c(t)$ है, स्टेप $t$ पर मिनी-बैच सैंपलिंग के लिए पात्र होते हैं। यह सुनिश्चित करता है कि कठिन उदाहरणों को धीरे-धीरे पेश किया जाए, जिससे मॉडल को सीखने को सुदृढ़ करने का समय मिले।

मुख्य योगदान (Key Contributions)

स्टेज्ड-कॉम्पिटेंस फ्रेमवर्क: DPO-आधारित सुरक्षा संरेखण के लिए करिकुलम लर्निंग लागू करने वाला पहला व्यवस्थित अध्ययन, जो एक वैश्विक, मॉडल-निर्भर कठिनाई व्यवस्था और एक हाइब्रिड ट्रेनिंग एल्गोरिदम पेश करता है।
क्लीनड-PKU-HH-SafeRLHF डेटासेट: लेखकों ने लोकप्रिय सुरक्षा डेटासेट्स (PKU-SafeRLHF और HH-RLHF) में व्यापक विसंगतियों की पहचान की है, जहाँ "चुनी गई" प्रतिक्रियाएं अक्सर असुरक्षित होती हैं और "अस्वीकृत" प्रतिक्रियाएं अक्सर सुरक्षित होती हैं। वे प्रशिक्षण के लिए उच्च-गुणवत्ता वाले प्रेफरेंस लेबल सुनिश्चित करने हेतु GPT-4o-mini जज द्वारा फ़िल्टर किया गया एक क्लीनड, संयुक्त डेटासेट प्रदान करते हैं।
एब्लेशन और विश्लेषण: तीन मॉडल परिवारों (LLaMA-3, Qwen3, Yi-1.5) में करिकुलम डिज़ाइन विकल्पों (ऑर्डरिंग, सैंपलिंग, रेफरेंस अपडेट्स) का व्यवस्थित मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों को क्लीनड डेटासेट का उपयोग करके तीन मॉडल परिवारों (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) में आयोजित किया गया।

OOD और हमलों के प्रति मजबूती: मानक DPO की तुलना में, स्टेज्ड-कॉम्पिटेंस ने सामान्य क्षमताओं (MMLU, HellaSwag) को बनाए रखते हुए और ओवर-रिफ्यूजल को लगभग शून्य रखते हुए, OOD हानिकारक प्रतिक्रिया दरों में औसतन 16% और जेलब्रेक अटैक सक्सेस रेट में 20% की कमी की।
अलाइनमेंट गहराई (Alignment Depth): प्रति-टोकन सप्रेशन के विश्लेषण से पता चला कि स्टेज्ड-कॉम्पिटेंस लगभग 3× अधिक रिवॉर्ड मार्जिन सेपरेशन प्राप्त करता है और प्रतिक्रिया के दौरान (केवल शुरुआती टोकन ही नहीं) सुरक्षा दमन को बनाए रखता है। यह गहरी अलाइनमेंट प्रीफिल-आधारित जेलब्रेक हमलों के प्रतिरोध से संबंधित है।
डेटा दक्षता: स्टेज्ड-कॉम्पिटेंस ने केवल 75% डेटा का उपयोग करके 100% डेटा पर प्रशिक्षित मानक DPO के सुरक्षा प्रदर्शन के बराबर प्रदर्शन किया।
स्केलिंग: मानक DPO की तुलना में स्टेज्ड-कॉम्पिटेंस का सुरक्षा लाभ मॉडल के आकार के साथ बढ़ने के साथ बढ़ता गया। जबकि मानक DPO का प्रदर्शन मॉडल का आकार बढ़ने (1.7B से 8B पैरामीटर्स) के साथ काफी गिर गया, स्टेज्ड-कॉम्पिटेंस ने विभिन्न स्केल्स पर निरंतर सुरक्षा प्रदर्शन बनाए रखा।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्टेज्ड-कॉम्पिटेंस यह प्रदर्शित करता है कि करिकुलम लर्निंग सुरक्षा संरेखण के लिए एक सार्थक और कम उपयोग किया जाने वाला लीवर है। अपने प्रेफरेंस डेटा को कठिनाई के आधार पर व्यवस्थित करके और प्रोग्रेसिवली रेफरेंस मॉडल को अपडेट करके, यह विधि अधिक मजबूत सुरक्षा फीचर्स तैयार करती है जो OOD परिदृश्यों और एडवरसेरियल हमलों के प्रति बेहतर सामान्यीकरण करते हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण अंडरलाइंग पॉलिसी ऑप्टिमाइज़ेशन लॉस के प्रति उदासीन (agnostic) है, जिसका अर्थ है कि यह सुरक्षा के अलावा अन्य अन्य DPO वेरिएंट्स और अलाइनमेंट डोमेन तक विस्तार कर सकता है। वे निष्कर्ष निकालते हैं कि जबकि मानक DPO भंगुर है, संरचित आसान-से-कठिन लर्निंग सामान्य मॉडल क्षमताओं से समझौता किए बिना सुरक्षा संरेखण की मजबूती और डेटा दक्षता को महत्वपूर्ण रूप से बढ़ा सकती है।