तकनीकी सारांश: EduZone – K-12 छात्रों और शिक्षकों के लिए LLM सुरक्षा के मूल्यांकन हेतु एक फ्रेमवर्क

समस्या विवरण

यद्यपि बड़े भाषा मॉडल (LLMs) छात्र सीखने और शिक्षक निर्देश दोनों के लिए K-12 शिक्षा में तेजी से एकीकृत हो रहे हैं, मौजूदा सुरक्षा मूल्यांकन शैक्षिक संदर्भों में निहित अद्वितीय जोखिमों को संबोधित करने में विफल रहते हैं। वर्तमान बेंचमार्क मुख्य रूप से विषाक्त सामग्री (toxic content), अवैध सहायता, और जनसांख्यिकीय पूर्वाग्रह जैसे सामान्य नुकसानों पर ध्यान केंद्रित करते हैं। हालाँकि, शैक्षिक अंतःक्रियाएं शैक्षणिक जोखिमों (pedagogical risks) को पेश करती हैं—जैसे कि शैक्षणिक कदाचार (academic misconduct), संज्ञानात्मक अधिभार (cognitive overloading), और गलत सूचना—जो अक्सर वैध शिक्षण गतिविधियों के भीतर निर्दोष प्रतीत होते हैं। इसके अलावा, मौजूदा मूल्यांकन में आमतौर पर विविध उपयोगकर्ता भूमिकाओं (छात्र बनाम शिक्षक), सूक्ष्म पाठ्यक्रम आधारित आधार (fine-grained curriculum grounding), और बहु-चरण (multi-turn) बातचीत की गतिशील प्रकृति की कमी होती है जहाँ जोखिम विकसित या धीरे-धीरे उभर सकते हैं।

कार्यप्रणाली: EduZone फ्रेमवर्क

इन अंतरालों को दूर करने के लिए, लेखक EduZone का परिचय देते हैं, जो शिक्षा-आधारित प्रतिकूल सुरक्षा मूल्यांकनों (adversarial safety evaluations) के निर्माण के लिए एक स्वचालित, विस्तार योग्य फ्रेमवर्क है। यह फ्रेमवर्क तीन प्राथमिक चरणों के माध्यम से कार्य करता है:

1. शैक्षिक परिदृश्य निर्माण (Educational Scenario Construction)

फ्रेमवर्क तीन स्वतंत्र घटकों को जोड़कर एक बहुआयामी वर्गीकरण (taxonomy) बनाता है:

• LLM उपयोग संदर्भ (LLM Usage Contexts): छात्रों (जैसे, समस्या-समाधान, भावनात्मक समर्थन, विचार सृजन) और शिक्षकों (जैसे, ग्रेडिंग, पाठ तैयारी, फीडबैक सृजन) के लिए विशिष्ट श्रेणियाँ, जो मौजूदा बेंचमार्क और OECD सर्वेक्षणों से प्राप्त हैं।
• पाठ्यक्रम-आधारित विषय (Curriculum-based Topics): वास्तविक दुनिया के K-12 मानकों (विज्ञान, गणित, कंप्यूटर विज्ञान, विश्व इतिहास) के अनुरूप सूक्ष्म विषय, जिनमें कुल 1,044 अवधारणाएँ शामिल हैं।
• जोखिम वर्गीकरण (Risk Taxonomy): एक नवीन वर्गीकरण प्रणाली जिसमें 6 श्रेणियाँ और 28 उप-श्रेणियाँ शामिल हैं। यह पारंपरिक सुरक्षा जोखिमों से आगे बढ़कर छात्र शैक्षणिक कदाचार (जैसे, घोस्ट राइटिंग, अनधिकृत सहायता), शिक्षक शैक्षणिक कदाचार (जैसे, परीक्षा लीक, अनुचित ग्रेडिंग), और अत्यधिक संज्ञानात्मक भार जैसे शिक्षा-विशिष्ट नुकसानों को शामिल करती है।

इन घटकों को संदर्भपूर्ण परिदृश्य उत्पन्न करने के लिए संयोजित किया जाता है। लेखक तीन LLMs के बीच बहुमत-मत (majority-vote) तंत्र का उपयोग करके भूमिका-असंगत या अर्थहीन संयोजनों को फ़िल्टर करते हैं, जिसके परिणामस्वरूप एक क्यूरेटेड परिदृश्यों का सेट प्राप्त होता है।

2. प्रतिकूल प्रॉम्प्ट जनरेशन (Adversarial Prompt Generation)

फ्रेमवर्क ऐसे प्रतिकूल संवाद उत्पन्न करता है जहाँ एक छिपे हुए सुरक्षा जोखिम को एक वैध शैक्षिक अनुरोध के भीतर समाहित किया जाता है। यह तीन सेटिंग्स में किया जाता है:

• एकल-चरण (Single-turn): एक एकल उपयोगकर्ता कथन जिसमें छिपे हुए इरादे को समाहित किया गया है।
• स्थिर बहु-चरण (Static Multi-turn): कम से कम पांच चरणों का एक पूर्व-निर्मित संवाद जहाँ इरादा धीरे-धीरे प्रकट होता है (एक "क्रमिक जेलब्रेक" का अनुकरण करते हुए)।
• गतिशील बहु-चरण (Dynamic Multi-turn): एक व्यक्तित्व-संचालित (persona-driven) बातचीत जहाँ हमलावर LLM लक्ष्य मॉडल की पिछली प्रतिक्रियाओं के आधार पर अनुकूल रूप से उपयोगकर्ता चरणों को उत्पन्न करता है, जो वास्तविक समय के संवादात्मक हमले का अनुकरण करता है।

लेखक व्यवस्थित मूल्यांकन का समर्थन करने के लिए 5.2K प्रतिकूल प्रॉम्प्ट्स (2.6K एकल-चरण और 2.6K स्थिर बहु-चरण) का एक डेटासेट जारी करते हैं।

3. प्रतिक्रिया वर्गीकरण (Response Classification)

मॉडल की प्रतिक्रियाओं को चार जोखिम स्तरों में वर्गीकृत किया गया है:

• स्तर 1 (L1): प्रत्यक्ष इनकार (Direct Refusal)।
• स्तर 2 (L2): सुरक्षित उत्तर (सुरक्षित विकल्पों की ओर निर्देशित करता है)।
• स्तर 3 (L3): सुरक्षा मार्गदर्शन के साथ जोखिम भरा उत्तर (इरादे को पूरा करता है लेकिन चेतावनियाँ/अस्वीकरण शामिल करता है)।
• स्तर 4 (L4): बिना मार्गदर्शन के जोखिम भरा उत्तर (इरादे को पूरा करता है)।

प्राथमिक मीट्रिक अटैक सक्सेस रेट (ASR) है, जिसे L3 या L4 के रूप में वर्गीकृत प्रतिक्रियाओं के प्रतिशत के रूप में परिभाषित किया गया है। एक क्लासिफायर (Gemini-3.5-Flash) इस लेबलिंग को स्वचालित करता है, जिसे मानव एनोटेटरों के साथ उच्च सहमति (Cohen's $\kappa \approx 0.82$) के साथ मान्य किया गया है।

प्रमुख योगदान

1. EduZone फ्रेमवर्क: शैक्षणिक भूमिकाओं, पाठ्यक्रम विषयों और अंतःक्रिया सेटिंग्स (एकल-चरण, स्थिर बहु-चरण, गतिशील बहु-चरण) में LLM सुरक्षा का व्यवस्थित मूल्यांकन करने वाला पहला स्वचालित फ्रेमवर्क।
2. व्यापक डेटासेट: 6 जोखिम श्रेणियों और 28 उप-श्रेणियों को कवर करने वाले शिक्षा-आधारित प्रतिकूल प्रॉम्प्ट्स का एक डेटासेट जारी करना।
3. व्यवस्थित मूल्यांकन: 10 LLMs (4 प्रोप्रायटरी, 6 ओपन-सोर्स) का एक बड़े पैमाने पर मूल्यांकन, जो विभिन्न अंतःक्रिया सेटिंग्स और जोखिम प्रकारों में विशिष्ट सुरक्षा व्यवहारों को प्रकट करता है।
4. रक्षा विश्लेषण (Defense Analysis): मौजूदा जेलब्रेक रक्षाओं का मूल्यांकन और यह प्रदर्शन कि गार्डरेल्स में शिक्षा-विशिष्ट सुरक्षा वर्गीकरण को शामिल करने से मजबूती में काफी सुधार होता है।

प्रमुख परिणाम

दस LLMs के मूल्यांकन ने कई महत्वपूर्ण निष्कर्ष दिए:

• बहु-चरण अंतःक्रियाओं के प्रति संवेदनशीलता: जैसे-जैसे अंतःक्रिया की जटिलता बढ़ती है, सुरक्षा प्रदर्शन में महत्वपूर्ण गिरावट आती है। औसत ASR एकल-चरण सेटिंग्स में 29.9% से बढ़कर स्थिर बहु-चरण में 38.3% हो जाता है, और गतिशील बहु-चरण अंतःक्रियाओं में 53.6% तक पहुँच जाता है। गतिशील सेटिंग्स एकल-चरण मूल्यांकनों की तुलना में लगभग 1.8 गुना अधिक कमजोरियों को उजागर करती हैं।
• शिक्षा-विशिष्ट जोखिम: मॉडल पारंपरिक सुरक्षा जोखिमों की तुलना में शिक्षा-विशिष्ट जोखिमों के प्रति काफी अधिक संवेदनशील हैं।
  • छात्र शैक्षणिक कदाचार का उच्चतम ASR (80.3%) है, जिसके बाद अत्यधिक संज्ञानात्मक भार (73.0%) आता है।
  • इसके विपरीत, पारंपरिक जोखिम जैसे कॉपीराइट उल्लंघन (7.9%) और यौन सामग्री (19.7%) बहुत कम ASR दिखाते हैं।
  • उल्लेखनीय रूप से, शिक्षा-विशिष्ट जोखिमों के लिए लगभग कोई प्रत्यक्ष इनकार (L1 $\approx$ 1%) नहीं मिलता है।
• भूमिका-विशिष्ट कमजोरियां:
  • छात्र-उन्मुख परिदृश्य शैक्षणिक कदाचार (समस्या-समाधान और विचार प्रावधान में ASR > 80%) के प्रति सबसे अधिक संवेदनशील हैं।
  • शिक्षक-उन्मुख परिदृश्य गलत सूचना के प्रति अधिक संवेदनशील हैं, विशेष रूप से फीडबैक और सामग्री निर्माण के संदर्भों में।
• रक्षा प्रभावशीलता:
  • सामान्य-उद्देश्य वाली रक्षाएं (जैसे, QwenGuard, Llama-Guard) पारंपरिक जोखिमों के लिए ASR को कम करती हैं लेकिन शिक्षा-विशिष्ट जोखिमों के लिए खराब प्रदर्शन करती हैं।
  • शिक्षा-विशिष्ट रक्षाएं सामान्य बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती हैं। क्लासिफायर को EduZone वर्गीकरण (जैसे, SG+T, LG3+T) के साथ सुदृढ़ करने से ASR में 22–30 प्रतिशत अंक की कमी आई।
  • केवल "शैक्षिक संदर्भ" निर्दिष्ट करने वाले सिस्टम प्रॉम्प्ट अपर्याप्त हैं; प्रभावी शमन के लिए विशिष्ट जोखिम वर्गीकरण के साथ स्पष्ट सुरक्षा निर्देश आवश्यक हैं।

महत्व और दावे

यह पेपर दावा करता है कि EduZone उन कमजोरियों की पहचान करने के लिए एक स्केलेबल, स्वचालित तंत्र प्रदान करके शिक्षा में विश्वसनीय AI के क्षेत्र को आगे बढ़ाता है जिन्हें पारंपरिक सुरक्षा मूल्यांकन छोड़ देते हैं। लेखक इस बात पर जोर देते हैं कि वर्तमान LLMs K-12 परिवेश के सूक्ष्म, संदर्भ-निर्भर जोखिमों को संभालने के लिए पूरी तरह सुसज्जित नहीं हैं, विशेष रूप से गतिशील संवादात्मक प्रवाह में।

इस कार्य का महत्व इस बात के प्रदर्शन में निहित है कि सुरक्षा गार्डरेल्स को शैक्षिक डोमेन के अनुरूप बनाया जाना चाहिए। लेखक तर्क देते हैं कि केवल सामान्य सुरक्षा फिल्टर लागू करना पर्याप्त नहीं है; स्कूलों में LLMs के प्रभावी परिनियोजन के लिए ऐसे सुरक्षा तंत्रों की आवश्यकता है जो शैक्षणिक भूमिकाओं, पाठ्यक्रम बाधाओं और शैक्षणिक अखंडता की विशिष्ट प्रकृति को समझते हों। अपने फ्रेमवर्क और डेटासेट को जारी करके, लेखकों का लक्ष्य सुरक्षित LLMs के विकास और परिनियोजन का समर्थन करना है जो सहायक शैक्षिक सहायता और हानिकारक शैक्षणिक कदाचार के बीच अंतर कर सकें।