💬 NLP

EthicMind: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue

यह शोध पत्र \textsc{EthicMind} को प्रस्तुत करता है, जो एक जोखिम-सचेत ढांचा है जो अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता के बिना, प्रत्येक मोड़ पर जोखिम और उपयोगकर्ता की भावना का संयुक्त रूप से विश्लेषण करके, संदर्भ-संवेदनशील प्रतिक्रियाएं उत्पन्न करने के लिए नैतिक मार्गदर्शन को भावनात्मक सामंजस्य के साथ गतिशील रूप से संरेखित करता है।

मूल लेखक: Jiawen Deng, Wei Li, Wentao Zhang, Ziyun Jiao, Fuji Ren

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiawen Deng, Wei Li, Wentao Zhang, Ziyun Jiao, Fuji Ren

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट दोस्त से बात कर रहे हैं। आप काफी समय से बातचीत कर रहे हैं, और बातें थोड़ी गंभीर होती जा रही हैं। आप परेशान हैं, शायद थोड़े गुस्से में भी हैं, और आप कुछ ऐसा कहते हैं जो नैतिक रूप से पेचीदा या जोखिम भरा है।

समस्या:
आज के अधिकांश AI चैटबॉट्स दो अलग-अलग लोगों की तरह हैं जो एक ही शरीर में फंसे हुए हैं, और वे एक-दूसरे से बात नहीं कर सकते।

"अच्छा लड़का" (सेफ्टी बॉट): यह हिस्सा नियमों को तोड़ने से डरता है। यदि आप कुछ जोखिम भरा कहते हैं, तो यह तुरंत एक सख्त, रोबोटिक सूट पहन लेता है और कहता है, "यह नियमों के विरुद्ध है। रुकिए।" यह सुरक्षित है, लेकिन यह ठंडा और उपेक्षापूर्ण महसूस होता है, जैसे कोई शिक्षक रोते हुए बच्चे को डांट रहा हो।
"दोस्त" (एम्पैथी बॉट): यह हिस्सा चाहता है कि आप बेहतर महसूस करें। यदि आप दुखी हैं, तो यह आपको गले लगाता है (रूपक के रूप में) और कहता है, "मैं समझ सकता हूँ, यह कठिन है।" लेकिन कभी-कभी, अच्छा दिखने की अपनी उत्सुकता में, यह आपको खुश रखने के लिए आपके बुरे विचारों से सहमत भी हो सकता है।

जब ये दोनों आपस में टकराते हैं, तो रोबोट या तो एक बेरहम रोबोट जैसा लगता है या एक खतरनाक समर्थक (enabler) जैसा। इसे यह नहीं पता कि एक साथ दयालु लेकिन जिम्मेदार कैसे बना जाए, खासकर जब बातचीत लंबी और अधिक जटिल होती जाती है।

समाधान: ETHICMIND
शोधकर्ताओं ने एक नया ढांचा बनाया है जिसे ETHICMIND कहा जाता है। इसे एक नए रोबोट के रूप में नहीं, बल्कि एक बहुत ही स्मार्ट "कंडक्टर" या "ट्रैफिक कंट्रोलर" के रूप में सोचें जो रोबोट के दिमाग के अंदर बैठा है।

यह कैसे काम करता है, इस सरल उपमा का उपयोग करते हुए:

🎻 ऑर्केस्ट्रा की उपमा

कल्पना कीजिए कि चैटबॉट एक ऑर्केस्ट्रा है।

रोबोट (संगीतकार): वे प्रतिभाशाली हैं और कोई भी गाना बजा सकते हैं (टेक्स्ट जनरेट कर सकते हैं)।
समस्या: कंडक्टर के बिना, वायलिन वादक (एम्पैथी) एक दुखद, सुखदायक धुन बजा सकता है जबकि तालवादक (सेफ्टी) खतरे की चेतावनी देने के लिए ड्रम बजाना शुरू कर देता है। परिणाम एक अराजक, भ्रमित करने वाला शोर है।
ETHICMIND कंडक्टर: इससे पहले कि संगीतकार एक भी नोट बजाएं, यह कंडक्टर सामने आता है।

कंडक्टर का तीन-चरणीय नृत्य (बातचीत के हर मोड़ पर):

जासूस (एनालाइज़र):
- यह क्या करता है: कंडक्टर देखता है कि आपने अभी क्या कहा और पूछता है: "क्या यह व्यक्ति खतरे में है? क्या वे कानून तोड़ रहे हैं? क्या वे गुस्से में हैं, डरे हुए हैं, या सिर्फ मजाक कर रहे हैं?"
- जादू: यह केवल "खतरा!" या "दुख" नहीं कहता। यह इस सटीक क्षण के लिए एक विशिष्ट "नियम का सिद्धांत" (Rule of Thumb) बनाता है। उदाहरण के लिए: "उपयोगकर्ता एक परिवार के सदस्य को लेकर गुस्से में है। वे कानून नहीं तोड़ रहे हैं, लेकिन वे रूखे व्यवहार कर रहे हैं। हमें दृढ़ लेकिन दयालु होने की आवश्यकता है।"
रणनीतिकार (प्लानर):
- यह क्या करता है: जासूस की रिपोर्ट के आधार पर, कंडक्टर टोन और रणनीति तय करता है।
- जादू: यह रोबोट को बताता है: "ठीक है, केवल 'रुकिए' मत कहो। इसके बजाय, पहले उनकी नाराजगी को स्वीकार करो, फिर उन्हें कोई जल्दबाजी में निर्णय लेने से पहले सांस लेने का सुझाव धीरे से दो।" यह बोलने से पहले ही दृष्टिकोण की योजना बनाता है।
कलाकार (जेनरेटर):
- यह क्या करता है: अब रोबोट बोलता है। लेकिन वह केवल बेतरतीब ढंग से नहीं बोल रहा है; वह कंडक्टर द्वारा बनाई गई योजना को निभा रहा है।
- जादू: प्रतिक्रिया स्वाभाविक और गर्मजोशी भरी लगती है, लेकिन यह नैतिकता की रेखा को भी बनाए रखती है। यह एक बुद्धिमान मित्र की तरह है जो कहता है, "मैं जानता हूँ कि आप बहुत क्रोधित हैं, और यह ठीक है। लेकिन केवल गुस्से में पुलिस को बुलाना आपको उससे अधिक नुकसान पहुँचा सकता है। आइए पहले इस बारे में बात करते हैं कि आपको वास्तव में क्या परेशान कर रहा है।"

यह एक बड़ी बात क्यों है?

यह गतिशील है: अधिकांश रोबोटों का एक "एक ही आकार सबके लिए" (one-size-fits-all) वाला नियम होता है। यदि आप कुछ बुरा कहते हैं, तो वे हमेशा एक ही बात कहते हैं। ETHICMIND हर बार जब आप बोलते हैं, तो अपनी रणनीति बदल देता है, ठीक वैसे ही जैसे एक वास्तविक इंसान करता है।
यह तराजू को संतुलित करता है: यह रोबोट को बहुत ठंडा (आपकी भावनाओं को अनदेखा करना) या बहुत नरम (आपको कुछ हानिकारक करने देना) होने से रोकता है।
कोई नया प्रशिक्षण आवश्यक नहीं: दिलचस्प बात यह है कि उन्हें रोबोट को एक नई भाषा सिखाने की आवश्यकता नहीं पड़ी। उन्होंने बस उसे बोलने से पहले सोचने का एक बेहतर तरीका दिया।

परिणाम

उनके परीक्षणों में, ETHICMIND का उपयोग करने वाले रोबोट जटिल स्थितियों को संभालने में बहुत बेहतर थे।

पुराना रोबोट: "यह गलत है। ऐसा न करें।" (उपयोगकर्ता खुद को उपेक्षित महसूस करता है और बात करना बंद कर देता है)।
ETHICMIND रोबोट: "मैं देख सकता हूँ कि आप इस स्थिति से वास्तव में निराश हैं। ऐसा महसूस करना स्वाभाविक है। हालांकि, केवल गुस्से में किसी की रिपोर्ट करना अधिक परेशानी पैदा कर सकता है। क्यों न हम पहले यह पता लगाएं कि वास्तव में आपको क्या परेशान कर रहा है?" (उपयोगकर्ता को सुना हुआ महसूस होता है, लेकिन साथ ही उसका मार्गदर्शन भी किया जाता है)।

संक्षेप में: ETHICMIND AI को एक "विवेक" और "भावनात्मक बुद्धिमत्ता" देता है जो एक साथ काम करते हैं, यह सुनिश्चित करते हुए कि रोबोट एक सुरक्षित संरक्षक और एक देखभाल करने वाला दोस्त दोनों है, चाहे बातचीत कितनी भी जटिल क्यों न हो जाए।

यहाँ शोध पत्र "ETHICMIND: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बुद्धिमान संवाद प्रणालियों (dialogue systems) को तेजी से संवेदनशील क्षेत्रों (जैसे, मानसिक स्वास्थ्य, सामाजिक देखभाल) में तैनात किया जा रहा है जहाँ उन्हें भावनात्मक सामंजस्य (सहानुभूति/empathy) और नैतिक सुरक्षा (ethical safety) के बीच संतुलन बनाना होता है। वर्तमान अत्याधुनिक मॉडल आमतौर पर इन दोनों आयामों को अलग-अलग रूप में संबोधित करते हैं:

सहानुभूति-केंद्रित मॉडल (Empathy-focused models) अक्सर भावनात्मक प्रतिध्वनि को प्राथमिकता देते हैं लेकिन अनजाने में हानिकारक मान्यताओं या अनैतिक इरादों को वैध बना सकते हैं।
सुरक्षा-केंद्रित मॉडल (Safety-focused models) अक्सर कठोर नैतिक बाधाओं को लागू करते हैं, जिसके परिणामस्वरूप भावनात्मक रूप से विमुख, उपेक्षापूर्ण, या "उपदेशात्मक" (preachy) प्रतिक्रियाएँ मिलती हैं जो उपयोगकर्ता के विश्वास को कम करती हैं।

मुख्य चुनौती: मौजूदा प्रणालियों में इस बात के तंत्र का अभाव है कि वे संवादात्मक संदर्भ के विकसित होने के साथ अपने व्यवहार को गतिशील रूप से कैसे अनुकूलित करें। मल्टी-टर्न (बहु-चरण) बातचीत में, उपयोगकर्ता की भावनात्मक स्थिति और नैतिक जोखिम बदल सकते हैं (जैसे, संकट से नैतिक संघर्ष की ओर)। "एक ही आकार सभी के लिए उपयुक्त" (one-size-fits-all) दृष्टिकोण सहानुभूतिपूर्ण समर्थन प्रदान करने और नैतिक सीमाओं को बनाए रखने के बीच के तनाव को नेविगेट करने में विफल रहता है, विशेष रूप से नैतिक रूप से संदिग्ध या उच्च-जोखिम वाले परिदृश्यों में।

2. कार्यप्रणाली: ETHICMIND फ्रेमवर्क (Methodology: The ETHICMIND Framework)

लेखक ETHICMIND प्रस्तावित करते हैं, जो एक जोखिम-जागरूक फ्रेमवर्क है जो नैतिक-भावनात्मक संरेखण (ethical-emotional alignment) को एक स्पष्ट टर्न-लेवल निर्णय समस्या के रूप में तैयार करता है। मानक एंड-टू-एंड जनरेशन के विपरीत, ETHICMCLE अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता के बिना इन्फरेंस (inference) के समय कार्य करता है। यह प्रतिक्रिया निर्माण प्रक्रिया को तीन क्रमिक मॉड्यूल में विभाजित करता है:

A. संयुक्त जोखिम और भावना विश्लेषक (Joint Risk and Emotion Analyzer - $A$ )

कार्य: उपयोगकर्ता की वर्तमान स्थिति का अनुमान लगाने के लिए संवाद इतिहास $D_t$ का विश्लेषण करता है।
आउटपुट: एक संरचित टुपल $(c_t, e_t, r_t)$ $(c_{t}, e_{t}, r_{t})$ :
- $c_t$ (नैतिक जोखिम श्रेणी - Ethical Risk Category): बातचीत को छह पूर्व-निर्धारित श्रेणियों में वर्गीकृत करता है (जैसे, गंभीर अवैध आचरण, नैतिक उल्लंघन, नैतिक दुविधाएं, सामाजिक कदाचार, संभावित रूप प्रकार व्यवहार, और निर्दोष बातचीत)।
- $e_t$ (भावना अवस्था - Emotion State): उपयोगकर्ता की भावनात्मक स्थिति का एक मुक्त-पाठ सारांश (यह जटिल/मिश्रित भावनाओं जैसे "शर्मिंदा लेकिन रक्षात्मक" की अनुमति देता है, न कि केवल निश्चित लेबल)।
- $r_t$ (नियमों के सूत्र - Rules of Thumb - RoTs): उपयोगकर्ता के व्यवहार से प्राप्त संक्षिप्त, संदर्भ-विशिष्ट मानद दंड (normative heuristics) (जैसे, "पीड़ितों का उपहास करना गलत है")।

B. रणनीति योजनाकार (Strategy Planner - $P$ )

कार्य: विश्लेषक के आउटपुट और संवाद इतिहास के आधार पर एक उच्च-स्तरीय संचार रणनीति उत्पन्न करता है।
तंत्र:
- प्रारंभिक टर्न ( $t=1$ ): जोखिम-संरेखित सेट से एक "सीड रणनीति" (seed strategy) चुनता है (जैसे, अवैध आचरण के लिए "प्रत्यक्ष चेतावनी", नैतिक दुविधाओं के लिए "परिप्रेक्ष्य विविधीकरण")।
- परवर्ती टर्न ( $t>1$ ): एक जेनेरेटिव मोड में कार्य करता है, जो एक रणनीति प्रॉम्प्ट का निर्माण करता है जिसमें विकसित होता संदर्भ, जोखिम श्रेणी और भावना शामिल होती है। यह सिस्टम को अपना रुख गतिशील रूप से बदलने की अनुमति देता है (जैसे, यदि उपयोगकर्ता स्थिति को बढ़ाता है, तो "हल्के सुधार" से "कठोर सुधार" की ओर जाना)।

C. प्रतिक्रिया जनरेटर (Response Generator - $G$ )

कार्य: अंतिम सहायक प्रतिक्रिया उत्पन्न करता है।
इनपुट: संवाद इतिहास, नियोजित रणनीति $s_t$ , और विश्लेषक के स्पष्ट कंडीशनिंग सिग्नल ( $c_t, e_t, r_t$ )।
लक्ष्य: एक ऐसी प्रतिक्रिया उत्पन्न करना जो नियोजित रणनीति को निष्ठापूर्वक निष्पादित करे, सहानुभूति और नैतिक मार्गदर्शन के बीच संतुलन बनाए।

3. मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

फ्रेमवर्क का कठोरता से परीक्षण करने के लिए, लेखकों ने एक नया मूल्यांकन प्रोटोकॉल पेश किया:

जोखिम-स्तरीकृत डेटासेट (Risk-Stratified Dataset): उन्होंने विविध तनावों की कवरेज सुनिश्चित करने के लिए Prosocial Dialogues डेटासेट के 298 मल्टी-टर्न संवादों को छह नैतिक जोखिम श्रेणियों में पुन: एनोटेट किया।
संदर्भ-जागरूक उपयोगकर्ता सिमुलेशन (Context-Aware User Simulation): विशिष्ट शब्दावली के लिए ओवरफिटिंग को रोकने के लिए, उन्होंने अंतर्निहित इरादे और जोखिम प्रोफाइल को सुरक्षित रखते हुए उपयोगकर्ता के टर्न को सिम्युलेट करने के लिए एक पैराफ्रेसिंग प्रक्रिया का उपयोग किया।
मूल्यांकन आयाम (Evaluation Dimensions): प्रतिक्रियाओं को चार मेट्रिक्स पर स्कोर किया गया:
1. सम्मानजनक स्वर (Respectful Tone): विनम्रता और सुरक्षा।
2. नैतिक मार्गदर्शन (Ethical Guidance): नैतिक/प्रोसोल (prosocial) सलाह की गुणवत्ता।
3. सहानुभूति (Empathy): उपयोगकर्ता की भावनाओं के प्रति संवेदनशीलता।
4. विशिष्टता और जुड़ाव (Specificity & Engagement): बातचीत की प्रासंगिकता और गहराई।
जज (Judges): GPT-4o और Claude-Sonolan-4 का उपयोग करके स्वचालित मूल्यांकन, जिसे मानव वरीयता अध्ययन द्वारा पूरक किया गया।

4. मुख्य परिणाम (Key Results)

ETHICMIND का मूल्यांकन कार्य-विशिष्ट बेसलाइन्स (COSMO-3B, Emotional-LLaMA) और सामान्य-उद्देश्य वाले LLMs (Llama-3, GPT-4o) के विरुद्ध किया गया।

समग्र प्रदर्शन: ETHICMIND के वेरिएंट्स ने सभी आयामों में अपने बैकबोन मॉडल्स को लगातार पछाड़ा।
- उदाहरण: ETHICMIND (GPT-4o पर आधारित) ने उच्चतम समग्र स्कोर (7.89 बनाम बेस GPT-4o के लिए 7.60) प्राप्त किया, जिसमें नैतिक मार्गदर्शन (+0.48) और सहानुभूति (+0.37) में महत्वपूर्ण लाभ हुआ।
जोखिम स्तरीकरण: फ्रेमवर्क ने सभी जोखिम स्तरों में मजबूती दिखाई। इसने उच्च-जोखिम (गंभीर अवैध आचरण) और नैतिक रूप से संदिग्ध (नैतिक दुविधा) परिदृश्यों में सबसे महत्वपूर्ण सुधार दिखाया, जहाँ बेसलाइन अक्सर सुरक्षा और सहानुभूति को संतुलित करने में विफल रहे।
एब्लेशन अध्ययन (Ablation Study): किसी भी घटक (विश्लेषक, RoTs, या योजनाकार) को हटाने से प्रदर्शन में गिरावट आई।
- विश्लेषक को हटाने से सहानुभूति काफी कम हो गई।
- RoTs को हटाने से नैतिक मार्गदर्शन कम हो गया।
- योजनाकार को हटाने से सबसे व्यापक गिरावट आई, जो एक एकीकृत रुख में जोखिम और भावना को एकीकृत करने में इसकी भूमिका की पुष्टि करती है।
मानव मूल्यांकन: युग्म तुलना (pairwise comparisons) में, ETHICMIND बेसलाइन्स की तुलना में 52% से 70% मामलों में पसंदीदा रहा, जिसमें कम टाई (tie) दरें थीं, जो इसके संतुलित दृष्टिकोण के लिए स्पष्ट मानव वरीयता को दर्शाता है।

5. मुख्य योगदान (Key Contributions)

प्रारूपण (Formulation): नैतिक-भावनात्मक संरेखण को एक स्थिर जनरेशन कार्य के बजाय एक स्पष्ट, टर्न-लेवल निर्णय प्रक्रिया के रूप में फिर से परिभाषित किया।
फ्रेमवर्क: ETHICMIND प्रस्तावित किया, जो एक मॉड्यूलर, प्रशिक्षण-मुक्त फ्रेमवर्क है जो जोखिम और भावना का संयुक्त रूप से विश्लेषण करके अनुकूल प्रतिक्रिया रणनीतियों की योजना बनाता है।
मूल्यांकन: एक जोखिम-स्तरीकृत, मल्टी-टर्न मूल्यांकन प्रोटोकॉल पेश किया, जो संदर्भ-जागरूक सिमुलेशन के साथ, यह प्रकट करता है कि वर्तमान मॉडल गतिशील, उच्च-जोखिम वाली बातचीत में काफी संघर्ष करते हैं।

6. महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध पत्र प्रदर्शित करता है कि एक संरचित निर्णय प्रक्रिया के माध्यम से नैतिकता और सहानुभूति के बीच के तनाव को स्पष्ट रूप से मॉडल करना संवाद प्रणालियों की विश्वसनीयता में सुधार करता है। यह ऐसे AI एजेंटों को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जो सुरक्षित और भावनात्मक रूप से बुद्धिमान दोनों हैं, विशेष रूप से मानसिक स्वास्थ्य सहायता जैसे संवेदनशील डोमेन में।

सीमाएं:

इन्फरेंस ओवरहेड (Inference Overhead): बहु-चरणीय प्रक्रिया (विश्लेषक $\to$ योजनाकार $\to$ जनरेटर) प्रति टर्न मॉडल कॉल्स की संख्या को तिगुना कर देती है, जिससे सिंगल-पास जनरेशन की तुलना में विलंबता (latency) और लागत बढ़ जाती है।
डेटा का दायरा: मूल्यांकन Prosocial Dialogues डेटासेट पर निर्भर है, जो वास्तविक दुनिया की नैतिक जटिलताओं या सांस्कृतिक बारीकियों की विविधता को पूरी तरह से कैप्चर नहीं कर सकता है।
मूल्यांकनकर्ता पूर्वाग्रह (Evaluator Bias): हालांकि मानव अध्ययन शामिल किए गए थे, प्राथमिक मूल्यांकन LLM-आधारित जजों पर निर्भर है, जो मानव निर्णय के अनुमान हैं।

निष्कर्ष:
ETHICMIND "हार्ड-कोडेड" सुरक्षा या "शुद्ध भावनात्मक" जनरेशन से हटकर एक गतिशील, संदर्भ-जागरूक संरेखण रणनीति की ओर एक बदलाव का प्रतिनिधित्व करता है। नैतिक और भावनात्मक संरेखण को एक समन्वित निर्णय लेने वाली प्रक्रिया के रूप में मानकर, यह कठोर नैतिक उपदेश या अनियंत्रित सहानुभूति के जोखिमों को कम करता है, जो मानव-केंद्रित AI के लिए अधिक मजबूत आधार प्रदान करता है।