💬 NLP

DiPS: Dialogue Policy Selection for High-Stakes Persuasion Agents

यह शोध पत्र DiPS का प्रस्ताव करता है, जो एक Q-learning फ्रेमवर्क है जो उच्च-जोखिम वाले अग्नि-बचाव परिदृश्यों में निकासी सफलता दरों को सुधारने के लिए निवासी के कथनों के आधार पर अनुकूलित अनुनय रणनीतियों को गतिशील रूप से चुनता है, और सिम्युलेटेड एवं वास्तविक मानव अंतःक्रियाओं दोनों में ज़ीरो-शॉट LLMs और जेनेरिक RAG दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Tianyi Zhang, Mousumi Das, Abrar Anwar, Jesse Thomason, David Traum

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyi Zhang, Mousumi Das, Abrar Anwar, Jesse Thomason, David Traum

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक बेहद गंभीर आपात स्थिति है जहाँ एक जंगल की आग (wildfire) एक छोटे से शहर की ओर तेज़ी से बढ़ रही है। शहर के निवासी एक डिस्पैचर (जिसे "ऑपरेटर" कहा जाता है) के साथ फोन पर हैं, जो यह तय करने की कोशिश कर रहे हैं कि उन्हें भाग जाना चाहिए या वहीं रुकना चाहिए। कुछ निवासी जिद्दी हैं, कुछ डरे हुए हैं, कुछ अपने पालतू जानवरों को लेकर चिंतित हैं, और कुछ ऐसे हैं जिनके साथ बुजुर्ग परिवार के सदस्य हैं जो तेज़ी से नहीं चल सकते।

यदि डिस्पैचर हर किसी के लिए एक ही सटीक स्क्रिप्ट का उपयोग करता है—एक डरी हुई दादी माँ को भी "अभी निकलें!" चिल्लाकर कहना और एक काम में व्यस्त किशोर को भी—तो यह अक्सर विफल हो जाता है। लोग आपकी बात अनसुनी करने लगते हैं। उन्हें प्रत्येक व्यक्ति के लिए एक अलग दृष्टिकोण की आवश्यकता होती।

यह शोध पत्र DiPS (डायलॉग पॉलिसी सिलेक्शन) पेश करता है, जो एक स्मार्ट सिस्टम है जिसे वह "परफेक्ट डिस्पैचर" बनने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

एक मानक AI चैटबॉट को एक सामान्य वेंडिंग मशीन की तरह समझें। आप पैसे डालते हैं, और यह आपको हर बार एक ही तरह का स्नैक देता है, चाहे आपने सोडा माँगा हो या चिप्स का पैकेट। जंगल की आग जैसी जीवन-मरण की स्थिति में, यह खतरनाक है। यदि AI लोगों के विशिष्ट डर या जरूरतों के प्रति अनुकूलित नहीं होता है, तो वे सुरक्षित निकलने से मना कर सकते हैं, जिससे उनके जीवन को खतरा हो सकता है।

2. समाधान: "गिरगिट" जैसा डिस्पैचर (The "Chameleon" Dispatcher)

लेखकों ने DiPS को एक गिरगिट की तरह काम करने के लिए बनाया है। एक निश्चित व्यक्तित्व होने के बजाय, DiPS के पास विभिन्न प्रभाव डालने वाली शैलियों (पर्सोना) का एक "टूलबॉक्स" है।

सहानुभूति रखने वाला (The Empath): कोमल, समझदार और धैर्यवान।
आदेश देने वाला (The Commander): सीधा, तत्काल और आधिकारिक।
समस्या सुलझाने वाला (The Problem-Solver): लॉजिस्टिक्स पर केंद्रित, जैसे वैन की व्यवस्था करना या दिशा-निर्देश देना।

DiS सिर्फ बात नहीं करता; यह देखता भी है। यह निवासी की बातों को सुनता है और फिर खुद से पूछता है: "अभी इस समय बात करने की कौन सी शैली सबसे अच्छा काम करेगी?"

3. यह कैसे सीखता है: "शतरंज का कोच" (The "Chess Coach")

आप सोच सकते हैं कि AI को कैसे पता चलता है कि कौन सी शैली चुननी है? यह अंदाज़ा नहीं लगाता; यह पिछली बातचीत के पुस्तकालय से सीखता है।

एक शतरंज के कोच की कल्पना करें जिसने हज़ारों खेल देखे हैं। जब एक नया खेल शुरू होता है, तो कोच केवल चालें याद नहीं करता; वह बोर्ड को देखता है और कहता है, "इस विशिष्ट स्थिति में, 'आक्रामक' रणनीति 80% बार सफल रही, लेकिन 'रक्षात्मक' रणनीति विफल रही।"

DiPS इस कोच की तरह कार्य करने के लिए ऑफलाइन रीइन्फोर्समेंट लर्निंग (विशेष रूप से IQL नामक तकनीक) का उपयोग करता है। यह पिछले आग से निकासी (fire-evacuation) कॉल के एक विशाल डेटासेट का अध्ययन करता है (जहाँ इंसानों ने डिस्पैचर की भूमिका निभाई थी)। यह अनुमान लगाना सीखता है: "यदि निवासी डरा हुआ लग रहा है और अपने कुत्ते का ज़िक्र कर रहा है, तो 'सहानुभूति रखने वाला' (Empath) तरीका जीतने वाला कदम है। यदि वह गुस्से में है और अपने काम के बारे में बात कर रहा है, तो 'आदेश देने वाला' (Commander) तरीका बेहतर काम करता है।"

4. प्रयोग: गिरगिट का परीक्षण (The Experiment: Testing the Chameleon)

शोधकर्ताओं ने इस प्रणाली का तीन तरीकों से परीक्षण किया:

सिमुलेशन (Simulation): उन्होंने निवासियों के रूप में व्यवहार करने के लिए अन्य AI का उपयोग किया।
मानवीय भूमिका निर्वहन (Human Roleplay): उन्होंने वास्तविक लोगों को एक चैट रूम में निवासी के रूप में अभिनय करने के लिए काम पर रखा।
तुलना (Comparison): उन्होंने DiPS की तुलना एक "ज़ीरो-शॉट" AI (जिसके पास कोई प्रशिक्षण डेटा नहीं है) और एक "RAG" AI (जो बिना किसी योजना के यादृच्छिक उदाहरण उठाता है) से की।

परिणाम:

"ज़ीरो-शॉट" AI एक नौसिखिए पुलिसकर्मी की तरह था: इसने अच्छा बनने की कोशिश की लेकिन अक्सर लक्ष्य से चूक गया।
"RAG" AI एक लाइब्रेरियन की तरह था जो बस यादृच्छिक किताबें थमा देता था; यह ठीक था, लेकिन रणनीतिक नहीं था।
DiS एक विशेष वार्ताकार (expert negotiator) था। वास्तविक मनुष्यों के साथ परीक्षणों में, DiS ने अन्य तरीकों की तुलना में अधिक लोगों को सुरक्षित निकलने के लिए सफलतापूर्वक मनाया। यह तेज़ भी था, जिसे काम पूरा करने के लिए बातचीत के कम दौर की आवश्यकता पड़ी।

5. पकड़: सिमुलेशन की "अनकैनी वैली" (The Catch: The "Uncanny Valley" of Simulation)

शोध में एक दिलचस्प मोड़ आया। जब उन्होंने कंप्यूटर-सिम्युलेटेड निवासियों के खिलाफ DiS का परीक्षण किया, तो इसने उम्मीद के मुताबिक अच्छा प्रदर्शन नहीं किया। हालाँकि, जब उन्होंने वास्तविक मनुष्यों के खिलाफ इसका परीक्षण किया, तो यह चमक उठा।

क्यों? क्योंकि कंप्यूटर सिमुलेशन बहुत सरल थे। वे AI के बदलते लहजे पर वास्तविक रूप से प्रतिक्रिया नहीं दे रहे थे। यह कार चलाने का अभ्यास करने जैसा है जहाँ अन्य कारें अचानक ब्रेक नहीं लगातीं; आप सोच सकते हैं कि आप एक बेहतरीन ड्राइवर हैं जब तक कि आप वास्तविक ट्रैफ़िक में न पहुँच जाएँ। शोधकर्ताओं ने महसूस किया कि वास्तव में स्मार्ट AI को प्रशिक्षित करने के लिए, उन्हें सिमुलेशन को अधिक यथार्थवादी बनाना होगा, जो यह नकल कर सके कि वास्तविक मनुष्य कैसे जिद्दी या भ्रमित होते हैं।

सारांश

DiS एक ऐसा सिस्टम है जो AI को एक टूटे हुए रिकॉर्ड की तरह व्यवहार करने के बजाय एक लचीला वार्ताकार बनना सिखाता है। पिछली बातचीत का अध्ययन करके, यह फोन के दूसरी ओर मौजूद व्यक्ति से मेल खाने के लिए विभिन्न "व्यक्तित्वों" (रणनीतियों) के बीच स्विच करना सीखता है। जंगल की आग जैसी उच्च-जोखिम वाली स्थितियों में, अनुकूलन करने की यह क्षमता ही एक निवासी के खतरे में वहीं रुक जाने और सुरक्षित स्थान पर पहुँच जाने के बीच का अंतर है।

शोध पत्र निष्कर्ष निकालता है कि जबकि AI इस मामले में बहुत अच्छा हो रहा है, हमें इसके परीक्षण के तरीके के बारे में सावधान रहने की आवश्यकता है, क्योंकि कंप्यूटर सिमुलेशन हमेशा डरे हुए इंसान से बात करने की जटिल और भावनात्मक वास्तविकता को नहीं पकड़ पाते हैं।

तकनीकी सारांश: DiPS – उच्च-जोखिम वाले अनुनय एजेंटों के लिए संवाद नीति चयन (Dialogue Policy Selection)

समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर उच्च-जोखिम वाले परिदृश्यों, जैसे कि जंगल की आग से बचाव (wildfire evacuations) के दौरान प्रभावी अनुनय (persuasion) करने में संघर्ष करते हैं, जहाँ निवासी विविध व्यक्तित्वों, चिंताओं और संसाधनों की बाधाओं से युक्त होते हैं। एक "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण अक्सर विफल हो जाता है क्योंकि निवासी अपनी निकासी की इच्छा, अपनी विशिष्ट बाधाओं (जैसे संपत्ति की सुरक्षा, पालतू जानवरों की देखभाल, लॉजिस्टिक आवश्यकताएं) और उन्हें दूर करने के लिए आवश्यक रणनीतियों में एक-दूसरे से काफी भिन्न होते हैं।

मुख्य चुनौती अनुकूली अनुनय (adaptive persuasion) है: एक ऑपरेटर को आंशिक अवलोकन (partial observability) के तहत निवासी के विकसित होते व्यवहार के अनुसार अपनी प्रतिक्रियाओं को गतिशील रूप से अनुकूलित करना चाहिए। लक्ष्य प्रत्येक संवाद मोड़ (turn) पर सबसे उपयुक्त उच्च-स्तरीय अनुनय रणनीति का चयन करके सफल परिणाम (निवासी द्वारा निकासी) की संभावना को अधिकतम करना है, न कि एक निश्चित नीति या बिना रणनीतिक योजना के प्रतिक्रिया उत्पन्न करने पर निर्भर रहना।

कार्यप्रणाली: DiPS फ्रेमवर्क

लेखक डायलॉग पॉलिसी सिलेक्शन (DiPS) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो संवाद रणनीति चयन को एक ऑफलाइन सुदृढीकरण शिक्षण (offline reinforcement learning - RL) समस्या के रूप में मानता है। सीधे प्राकृतिक भाषा प्रतिक्रियाएं उत्पन्न करने के बजाय, DiPS एक उच्च स्तर पर कार्य करता है, जो प्रतिक्रिया निर्माण को निर्देशित करने के लिए उम्मीदवार रणनीतियों के एक सेट से एक "पर्सोना" या नीति का चयन करता है।

1. समस्या का निरूपण

इस अंतःक्रिया को एक 'पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस' (POMDP) के रूप में मॉडल किया गया है:

अवस्था (State - $s_t$ ): एक लेटेंट स्टेट (latent state) जो निवासी के आंतरिक कारकों (विश्वास, भावनाएं, जोखिम धारणा) का प्रतिनिधित्व करती है, जिसे हालिया निवासी कथनों के सेंटेंस एम्बेडिंग्स द्वारा अनुमानित किया जाता है।
क्रिया (Action - $a_t$ ): संवाद नीतियों (पर्सोना) के एक सेट $\Pi = \{\pi^{(1)}, \dots, \pi^{(K)}\}$ में से एक विशिष्ट अनुनय नीति $z_t$ का चयन। प्रत्येक नीति एक विशिष्ट रणनीति (जैसे, सहानुभूतिपूर्ण, निर्देशात्मक, सूचनात्मक) का प्रतिनिधित्व करती है।
पुरस्कार (Reward - $r_t$ ): एक स्पार्स रिवॉर्ड सिग्नल जहाँ संवाद के अंत में यदि निवासी निकासी के लिए सहमत होता है तो $r=1$ , और अन्यथा $0$ होता है।

2. मुख्य एल्गोरिदम: इम्प्लिसिट Q-लर्निंग (Implicit Q-Learning - IQL)

बिना किसी अतिरिक्त वातावरण संपर्क की आवश्यकता के इष्टतम नीति चयन सीखने के लिए, DiPS इम्प्लिसिट Q-लर्निंग (IQL) का उपयोग करता है।

ऑफलाइन प्रशिक्षण: सिस्टम को मानव ऑपरेटरों और सिम्युलेटेड इंटरैक्शन से एकत्र किए गए संवादों के एक स्थिर डेटासेट पर प्रशिक्षित किया जाता है।
वैल्यू फंक्शन: एक क्रिटिक (critic) संवाद इतिहास $h_t$ दिए जाने पर एक विशिष्ट पर्सोना $z$ चुनने के दीर्घकालिक मूल्य $Q(h_t, z)$ का अनुमान लगाने के लिए प्रशिक्षित किया जाता है।
तंत्र: IQL कार्यों पर अधिकतम (maximum) का अनुमान लगाने के लिए एक्सपेक्टाइल रिग्रेशन (expectile regression) का उपयोग करके ऑफलाइन RL में सामान्य वितरण बदलाव (distributional shift) की समस्या से बचता है। यह उन पर्सोनास को उच्च मूल्य देने के लिए सीखता है जो प्रशिक्षण डेटा में सफल परिणामों की ओर ले जाते हैं, जबकि उन पर्सोनास को कम महत्व देता है जो विफल पथों (failed trajectories) में देखे गए हैं।
नीति निष्कर्षण (Policy Extraction): इन्फरेंस (inference) के समय, एजेंट पर्सोना $z_t = \arg\max_z Q(h_t, z)$ चुनता है। इस चयनित पर्सोना का उपयोग फिर LLM को वास्तविक ऑपरेटर प्रतिक्रिया उत्पन्न करने के लिए प्रॉम्प्ट करने हेतु किया जाता है, जिसे अक्सर उस पर्सोना के विशिष्ट रिट्रीव्ड उदाहरणों (RAG) के साथ बढ़ाया जाता है।

3. प्रयोगात्मक सेटअप

फ्रेमवर्क का मूल्यांकन एक जंगल की आग से बचाव के सिमुलेशन में किया गया जिसमें शामिल थे:

निवासी प्रोफाइल: दस विशिष्ट पर्सोना (पाँच पिछले कार्य से, पाँच नए) जिनमें अलग-अलग बैकस्टोरी और प्रतिरोध स्तर (जैसे, जिद्दी, सहयोगी, देखभाल करने वाला, लॉजिस्टिक बाधाएं) थे।
बेसलाइन्स (Baselines):
- जीरो-शॉट (Zero-shot): पूर्व डेटा या रणनीति चयन के बिना LLM।
- RAG (ग्लोबल): नीति चयन के बिना वैश्विक पूल से सफल संवादों के उदाहरणों को रिट्रीव करने वाला LLM।
- रैंडम पॉलिसी (Random Policy): पर्सोना का यादृच्छिक चयन।
मूल्यांकन वातावरण:
1. सिमुलेशन: LLM-आधारित निवासी सिम्युलेटर।
2. मानव विषय: मानव प्रतिभागी जो निवासियों के रूप में भूमिका निभा रहे हैं।
3. सुधारित सिमुलेशन: बाधाओं को स्पष्ट रूप से एनकोड करने के लिए रिफाइंड सिम्युलेटर ताकि मानव प्रतिरोध को बेहतर ढंग से दर्शाया जा सके।

मुख्य परिणाम

1. सिमुलेशन बनाम मानव विसंगति

मानक LLM सिम्युलेटरों का उपयोग करने वाले प्रारंभिक प्रयोगों में, DiPS ने Zero-shot और RAG बेसलाइन्स की तुलना में कम प्रदर्शन किया। हालांकि, जब मानव प्रतिभागियों के साथ मूल्यांकन किया गया, तो DiPS ने उच्चतम समग्र सफलता दर (79% बनाम Zero-shot के लिए 74% और RAG के लिए 68%) प्राप्त की। इससे पता चला कि प्रारंभिक सिमुलेशन वातावरण उन बारीकियों को पकड़ने में विफल रहा जिन्हें संबोधित करने के लिए DiPS बनाया गया है।

2. सुधारे गए सिमुलेशन के परिणाम

जब सिमुलेशन वातावरण को स्पष्ट बाधाओं (जैसे, विशिष्ट पात्रों के लिए ठोस परिवहन योजनाओं की आवश्यकता) को शामिल करने के लिए परिष्कृत किया गया, तो DiPS ने उत्कृष्ट प्रदर्शन दिखाया:

सफलता दर: DiPS ने 92% सफलता प्राप्त की, जो Zero-shot (88%) और RAG (78%) से बेहतर थी।
दक्षता: DiPS को औसतन कम संवाद टर्न (11.2 टर्न) की आवश्यकता पड़ी, जो बेसलाइन्स (11.8–11.9 टर्न) की तुलना में अधिक कुशल अनुनय को दर्शाता है।
सामान्यीकरण (Generalization): DiPS ने अनदेखे निवासी प्रोफाइल्स पर उच्च प्रदर्शन बनाए रखा (सुधारे गए सेटिंग में नए निवासियों पर 96%), जो नए व्यवहारिक प्रोफाइल्स के लिए सीखी गई रणनीतियों को सामान्य बनाने की इसकी क्षमता को प्रदर्शित करता है।

3. एब्लेशन अध्ययन (Ablation Studies)

DiPS के घटकों को हटाने से प्रदर्शन लगातार गिर गया:

प्रति-नीति रिट्रीवल (per-policy retrieval) को ग्लोबल रिट्रीवल से बदलने पर सफलता घटकर 86% रह गई।
रिट्रीवल को पूरी तरह से हटाने पर सफलता 80% हो गई।
एक बेमेल नीति (सभी निवासियों के लिए एक निश्चित रणनीति) का उपयोग करने से सफलता में भारी गिरावट आई (51%), जो गैर-अनुकूली रणनीतियों की लागत को उजागर करती है।

4. LLM-as-Judge वैधता

अध्ययन ने संवाद परिणामों का मूल्यांकन करने के लिए एक LLM (GPT-4o-mini) का उपयोग किया। हालांकि LLM ने मानव एनोटेटरों के साथ उचित सहसंबंध दिखाया (72.2% सहमति, $\kappa=0.42$ ), यह अधिक रूढ़िवादी था, अक्सर सशर्त समझौतों को "हाँ" के बजाय "शायद" के रूप में लेबल करता था। DiPS के परिणामों ने मानव निर्णय के साथ उच्चतम सहमति (83.3%) दिखाई, जो सुझाव देता है कि इसकी रणनीतियाँ अधिक स्पष्ट, निर्णायक परिणाम उत्पन्न करती हैं।

महत्व और दावे

पेपर का दावा है कि यह इम्प्लिसिट Q-लर्निंग के पहले उच्च-जोखिम वाले अनुनय संवाद (persuasive dialogue) के अनुप्रयोग को प्रस्तुत करता है। इसके प्राथमिक योगदान हैं:

ऑफलाइन RL और अनुनय को जोड़ना: यह प्रदर्शित करता है कि ऑफलाइन RL सरल व्यवहार क्लोनिंग या स्टेटिक प्रॉम्प्टिंग से आगे बढ़कर, विषम संवाद डेटा से प्रभावी ढंग से टर्न-लेवल नीति चयन सीख सकता है।
गतिशील अनुकूलन: DiPS सिद्ध करता है कि संवाद संदर्भ के आधार पर अलग-अलग अनुनय पर्सोना के बीच गतिशील रूप से स्विच करना, स्थिर रणनीतियों की तुलना में अधिक प्रभावी है, विशेष रूप से उन उच्च-जोखिम वाले डोमेन में जहाँ निवासी का प्रतिरोध सूक्ष्म होता है।
सिमुलेशन गैप की पहचान: यह कार्य LLM-आधारित सिमुलेशन और मानव व्यवहार के बीच एक महत्वपूर्ण अंतर को उजागर करता है। यह दिखाता है कि मानक सिम्युलेटर पर्सनलाइजेशन के लाभों को छिपा सकते हैं, और अनुकूल एजेंटों का सटीक मूल्यांकन करने के लिए बेहतर सिमुलेशन डिज़ाइन (स्पष्ट बाधाओं को एनकोड करना) आवश्यक है।
व्यावहारिक प्रयोज्यता: यह फ्रेमवर्क आपदा राहत परिदृश्यों में AI ऑपरेटरों को तैनात करने के लिए एक स्केलेबल तरीका प्रदान करता है, जहाँ मानव ऑपरेटर दुर्लभ हैं और व्यक्तिगत संचार जीवन बचाने के लिए महत्वपूर्ण है।

लेखक निष्कर्ष निकालते हैं कि जबकि LLMs में निहित अनुनय क्षमताएं होती हैं, नीति चयन के माध्यम से स्पष्ट रणनीतिक योजना जटिल, उच्च-जोखिम वाली अंतःक्रियाओं में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाती है, बशर्ते मूल्यांकन वातावरण वास्तविक मानव व्यवहार की बाधाओं और प्रतिरोध को सटीक रूप से प्रतिबिंबित करे।