Prompt Optimization for User Simulation in Conversational Recommender Systems: A Multi-Objective Framework
यह शोध पत्र संवादात्मक अनुशंसा प्रणालियों (कन्वर्सेशनल रेकमेंडर सिस्टम्स) के लिए एलएलएम-आधारित उपयोगकर्ता सिम्युलेटर्स में प्रॉम्प्ट्स को स्वचालित रूप से अनुकूलित करने के लिए एक बहु-उद्देश्यीय ढांचे का प्रस्ताव करता है, जो मानव अंतःक्रिया पैटर्न के साथ संरेखण में सुधार करते हुए मूल्यांकन लागत, डेटा की कमी और व्यवस्थित पूर्वाग्रहों से संबंधित चुनौतियों को प्रभावी ढंग से संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट बना रहे हैं जो एक मूवी रिकमेंडर (फिल्म सुझाने वाला) के रूप में कार्य करता है। इससे पहले कि आप इस रोबोट को असली लोगों से बात करने दें, आपको इसका परीक्षण करना होगा ताकि यह सुनिश्चित हो सके कि यह फिल्में सुझाने में अच्छा है और सबसे महत्वपूर्ण बात यह है कि जब लोग कहें, "नहीं, मुझे वह पसंद नहीं है," तो इसे इसे संभालने में भी कुशल है।
समस्या यह है कि असली इंसानों के साथ परीक्षण करना महंगा, धीमा है और गोपनीयता संबंधी मुद्दे पैदा करता है (आप नहीं चाहेंगे कि हर किसी की निजी फिल्म पसंद को रिकॉर्ड किया जाए)। इसलिए, शोधकर्ता एक "नकली इंसान" (एक सिम्युलेटर) बनाते हैं ताकि रोबोट का परीक्षण किया जा सके।
हालाँकि, AI द्वारा बनाए गए वर्तमान "नकली इंसान" असली लोगों की तरह अभिनय करने में बहुत खराब हैं। वे बहुत अधिक विनम्र मेहमानों की तरह हैं जो हर फिल्म के सुझाव पर "हाँ!" कहते हैं, भले ही उन्हें वह पसंद न हो। वे केवल प्रसिद्ध ब्लॉकबस्टर फिल्में ही सुझाते हैं और अनजाने में "चीटिंग" भी करते हैं, यानी वे उन्हीं फिल्मों को दोहरा देते हैं जिनके बारे में उन्हें उनकी बैकस्टोरी (पृष्ठभूमि) में बताया गया था।
यह पेपर एक नया स्वचालित प्रशिक्षण तरीका (automatic training method) पेश करता है ताकि इन "नकली इंसानों" को ठीक किया जा सके ताकि वे असली लोगों की तरह व्यवहार कर सकें। उन्होंने इसे कैसे किया, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "हाँ में हाँ मिलाने वाला" (Yes-Man) रोबोट
वर्तमान AI सिम्युलेटर तीन मुख्य खामियों से जूझते हैं:
- "हाँ में हाँ मिलाने" का पूर्वाग्रह (The "Yes-Man" Bias): वे लगभग हर सुझाव को स्वीकार कर लेते हैं, भले ही वे खराब हों। असली लोग लगभग आधे सुझावों को अस्वीकार करते हैं; ये बॉट्स हर चीज़ के लिए "हाँ" कहते हैं।
- "लीक" की समस्या (The "Leak" Problem): यदि आप बॉट को बताते हैं, "मुझे द गॉडफादर पसंद है," और फिर उससे कोई फिल्म सुझाने के लिए कहते हैं, तो वह बस कह सकता है, "क्या आपको द गॉडफादर पसंद आएगी?" बजाय इसके कि वह कोई नई फिल्म सोचे। यह दिए गए उत्तर को दोहराकर चीटिंग करने जैसा है।
- "बोरिंग" होने का पूर्वाग्रह (The "Boring" Bias): वे केवल लोकप्रिय, मुख्यधारा की फिल्में ही चर्चा में लाते हैं, उन विशिष्ट या अनूठी फिल्मों को अनदेखा कर देते हैं जिन्हें वास्तव में इंसान पसंद करते हैं।
2. समाधान: "ऑटो-कोच" (The "Auto-Coach")
एक इंसान को घंटों तक सख्त नियम (प्रॉम्प्ट्स) लिखने के बजाय कि AI को कैसे व्यवहार करना चाहिए, लेखकों ने एक स्वचालित कोच बनाया (TextGrad नामक टूल का उपयोग करके)।
इस कोच को एक वीडियो गेम ट्रेनर की तरह समझें।
- पुराना तरीका: एक मानव कोच एक लंबा, कठोर नियम पुस्तिका लिखता है: "यदि उपयोगकर्ता 'ना' कहता है, तो आपको 'ना' कहना चाहिए। यदि वे थ्रिलर मांगते हैं, तो एक थ्रिलर चुनें।" इसे सही करना कठिन है और यह आसानी से टूट जाता है।
- नया तरीका: कोच AI को गेम खेलते हुए देखता है। यदि AI उस फिल्म के लिए "हाँ" कहता है जिसे उसे नापसंद करना चाहिए था, तो कोच उसे एक "टेक्स्टुअल धक्के" (ग्रेडिएंट) के साथ निर्देश देता है: "वह बहुत विनम्र था, थोड़ा अधिक आलोचनात्मक बनने का प्रयास करें।" यदि AI किसी फिल्म का नाम दोहराता है, तो कोच कहता है, "नाम मत बताओ, इसके जॉनर (शैली) का वर्णन करो।"
- AI इन निर्देशों से स्वचालित रूप से सीखता है, और अपनी "पर्सनैलिटी" को कुछ राउंड तक परिष्कृत करता है जब तक कि वह एक वास्तविक इंसान की तरह व्यवहार न करने लगे।
3. "समरी" (Summary) ट्रिक (चीटिंग रोकने के लिए)
AI को उसकी बैकस्टोरी से फिल्म के शीर्षक दोहराकर चीटिंग करने से रोकने के लिए, शोधकर्ताओं ने एक समरी स्टेप पेश किया।
- पहले: वे AI को 50 फिल्मों की एक सूची देते थे जो उसे पसंद थीं। AI बस उनमें से एक शीर्षक को कॉपी-पेस्ट कर देता था।
- अब: वे AI से उस सूची को एक वाक्य में सारांशित करने के लिए कहते हैं जैसे, "मुझे अपराध से भरी ड्रामा फिल्में पसंद हैं जिनमें नैतिक दुविधा हो।"
- परिणाम: अब AI को केवल एक शीर्षक को कॉपी करने के बजाय उस पर सोचना पड़ता है। यह "लीकेज" को रोकता है और उसे अधिक रचनात्मक बनाता है।
4. नया टेस्ट: "रिजेक्शन स्कोर" (The "Rejection Score")
लेखकों ने महसूस किया कि केवल यह जांचना कि AI "हाँ" कहता है या "ना", पर्याप्त नहीं है। उन्होंने NegFeedback नामक एक नया टेस्ट बनाया।
- कल्पना कीजिए कि एक मूवी रिकमेंडर किसी ऐसे व्यक्ति को हॉरर फिल्म सुझाता है जिसे हॉरर पसंद नहीं है।
- खराब सिम्युलेटर: "ओह, मुझे यह पसंद नहीं है।" (बहुत साधारण)।
- अच्छा सिम्युलेटर: "नहीं धन्यवाद, मुझे डरावनी फिल्में पसंद नहीं हैं क्योंकि मैं पहेलियों वाले रहस्यमयी सिनेमा को पसंद करता हूँ।" (विशिष्ट, चरित्र के अनुरूप, और मददगार)।
- लेखकों ने एक स्कोरिंग सिस्टम बनाया (और यहाँ तक कि इसे ग्रेड करने के लिए दूसरे AI का उपयोग भी किया) यह देखने के लिए कि क्या सिम्युलेटर फिल्मों को विनम्रता से अस्वीकार कर सकता है और क्यों कर सकता है, ठीक वैसे ही जैसे एक वास्तविक व्यक्ति करेगा।
5. परिणाम: "रोबो-पोलाइट" से "असली इंसान" तक
जब उन्होंने अपने नए तरीके का मानक AI मॉडल (जैसे GPT-3.5 और GPT-4) के मुकाबले परीक्षण किया:
- विविधता (Diversity): नए सिम्युलेटर ने बहुत अधिक विविध फिल्में (विभिन्न देशों और युगों की) सुझाईं, जबकि पुराने सिम्युलेटर केवल लोकप्रिय हिट्स तक ही सीमित रहे।
- अस्वीकृति (Rejection): नया सिम्युलेटर वास्तविक रूप से "ना" कहना सीख गया। इसने "हाँ में हाँ मिलाने" की आदत छोड़ दी और अपनी नापसंदगी के कारण बताने लगा।
- सटीकता (Accuracy): इसका व्यवहार वास्तविक मानव डेटा से बहुत बेहतर ढंग से मेल खाता था, जबकि मानक मॉडल या तो बहुत अधिक सकारात्मक थे या बहुत अधिक दोहराव वाले।
सारांश
यह पेपर एक ऐसा सिस्टम प्रस्तुत करता है जो AI सिम्युलेटर को स्वचालित रूप से असली इंसानों की तरह व्यवहार करना सिखाता है। यह उनके बहुत अधिक विनम्र होने, बहुत अधिक दोहराव करने और बहुत अधिक उबाऊ होने की प्रवृत्ति को ठीक करता है। यह एक स्वचालित कोच का उपयोग करके निर्देशों को बदलने और चीटिंग को रोकने के लिए एक "समरी" ट्रिक का उपयोग करके किया जाता है। परिणाम एक ऐसा सिम्युलेटर है जो हजारों वास्तविक लोगों का इंटरव्यू लिए बिना मूवी रिकमेंडर्स का अधिक यथार्थवादी तरीके से परीक्षण कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।