Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment
यह शोध पत्र एक अनुकूली साक्षात्कार ढांचे (adaptive interviewing framework) का प्रस्ताव करता है जो उपयोगकर्ता-विशिष्ट साक्ष्य गतिशील रूप से एकत्र करके नैतिक दुविधाओं में व्यक्तिगत निर्णय लेने की लार्ज लैंग्वेज मॉडल्स की क्षमता में सुधार करता है, यह प्रदर्शित करते हुए कि सटीकता में वृद्धि केवल समृद्ध व्यक्तित्व संदर्भ (persona context) रखने के बजाय इस साक्ष्य के आधार पर अपने तर्क को पुख्ता करने की मॉडल की क्षमता पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का विवरण दिया गया है।
मुख्य विचार: क्यों "अधिक जानकारी" का अर्थ हमेशा "बेहतर अनुमान" नहीं होता
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक कठिन स्थिति में आपका मित्र क्या करेगा, जैसे कि एक अजनबी को बचाने या अपने पालतू जानवर को बचाने के बीच चुनाव करना। आपके पास उन्हें जानने के दो तरीके हैं:
- स्थिर प्रोफ़ाइल (Static Profile): आप एक छोटा सा परिचय (bio) पढ़ते हैं जिसमें लिखा है, "वे दयालु हैं, परिवार को महत्व देते हैं, और कुत्तों को पसंद करते हैं।"
- अनुकूली साक्षात्कार (Adaptive Interview): आप उनके साथ बैठकर बातचीत करते हैं। आप पूछते हैं, "'दयालु' होने का आपके लिए क्या अर्थ है?" वे उत्तर देते हैं, और फिर आप एक फॉलो-अप प्रश्न पूछते हैं: "आपने उल्लेख किया कि आप परिवार को महत्व देते हैं, लेकिन क्या होगा यदि आपका परिवार आपसे कुछ अनैतिक करने को कहे?" आप उनके उत्तरों के आधार पर गहराई तक जाते रहते हैं।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या लंबी, गहरी बातचीत (अनुकूली साक्षात्कार) एक AI को आपके विकल्पों का बेहतर अनुमान लगाने में मदद करती है, बजाय केवल एक छोटे बायो को पढ़ने के?
प्रयोग: "नैतिक भूलभुलैया" (The Moral Maze)
शोधकर्ताओं ने 20 वास्तविक लोगों के साथ एक खेल तैयार किया।
- बातचीत: एक AI ने साक्षात्कारकर्ता की भूमिका निभाई। इसने व्यक्ति के जीवन, डरों और मूल्यों के बारे में 10 गहरे प्रश्न पूछे। फिर, उनके उत्तरों के आधार पर, इसने भ्रम को दूर करने या गहराई से समझने के लिए 5-6 फॉलो-अप प्रश्न पूछे।
- परीक्षण: बाद में, उन्हीं लोगों को 25 "नैतिक दुविधाओं" (दो बुरे विकल्पों या दो अच्छे विकल्पों के बीच कठिन चुनाव) का सामना करना पड़ा।
- अनुमान: शोधकर्ताओं ने एक दूसरे AI से पूछा कि वह अनुमान लगाए कि व्यक्ति उन दुविधाओं पर कैसे प्रतिक्रिया देगा। उन्होंने AI को अध्ययन करने के लिए तीन अलग-अलग "चीट शीट्स" (cheat sheets) दीं:
- शीट A (Core-10): केवल पहले 10 प्रश्नों के उत्तर।
- शीट B (Full Interview): पूरी बातचीत का लॉग, जिसमें फॉलो-अप प्रश्न भी शामिल हैं।
- शीट C (Summary): व्यक्ति के व्यक्तित्व का सारांश देने वाला एक छोटा, सुव्यवस्थित पैराग्राफ।
आश्चर्यजनक परिणाम
आप सोच सकते हैं, "अधिक जानकारी (शीट B) निश्चित रूप से बेहतर होगी!" लेकिन परिणाम किसी जादू की छड़ी के बजाय एक स्विस आर्मी नाइफ (Swiss Army Knife) की तरह थे।
1. अधिक जानकारी कोई जादुई शक्ति नहीं है
औसत स्कोर को देखते समय, पूरी चैट लॉग (शीट B) होने से AI केवल पहले 10 उत्तरों (शीट A) या सारांश (शीट C) की तुलना में महत्वपूर्ण रूप से अधिक स्मार्ट नहीं हुआ। वास्तव में, कुछ प्रकार के प्रश्नों के लिए, छोटा सारांश वास्तव में सबसे अच्छा "चीट शीट" था।
- उपमा: कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं। कभी-कभी, AI को पूरा घास का ढेर (पूरी चैट) देने से सुई ढूँढना और भी कठिन हो जाता है। एक सारांश (जिसमें केवल सुई वाला एक छोटा बॉक्स हो) अक्सर अधिक कुशल होता है।
2. "चयनात्मक आधार" (Selective Grounding) का रहस्य
असली जादू तभी हुआ जब AI ने वास्तव में फॉलो-अप प्रश्नों से मिली नई जानकारी का उपयोग किया।
- उन मामलों में से लगभग 40% में जहाँ AI के पास पूरी चैट थी, उसने वास्तव में अपने निर्णय लेने के लिए फॉलो-अप उत्तरों को देखा।
- जब AI ने उन फॉलो-अप संकेतों का उपयोग किया, तो वह 45.5% बार सही उत्तर दे पाया।
- जब उसने केवल पहले 10 प्रश्नों पर भरोसा किया, तो वह 39.3% बार सही था।
उपमा: फॉलो-अप प्रश्नों को एक अंधेरे कमरे में टॉर्च की तरह समझें। टॉर्च कमरे को बड़ा नहीं बनाती, लेकिन जब AI उस टॉर्च की रोशनी को एक विशिष्ट संकेत पर डालता है, तो वह सही उत्तर बहुत बेहतर तरीके से ढूंढ लेता है। यदि AI टॉर्च को अनदेखा कर देता है और अंधेरे में ही अनुमान लगाता रहता है, तो अतिरिक्त जानकारी काम नहीं आती।
3. अलग-अलग कामों के लिए अलग-अलग उपकरण
शोध पत्र ने पाया कि अलग-अलग प्रकार के प्रश्नों के लिए अलग-अलग "चीट शीट्स" की आवश्यकता थी:
- सरल "हाँ/नहीं" या "A बनाम B" वाले विकल्पों के लिए: एक छोटा, संक्षिप्त सारांश सबसे अच्छा काम करता है। AI को पूरी कहानी की आवश्यकता नहीं थी; उसे बस मुख्य बिंदु की आवश्यकता थी।
- "कितना?" या "क्रम में रखें" वाले प्रश्नों के लिए: पूरी, अव्यवस्थित चैट लॉग बेहतर थी। इन प्रश्नों के लिए बातचीत की बारीकियों और "वाइब" (vibe) को समझने की आवश्यकता थी, जिसे एक छोटा सारांश मिस कर सकता है।
समस्या: AI की "डिफ़ॉल्ट सेटिंग्स"
पूरी चैट के बावजूद, AI कभी-कभी गलत हो गया। क्यों? क्योंकि AI की अपनी "डिफ़ॉल्ट सेटिंग्स" होती हैं।
- "अच्छा लड़का" (Nice Guy) पूर्वाग्रह: AI का झुकाव इस ओर रहता है कि हर कोई विनम्र होना चाहता है, नियमों का पालन करना चाहता है, और शांति बनाए रखना चाहता है।
- उदाहरण: यदि किसी व्यक्ति ने कहा, "मैं आमतौर पर अपने परेशान करने वाले दोस्तों को अनदेखा करता हूँ," तो AI अक्सर यह अनुमान लगाता था कि वह "रिश्ते को सुधारने" की कोशिश करेगा, क्योंकि एक "अच्छा" AI वही सोचता है जो लोगों को करना चाहिए। वह यह अनुमान लगाने में संघर्ष करता था कि एक वास्तविक इंसान वास्तव में कब स्पष्टवादी या बेरुखा व्यवहार करेगा।
निष्कर्ष
यह शोध पत्र हमें सिखाता है कि केवल अधिक डेटा एकत्र करना ही काफी नहीं है।
यदि आप चाहते हैं कि एक AI किसी विशिष्ट व्यक्ति को समझे, तो आप केवल एक विशाल ट्रांसक्रिप्ट (transcript) देकर यह उम्मीद नहीं कर सकते कि वह सब कुछ समझ जाएगा। AI को वास्तव में उस बातचीत के विशिष्ट संकेतों को देखने के लिए "प्रशिक्षित" करने की आवश्यकता है जो उस विशिष्ट निर्णय के लिए महत्वपूर्ण हैं।
- मुख्य सीख: अनुवर्ती प्रश्न पूछना (Adaptive interviewing) एक जासूस द्वारा सबूत जुटाने जैसा है। यह बहुत उपयोगी है, लेकिन केवल तभी जब जासूस (AI) वास्तव में उस मामले को सुलझाने के लिए उस सबूत का उपयोग करे। यदि जासूस नए संकेतों को अनदेखा कर देता है और अपने पुराने अनुमानों पर टिका रहता है, तो अतिरिक्त मेहनत बेकार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।