PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
यह शोध पत्र PICon को प्रस्तुत करता है, जो एक मल्टी-टर्न पूछताछ ढांचा है जो LLM-आधारित व्यक्तित्व एजेंटों की आंतरिक, बाहरी और पुन: परीक्षण निरंतरता का मूल्यांकन करता है, जिससे यह पता चलता है कि तार्किक रूप से जुड़ी गई पूछताछ के अधीन होने पर उन्नत प्रणालियाँ भी मानवीय आधार रेखाओं से मेल खाने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए कर्मचारी को काम पर रख रहे हैं, लेकिन एक वास्तविक व्यक्ति के बजाय, आप एक डिजिटल ट्विन (digital twin) का साक्षात्कार ले रहे हैं—एक कंप्यूटर प्रोग्राम जो इंसान होने का नाटक कर रहा है। आपको यह जानने की ज़रूरत है: क्या यह प्रोग्राम वास्तव में उस व्यक्ति "होने" का प्रदर्शन कर रहा है, या यह बस चलते-फिरते चीजें बना रहा है?
यह शोध पत्र PICON को प्रस्तुत करता है, जो इन डिजिटल ट्विन्स का परीक्षण करने का एक नया तरीका है। PICON को एक दोस्ताना बातचीत के रूप में नहीं, बल्कि एक जासूस के पूछताछ कक्ष (interrogation room) के रूप में सोचें।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. मूल विचार: "झूठ पकड़ने वाला" साक्षात्कार
लेखकों ने महसूस किया कि AI पात्रों को परखने के मौजूदा तरीके बहुत आसान हैं। यह एक संदिग्ध से पूछने जैसा है, "क्या आपको पिज्जा पसंद है?" और "आपका पसंदीदा रंग क्या है?" यदि वे सही उत्तर देते हैं, तो हम मान लेते हैं कि वे सच बोल रहे हैं। लेकिन एक झूठा व्यक्ति बिना पकड़े गए आसानी से सरल, असंबंधित प्रश्नों के उत्तर दे सकता है।
PICON खेल बदल देता है और पूछताछ तर्क (interrogation logic) का उपयोग करता है (जो पुराने पुलिस मैनुअलों से प्रेरित है)। विचार सरल है: यदि आप कोई कहानी बनाते हैं, तो आप जितने अधिक विवरण जोड़ेंगे, उतनी ही अधिक संभावना है कि आप अपने ही झूठ में फंस जाएंगे।
2. सत्य के तीन स्तंभ
PICON तीन विशिष्ट तरीकों से AI की "ईमानदारी" की जाँच करता है:
आंतरिक निरंतरता (Internal Consistency - "स्मृति परीक्षण"):
- उपमा: कल्पना कीजिए कि AI एक फिल्म का पात्र है। दृश्य 1 में, वह कहता है, "मेरा जन्म 1990 में हुआ था।" दृश्य 10 में, वह कहता है, "मेरा जन्म 1985 में हुआ था।"
- परीक्षण: PICON जुड़े हुए प्रश्नों की एक श्रृंखला पूछता है। यदि AI कहता है कि वह "बर्कले" गया था, तो अगला प्रश्न वहां के विशिष्ट प्रोफेसर के बारे में पूछेगा। यदि AI बाद में दावा करता है कि वह कभी बर्कले नहीं गया था, तो सिस्टम विरोधाभास को पकड़ लेता है। यह एक जासूस के कहने जैसा है, "रुको, तुमने कहा था कि तुम दोपहर 2 बजे बैंक में थे, लेकिन तुमने यह भी कहा था कि तुम 2 बजे मूवी देखने गए थे। अब सच क्या है?"
बाहरी निरंतरता (External Consistency - "गूगल चेक"):
- उपमा: AI दावा करता है, "मैं 'फ्लबर कॉर्प' नामक कंपनी में 'टोपिका' में काम करता हूँ।"
- परीक्षण: PICON के पास एक अंतर्निहित "गूगल सर्च" टूल है। यह तुरंत "फ्लबर कॉर्प" और "टोपिका" को खोजता है। यदि कंपनी मौजूद नहीं है, या यदि शहर किसी दूसरे देश में है, तो AI विफल हो जाता है। यह एक बैकग्राउंड चेक की तरह है जो वास्तविक समय में होता है।
पुनः परीक्षण निरंतरता (Retest Consistency - "अमनेशिया टेस्ट"):
- उपमा: आप AI से पूछते हैं, "आपके कुत्ते का नाम क्या है?" वह कहता है "बडी"। आप 20 प्रश्न बाद पूछते हैं, "आपके कुत्ते का नाम क्या है?" वह कहता है "स्पॉट"।
- परीक्षण: PICON साक्षात्कार की शुरुआत और अंत में बिल्कुल वही बुनियादी प्रश्न पूछता है। यदि AI की "याददाश्त" बदल जाती है, तो वह विफल हो जाता है। वास्तविक मनुष्य छोटी बातें भूल सकते हैं, लेकिन वे आमतौर पर एक ही बैठक में अपनी पूरी जीवन कहानी नहीं बदलते।
3. प्रयोग: इंसान बनाम रोबोट
शोधकर्ताओं ने केवल रोबोट का परीक्षण नहीं किया; उन्होंने इसी कठिन पूछताछ का उपयोग करके 63 वास्तविक मनुष्यों का भी परीक्षण किया। वे यह देखना चाहते थे कि कठिन परिस्थितियों में इंसान कितने "मानवीय" होते हैं।
चौंकाने वाले परिणाम:
- इंसान: यहाँ तक कि वास्तविक लोगों ने भी एक ही प्रश्न को दो बार पूछे जाने पर छोटी गलतियाँ कीं या थोड़ा भ्रमित हुए। लेकिन कुल मिलाकर, वे सुसंगत थे।
- रोबोट: यहाँ तक कि सबसे उन्नत AI "परसोना" (जैसे Character.ai या विशेष शोध मॉडल) भी वास्तविक मनुष्यों की तुलना में बुरी तरह विफल रहे।
- कुछ AI खुद का विरोधाभास न करने में बहुत अच्छे थे लेकिन वास्तविक तथ्य प्रदान करने में बहुत खराब थे (उन्होंने फर्जी कंपनियाँ बना दीं)।
- कुछ तथ्य देने में बहुत अच्छे थे लेकिन बातचीत के बीच में ही अचानक अपना नाम या उम्र भूल जाते थे।
- बड़ी सीख: वर्तमान में कोई भी AI जटिल, कई घंटों की बातचीत में वास्तविक मानव की पूरी तरह से नकल करने के लिए पर्याप्त अच्छा नहीं है। वे उन अभिनेताओं की तरह हैं जो यदि नाटक लंबा खिंच जाए तो अपनी लाइनें भूल जाते हैं।
4. यह क्यों महत्वपूर्ण है
हम इंसानों को सिम्युलेट (simulate) करने के लिए AI का उपयोग करना शुरू कर रहे हैं, जैसे कि:
- डॉक्टरों को प्रशिक्षित करने के लिए (मरीजों का अनुकरण करना)।
- नए उत्पादों का परीक्षण करने के लिए (ग्राहकों का अनुकरण करना)।
- सामाजिक विज्ञान के प्रयोग चलाने के लिए।
यदि "सिम्युलेटेड मरीज" सिमुलेशन के बीच में ही यह भूल जाता है कि उसे किसी दवा से एलर्जी है, तो डॉक्टर प्रशिक्षु एक खतरनाक गलती कर सकता है। यदि "सिम्युलेटेड ग्राहक" अपनी पसंद के बारे में बदल जाता है, तो उत्पाद का डिज़ाइन गलत होगा।
PICON वह "स्ट्रेस टेस्ट" है जिसकी हमें आवश्यकता है। यह हमें बताता है: "यह AI 5 मिनट की चैट के लिए ठीक है, लेकिन यदि आप इसे 1 घंटे की गहरी बातचीत के लिए उपयोग करने का प्रयास करते हैं, तो यह बिखर जाएगा और झूठ बोलना शुरू कर देगा।"
सारांश
PICON एक कठोर, मल्टी-टर्न पूछताछ ढांचा है जो AI पात्रों के साथ एक जासूसी कहानी के संदिग्धों की तरह व्यवहार करता है। प्रश्नों की एक श्रृंखला बनाकर, वास्तविक दुनिया के तथ्यों की जाँच करके, और एक ही प्रश्न को दो बार पूछकर, यह AI की "निर्मित पहचान" की दरारों को उजागर करता है। अध्ययन दिखाता है कि हालांकि AI बेहतर हो रहा है, फिर भी यह एक वास्तविक इंसान की सुसंगत और विश्वसनीय स्मृति की पूरी तरह से नकल नहीं कर सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।