Evaluating LLM-Simulated Conversations in Modeling Inconsistent and Uncollaborative Behaviors in Human Social Interaction
यह शोध पत्र CoCoEval को प्रस्तुत करता है, जो LLM-सिम्युलेटेड (LLM-simulated) बातचीत में असंगत और असहयोगात्मक व्यवहारों का पता लगाने के लिए एक ढांचा है, और यह पाता है कि वर्तमान मॉडल व्यवहार की आवृत्ति में महत्वपूर्ण विसंगतियों, प्रॉम्प्ट इंजीनियरिंग की अविश्वसनीयता, और फाइन-ट्यूनिंग की संकीर्ण व्यवहार संबंधी पैटर्न उत्पन्न करने की प्रवृत्ति के कारण मानव सामाजिक संपर्क की जटिलता को प्रामाणिक रूप से पुनरुत्पादित करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आभासी मूवी सेट (virtual movie set) बनाने की कोशिश कर रहे हैं जहाँ AI अभिनेता (लार्ज लैंग्वेज मॉडल्स या LLMs) मानवीय बातचीत का मंचन करते हैं। आप चाहते हैं कि ये AI अभिनेता वास्तविक महसूस हों, इसलिए आप उनसे एक बिजनेस मीटिंग, एक पारिवारिक बहस या एक वाद-विवाद का अनुकरण करने के लिए कहते हैं।
इस शोध पत्र के शोधकर्ताओं ने एक सरल लेकिन गहरा प्रश्न पूछा: "क्या ये AI अभिनेता वास्तव में वास्तविक मनुष्यों की तरह व्यवहार करते हैं, या वे बस बहुत अधिक विनम्र और आदर्श बन रहे हैं?"
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे कुछ रोजमर्रा के उपमाओं के साथ समझाया गया है।
मुख्य समस्या: "बहुत अधिक आदर्श" AI
वास्तविक मानवीय बातचीत अव्यवस्थित होती है। हम एक-दूसरे को बीच में टोकते हैं, हम किसी की बात को गलत समझ लेते हैं, हम अपनी बातें दोहराते हैं, हमारा ध्यान भटक जाता है, और कभी-कभी हम तब भी जिद पर अड़े रहते हैं जब दूसरा व्यक्ति सही होता है। हम इसे "असंगत और असहयोगात्मक व्यवहार" (inconsistent and uncollaboration behaviors) कहते हैं।
हालाँकि, जब शोधकर्ताओं ने AI मॉडलों से इन बातचीत का अनुकरण करने के लिए कहा, तो AI अभिनेता बहुत अधिक सुसंस्कृत थे।
- उपमा: कल्पना कीजिए कि दोस्तों का एक समूह बोर्ड गेम खेल रहा है। एक वास्तविक खेल में, कोई गलती से किसी मोहरे को गिरा सकता है, नियमों को भूल सकता है, या किसी चाल को लेकर बहस कर सकता है। AI वाले संस्करण में, हर कोई नियमों का पूरी तरह से पालन करता है, कभी टोकता नहीं है, और हमेशा तुरंत सहमत हो जाता है। यह एक रोबोटिक नृत्य देखने जैसा है जहाँ हर कोई पूर्ण, समकालिक तालमेल में चलता है। यह सहज दिखता है, लेकिन यह उबाऊ और नकली है।
नया टूल: "COCOEVAL" (व्यवहार का जासूस)
इसे साबित करने के लिए, टीम ने COCOEVAL नामक एक नया टूल बनाया। इसे AI बातचीत को देखने वाला एक व्यवहार संबंधी जासूस (behavioral detective) समझें जो विशिष्ट "अव्यवस्थित" मानवीय क्षणों को गिनता है।
उन्होंने खोजने के लिए 10 प्रकार के "अव्यवस्थित" व्यवहारों को परिभाषित किया, जैसे:
- "रुको, क्या?" वाला क्षण: किसी ने अभी जो कहा उसे गलत समझना।
- "चुप हो जाओ!" वाला क्षण: किसी को वाक्य के बीच में टोकना।
- "टूटा हुआ रिकॉर्ड" वाला क्षण: एक ही चीज़ को बार-बार दोहराना।
- "घोस्टिंग" वाला क्षण: एक सवाल का जवाब अस्पष्ट "शायद" के साथ देना या विषय को पूरी तरह से बदल देना।
उन्होंने क्या पाया (तीन बड़े आश्चर्य)
शोधकर्ताओं ने तीन अलग-अलग तरीकों का उपयोग करके AI का परीक्षण किया, और परिणाम आश्चर्यजनक थे:
1. "डिफ़ॉल्ट" सेटिंग (वैनिला प्रॉम्प्टिंग)
जब उन्होंने बस AI से पूछा, "एक मीटिंग का अनुकरण करें," तो AI ने ऐसी बातचीत बनाई जो डरावनी हद तक साफ-सुथरी थी।
- परिणाम: AI ने लगभग कभी भी टोकना, गलत समझना या असहमति जताना नहीं सीखा। यह एक ऐसी मीटिंग की तरह था जहाँ हर कोई मन-पहुंच वाला (mind-reader) है जो कभी गलती नहीं करता।
- निष्कर्ष: डिफ़ॉल्ट रूप रूप से, AI मददगार और विनम्र होने की कोशिश करता है, जो इसे मानवीय अंतःक्रिया की अव्यवस्थित वास्तविकता को दर्शाने में अक्षम बनाता है।
2. "निर्देश" सेटिंग (प्रॉम्ट इंजीनियरिंग)
शोधकर्ताओं ने इसे ठीक करने की कोशिश की और AI को एक विशिष्ट निर्देश दिया: "हे, कृपया अव्यवस्थित व्यवहार करो! लोगों को टोको, उन्हें गलत समझो और उनसे असहमत हो जाओ!"
- परिणाम: AI हद से ज्यादा आगे निकल गया। वास्तविक इंसान की तरह व्यवहार करने के बजाय, वह एक अराजक कार्टून पात्र की तरह व्यवहार करने लगा। वह लगातार टोकता रहा और हर बात से असहमत होता रहा, यहाँ तक कि तब भी जब इसका कोई तर्क नहीं था।
- उपमा: यह एक शर्मीले अभिनेता को यह कहने जैसा है, "ज़ोर से बोलो!" वे केवल आत्मविश्वासी नहीं बनते; वे चिल्लाने लगते हैं और कुर्सियाँ गिराने लगते हैं। AI प्राकृतिक अव्यवस्था का "सही संतुलन" (sweet spot) नहीं खोज सका; वह बस चरम सीमा की ओर चला गया।
3. "ट्रेनिंग" सेटिंग (सुपरवाइज्ड फाइन-ट्यूनिंग)
उन्होंने AI को हजारों वास्तविक मानवीय ट्रांसक्रिप्ट्स पर प्रशिक्षित करने की कोशिश की ताकि वह "सीख" सके कि अव्यवस्थित कैसे होना है।
- परिणाम: AI ने अव्यवस्थित होना सीख लिया, लेकिन केवल एक विशिष्ट तरीके से। वह दोहराव का जुनूनी हो गया। वह बार-बार "हाँ," फिर "सही," फिर "बिल्कर सही," बोलता रहता था, जैसे कोई टूटा हुआ रिकॉर्ड हो।
- निष्कर्ष: AI ने मानवीय त्रुटि के सतही स्वरूप (शब्दों को दोहराना) की नकल करना सीख लिया, लेकिन इसकी गहराई (वास्तविक गलतफहमी या वास्तविक असहमति) को समझने में विफल रहा। यह उस छात्र की तरह था जिसने "ओह्स" (oops) शब्द को रट लिया लेकिन यह नहीं समझा कि वास्तव में गलती क्या महसूस होती है।
"टर्न" (Turn) कारक
उन्होंने यह भी देखा कि AI बातचीत को कैसे उत्पन्न करता है, यह मायने रखता है।
- यदि AI पूरी बातचीत को एक बार में लिखता है (जैसे एक पूरा अध्याय एक साथ लिखना), तो यह बहुत साफ और तार्किक रहती है।
- यदि AI एक बार में केवल एक वाक्य लिखता है (जैसे बोलने से पहले सोचने वाला वास्तविक व्यक्ति), तो यह अधिक अव्यवस्थित हो जाता है। लेकिन फिर भी, यह सही प्रकार की अव्यवस्था प्राप्त करने के लिए संघर्ष करता है।
यह क्यों महत्वपूर्ण है?
लेखक हमें चेतावनी देते हैं कि यदि हम मानव व्यवहार का अध्ययन करने के लिए (जैसे कि लोग नए कानून या सोशल मीडिया फीचर के प्रति कैसे प्रतिक्रिया देते हैं, इसका परीक्षण करने के लिए) इन AI सिमुलेशन का उपयोग करते हैं, तो हमें गलत उत्तर मिल सकते हैं।
- रूपक: कल्पना कीजिए कि आप एक शहर नियोजक (city planner) हैं जो ट्रैफिक सिस्टम डिजाइन करने की कोशिश कर रहे हैं। आप रोबोटों के साथ एक सिमुलेशन बनाते हैं जो कभी रेड लाइट नहीं तोड़ते, कभी विचलित नहीं होते, और हमेशा पूरी तरह से गाड़ी चलाते हैं। आप सोच सकते हैं, "बहुत बढ़िया, ट्रैफिक एकदम सुचारू रूप से चल रहा है!" लेकिन जब आप वास्तविक मनुष्यों को कारों में डालते हैं, तो सिस्टम क्रैश हो जाता है क्योंकि वास्तविक लोग विचलित होते हैं, गलतियाँ करते हैं और एक-दूसरे को काटते हैं।
निचोड़
मानवीय बातचीत का अनुकरण करना उतना आसान नहीं है जितना दिखता है। यह केवल स्मार्ट या तार्किक होने के बारे में नहीं है; यह दोषपूर्ण (flawed) होने के बारे में भी है।
वर्तमान में, हमारे AI अभिनेता पूरी तरह से रिहर्सल किए हुए थिएटर छात्रों की तरह हैं जो एक वास्तविक, अव्यवस्थित बहस में सुधार (improvise) नहीं कर सकते। वे या तो बहुत विनम्र हैं, बहुत अराजक हैं, या बस दोहराव वाले हैं। जब तक हम उन्हें वास्तव में, स्वाभाविक रूप से अव्यवस्थित होना नहीं सिखा सकते, हमें इस बात पर बहुत सावधान रहना होगा कि वे वास्तविक मनुष्यों के बीच होने वाली अंतःक्रिया का प्रतिनिधित्व करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।