NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews
यह शोधपत्र NewsInterview प्रस्तुत करता है, जो 40,000 सूचनात्मक साक्षात्कारों का एक डेटासेट और एक सिम्युलेटेड वातावरण है जो मानव साक्षात्कारकर्ताओं की तुलना में रणनीतिक संवाद में लार्ज लैंग्वेज मॉडल्स (LLMs) की महत्वपूर्ण कमियों को उजागर करता है, जैसे कि पूछे गए प्रश्नों के उत्तर को पहचानना और प्रभावी ढंग से विषय बदलना।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिनर पार्टी में हैं। आपका एक दोस्त है जो एक बेहतरीन किस्सागो (storyteller) है, लेकिन वह थोड़ा शर्मीला, घबराया हुआ या शायद थोड़ा चिड़चिड़ा भी है। आपका लक्ष्य उसे उसकी सबसे दिलचस्प और गुप्त कहानियाँ सुनाने के लिए प्रेरित करना है।
इसे अच्छी तरह से करने के लिए, आपको केवल सवालों की सूची से अधिक कुछ चाहिए। आपको:
- सुनना और सिर हिलाना होगा ("ओह वाह, यह तो डरावना लग रहा है!") ताकि वह सुरक्षित महसूस कर सके।
- माहौल को समझना होगा कि कब और अधिक विवरण मांगना है और कब विषय बदल देना है।
- विश्वास बनाना होगा ताकि वह अंततः पूरी तरह से खुल सके।
यह शोध पत्र, जिसका शीर्षक "NewsInterview" है, इस बारे में है कि क्या आर्टिफिशियल इंटेलिजेंस (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) उस कुशल डिनर पार्टी होस्ट की भूमिका निभाने में सक्षम है। शोधकर्ताओं ने पाया कि हालांकि AI निबंध लिखने में बहुत अच्छा है, लेकिन यह एक रणनीतिक (strategic) बातचीत करने में आश्चर्यजनक रूप से खराब है।
यहाँ उनकी खोज का विवरण दिया गया है, जिसे कुछ मजेदार उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. समस्या: "रोबोटिक इंटरव्यूअर"
शोधकर्ताओं ने NPR और CNN के 40,000 वास्तविक साक्षात्कारों का अध्ययन किया। उन्होंने पाया कि मानव पत्रकार कुशल माली की तरह होते हैं। वे जानते हैं कि कब पौधे को पानी देना है (एक फॉलो-अप सवाल पूछना), कब एक शाखा की छंटाई करनी है (विषय बदलना), और कब बस चुपचाप बैठकर मुस्कुराना है (अतिथि की भावनाओं को स्वीकार करना)।
जब उन्होंने एक AI को इंटरव्यू लेने के लिए कहा, तो AI एक रोबोटिक वेंडिंग मशीन की तरह व्यवहार करने लगा।
- कोई "सिर हिलाना" नहीं: इंसान विश्वास बनाने के लिए "स्वीकृति वाले कथनों" (जैसे "मैं समझता हूँ," या "यह दिलचस्प है") का उपयोग लगभग 9% समय करते हैं। AI ने ऐसा लगभग कभी नहीं किया। यह किसी ऐसे व्यक्ति से बात करने जैसा था जो कभी "हाँ-हाँ" या "वाह" नहीं कहता।
- रैबिट होल (एक ही बात में उलझना): बातचीत को नए विषयों की ओर ले जाने के बजाय (जैसे एक माली अगले फूलों के बेड की ओर बढ़ता है), AI एक ही विषय पर बार-बार सवाल पूछता रहा और एक लूप में फंस गया।
- रणनीति की कमी: इंसानों के पास एक योजना होती है। उन्हें पता होता है कि उन्हें अतिथि से तीन विशिष्ट तथ्य निकालने हैं। AI बस रैंडमली सवाल पूछता रहा, इस उम्मीद में कि शायद कुछ अच्छा निकल आए।
2. समाधान: "इंटरव्यू वीडियो गेम"
इसे ठीक करने के लिए, शोधकर्ताओं ने एक सिम्युलेटेड वीडियो गेम बनाया जिसे NewsInterview कहा जाता है।
- सेटअप: एक AI इंटरव्यूअर (साक्षात्कारकर्ता) की भूमिका निभाता है, और दूसरा AI सोर्स (स्रोत/अतिथि) की भूमिका निभाता है।
- पात्र: "सोर्स" AI केवल एक व्यक्ति नहीं है; वह अलग-अलग मुखौटे (personas) पहनता है। कभी वह चिंतित (बात करने से डरने वाला) होता है, कभी रक्षात्मक (गुस्सैल), कभी अनजान (जिसे जवाब नहीं पता), या कभी हावी होने वाला (जो बोलना बंद नहीं करता)।
- नियम: इंटरव्यूअर AI को अंक तभी मिलते हैं जब वह सोर्स को छिपी हुई जानकारी प्रकट करने के लिए सफलतापूर्वक "अनुनय" (persuade) कर लेता है।
- उपमा: कल्पना कीजिए कि सोर्स एक बंद तिजोरी है। इंटरव्यूअर को उस ताले को खोलना होगा। यदि तिजोरी "चिंतित" है, तो आपको धीरे से बात करनी होगी। यदि वह "आक्रामक" है, तो आपको दृढ़ होना होगा और अपनी पहचान दिखानी होगी। यदि आप सिर्फ तिजोरी पर हथौड़े से वार करते हैं (सीधे और रूखे सवाल पूछते हैं), तो वह खुलेगी नहीं।
3. परिणाम: खेल किसने जीता?
शोधकर्ताओं ने हजारों बार यह खेल चलाया। यहाँ बताया गया कि क्या हुआ:
- "सोर्स" AI बहुत अच्छा था: जब AI ने अतिथि की भूमिका निभाई, तो वह बहुत मानवीय व्यवहार करने में सक्षम था। यदि उसे "चिंतित" होने के लिए कहा गया, तो उसने घबराहट दिखाई। यदि उसे "रक्षात्मक" होने के लिए कहा गया, तो वह चिड़चिड़ा हो गया। वह यह भी जान गया कि उसे कब मनाया जा रहा है।
- "इंटरव्यूअर" AI संघर्ष करता रहा: यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे GPT-4) भी अधिकतम जानकारी निकालने में विफल रहे।
- वे यह नहीं बता सके कि कब एक सवाल का जवाब मिल चुका है और कब आगे बढ़ना है।
- वे अपनी शैली को अनुकूलित नहीं कर सके। यदि अतिथि डरा हुआ था, तो AI को विनम्र होना चाहिए था। इसके बजाय, वह बस वही कठिन सवाल पूछता रहा, जिससे "अतिथि" और भी चुप हो गया।
- स्कोर: सबसे कठिन संस्करण में (जहाँ अतिथि चालाक है), AI केवल लगभग 50% उपलब्ध जानकारी प्राप्त कर सका। जब खेल को आसान बनाया गया (अनुनय वाले हिस्से को हटाकर), तो स्कोर 80% से ऊपर चला गया। यह साबित करता है कि AI की मुख्य कमजोरी तथ्य जानना नहीं है; बल्कि यह है कि लोगों से कैसे बात की जाती है।
4. यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या हुआ? यह तो बस एक न्यूज़ इंटरव्यू है।" लेकिन लेखक तर्क देते हैं कि रणनीतिक बातचीत वास्तविक दुनिया की कई नौकरियों की कुंजी है:
- थेरेपिस्ट: जिन्हें मरीजों को खुलने में मदद करने के लिए विश्वास बनाना पड़ता है।
- शिक्षक: जिन्हें छात्रों को प्रयास जारी रखने के लिए प्रोत्साहित करने की आवश्यकता होती है।
- संकट वार्ताकार (Crisis Negotiators): जिन्हें बंधक बनाने वाले व्यक्ति को शांत करने के लिए बात करनी पड़ती है।
वर्तमान में, AI एक ऐसे छात्र की तरह है जिसने हर किताब पढ़ ली है लेकिन वास्तव में कभी किसी इंसान से बात नहीं की है। वह शब्दों को जानता है, लेकिन वह बातचीत के नृत्य (dance) को नहीं समझता।
निष्कर्ष
यह शोध पत्र हमें AI को एक बेहतर वार्ताकार बनाने के लिए एक नया मैदान देता है। यह दिखाता है कि संवेदनशील स्थितियों में AI को वास्तव में उपयोगी बनाने के लिए, हमें केवल उसे अधिक तथ्य नहीं सिखाने चाहिए। हमें उसे सहानुभूति, समय की समझ और अनुनय की कला सिखानी होगी—वही कौशल जो एक मानव पत्रकार कहानी निकालने के लिए उपयोग करता है।
संक्षेप में: AI एक शानदार लाइब्रेरियन है, लेकिन वर्तमान में वह एक बुरा जासूस है। यह शोध पत्र उसे केस सुलझाने के लिए प्रशिक्षित करने वाला मैनुअल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।