Thinking Is Not Telling: Information Disclosure in User-Service LLM Agents
यह शोध पत्र उपयोगकर्ता-सेवा LLM एजेंटों में एक महत्वपूर्ण संचार विफलता की पहचान करता है जहाँ आंतरिक तर्क (internal reasoning) स्वतः ही समय पर उपयोगकर्ता-सामना करने वाली सूचना प्रकटीकरण में परिवर्तित नहीं होता है, जो यह प्रदर्शित करता है कि निर्णय-प्रासंगिक ज्ञान को स्पष्ट रूप से बाहरी रूप से व्यक्त करना केवल आंतरिक "सोचने" के प्रयासों को बढ़ाने की तुलना में कार्य सफलता के लिए अधिक प्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्टेक्स वीडियो गेम खेल रहे हैं जिसमें आपका एक साथी है जो पूरे मैप, छिपे हुए जाल और गुप्त नियमों को देख सकता है, लेकिन आप केवल अपने सामने की स्क्रीन का एक छोटा सा हिस्सा ही देख सकते हैं। आप कंट्रोलर पकड़े हुए खिलाड़ी हैं, और आपका साथी एक "AI गाइड" है। कंप्यूटर विज्ञान की दुनिया में, इन गाइड्स को लार्ज लैंग्वेज मॉडल (LLM) एजेंट कहा जाता है। ये सुपर-स्मार्ट प्रोग्राम हैं जिन्हें हमें फ्लाइट बुक करने, सामान वापस करने या अपना शेड्यूल मैनेज करने जैसे काम करने में मदद करने के लिए डिज़ाइन किया गया है। आमतौर पर, हम यह मान लेते हैं कि यदि AI अपने दिमाग में बहुत गहराई से "सोच" रहा है, तो वह हमें सबसे अच्छी सलाह देगा। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि AI के अंदर एक शानदार आंतरिक संवाद (monologue) चल रहा है, इसका मतलब यह नहीं है कि वह वास्तव में आपको वह सब बता भी रहा है जो वह जानता है। यदि AI मैप पर एक जाल देखता है लेकिन आपके कूदने से पहले आपको चेतावनी देना भूल जाता है, तो आप फिर भी गिर जाएंगे। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या AI की गुप्त सोच वास्तव में हमारी मदद कर रही है, या वह सारी अच्छी जानकारी अपने पास ही रख रही है?
इस अध्ययन के पीछे के शोधकर्ताओं ने AI विफलता के एक विशिष्ट प्रकार की जांच करने का निर्णय लिया जहाँ एजेंट "सोचता" तो है लेकिन "बताता" नहीं है। उन्होंने उन परिदृश्यों को देखा जहाँ एक AI एजेंट, एक मानव उपयोगकर्ता और एक डिजिटल वातावरण (जैसे किसी स्टोर का डेटाबेस या एयरलाइन का सिस्टम) को मिलकर काम करना होता है। समस्या यह है कि AI अक्सर ऐसी चीजें जानता है जो उपयोगकर्ता नहीं जानता, जैसे "आप केवल एक आइटम रद्द नहीं कर सकते" या "यह फ्लाइट पहले से ही फुल है।" टीम यह देखना चाहती थी कि क्या AI को एक "थिंक" (सोचने वाला) टूल का उपयोग करने के लिए मजबूर करने से—जहाँ वह बोलने से पहले अपने तर्क के चरणों को लिखता है—वास्तव में उसे एक बेहतर साथी बनाया जा सकता है। उन्होंने इसका परीक्षण पांच अलग-अलग AI मॉडल्स और तीन वास्तविक दुनिया के सर्विस परिदृश्यों, जैसे शॉपिंग और फ्लाइट बुकिंग, में किया।
उन्हें जो पता चला वह थोड़ा आश्चर्यजनक था। उन्होंने पाया कि AI को अधिक "सोचने" के लिए मजबूर करने से वह अपने काम में स्वतः ही बेहतर नहीं हो गया। वास्तव में, कई मामलों में, AI और भी खराब हो गया! ऐसा प्रतीत होता है कि AI अपने "सोचने" के समय का उपयोग अपने विचारों को व्यवस्थित करने के लिए कर रहा था, लेकिन वह उन विचारों के सबसे महत्वपूर्ण हिस्सों को उपयोगकर्ता के साथ साझा नहीं कर रहा था। यह एक ऐसे शेफ की तरह था जो रसोई में एक गुप्त रेसिपी को पूर्ण बनाने में घंटों बिताता है, लेकिन ग्राहक को बिना यह बताए व्यंजन परोस देता है कि यह तीखा है, जबकि ग्राहक को नट्स (मेवे) से एलर्जी है। AI उस एलर्जी के बारे में "सोच" रहा था, लेकिन वह ग्राहक को "बताने" में विफल रहा।
इसे साबित करने के लिए, शोधकर्ताओं ने एक चतुर खेल खेला: "क्या होगा अगर"। उन्होंने उन विफल बातचीत को लिया जहाँ AI ने गलती की थी और उसमें गुप्त रूप से वह गायब जानकारी डाल दी जो AI को कह देनी चाहिए थी। उदाहरण के लिए, यदि AI रद्दीकरण शुल्क (cancellation fees) के बारे में नियम बताना भूल गया, तो उन्होंने उस नियम को बातचीत में वापस जोड़ दिया। जब उन्होंने ऐसा किया, तो AI का अगला कदम बहुत अधिक सटीक हो गया। इससे पता चला कि असली समस्या यह नहीं थी कि AI पर्याप्त स्मार्ट नहीं था; बल्कि यह थी कि वह सही समय पर सही जानकारी का खुलासा नहीं कर रहा था। अध्ययन सुझाव देता है कि बेहतर AI के लिए कुंजी केवल इसे और अधिक गहराई से सोचने के लिए कहना नहीं है, बल्कि यह सुनिश्चित करना है कि वह उपयोगकर्ता को उन बातों के बारे में बताए जिनकी उसे एक अच्छा निर्णय लेने के लिए आवश्यकता है।
टीम ने एक सरल समाधान का भी परीक्षण किया: उन्होंने AI को उसके निर्देशों में एक छोटा सा संकेत दिया, यह कहते हुए, "हे, उपयोगकर्ता से निर्णय लेने के लिए कहने से पहले, सुनिश्चित करें कि आप उन्हें नियम, विकल्प और क्या हो सकता है, यह बता दें।" इस छोटे से बदलाव ने कमाल कर दिया। इसने AI को उसकी "सोचने" वाली गलतियों से उबरने में मदद की और वास्तव में इसके प्रदर्शन में सुधार किया, भले ही उसे आंतरिक रूप से सोचने के लिए मजबूर किया गया हो। निष्कर्ष यह है कि एक सच्चा सहायक होने के लिए, AI को रहस्य रखना बंद करना होगा और उन तथ्यों को साझा करना शुरू करना होगा जो मायने रखते हैं। केवल स्मार्ट होना ही काफी नहीं है; आपको एक अच्छा संचारक (communicator) भी होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।