DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain
यह शोध पत्र DRIP-R को प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे वास्तविक दुनिया के उन परिदृश्यों पर उनके प्रदर्शन का व्यवस्थित रूप से परीक्षण करके रिटेल डोमेन में LLM-आधारित एजेंटों की निर्णय लेने और तर्क करने की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो अंतर्निहित नीतिगत अस्पष्टताओं द्वारा अभिलक्षित हैं जहाँ कोई एक सही समाधान मौजूद नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल ऑनलाइन स्टोर के लिए काम करने वाले एक कस्टमर सर्विस रोबोट हैं। आपका काम रिटर्न (वापसी) को संभालना है। आपके पास एक नियम पुस्तिका (कंपनी की पॉलिसी) है जो आपको बताती है कि क्या करना है।
ज्यादातर रोबोट टेस्ट में, नियम पुस्तिका एक गणित की किताब की तरह होती है: स्पष्ट, सटीक और जिसमें केवल एक ही सही उत्तर होता है। "यदि बॉक्स खुला है, तो आप इसे वापस नहीं कर सकते।" सरल।
लेकिन वास्तविक दुनिया में, नियम पुस्तिकाएं एक मैनेजर द्वारा लिखे गए हाथ से लिखे नोट्स की तरह होती हैं। वे कहती हैं जैसे, "वस्तुएं अप्रयुक्त (unused) स्थिति में होनी चाहिए।"
यहाँ समस्या यह है कि "अप्रयुक्त" का वास्तव में क्या अर्थ है?
- क्या इसका मतलब है कि प्लास्टिक रैप अभी भी लगा हुआ है?
- क्या इसका मतलब है कि आप उसे बॉक्स से बाहर नहीं निकाल सकते थे?
- क्या इसका मतलब है कि आप इसे यह देखने के लिए 10 सेकंड के लिए प्लग-इन नहीं कर सकते थे कि यह काम करता है या नहीं?
यह अस्पष्टता (ambiguity) है। और यही वह चीज़ है जिसके बारे में DRIP-R पूरी तरह से है।
मुख्य विचार: "ग्रे एरिया" (धुंधला क्षेत्र) टेस्ट
लेखकों ने एक नया टेस्ट बनाया जिसे DRIP-R (रिटेल के लिए अस्पष्ट पॉलिसी में निर्णय लेना और तर्क देना - Decision-making and Reasoning In ambiguous Policy for Retail) कहा जाता है। उन्हें स्पष्ट नियम देने के बजाय, उन्होंने उन्हें वास्तविक दुनिया की अमेज़न रिटर्न पॉलिसी दी जो 'ग्रे एरिया' से भरी हुई है।
इसे एक ड्राइविंग टेस्ट की तरह समझें जहाँ सड़क के संकेत धुंधले हैं।
- पुराने टेस्ट: "लाल बत्ती पर रुकें।" (आसान। रोबोट रुक जाता है।)
- DRIP-R टेस्ट: "रुकें यदि बत्ती थोड़ी सी लाल है या यदि ऐसा लग रहा है कि यह जल्द ही लाल होने वाली है।" (कठिन। क्या रोबोट रुकता है? क्या वह धीमा होता है? या क्या वह चलता रहता है?)
उन्होंने रोबोट्स का परीक्षण कैसे किया
उन्होंने दो पात्रों के साथ एक सिमुलेशन तैयार किया:
- ग्राहक: एक विशिष्ट व्यक्तित्व वाला सिम्युलेटेड व्यक्ति (कुछ गुस्से वाले हैं, कुछ विनम्र हैं, कुछ घबराए हुए हैं)।
- एजेंट: AI कस्टमर सर्विस बॉट जो रिटर्न की समस्या को हल करने की कोशिश कर रहा है।
उन्होंने एजेंटों को 40 पेचीदा रिटर्न परिदृश्य दिए (जैसे "मैंने हेडफ़ोन खोले लेकिन केवल एक गाना सुना") और 10 अलग-अलग ग्राहक व्यक्तित्व दिए। एजेंटों को ग्राहकों के साथ चैट करना था, अपने आंतरिक टूल्स (जैसे ऑर्डर विवरण देखना) की जांच करनी थी, और निर्णय लेना था: क्या मैं पूरा रिफंड दूँ? आंशिक (partial) रिफंड दूँ? या मना कर दूँ?
"मल्टी-जज" पैनल
आप एक रोबोट को कैसे ग्रेड करेंगे जब कोई एक सही उत्तर न हो? यदि एक रोबोट कहता है "हाँ, रिफंड दें," और दूसरा कहता "नहीं, मना करें," तो कौन सही है?
लेखकों ने केवल एक विजेता नहीं चुना। उन्होंने रोबोटों का मूल्यांकन करने के लिए AI जजों का एक पैनल (एक जूरी की तरह) बनाया जो चार अलग-अलग चीजों पर ध्यान केंद्रित करता था:
- क्या वे नियमों का पालन करते रहे? (भले ही नियम अस्पष्ट थे, क्या उन्होंने पॉलिसी की भावना का पालन करने की कोशिश की?)
- क्या वे अच्छी तरह से बात करते थे? (क्या बातचीत विनम्र और तार्किक थी?)
- क्या वे अपने चरित्र की तरह व्यवहार करते थे? (यदि रोबोट को "बहुत मददगार" होना था, तो क्या वह उत्सुक लग रहा था? यदि वह "सीधा/स्पष्ट" था, तो क्या वह रूखा था?)
- क्या उन्होंने समस्या को हल किया? (क्या ग्राहक को वह मिला जो उसे चाहिए था, और क्या कंपनी सुरक्षित रही?)
उन्हें क्या मिला (चौंकाने वाले परिणाम)
परिणाम आंखें खोलने वाले थे। जब नियम स्पष्ट थे, तो सभी सबसे स्मार्ट AI मॉडल सहमत थे। लेकिन जब नियम अस्पष्ट थे:
- वे सभी असहमत थे: बिल्कुल एक ही रिटर्न अनुरोध के लिए, एक AI "पूरा रिफंड" कह सकता है, दूसरा "आंशिक रिफंड" कह सकता है, और तीसरा "मना" कर सकता है। उनके बीच लगभग कोई सहमति नहीं थी।
- व्यक्तित्व मायने रखता है: यदि ग्राहक "न्यूरोटिक" (चिंतित) या "एक्सट्रोवर्ट" (मुखर/शोर मचाने वाला) था, तो AI द्वारा उन्हें रिफंड देने की संभावना अधिक थी। यदि वे "सहमत/मिलनसार" (अच्छे स्वभाव वाले) थे, तो AI अधिक सख्त था। इससे पता चलता है कि रोबोट पक्षपाती हो सकते हैं, और कुछ प्रकार के लोगों को अधिक महत्व दे सकते हैं।
- "कहने और करने का अंतर" (Say-Do Gap): कभी-कभी, रोबोट कहता था, "मैं नीति का सख्ती से पालन कर रहा हूँ," लेकिन फिर भी रिफंड दे देता था। वे नियमों का पालन करने जैसा दिखने में अच्छे थे, लेकिन वास्तव में इसे लगातार करने में खराब थे।
निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि वर्तमान AI एजेंट स्पष्ट निर्देशों का पालन करने में बहुत अच्छे हैं, लेकिन वे वास्तविक जीवन के उलझे हुए, ग्रे क्षेत्रों को संभालने में बहुत खराब हैं।
एक ऐसे रोबोट की कल्पना करें जो एक आदर्श वकील है लेकिन एक बुरा जज है। वह कानून को पूरी तरह से रट सकता है, लेकिन जब कानून अस्पष्ट होता है, तो उसे पता नहीं होता कि निष्पक्ष निर्णय कैसे लिया जाए। लेखकों ने DRIP-R को यह दिखाने के लिए बनाया है कि ये रोबोट कहाँ लड़खड़ाते हैं, ताकि हम बेहतर रोबोट बना सकें जो मानवीय नियमों की जटिल वास्तविकता को संभाल सकें।
संक्षेप में: वास्तविक जीवन गणित की समस्या नहीं है जिसका एक उत्तर हो। यह कई संभावित परिणामों वाली एक बातचीत है। DRIP-R साबित करता है कि हमारे वर्तमान AI रोबोट अभी भी उस बातचीत को निष्पक्ष रूप से करने के लिए संघर्ष कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।