ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
यह शोध पत्र ComboShoppingBench प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे जटिल, बजट-बाधित बास्केट शॉपिंग कार्यों पर LLM एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो व्यवहार्य, कूपन-अनुकूलित और संगत उत्पाद संयोजनों को सत्यापित करने की चुनौतियों का समाधान करने के लिए नियत सत्यापन (deterministic validation) के साथ अर्थ संबंधी मूल्यांकन (semantic assessment) को जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को किराने की खरीदारी करना सिखा रहे हैं। शुरुआती दिनों में, आप रोबोट से "दूध का एक विशिष्ट ब्रांड" खोजने के लिए कह सकते थे। यह एक सरल कार्य है: देखो, ढूँढो, और उठा लो। लेकिन वास्तविक जीवन शायद ही कभी इतना सरल होता है। अक्सर, आपको एक पूरा "कॉम्बो" भोजन बनाना पड़ता है: एक मुख्य व्यंजन, उसके साथ बिल्कुल फिट बैठने वाला एक साइड डिश, और एक पेय जो उसके साथ अच्छा लगे, और यह सब एक विशिष्ट बजट के भीतर करते हुए और कूपनों के एक ऐसे ढेर का उपयोग करते हुए जो एक-दूसरे को रद्द भी कर सकते हैं। यह LLM एजेंट्स (डिजिटल सहायक के रूप में कार्य करने वाले लार्ज लैंग्वेज मॉडल्स) की दुनिया है। ये स्मार्ट कंप्यूटर प्रोग्राम हैं जो आपके अनुरोध को पढ़ सकते हैं, लाखों उत्पादों में से खोज कर सकते हैं, और खरीदारी करने का प्रयास कर सकते हैं। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये डिजिटल खरीदार वास्तव में एक पूरी शॉपिंग बास्केट बनाने की जटिल और उलझी हुई वास्तविकता को संभाल सकते हैं बिना भ्रमित हुए, अधिक खर्च किए बिना, या ऐसी चीजें खरीदे बिना जो एक-दूसरे के साथ फिट नहीं बैठतीं?
यहाँ आता है ComboShoppingBench, एक नया "परीक्षा" जिसे JD.com के शोधकर्ताओं द्वारा यह परीक्षण करने के लिए डिज़ाइन किया गया है कि ये AI खरीदार वास्तव में कितने अच्छे हैं। इस बेंचमार्क को केवल एक साधारण क्विज़ के रूप में नहीं, बल्कि एक उच्च-दांव वाले बाधा दौड़ (obstacle course) के रूप में समझें। शोधकर्ताओं ने वास्तविक उत्पादों, कूपनों और सख्त नियमों से भरी एक सिम्युलेटेड दुनिया बनाई। उन्होंने AI को केवल कुछ आइटम चुनने के लिए नहीं कहा; उन्होंने उसे जटिल मिशन दिए जैसे "एक छोटा केस जिसमें फिट होने वाला गेमिंग पीसी बनाएं" या "पाँच लोगों के लिए एक ग्रुप मील ऑर्डर करें जहाँ पेय पदार्थ उसी स्टोर से हों जहाँ से भोजन आता है।" पेच यह है कि AI को यह सुनिश्चित करना होगा कि हर आइटम दूसरे आइटम के साथ काम करे (जैसे यह सुनिश्चित करना कि कंप्यूटर के पुर्जे एक साथ फिट बैठें), पैसे बचाने के लिए कूपन का सबसे स्मार्ट तरीके से उपयोग करना हो, और एक सख्त बजट के भीतर रहना हो। यह एक रोबोट को मास्टर शेफ, बजट अकाउंटेंट और कूपन क्लिपिंग विजार्ड होने के लिए कहने जैसा है।
इस परीक्षा के परिणाम तकनीकी जगत के लिए एक वास्तविकता की जाँच (reality check) थे। शोधकर्ताओं ने 11 अलग-अलग AI एजेंट्स का परीक्षण किया, जिनमें आज के सबसे शक्तिशाली मॉडल्स में से कुछ शामिल थे। यहाँ तक कि "स्टार स्टूडेंट", एक मॉडल जिसका नाम GPT-5.5 है और जिसका 'थिंकिंग मोड' चालू है, वह भी पूरी परीक्षा केवल 61.2% बार ही पास कर पाया। इसका मतलब है कि वह 10 में से लगभग 4 कार्यों में विफल रहा। शोध पत्र सुझाव देता है कि जबकि ये AI व्यक्तिगत आइटम खोजने में बेहतर हो रहे हैं, वे अभी भी काम के "कॉम्बो" वाले हिस्से में संघर्ष करते हैं। वे अक्सर उत्पादों के बीच सूक्ष्म संबंधों को मिस कर देते हैं (जैसे कि एक फोन केस खरीदना जो फोन के मॉडल में फिट नहीं बैठता) या कूपन के गणित में उलझ जाते हैं। वे सही आइटम चुन सकते हैं लेकिन अंतिम कीमत की गणना करने में विफल हो सकते हैं, या वे ऐसा कूपन चुन सकते हैं जो कागज पर तो अच्छा दिखता है लेकिन वास्तव में अंत में अधिक महंगा पड़ता है।
शोधकर्ताओं ने इस परीक्षण को एक चतुर "सॉल्यूशन-फर्स्ट" पद्धति का उपयोग करके बनाया। यह अनुमान लगाने के बजाय कि क्या कोई शॉपिंग लिस्ट संभव है, एक कंप्यूटर एजेंट ने पहले वस्तुओं की एक काम करने वाली बास्केट खोजी। फिर, उन्होंने काम करने वाली उस बास्केट के आधार पर शॉपिंग अनुरोध, बजट और कूपन बनाने के लिए पीछे की ओर काम किया। यह सुनिश्चित करता है कि परीक्षण निष्पक्ष और हल करने योग्य हो। उन्होंने जवाबों को ग्रेड करने के लिए मानव-समान जजों (अन्य AI मॉडल्स) और सख्त नियम-जांचकर्ताओं (rule-checkers) के मिश्रण का भी उपयोग किया। नियम-जांचकर्ता एक सख्त कैशियर की तरह कार्य करते थे, जो यह सत्यापित करते थे कि गणित सही है और कूपन कानूनी हैं, जबकि जज यह देखते थे कि क्या शॉपिंग लिस्ट वास्तव में उपयोगकर्ता के अनुरोध के अनुसार तर्कसंगत है।
अध्ययन ने पाया कि AI के लिए सबसे कठिन काम एक अकेला उत्पाद खोजना नहीं था, बल्कि एक साथ कई बाधाओं (constraints) को संभालना था। जब किसी कार्य में AI को यह याद रखने की आवश्यकता होती कि "आइटम A को आइटम B के साथ फिट होना चाहिए" और "आइटम C को आइटम D के समान ही स्टोर से होना चाहिए" और "कुल योग $100 से कम होना चाहिए," तो AI अक्सर उन नियमों में से एक को छोड़ देता था। "थिंकिंग" मोड ने कुछ एजेंट्स को बेहतर योजना बनाने में मदद की, लेकिन इसने सब कुछ ठीक नहीं किया। वास्तव में, कुछ मॉडल्स के लिए, बहुत अधिक सोचने से वे अपने कैलकुलेटर टूल्स का उपयोग करने में और भी खराब हो गए, जिससे अधिक गणितीय त्रुटियां हुईं। शोध पत्र निष्कर्ष निकालता है कि हालांकि हम प्रगति कर रहे हैं, आज के शॉपिंग एजेंट्स अभी भी उन भरोसेमंद, सर्वज्ञ व्यक्तिगत खरीदारों से बहुत दूर हैं जिनकी हम उम्मीद कर सकते हैं। वे उत्साही इंटर्न की तरह हैं जो उत्पादों के बारे में बहुत कुछ जानते हैं लेकिन उन्हें अभी भी एक इंसान की जरूरत होती है जो रसीद की जांच करे और यह सुनिश्चित करे कि पहेली के टुकड़े वास्तव में एक साथ फिट बैठते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।