TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
यह शोध पत्र TREK को प्रस्तुत करता है, जो एक नियत (deterministic) इवैल्यूएटर और एक बड़े पैमाने के सिंथेटिक यात्रा डेटासेट वाला एक कठोर और पूर्णतः पुनरुत्पादक (reproducible) बेंचमार्क है, जिसका उपयोग LLM एजेंटों की व्यवहार्य, बाधा-अनुपालन यात्रा कार्यक्रम (itineraries) उत्पन्न करने की क्षमता का आकलन करने के लिए किया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी बहु-बाधा नियोजन (multi-constraint planning) और असूचित उपयोगकर्ता आवश्यकताओं को पूरा करने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को छुट्टी की योजना बनाना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को "एलएलएम एजेंट" (LLM agents) कहा जाता है। वे डिजिटल ट्रैवल एजेंट की तरह होते हैं जो आपके बिखरे हुए टेक्स्ट मैसेज पढ़ सकते हैं, आपकी इच्छा समझ सकते हैं, और फिर उड़ानें बुक करने, होटल खोजने और दर्शनीय स्थलों की यात्रा निर्धारित करने के लिए इंटरनेट पर जा सकते हैं। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक रोबोट एक आदर्श यात्रा के बारे में बात कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में उसे बना भी सकता है। एक वास्तविक वेकेशन प्लान एक नाजुक पहेली होता है। हर उड़ान का वास्तव में अस्तित्व में होना चाहिए, होटल खुले होने चाहिए, शहरों के बीच गाड़ी चलाने के लिए दिन पर्याप्त लंबे होने चाहिए, और कुल लागत आपके बजट में होनी चाहिए। यदि रोबोट कोई फर्जी फ्लाइट नंबर बना देता है या यह भूल जाता है कि कोई संग्रहालय शाम 5 बजे बंद हो जाता है, तो पूरी योजना विफल हो जाती है। लंबे समय से, हम इन रोबोटों का परीक्षण उन्हें यात्राओं के बारे में कहानियाँ लिखने के लिए कहकर करते आए हैं, लेकिन हमारे पास यह जाँचने का कोई सख्त तरीका नहीं था कि क्या उनकी योजनाएँ वास्तव में वास्तविक दुनिया में काम करेंगी।
यहीं पर TREK (ट्रैवल रीजनिंग एंड इवैल्यूएशन किट) नामक एक नया अध्ययन काम आता है। TREK को एक विशाल, उच्च-दांव वाले "फ्लाइट सिम्युलेटर" के रूप में समझें जो ट्रैवल-प्लानिंग रोबोट्स के लिए बनाया गया है। रोबोट्स को अनुमान लगाने देने के बजाय, शोधकर्ताओं ने 375 शहरों में उड़ानों, होटलों और आकर्षणों के 212,530 रिकॉर्ड्स के साथ एक पूरी तरह से सुसंगत, काल्पनिक दुनिया बनाई। फिर उन्होंने 15 अलग-अलग एआई एजेंटों को 800 यात्रा चुनौतियों का एक सेट दिया। कुछ चुनौतियाँ संभव थीं, और कुछ असंभव (जैसे कि उस शहर में उड़ने की कोशिश करना जहाँ कोई हवाई अड्डा ही नहीं है)। रोबोटों को एक योजना बनाने के लिए विशेष उपकरणों के एक सेट का उपयोग करना था, और फिर एक सख्त, कंप्यूटर-आधारित रेफरी (जिसके पास उदार होने के लिए कोई मानव या एआई "जज" नहीं था) ने हर एक विवरण की जाँच की। लक्ष्य यह देखना था कि क्या रोबोट एक ऐसी योजना तैयार कर सकते हैं जो न केवल एक अच्छी कहानी हो, बल्कि एक पूरी तरह से निष्पादित, त्रुटिहीन यात्रा कार्यक्रम हो जो यात्री की छिपी हुई जरूरतों का सम्मान करता हो, जैसे कि व्हीलचेयर के अनुकूल होना या पेट-फ्रेंडली (पालतू जानवरों के अनुकूल) होना।
परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे। इस विशिष्ट 2027 के अध्ययन में सबसे मजबूत मॉडल, GPT-5.6 भी, केवल 46.2% संभावित यात्राओं के लिए एक पूरी तरह से सटीक, उपयोग योग्य योजना बनाने में सफल रहा। औसत रोबोट बहुत खराब प्रदर्शन करता था, जिसका मध्यिका (median) सफलता दर मात्र 6.6% थी, और कुछ तो पूरी तरह विफल रहे, जिनका स्कोर 0.0% था। अध्ययन से पता चला कि रोबोट "उबाऊ" चीजों में काफी अच्छे थे: उन्होंने शायद ही कभी फर्जी उड़ानें बनाईं (हैलुसिनेशन) और वे आमतौर पर यह बता पाते थे कि कोई यात्रा असंभव है। हालांकि, वे यात्री को समझने के मामले में एक बड़ी दीवार से टकरा गए। सबसे बड़ी बाधा "निहित आवश्यकताओं" (implicit needs) को पूरा करना था—वे अनकही इच्छाएं जैसे "मैं एक फूडी हूँ और मिशलिन-स्टार रेस्तरां के पास रुकना चाहता हूँ" या "मैं एक विकलांग यात्री हूँ और मुझे रैंप वाला होटल चाहिए।" सबसे अच्छे रोबत भी इन छिपी हुई जरूरतों को पूरा करने में आधे से अधिक बार विफल रहे।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या रोबोटों को अधिक समय तक "सोचने" देने या उन्हें अधिक कंप्यूटर पावर का उपयोग करने देने से मदद मिलेगी। आश्चर्यजनक रूप से, ऐसा नहीं हुआ। उन दो मॉडलों के एक जोड़े में जिनका वे तुलना कर सके, वह मॉडल जिसने अधिक समय "तर्क" करने में बिताया, वास्तव में उस मॉडल से भी खराब प्रदर्शन करता था जो केवल निर्देशों का पालन कर रहा था। इसके अलावा, अधिक कंप्यूटर टोकन पर पैसा खर्च करने से बेहतर योजना की गारंटी नहीं मिली; कुछ सबसे कमजोर रोबोट सबसे महंगे थे, जबकि सबसे अच्छा मॉडल आश्चर्यजनक रूप से कुशल था। अध्ययन निष्कर्ष निकालता है कि हालांकि एआई एजेंट नियमों का पालन करने में बेहतर हो रहे हैं, वे अभी भी वास्तव में विश्वसनीय ट्रैवल प्लानर बनने के लिए संघर्ष कर रहे हैं क्योंकि वे अभी तक एक वास्तविक यात्रा के सभी जटिल, मानवीय बाधाओं को एक साथ पूरी तरह से संतुलित नहीं कर सकते। एक रोबोट जो यात्रा के बारे में बात करता है और एक जो एक आदर्श यात्रा बुक कर सकता है, के बीच का अंतर अभी भी बहुत बड़ा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।