WorldTravel: A Realistic Multimodal Travel-Planning Benchmark with Tightly Coupled Constraints
यह शोध पत्र **WorldTravel** को प्रस्तुत करता है, जो एक नया मल्टीमॉडल बेंचमार्क है और इसमें जटिल, वास्तविक दुनिया के यात्रा परिदृश्य शामिल हैं जिन्हें टेक्स्ट और विजुअल वेब वातावरण के माध्यम से घनिष्ठ रूप से जुड़े टेम्पोरल (समय संबंधी) और लॉजिकल (तार्किक) बाधाओं को नेविगेट करने में वर्तमान फ्रंटियर मॉडल्स के महत्वपूर्ण प्रदर्शन अंतराल को उजागर करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यूरोप की एक सपनों जैसी छुट्टियों की योजना बनाने की कोशिश कर रहे हैं। आप लूव्र (Louvre) देखना चाहते हैं, एक मिशेलिन-स्टार (Michelin-star) रेस्तरां में खाना चाहते हैं, और एक बुटीक होटल में रुकना चाहते हैं। लेकिन एक पेच है: संग्रहालय के पास केवल सुबह 10:00 बजे के लिए टिकट उपलब्ध हैं, रेस्तरां दोपहर 1:00 बजे के स्लॉट को छोड़कर पूरी तरह से बुक है, और यदि आप संग्रहालय में बहुत अधिक समय बिताते हैं, तो आप अपनी ट्रेन मिस कर देंगे। एक छोटी सी गलती—एक देर से आने वाली बस या एक भूली हुई रिजर्वेशन—और आपकी पूरे सप्ताह की योजना ताश के पत्तों के महल की तरह ढह जाएगी।
यही वह चीज़ है जिसे WorldTravel के पीछे के शोधकर्ता टेस्ट कर रहे हैं।
समस्या: "ताश के पत्तों का महल" प्रभाव (The "House of Cards" Effect)
आज के अधिकांश AI असिस्टेंट थोड़े बिखरे हुए लेकिन मददगार ट्रैवल एजेंटों की तरह हैं। यदि आप उनसे "पेरिस में एक होटल ढूंढने" के लिए कहते हैं, तो वे बहुत अच्छा काम करते हैं। लेकिन यदि आप उनसे "एक जटिल 5-दिवसीय यात्रा को समन्वित करने" के लिए कहते हैं जहाँ हर एक गतिविधि एक विशिष्ट समय और एक विशिष्ट बजट से मजबूती से जुड़ी हुई है, तो वे लड़खड़ा जाते हैं।
वर्तमान AI बेंचमार्क (वे "परीक्षण" जिनका उपयोग हम AI को ग्रेड देने के लिए करते हैं) अक्सर बहुत आसान होते हैं। वे गणित के उन परीक्षणों की तरह हैं जहाँ प्रत्येक प्रश्न स्वतंत्र होता है। यदि आप प्रश्न #1 गलत करते हैं, तो यह प्रश्न #2 को प्रभावित नहीं करता है। लेकिन वास्तविक यात्रा एक "मजबूत रूप से जुड़े हुए" (tightly coupled) पहेली की तरह है। यात्रा में, हर निर्णय एक डोमिनो है; यदि पहला डोमिनो (आपका संग्रहालय प्रवेश) गलत तरीके से गिरता है, तो वह आपकी बाकी यात्रा को भी गिरा देता है।
समाधान: WorldTravel और Webscape
शोधकर्ताओं ने AI के लिए एक नया, बहुत कठिन "फाइनल एग्जाम" बनाया जिसे WorldTravel कहा गया है।
एक व्यवस्थित स्प्रेडशीट के बजाय, उन्होंने एक डिजिटल प्लेग्राउंड बनाया जिसे Webscape कहा जाता है। इस प्लेग्राउंड में, AI केवल एक टेक्स्ट फ़ाइल नहीं पढ़ सकता; उसे इंसानों की तरह सिम्युलेटेड वेबसाइटों को "देखना" होगा। उसे बुकिंग पेज को नेविगेट करना होगा, रेस्तरां के मेनू देखना होगा, मानचित्रों की जांच करनी होगी, और—सबसे महत्वपूर्ण बात—यह पता लगाना होगा कि क्या कोई टाइम स्लॉट "ग्रे आउट" (मतलब बिक चुका है) है, सिर्फ तस्वीर देखकर।
"परसेप्शन-एक्शन गैप": AI की अंध बिंदु (The "Perception-Action Gap")
इस अध्ययन ने दुनिया के सबसे स्मार्ट AI मॉडल (जैसे GPT-5.2) का परीक्षण किया और पाया: वे बुरी तरह विफल हो रहे हैं।
शोधकर्ताओं ने दो प्रमुख "दीवारों" की खोज की जिनसे AI टकराता है:
परसेप्शन-एक्शन गैप (द "आंखों बनाम मस्तिष्क" की समस्या):
इसे एक ऐसे व्यक्ति के रूप में सोचें जो गणित में जीनियस है लेकिन भारी, धुंधले चश्मे पहने हुए है। AI तर्क करने (मस्तिष्क) में बहुत प्रतिभाशाली हो सकता है, लेकिन स्क्रीन पर जानकारी को "देखने" (आंखों) में उसे संघर्ष करना पड़ता है। जब AI को कीमत या समय खोजने के लिए स्क्रीनशॉट देखने के लिए कहा गया, तो उसका प्रदर्शन गिर गया। वह योजना तो "सोच" सकता था, लेकिन वह विचार को ईंधन देने के लिए डेटा को "देख" नहीं सका।10-कन्स्ट्रेंट वॉल (द "मेंटल लोड" की समस्या):
शोधकर्ताओं ने पाया कि AI मॉडल्स की एक "क्षमता सीमा" होती है। जब तक यात्रा सरल है (शायद करने के लिए 5 या 6 चीजें), AI ठीक रहता है। लेकिन जैसे ही आप 10 बाधाओं (constraints) तक पहुँचते हैं (10 विशिष्ट नियम जैसे "दोपहर 2 बजे तक संग्रहालय में होना चाहिए" या "कम से कम 3 घंटे वहां बिताने चाहिए"), AI का मस्तिष्क मूल रूप से "शॉर्ट-सर्किट" हो जाता है। जटिलता बहुत भारी हो जाती है, और योजना बिखर जाती है।
यह क्यों मायने रखता है
यह पेपर एक चेतावनी है। यह हमें बताता है कि यदि हम चाहते हैं कि AI वास्तव में हमारे वास्तविक जीवन को प्रबंधित करे—हमारी उड़ानें बुक करे, हमारे कैलेंडर प्रबंधित करे, या हमारे व्यवसाय चलाए—तो हम केवल उन्हें बात करने में "स्मार्ट" नहीं बना सकते। हमें उन्हें दुनिया को स्पष्ट रूप से देखना सिखाना होगा और बिना किसी चूक के लंबी, जटिल घटनाओं की कड़ियों के माध्यम से तर्क करना सिखाना होगा।
संक्षेप में: हमने AI को चैट करना सिखाया है; अब हमें इसे वास्तविक दुनिया की अव्यवस्थित, परस्पर जुड़ी वास्तविकता में नेविगेट करना सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।