MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

MapSatisfyBench का तकनीकी सारांश

समस्या विवरण (Problem Statement)
मैप सेवाओं में बड़े भाषा मॉडल (LLM) एजेंटों को रूट नेविगेशन और ट्रिप प्लानिंग जैसे कार्यों में प्राकृतिक भाषा के अनुरोधों को क्रियाओं में बदलने के लिए तेजी से तैनात किया जा रहा है। हालांकि, वास्तविक दुनिया के मैप संबंधी प्रश्न अक्सर अपूर्ण होते हैं; उपयोगकर्ता संक्षिप्त, अधूरे अनुरोध प्रदान करते हैं जबकि वे उम्मीद करते हैं कि एजेंट उनके अनकहे जरूरतों का अनुमान लगाए। तथ्य-खोजने वाले प्रश्नों (जिनका एक अद्वितीय सत्य होता है) के विपरीत, मैप कार्य स्वाभाविक रूप रूप से बहु-समाधान वाले होते हैं। मुख्य चुनौती यह है कि उपयोगकर्ता की संतुष्टि निहित निर्णय कारकों (implicit decision factors) पर निर्भर करती है—वे महत्वपूर्ण स्थितियाँ जो क्वेरी में स्पष्ट रूप से नहीं बताई गई हैं (जैसे, ट्रेन से आने वाले उपयोगकर्ता को ड्राइविंग के बजाय सार्वजनिक परिवहन की आवश्यकता हो सकती है) लेकिन जिन्हें उपयोगकर्ता प्रोफाइल और इंटरेक्शन हिस्ट्री जैसे उपलब्ध सूचना स्रोतों से प्राप्त किया जा सकता है।

वर्तमान बेंचमार्क मुख्य रूप से कार्य पूर्णता (क्या एजेंट एक रूट प्लान कर सकता है?) या तथ्यात्मक निष्ठा (factual faithfulness) का मूल्यांकन करते हैं। वे यह मापने में विफल रहते हैं कि क्या एक एजेंट इन निहित कारकों को सक्रिय रूप से रिकवर कर सकता है ताकि उस प्रतिक्रिया का चयन किया जा सके जिसे उपयोगकर्ता द्वारा स्वीकार किए जाने की संभावना सबसे अधिक हो। इसके अलावा, इस क्षमता का मूल्यांकन करना कठिन है क्योंकि: (1) सभी निहित कारक प्री-रिस्पॉन्स जानकारी से रिकवर नहीं किए जा सकते, और (2) संतुष्टि को एक एकल संदर्भ उत्तर या बाइनरी संतुष्ट/असंतुष्ट लेबल में नहीं बदला जा सकता।

कार्यप्रणाली (Methodology)
इन चुनौतियों को संबोधित करने के लिए, लेखक एक restore-identify-filter फ्रेमवर्क प्रस्तावित करते हैं और व्यवहार-श्रृंखला साक्ष्य (behavior-chain evidence) पर आधारित MapSatisfyBench का निर्माण करते हैं।

1. फ्रेमवर्क निर्माण (Framework Construction):

   • Restore (पुनर्स्थापना): प्री-क्वेरी जानकारी (संदर्भ $c$, प्रोफाइल $p$), स्थानिक-कालिक वातावरण ($g$), और पोस्ट-क्वेरी उपयोगकर्ता व्यवहार ($h^+$) को जोड़कर पूर्ण उपयोगकर्ता आवश्यकता को पुनर्गठित करता है। यह इस आधार का निर्माण करता है कि उपयोगकर्ता वास्तव में क्या चाहता था।
   • Identify (पहचान): पुनर्निर्मित पूर्ण आवश्यकता की तुलना सतह (surface) क्वेरी से की जाती है ताकि उन अनकहे निर्णय कारकों को उजागर किया जा सके जो समाधान स्थान को सीमित करते हैं।
   • Filter (छानना): केवल उन्हीं निहित कारकों को रखा जाता है जो एजेंट के जवाब देने से पहले उपलब्ध साक्ष्यों (अर्थात, $g$ और $h^-$) द्वारा समर्थित हैं। वे कारक जिनके लिए पोस्ट-रिस्पॉन्स स्पष्टीकरण या अनुपलब्ध डेटा की आवश्यकता होती है, उन्हें मूल्यांकन योग्यता सुनिश्चित करने के लिए बाहर कर दिया जाता है।

2. ग्राउंड ट्रुथ एनोटेशन (Ground Truth Annotation):
   एक एकल 'गोल्ड आंसर' के बजाय, बेंचमार्क एक संरचित निर्णय संदर्भ $G(x)$ को परिभाषित करता है जिसमें शामिल हैं:

   • स्पष्ट कारक ($E(x)$): सतह क्वेरी से प्राप्त।
   • मूल्यांकन योग्य निहित कारक ($Z_{eval}(x)$): फ्रेमवर्क के माध्यम से रिकवर किए गए, जिन्हें एक बाधा प्रकार (Hard बनाम Soft) और एक साक्ष्य-समर्थित भार ($s_i$) के साथ एनोटेट किया गया है। हार्ड बाधाएं (जैसे, अनुपलब्ध परिवहन) बाइनरी होती हैं; सॉफ्ट प्राथमिकताएं श्रेणीबद्ध होती हैं।
   • एग्जीक्यूशन एनोटेशन: स्पष्टीकरण नीतियां, अपेक्षित टूल ट्राजेक्टरीज, और तथ्यात्मक प्रतिक्रिया आवश्यकताएं।

3. मूल्यांकन वातावरण (Evaluation Environment):
   बेंचमार्क एक डिटरमिनिस्टिक रिप्ले सैंडबॉक्स (Deterministic Replay Sandbox) में संचालित होता है। यह एक यूजर एजेंट का अनुकरण करता है जो पूर्ण आवश्यकता से प्रेरित है और एक बिजनेस एजेंट (परीक्षण के अधीन मॉडल) के साथ इंटरैक्ट करता है, जो 22 मैप-सर्विस टूल्स के एक निश्चित सेट के साथ इंटरैक्ट करता है। पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए टूल रिस्पॉन्स डिटरमिनिस्टिक मोक्स (deterministic mocks) होते हैं।

4. मेट्रिक्स (Metrics):
   मूल्यांकन पूरे निर्णय पाइपलाइन को सात मेट्रिक्स के साथ कवर करता है:

   • ECR (Explicit-decision-factor Completion Rate): घोषित आवश्यकताओं की संतुष्टि को मापता है।
   • IISR (Implicit-decision-factor Satisfaction Rate): निहित कारकों के लिए संतुष्टि स्कोर का एक भारित औसत (weighted average), जो हार्ड बाधाओं और सॉफ्ट प्राथमिकताओं के बीच अंतर करता है।
   • AR (Accepted-response Probability): प्राथमिक समग्र मेट्रिक, जिसकी गणना $ECR \times IISR$ के रूप में की जाती है। यह उस संभावना का प्रतिनिधित्व करता है कि एक प्रतिक्रिया को स्वीकार किया जाएगा।
   • TS (Tool Selection Accuracy): साक्ष्य रिकवर करने के लिए आवश्यक टूल्स के सही चयन को मापता है।
   • IFS (Information Faithfulness Score): टूल आउटपुट के विरुद्ध तथ्यात्मक दावों की जांच करता है।
   • Eff (Interaction Efficiency): संदर्भ बजट के मुकाबले इंटरेक्शन टर्न्स की संख्या को सामान्य करता है।
   • SES (Satisfaction Efficiency Score): एक संयुक्त मेट्रिक ($AR \times Eff$) जो कुशल तरीके से उच्च गुणवत्ता वाले निर्णय लेने के लिए पुरस्कृत करता है।

मुख्य योगदान (Key Contributions)

1. कार्यप्रणाली: व्यक्तिपरक उपयोगकर्ता संतुष्टि को वस्तुनिष्ठ, व्यवहार-समर्थित निहित निर्णय कारकों में संचालित करने का एक नया दृष्टिकोण, जो प्रत्यक्ष संतुष्टि लेबल के बिना मूल्यांकन को सक्षम बनाता है।
2. बेंचमार्क: पूर्ण-श्रृंखला मूल्यांकन प्रोटोकॉल के साथ विविध मैप-सर्विस परिदृश्यों को कवर करते हुए, बड़े पैमाने पर, वास्तविक-दुनिया के गुमनाम उपयोगकर्ता डेटा से प्राप्त MapSatisfyBench का निर्माण।
3. नैदानिक अंतर्दृष्टि (Diagnostic Insights): वर्तमान LLM एजेंटों में सतह कार्य पूर्णता और संतुष्टि-जागरूक निर्णय लेने के बीच एक निरंतर अंतराल को प्रकट करने वाले अनुभवजन्य साक्ष्य।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने 12 LLM-आधारित एजेंटों (GPT-4.1/5.3, Claude Opus/Sonnet 4.6, Gemini 3.1, DeepSeek, और Qwen परिवारों सहित) का मूल्यांकन किया।

• कार्य पूर्णता बनाम संतुष्टि: फ्रंटियर मॉडल्स ने उच्च ECR स्कोर (जैसे, GPT-5.3 का 0.9272) प्राप्त किया, जो स्पष्ट कार्यों को पूरा करने की मजबूत क्षमता को दर्शाता है। हालांकि, IISR और AR स्कोर काफी कम थे (सर्वश्रेष्ठ IISR Claude-4.6-opus के लिए 0.7170 था), जो निहित जरूरतों को पूरा करने में विफलता को दर्शाता है।
• टूल सिलेक्शन बॉटलनेक: TS स्कोर लगातार कम थे (0.28 से 0.49 के बीच), शीर्ष मॉडल्स के लिए भी। विश्लेषण से पता चला कि एजेंट निहित साक्ष्य रिकवर करने के लिए प्रोफाइल-संबंधित टूल्स को सक्रिय रूप से कॉल करने के बजाय, स्पष्टीकरण के लिए उपयोगकर्ताओं से पूछना पसंद करते हैं, जिससे इंटरेक्शन का बोझ बढ़ जाता है।
• थिंकिंग मोड (Thinking Mode): "थिंकिंग मोड" को सक्षम करने से कुछ मॉडल्स (जैसे, Gemini-3.1-pro-preview का SES 0.2120 से बढ़कर 0.2724 हो गया) के प्रदर्शन में सुधार हुआ, लेकिन यह स्पष्ट और निहित संतुष्टि के बीच के अंतर को पूरी तरह से भरने में विफल रहा।
• डोमेन भिन्नता: प्रदर्शन डोमेन के अनुसार भिन्न हुआ; इटिनररी प्लानिंग सबसे आसान थी, जबकि रियल-टाइम सूचना क्वेरी और राइड-हैलिंग सबसे कठिन थे। एजेंट संदर्भ या प्राथमिकता-आधारित कारकों की तुलना में स्थानिक-कालिक (spatio-temporal) कारकों के साथ सबसे अधिक संघर्ष करते हैं।

महत्व (Significance)
यह पेपर दावा करता है कि MapSatisfyBench मैप एजेंटों के मूल्यांकन प्रतिमान को "कार्य समाप्त हुआ या नहीं" से बदलकर "क्या निर्णय उपयोगकर्ता को संतुष्ट करता है" में बदल देता है। निष्कर्ष बताते हैं कि वर्तमान एजेंट, हालांकि योजना बनाने और तथ्य प्राप्त करने में सक्षम हैं, उनमें उपलब्ध स्रोतों से साक्ष्य सक्रिय रूप से प्राप्त करने की क्षमता की कमी है ताकि अस्पष्टता को दूर किया जा सके। यह बेंचमार्क उन एजेंटों के विकास के लिए एक नैदानिक उपकरण के रूप में कार्य करता है जो खुले स्थानिक निर्णयों को व्यवहार-समर्थित उपयोगकर्ता जरूरतों के साथ संरेखित कर सकें, जिससे अनावश्यक उपयोगकर्ता इंटरेक्शन को कम किया जा सके और निर्णय की गुणवत्ता में सुधार हो सके।