तकनीकी सारांश: APeB – लार्ज लैंग्वेज मॉडल एजेंटों की वैयक्तिकरण क्षमता का बेंचमार्किंग

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) संचालित एजेंटों को तब महत्वपूर्ण चुनौतियों का सामना करना पड़ता है जब उपयोगकर्ता कच्चे, कम विशिष्ट (underspecified) प्रश्न पूछते हैं। वास्तविक दुनिया के परिदृश्यों में, उपयोगकर्ता के उद्देश्य शायद ही कभी स्पष्ट होते हैं; प्राथमिकताएं अंतर्निहित होती हैं और उन्हें शोर भरे, विषम इंटरैक्शन इतिहास (जैसे, वीडियो, लाइवस्ट्रीम, उत्पाद दृश्य) से अनुमानित किया जाना चाहिए। इसके अलावा, शुद्धता उपयोगकर्ता-केंद्रित होती है न कि वैश्विक रूप से इष्टतम, जिसके लिए एजेंटों को गुप्त इरादों के आधार पर निकटवर्ती प्रतिस्पर्धी विकल्पों के बीच अंतर करने की आवश्यकता होती है।

मौजूदा बेंचमार्क इस क्षमता का पर्याप्त परीक्षण करने में विफल रहते हैं क्योंकि वे आमतौर पर निम्नलिखित पर निर्भर करते हैं:

• उपयोगकर्ता-परिष्कृत प्रश्न (User-refined queries) न कि अस्पष्ट, प्रारंभिक-चरण के इरादे।
• सरलीकृत या शोधित इतिहास (Simplified or sanitized histories) जिनमें वास्तविक व्यवहार की तरह शोर और विविधता का अभाव होता है।
• आसानी से अलग होने वाले उम्मीदवार (Easily separable candidates) जिन्हें सूक्ष्म वरीयता भेदभाव की आवश्यकता नहीं होती है।

परिणामस्वरूप, वर्तमान मूल्यांकन अक्सर वास्तविक वैयक्तिकरण के बजाय सिमेंटिक मिलान (semantic matching) को ही वैयक्तिकरण मान लेते हैं, जिससे यह आकलन करने में विफलता होती है कि क्या एजेंटिक वर्कफ़्लो (जैसे, ReAct) प्रभावी रूप से इरादे का अनुमान लगा सकते हैं और कार्यों को विशिष्ट उपयोगकर्ता प्राथमिकताओं के साथ संरेखित कर सकते हैं।

2. कार्यप्रणाली: APeB बेंचमार्क

लेखक APeB (एजेंट पर्सनलाइज्ड बेंचमार्क) पेश करते हैं, जो पर्सनलाइज्ड प्रोडक्ट सर्च (PPS) कार्य के माध्यम से एजेंटिक वैयक्तिकरण का मूल्यांकन करने के लिए डिज़ाइन किया गया एक टेस्टबेड है। APeB का निर्माण एक प्रमुख कंटेंट-कॉमर्स प्लेटफॉर्म के वास्तविक एक्शन लॉग्स से किया गया है, जो कंटेंट उपभोग से लेकर उत्पाद खरीद तक के एंड-टू-एंड प्रवाह को कैप्चर करता है।

2.1 डेटा निर्माण

• स्रोत: 30-दिवसीय रिटेन्ड-सेशन विंडो से एकत्र किए गए 5,648 गैर-मामूली (non-trivial) शॉपिंग सेशन्स, जिसमें सेशन से पहले का 60 दिनों तक का इतिहास शामिल है।
• सेशन परिभाषा: एक "सर्च-टू-ऑर्डर" सेशन को एक समय-बद्ध विंडो के रूप में परिभाषित किया गया है जो एक खोज प्रश्न के साथ शुरू होता है और खरीदारी ($\Delta \le 30$ मिनट) के साथ समाप्त होता है।
• गैर-मामूली फ़िल्टरिंग: सेशन्स को यह सुनिश्चित करने के लिए फ़िल्टर किया गया है कि वे उच्च-प्रयास वाले शॉपिंग रिजीम का प्रतिनिधित्व करें, जिसके लिए आवश्यक है:
  1. पुनरावृत्ति क्वेरी रिफाइनमेंट: कम से कम दो अलग-अलग खोज प्रश्न ($|Q_{search}| \ge 2$)।
  2. व्यापक ब्राउज़िंग: खरीदारी से पहले उत्पादों और मीडिया का पर्याप्त अन्वेषण ($|P_{view}| + |V_{view}| \ge \tau_v$)।
  3. इरादा-ऑर्डर संरेखण: अंतिम खरीदारी उपयोगकर्ता के व्यक्त इरादे और खोजे गए उम्मीदवारों के साथ सिमेंटिक रूप से सुसंगत होनी चाहिए।

2.2 बेंचमार्क घटक

प्रत्येक रिटेन्ड सेशन के लिए, APeB तीन मुख्य घटक बनाता है:

1. विषम इतिहास ($H_u$): विविध संकेतों वाले दीर्घकालिक इंटरैक्शन लॉग, जिसमें उत्पाद इंटरैक्शन (व्यू, लाइक्स, कार्ट) और मीडिया इंटरैक्शन (OCR/ASR सामग्री के साथ वीडियो, लाइवस्ट्रीम) शामिल हैं।
2. क्वेरी स्पेक्ट्रम:
   • इरादा क्वेरी ($q_{intent}$): खरीदारी के साथ सिमेंटिक रूप से संरेखित सबसे प्रारंभिक क्वेरी, जो एक अस्पष्ट, प्रारंभिक-चरण के लक्ष्य का प्रतिनिधित्व करती है (जैसे, "कैंपस OOTD")।
   • परिष्कृत क्वेरी ($q_{refined}$): खरीदारी से ठीक पहले की अंतिम क्वेरी, जो एक अच्छी तरह से निर्दिष्ट इरादे का प्रतिनिधित्व करती है (जैसे, "ओवरसाइज्ड लॉन्ग-स्लीव नेवी ब्लू")।
3. हार्ड कैंडिडेट सेट ($C_{hard}$): उन उत्पादों का एक सेट जिन्हें उपयोगकर्ता ने देखा लेकिन खरीदा नहीं, साथ ही अंतिम खरीदा गया आइटम। ये उम्मीदवार सिमेंटिक रूप से करीब हैं, जिनके लिए मोटे तौर पर सिमेंटिक मिलान के बजाय सूक्ष्म विशेषता भेदभाव की आवश्यकता होती है।

2.3 मूल्यांकन प्रोटोकॉल

मॉडल्स का मूल्यांकन $(q, H_u, C_{hard})$ के इनपुट के दिए जाने पर हार्ड कैंडिडेट सेट के भीतर खरीदी गई वस्तु को रैंक करने की उनकी क्षमता पर किया जाता है।

• मेट्रिक्स: Hit@1 और Hit@5।
• रूब्रिक विश्लेषण: विशिष्ट विफलता मोड का निदान करने के लिए मध्यवर्ती तर्क चरणों (क्वेरी इन्फरेंस, प्रेफरेंस क्वालिटी, रिकमेंडेशन क्वालिटी, एजेंट रीजनिंग) को LLM-as-a-Judge का उपयोग करके स्कोर किया जाता है।

3. मुख्य योगदान

1. APeB बेंचमार्क: पहला बेंचमार्क जो शोर वाले विषम इतिहास, अस्पष्ट-से-परिष्कृत खोज प्रक्षेपवक्र (trajectories), और निकटवर्ती प्रतिस्पर्धी उम्मीदवारों पर एजेंटों का संयुक्त रूप से मूल्यांकन करता है। यह अनुशंसा प्रणाली (नेक्स्ट-आइटम प्रेडिक्शन) और एजेंटिक रीजनिंग (मल्टी-स्टेप प्लानिंग) के बीच के अंतर को पाटता है।
2. LLM एजेंटों का अनुभवजन्य विश्लेषण: अत्याधुनिक LLMs (GPT-4/5, Qwen3, DeepSeek-R1, Gemini सहित) और एजेंटिक वर्कफ़्लो (ReAct, Deerflow) का एक व्यापक मूल्यांकन यह प्रकट करता है कि जबकि मॉडल्स स्पष्ट प्रश्नों को अच्छी तरह से संभालते हैं, वे प्रारंभिक-चरण के इरादे की खोज और वरीयता रिकवरी में काफी संघर्ष करते हैं।
3. विफलता मोड का निदान: रूब्रिक विश्लेषण पहचानता है कि प्रदर्शन अंतराल मुख्य रूप से अप्रभावी इतिहास उपयोग द्वारा संचालित होते हैं। मॉडल्स योजना को निर्देशित करने के लिए शोर वाले इतिहास से प्रासंगिक प्राथमिकताओं को निकालने में विफल रहते हैं, और मल्टी-स्टेप रीजनिंग (ReAct) अक्सर अस्पष्ट इरादों के तहत इन त्रुटियों को बढ़ा देती है।
4. VQRA पाइपलाइन: लेखक VQRA (Vague Query Refinement Agent) प्रस्तावित करते हैं, जो एक सरल पाइपलाइन है जो मूल्यांकन से पहले चयनित इतिहास संदर्भ के आधार पर इरादा क्वेरी को फिर से लिखने के लिए एक साझा बैकबोन का उपयोग करती है। यह दृष्टिकोण निरंतर लाभ प्रदान करता है, जो दर्शाता है कि स्पष्ट इतिहास-उपयोग मॉड्यूल व्यक्तिगत एजेंटों के लिए महत्वपूर्ण हैं।

4. प्रयोगात्मक परिणाम

• प्रदर्शन अंतराल: उन सेटिंग्स में जहाँ सिमेंटिक संरेखण (परिष्कृत क्वेरी या रैंडम कैंडिडेट) हावी है, LLMs विशेषीकृत PPS बेसलाइन (UniSAR) से काफी बेहतर प्रदर्शन करते हैं। हालांकि, उन कार्यों में जिनमें यूजर मॉडलिंग और इरादा शोधन की आवश्यकता होती है (इरादा क्वेरी के साथ हार्ड कैंडिडेट), LLMs ज़ीरो-शॉट UniSAR के स्तर पर गिर जाते हैं, और ReAct वर्कफ़्लो से सीमित लाभ मिलता है।
• इतिहास उपयोग: LLMs इरादा क्वेरी के तहत इतिहास से लाभ उठाने में संघर्ष करते हैं। जबकि इतिहास जोड़ने से परिष्कृत क्वेरी के लिए प्रदर्शन में सुधार होता है, यह इरादा क्वेरी के लिए मामूली लाभ प्रदान करता है, जो यह सुझाव देता है कि वर्तमान LLM वर्कफ़्लो स्वाभाविक रूप से शोर वाले, कम विशिष्ट संदर्भों से रिकवरेबल प्राथमिकताओं को नहीं निकाल पाते हैं।
• कैंडिडेट की कठिनाई: LLMs रैंडम कैंडिडेट (मोटा सिमेंटिक मिलान) पर बेसलाइन्स से बेहतर प्रदर्शन करते हैं, लेकिन हार्ड कैंडिडेट (यूजर-व्यूड आइटम्स) के बीच सूक्ष्म विशेषताओं को पहचानने में विफल रहते हैं। यह इंगित करता है कि वर्तमान मॉडल्स में वास्तविक वैयक्तिकरण क्षमताओं की कमी है जब सिमेंटिक संकेत अपर्याप्त हों।
• VQRA प्रभावकारिता: VQRA को लागू करने से विभिन्न बैकबोन्स में Hit@1 में सुधार होता है, जो पुष्टि करता है कि स्पष्ट इतिहास-आधारित क्वेरी शोधन मॉडल्स को अंतर्निहित इरादे का अनुमान लगाने और उपयुक्त उम्मीदवारों का चयन करने में मदद करता है।

5. महत्व और दावे

पेपर का दावा है कि APeB वास्तविक वैयक्तिकरण बाधाओं के तहत एजेंटिक सिस्टम का मूल्यांकन करने के लिए एक आवश्यक टेस्टबेड के रूप में कार्य करता है। इसका प्राथमिक महत्व वर्तमान LLM एजेंटों की सीमाओं को उजागर करने में निहित है: वे स्पष्ट लक्ष्यों वाले कार्यों को निष्पादित करने में कुशल हैं लेकिन अंतर्निहित इरादे के अनुमान और शोर वाले इतिहास से प्राथमिकताओं की रिकवरी में संघर्ष करते हैं।

लेखक निष्कर्ष निकालते हैं कि वैयक्तिकरण क्षमता में अंतर केवल मॉडल स्केल की कमी नहीं है, बल्कि इतिहास-उपयोग मॉड्यूल (history-utilization modules) में एक संरचनात्मक कमी है। सरल VQRA पाइपलाइन की सफलता यह सुझाव देती है कि भविष्य के व्यक्तिगत एजेंटों को प्रॉम्प्ट के भीतर केवल अंतर्निहित संदर्भ पर भरोसा करने के बजाय, उपयोगकर्ता-विशिष्ट ऐतिहासिक संकेतों में स्पष्ट रूप से योजना और क्रिया को ग्राउंड करने के लिए समर्पित तंत्र की आवश्यकता है।

स्वीकृत सीमाएँ:

• बेंचमार्क एक ही प्लेटफॉर्म से लिया गया है, जो अन्य ई-कॉमर्स पारिस्थितिकी तंत्रों में स्थानांतरणीयता को सीमित कर सकता है।
• मूल्यांकन स्थिर और ऑफलाइन है, जो वास्तविक समय के इन्वेंट्री या मल्टी-टर्न डायनेमिक इंटरैक्शन को प्रतिबिंबित नहीं करता है।
• देखे गए खरीदारी (purchases) वरीयता के प्रॉक्सी के रूप में कार्य करते हैं लेकिन रैंकिंग एक्सपोज़र और स्टॉक उपलब्धता द्वारा भ्रमित हो सकते हैं।
• रूब्रिक विश्लेषण LLM-as-a-Judge पर निर्भर करता है, जो व्यवस्थित पूर्वाग्रह (systematic biases) पेश कर सकता है।