RecoAtlas: From Semantic Plausibility to Set-Level Utility in LLM Recommendation Agents

तकनीकी सारांश: RecoAtlas

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) अनुशंसा एजेंट (recommendation agents) तेजी से ऐसी संरचित रिपोर्ट बनाने के कार्य में संलग्न हो रहे हैं जिनमें केवल रैंक की गई सूचियों के बजाय, प्राकृतिक भाषा के औचित्य (justifications) के साथ वस्तुओं के सेट शामिल होते हैं। मौजूदा मूल्यांकन प्रतिमान (evaluation paradigms) इस तरह की जटिलता को पकड़ने में विफल रहते हैं। वर्तमान बेंचमार्क अक्सर समस्या को एक एकल ग्राउंड-ट्रुथ आइटम वाले छोटे, पूर्व-चयनित कैंडिडेट सेट्स के पुन: रैंकिंग (reranking) तक सीमित कर देते हैं, जो स्थानीय पुन: रैंकिंग का मूल्यांकन तो करता है लेकिन बड़े कैटलॉग को खोजने या सुसंगत बहु-वस्तु सेट (multi-item sets) बनाने की क्षमता का नहीं। इसके अलावा, "LLM-as-a-Judge" पर आधारित मूल्यांकन मुख्य रूप से 'सिमेंटिक प्लाउज़िबिलिटी' (semantic plausibility) को मापता है—यह आकलन करना कि क्या एक रिपोर्ट सुसंगत और उचित है—बिना यह सत्यापित किए कि अनुशंसित वस्तुएं वास्तव में उपयोगकर्ता के व्यवहार या उपयोगिता के साथ संरेखित हैं या नहीं। फलस्वरूप, एक रिपोर्ट सिमेंटिक रूप से सुसंगत हो सकती है, फिर भी ऐसी उत्पादों की सिफारिश कर सकती है जिन्हें उपयोगकर्ता शायद ही कभी खरीदते या मिलाते हैं। व्यवहार-आधारित (behavior-grounded) बेंचमार्क की कमी है जो एजेंटों को सेट-स्तर की उपयोगिता, पूरकता (complementarity) और विविधता पर मूल्यांकन करने के लिए उपयोगिता और सिमेंटिक सामंजस्य के बीच अंतर स्पष्ट कर सके।

कार्यप्रणाली

लेखक RecoAtlas (Recommendation Agent Tool-Level Assessment for Shopping) पेश करते हैं, जो एक बेंचमार्क और टूलकिट है जिसे व्यवहार-आधारित, सेट-स्तरीय उद्देश्यों के तहत शॉपिंग एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह ढांचा एक नियंत्रित टूल वातावरण के भीतर संचालित होता है जहाँ एजेंटों को एक बड़े उत्पाद कैटलॉग में खोजना होता है, विशिष्ट टूल्स का उपयोग करना होता है, और औचित्य के साथ एक निश्चित आकार की शॉपिंग रिपोर्ट (जैसे, $K=20$ आइटम) तैयार करनी होती है।

टास्क फैमिली (Task Families)

RecoAtlas दो प्राथमिक कार्य प्रकार परिभाषित करता है, जिनमें दोनों के लिए क्वेरी-आइटम प्रासंगिकता की आवश्यकता होती है, लेकिन आइटम-आइटम संरचना में अंतर होता है:

1. तुलनात्मक खरीदारी (Comparative Shopping): उपयोगकर्ता एक व्यापक आवश्यकता के लिए विकल्पों की तलाश में है। लक्ष्य प्रासंगिक आइटम प्रदान करना है जबकि लगभग समान वस्तुओं (near-duplicates) से बचना है (गैर-अतिरेक/विविधता पर जोर)।
2. बंडल खरीदारी (Bundle Shopping): उपयोगकर्ता एक सुसंगत सेटअप या किट (जैसे, "गिटारिस्ट स्टार्टर पैक") की तलाश में है। लक्ष्य ऐसे आइटम प्रदान करना है जो पूरक भूमिकाएँ निभाते हों और एक साथ काम करते हों (पूरकता पर जोर)।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

RecoAtlas तीन पूरक, अलग-अलग मूल्यांकन दृष्टिकोणों का उपयोग करता है ताकि रिपोर्ट की गुणवत्ता को एक एकल स्केलर में न बदला जा सके:

1. सटीक रिकवरी (Exact Recovery - SetHit@K): होल्ड-आउट ग्राउंड-ट्रुथ आइटम्स (जो उपयोगकर्ता इंटरैक्शन डेटा से प्राप्त होते हैं) के अंश को मापता है जो अंतिम रिपोर्ट में पाए जाते हैं। बंडल कार्यों के लिए, यह एक एकल आइटम के बजाय एक लक्षित सेट की रिकवरी को मापता है।
2. लर्नड रिवॉर्ड मॉडल्स (Learned Reward Models): उपयोगकर्ता इंटरैक्शन डेटा (खरीद और सह-खरीद) पर प्रशिक्षित तीन व्यवहार-आधारित प्रॉक्सी घटक-स्तर के स्कोर प्रदान करते हैं:
   • प्रासंगिकता (Relevance): मल्टी-नेगेटिव BPR लॉस के साथ प्रशिक्षित एक क्वेरी-आइटम डुअल एनकोडर।
   • पूरकता (Complementarity): सह-खरीद डेटा पर कंट्रास्टिव InfoNCE लॉस का उपयोग करके प्रशिक्षित एक आइटम-आइटम डुअल एनकोडर, जो उन आइटम्स की पहचान करता है जिन्हें अक्सर एक साथ खरीदा जाता है।
   • विविधता (Diversity - Non-redundancy): सब-कैटेगरी के भीतर कोसाइन समानता (cosine similarity) पर आधारित एक स्कोर, जो लगभग समान वस्तुओं (near-duplicates) को दंडित करता है।
3. LLM जजेस (LLM Judges): प्रासंगिकता, पूरकता, विविधता और स्पष्टीकरण की गुणवत्ता का अलग-अलग मूल्यांकन। इन्हें व्यवहार-आधारित मेट्रिक्स से अलग रखा गया है ताकि सिमेंटिक सामंजस्य और व्यवहारिक उपयोगिता के बीच संभावित विच्छेद को उजागर किया जा सके।

टूल सुइट (Tool Suite)

एक केंद्रीय विशेषता अनुशंसा-विशिष्ट टूल्स का प्रावधान है जिन्हें एजेंट कॉल कर सकते हैं (प्रति एपिसोड अधिकतम 10 कॉल):

• सर्च टूल्स (Search Tools): प्रासंगिकता (सिमेंटिक बनाम व्यवहार-संरेखित संस्करणों) के आधार पर आइटम प्राप्त करना।
• पूरकता टूल्स (Complementarity Tools): व्यवहारिक रूप से संगत आइटम्स के साथ आइटम सेट्स का विस्तार करना।
• प्रतिस्थापन टूल्स (Substitutability Tools): सब-कैटेगरी और समानता थ्रेसहोल्ड के आधार पर लगभग समान वस्तुओं को हटाना (prune करना)।
  बेंचमार्क में दोषपूर्ण टूल (faulty tool) वेरिएंट शामिल हैं जो नियंत्रित त्रुटियां इंजेक्ट करते हैं (जैसे, कम गुणवत्ता वाले कैंडिडेट लौटाना या डुप्लिकेट्स को हटाने में विफल होना) ताकि एजेंट की मजबूती (robustness) का निदान किया जा सके।

प्रमुख योगदान

1. एक बड़ा-कैटलॉग, सेट-स्तरीय बेंचमार्क: शॉर्टलिस्ट पुन: रैंकिंग पर निर्भर पिछले कार्यों के विपरीत, RecoAtlas उन एजेंटों का मूल्यांकन करता है जिन्हें बिना किसी प्रदान की गई शॉर्टलिस्ट के एक बड़े कैटलॉग में खोजना होता है, निश्चित आकार के बहु-आइटम रिपोर्ट तैयार करनी होती है, और ग्राउंड-ट्रुथ आइटम्स के सेट्स को रिकवर करना होता है।
2. व्यवहार-आधारित इवैल्यूएटर और टूल सुइट: ढांचा सटीक रिकवरी, लर्नड रिवॉर्ड मॉडल्स और LLM जजिंग को जोड़ता है। यह अनूठे रूप से एजेंट रीजनिंग, सिग्नल उपयोग और टूल-उपयोग नीतियों का परीक्षण करने के लिए सिमेंटिक, व्यवहार-संरेखित और दोषपूर्ण टूल्स का एक सेट प्रदान करता है।
3. नैदानिक अनुभवजन्य अध्ययन (Diagnostic Empirical Study): लेखक मॉडल परिवारों, कार्य प्रकारों और टूल की गुणवत्ता के माध्यम से एब्लेशन अध्ययन (ablation studies) आयोजित करते हैं ताकि यह प्रदर्शित किया जा सके कि RecoAtlas एजेंटिक सिस्टम के लिए एक सार्थक बेंचमार्क के गुण प्रदर्शित करता है।

प्रयोगात्मक परिणाम

प्रयोग तीन अमेज़न उत्पाद श्रेणियों (Musical Instruments, Electronics, Video Games) पर विभिन्न प्रोप्रायटरी और ओपन-वेट LLM बैकबोन (जैसे, GPT-4.1, Qwen3, Nemotron) का उपयोग करके किए गए।

• सिमेंटिक प्लाउज़िबिलिटी बनाम उपयोगिता: LLM जजेस और उपयोगिता मेट्रिक्स के बीच एक महत्वपूर्ण मिसअलाइनमेंट देखा गया। सिमेंटिक टूल्स का उपयोग करने वाले एजेंटों ने उच्च LLM-जज स्कोर प्राप्त किया, लेकिन व्यवहारिक उपयोगिता (SetHit@20) के मामले में व्यवहार-संरेखित टूल्स का उपयोग करने वाले एजेंटों की तुलना में काफी कम प्रदर्शन किया। यह पुष्टि करता है कि सिमेंटिक प्लाउज़िबिलिटी, व्यवहारिक उपयोगिता का एक विश्वसनीय प्रॉक्सी नहीं है।
• टूल की आवश्यकता: टूल्स के बिना इन-कॉन्टेक्स्ट LLMs का प्रदर्शन खराब रहा (SetHit@20 $\approx$ 0.01–0.03)। सर्च टूल्स जोड़ने से तुलनात्मक खरीदारी के प्रदर्शन में सुधार हुआ, लेकिन यह बंडल खरीदारी के लिए अपर्याप्त था। पूर्ण उपयोगिता के लिए सर्च, कॉम्प्लीमेंटैरिटी और सब्स्टीट्यूटेबिलिटी टूल्स के संयोजन की आवश्यकता थी, जिसमें बंडल प्रदर्शन कॉम्प्लीमेंटैरिटी टूल पर अत्यधिक निर्भर था।
• स्केलिंग लॉज़ (Scaling Laws): प्रदर्शन मॉडल क्षमता और टेस्ट-टाइम कंप्यूट के साथ स्केल हुआ। बड़े मॉडल (जैसे, 32B पैरामीटर्स) जिनमें रीजनिंग सक्षम है, उन्होंने छोटे मॉडलों और बिना रीजनिंग वाले मॉडलों की तुलना में पर्याप्त लाभ दिखाया, विशेष रूप से बंडल कार्यों में।
• कार्य-विशिष्ट क्षमताएं: जबकि तुलनात्मक खरीदारी डोमिनेटेड थी रेलेवेंस रिट्रीवल द्वारा, बंडल खरीदारी के लिए सुसंगत सेट बनाने हेतु विशिष्ट एजेंटिक क्षमताओं की आवश्यकता थी। ओपन-वेट मॉडल्स (जैसे, Nemotron 49B, Mistral Small 24B) ने कॉम्प्लीमेंटैरिटी सिग्नल्स का अधिक आक्रामक तरीके से उपयोग करके बंडल कार्यों पर प्रोप्रायटरी मॉडल्स को अक्सर पीछे छोड़ दिया।
• मजबूती (Robustness): एजेंटों ने प्रदर्शन और मजबूती के बीच एक ट्रेड-ऑफ प्रदर्शित किया। क्लीन टूल्स के साथ आक्रामक टूल उपयोग ने प्रदर्शन में सुधार किया लेकिन एजेंटों को दोषपूर्ण टूल्स के प्रति अधिक संवेदनशील बना दिया, जबकि रूढ़िवादी (conservative) एजेंट शोर (noise) के तहत प्रदर्शन का एक उच्च हिस्सा बनाए रखते थे।

महत्व और दावे

पेपर का दावा है कि RecoAtlas उन शॉपिंग असिस्टेंट विकसित करने और मूल्यांकन करने के लिए एक आधार प्रदान करता है जो न केवल प्रशंसनीय सिफारिशों के लिए, बल्कि सुसंगत, व्यवहार-आधारित सिफारिश सेट्स के लिए अनुकूलित (optimize) करते हैं।

लेखक RecoAtlas को एक रिप्रोड्यूसिबल ऑफलाइन टेस्टबेड के रूप में प्रस्तुत करते हैं जो ऑनलाइन A/B टेस्टिंग को बदलने के बजाय उसका पूरक है। सिमेंटिक सामंजस्य को व्यवहारिक उपयोगिता से अलग करके और नियंत्रित टूल वातावरण पेश करके, RecoAtlas यह निदान करने में सक्षम बनाता है कि प्रदर्शन में वृद्धि मजबूत तर्क (reasoning), बेहतर संकेतों, या अधिक प्रभावी टूल-उपयोग नीतियों से आती है। यह ढांचा विस्तार योग्य (extensible) बनाने के लिए डिज़ाइन किया गया है, जिससे नए कार्यों को जेनरेट करना और सुदृढीकरण शिक्षण (reinforcement learning) या सुपरवाइज्ड फाइन-ट्यूनिंग जैसी अनुकूलन रणनीतियों को लागू करना संभव है, जबकि अंतिम मूल्यांकन के लिए होल्ड-आउट स्प्लिट्स को बनाए रखा जाता है।