HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

कल्पना कीजिए कि आप देखने के लिए कोई बेहतरीन फिल्म ढूंढ रहे हैं या अपने DIY प्रोजेक्ट के लिए सटीक उपकरण की तलाश कर रहे हैं। आप सर्च बार में कुछ शब्द टाइप करते हैं, और एक कंप्यूटर को यह अनुमान लगाना होता है कि आपका वास्तव में क्या मतलब है। यह "कंटेंट डिस्कवरी" (सामग्री खोज) की दुनिया है, जहाँ एल्गोरिदम डिजिटल लाइब्रेरियन या दुकान के सहायक के रूप में कार्य करते हैं। लेकिन यहाँ एक पेचीदा बात है: कंप्यूटरों के पास मानवीय अंतर्ज्ञान नहीं होता। वे यह समझने में संघर्ष करते हैं कि एक इंसान के लिए "मेटैलिक मरकरी फिनिश" का अर्थ वास्तव में "ग्रे" (धूसर) हो सकता है, या यह कि एक "7-ड्रॉअर ड्रेसर" "ग्रे ड्रेसर" की आवश्यकता में फिट बैठता है, भले ही शब्द पूरी तरह से मेल न खाते हों।

इसे ठीक करने के लिए, वैज्ञानिक कंप्यूटरों को "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग करना सिखा रहे हैं—ये ऐसे सुपर-स्मार्ट AI मस्तिष्क हैं जो इंसानों की तरह पढ़ और लिख सकते हैं। लक्ष्य इन AI को यह आंकने के लिए तैयार करना है कि कोई खोज परिणाम कितना प्रासंगिक है, ठीक वैसे ही जैसे एक इंसान करेगा। हालाँकि, एक ही AI मस्तिष्क से यह सब एक साथ करने के लिए कहना एक व्यक्ति से रंग विशेषज्ञ, शैली समीक्षक और तर्क पहेली हल करने वाले, तीनों एक साथ बनने के लिए कहने जैसा है। वे अक्सर भ्रमित हो जाते हैं, संबंध चूक जाते हैं, या एक ऐसा "काफी अच्छा" उत्तर देते हैं जो पूरी तरह सही नहीं होता। यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या होगा यदि हम एक विशाल मस्तिष्क पर निर्भर रहने के बजाय, विशेषज्ञों की एक छोटी, संगठित टीम बनाएं जो पहेली को सुलझाने के लिए एक-दूसरे से बात करती है?

इस पेपर के लेखक, जो अमेज़न में कार्यरत हैं, एक नई प्रणाली प्रस्तावित करते हैं जिसे HIERA (Hierarchical Multi-Agent Relevance Assessment) कहा जाता है। HIERA को एक अकेले जासूस के रूप में नहीं, बल्कि एक सुव्यवस्थित डिटेक्टिव एजेंसी के रूप में सोचें जिसमें आदेश की एक सख्त श्रृंखला है। उनके सिस्टम में, केवल एक एजेंट सारा काम नहीं कर रहा है। इसके बजाय, उनके पास एक "जज" (न्यायाधीश) है जो तय करता है कि मामला पेचीदा है या नहीं, एक "क्वेरी एनालिस्ट" (प्रश्न विश्लेषक) है जो यह पता लगाता है कि उपयोगकर्ता वास्तव में क्या चाहता है, एक "आइटम एनालिस्ट" (वस्तु विश्लेषक) है जो उत्पाद या फिल्म का विस्तार से अध्ययन करता है, और एक "रिलेशन एनालिस्ट" (संबंध विश्लेषक) है जो टीम के कप्तान के रूप में कार्य करता है, जो उपयोगकर्ता की इच्छा और वस्तु की वास्तविकता के बीच के कड़ियों को जोड़ता है।

पेपर में पाया गया है कि यह संगठित टीम वाला दृष्टिकोण पुराने तरीकों से काफी बेहतर है। जब उन्होंने पांच अलग-अलग डेटासेट पर HIERA का परीक्षण किया—जिसमें मनोरंजन वीडियो खोज से लेकर होम इम्प्रूवमेंट उत्पाद तक शामिल थे—तो इसने 11 अन्य तरीकों को पछाड़ दिया। उदाहरण के लिए, EVS (एंटरटेनमेंट वीडियो सर्च) नामक डेटासेट पर, HERA ने पिछले सर्वश्रेष्ठ तरीके की तुलना में सटीकता में 38% का भारी सुधार किया। होम डिपो डेटासेट पर, इसने 10.2% का सुधार किया।

महत्वपूर्ण रूप से, शोधकर्ताओं ने यह सिद्ध किया कि जादू केवल अधिक एजेंटों या अधिक जानकारी के होने में नहीं था। उन्होंने प्रयोग किए जहाँ उन्होंने समान एजेंटों और समान बाहरी ज्ञान को एक ऐसे सिस्टम को दिया जहाँ हर कोई अकेले काम करता था और अंत में उत्तर पर वोट देता था। वह "फ्लैट" टीम बहुत खराब प्रदर्शन करती थी। वास्तव में, जब उन्होंने पुराने, असंबद्ध तरीकों में बाहरी ज्ञान जोड़ा, तो वे तरीके वास्तव में और भी खराब हो गए। यह सुझाव देता है कि असली सफलता पदानुक्रम (hierarchy) में है: एजेंटों के बीच बातचीत करने का विशिष्ट तरीका, जहाँ "रिलेशन एनालिस्ट" अंतिम निर्णय लेने से पहले निष्कर्षों को एक सुसंगत कहानी में संकलित करता है।

यह पेपर दिखाता है कि जटिल कार्यों के लिए जहाँ आपको स्टाइल, रंग, कार्य और इरादे को एक साथ समझने की आवश्यकता होती है, वहाँ एक संरचित टीम जो अपने विचारों का समन्वय करती है, एक समूह से कहीं बेहतर है जो केवल अपनी राय चिल्ला रहा हो या एक एकल मस्तिष्क जो सब कुछ करने की कोशिश कर रहा हो। हालाँकि इस सिस्टम को चलने में थोड़ा अधिक समय लगता है (साधारण तरीकों की तुलना में एक सेकंड से कम के बजाय प्रति खोज लगभग 35 सेकंड), फिर भी यह एक मानव विशेषज्ञ की तुलना में 50 गुना तेज़ है और बहुत अधिक विश्वसनीय उत्तर प्रदान करता है। लेखक निष्कर्ष निकालते हैं कि यदि आप एक स्मार्ट खोज प्रणाली बनाना चाहते हैं, तो एक अच्छे समन्वय ढांचे में निवेश करना अधिक शक्तिशाली कंप्यूटरों या अधिक डेटा को जोड़ने से अधिक महत्वपूर्ण है।