Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs
यह शोध पत्र एक स्केलेबल, लागत-कुशल उत्पाद लिंकिंग सिस्टम प्रस्तुत करता है जो एक कैस्केड आर्किटेक्चर का उपयोग करता है जहाँ एक डिस्टिल्ड क्रॉस-एनकोडर उच्च-विश्वास वाले मिलान को हल करता है और एक एजेंटिक विजन-लैंग्वेज मॉडल संदिग्ध मामलों को संभालता है, जिससे कम्प्यूटेशनल लागत और मानव एनोटेशन आवश्यकताओं को कम करते हुए कवरेज को अधिकतम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक इंटरनेट के विशाल और अराजक बाजार में, लाखों स्वतंत्र विक्रेता एक ही वस्तुओं को अलग-अलग नामों, अलग-अलग तस्वीरों और कभी-कभी अधूरी या भ्रमित करने वाली जानकारियों के साथ सूचीबद्ध करते हैं। एक एकल उत्पाद, जैसे कि कॉफी मेकर का एक विशिष्ट ब्रांड, एक कैटलॉग में हजारों बार दिखाई दे सकता है, जिसमें प्रत्येक प्रविष्टि पिछली प्रविष्टि से थोड़ी भिन्न होती है। सर्च इंजन और सिफारिशों (recommendations) को चलाने वाले कंप्यूटरों के लिए, यह एक भ्रमित करने वाले कोहरे जैसा है। यदि सिस्टम यह पहचान नहीं पाता है कि दो अलग-अलग लिस्टिंग वास्तव में एक ही वस्तु हैं, तो वह उनकी समीक्षाओं को संयोजित नहीं कर सकता, उनकी बिक्री को ट्रैक नहीं कर सकता, या उन्हें सही ग्राहकों को नहीं दिखा सकता। "प्रोडक्ट लिंकिंग" का लक्ष्य इस कोहरे को साफ करना है, जो एक डिजिटल लाइब्रेरियन की तरह शोर के बीच से हर वस्तु की एकल, सही पहचान खोजने के लिए काम करता है। यह केवल संगठन का मामला नहीं है; यह उस आधारशिला का हिस्सा है जिससे ऑनलाइन स्टोर समझते हैं कि वे क्या बेच रहे हैं।
DoorDash के शोधकर्ताओं की एक टीम ने इस समस्या को अत्यधिक बड़े पैमाने पर हल करने के लिए एक नई प्रणाली बनाई है, जो बिना अत्यधिक खर्च किए अरबों रिकॉर्ड्स को संभाल सकती है। उन्होंने महसूस किया कि प्रत्येक वस्तु के साथ एक जैसा व्यवहार करना संसाधनों की बर्बादी है। कुछ वस्तुओं की पहचान करना आसान होता है क्योंकि उनके नाम और कोड पूरी तरह से मेल खाते हैं, जबकि अन्य ऐसी होती हैं जैसे जन्म के समय अलग हुए जुड़वां, जिन्हें अंतर बताने के लिए गहन जांच की आवश्यकता होती है। हर आइटम की जांच करने के लिए एक शक्तिशाली, महंगे कंप्यूटर मस्तिष्क का उपयोग करने के बजाय, उन्होंने एक तीन-चरणीय प्रक्रिया बनाई जो केवल तभी अधिक प्रयास करती है जब वास्तव में इसकी आवश्यकता होती है। सबसे पहले, सिस्टम संभावित मिलानों की एक छोटी सूची तक पहुँचने के लिए संभावनाओं को तेजी से सीमित करता है। फिर, एक तेज़, हल्का कंप्यूटर प्रोग्राम इन जोड़ियों की जांच करता है। यदि मिलान स्पष्ट है, तो सिस्टम इसे तुरंत स्वीकार कर लेता है। यदि मिलान स्पष्ट रूप से गलत है, तो यह इसे अस्वीकार कर देता है। लेकिन यदि प्रोग्राम अनिश्चित है, तो वह कठिन मामले को एक अधिक उन्नत आर्टिफिशियल इंटेलिजेंस एजेंट के पास भेज देता है।
यह उन्नत एजेंट इस नई खोज का केंद्र है। इस तेज़ प्रोग्राम के विपरीत जो केवल टेक्स्ट पढ़ता है, यह एजेंट उत्पादों की तस्वीरों को देख सकता है और महत्वपूर्ण रूप से, अतिरिक्त सुरागों के लिए खुले इंटरनेट को खोज सकता है। जब सिस्टम ऐसी भ्रमित करने वाली जोड़ी का सामना करता है जहाँ नाम समान हैं लेकिन विवरण अस्पष्ट हैं, तो एजेंट एक जासूस की तरह कार्य करता है। यह यह देखने के लिए एक बर्तन की तस्वीर देख सकता है कि क्या वह कास्ट आयरन का बना है या स्टेनलेस स्टील का, या यह निर्माता के आधिकारिक विवरण को खोजने के लिए बारकोड नंबर का उपयोग करके वेब पर खोज कर सकता है। मूल रिकॉर्ड से बाहर से साक्ष्य एकत्र करने की यह क्षमता सिस्टम को उन मामलों को हल करने की अनुमति देती है जो एक साधारण टेक्स्ट-मैचिंग टूल को उलझा सकते हैं। शोधकर्ताओं ने पाया कि इस "एस्केलेशन" (escalation) रणनीति का उपयोग करके, वे स्वचालित रूप से सभी उत्पादों में से लगभग 77 प्रतिशत को लिंक कर सके, जो कि उन सस्ते, तेज़ उपकरणों के साथ प्राप्त 68 प्रतिशत की तुलना में एक महत्वपूर्ण उछाल है।
टीम ने इन प्रणालियों को प्रशिक्षित करने के बारे में भी एक आश्चर्यजनक सत्य की खोज की। लाखों उदाहरणों को लेबल करने के लिए हजारों मनुष्यों को काम पर रखने के बजाय, उन्होंने एक ही वस्तुओं को ग्रेड करने के लिए दो अलग-अलग उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल का उपयोग किया। उन्होंने केवल उन्हीं उत्तरों को रखा जहाँ दोनों मॉडल सहमत थे, जिससे एक अत्यधिक विश्वसनीय प्रशिक्षण डेटा तैयार हुआ। इस पद्धति ने उन्हें तेज़, हल्के प्रोग्राम को उसी आत्मविश्वास के साथ निर्णय लेने के लिए सिखाने की अनुमति दी, जो महंगे और धीमे मॉडल के पास था, लेकिन बहुत कम लागत पर। उन्होंने यह भी पाया कि बारकोड के कच्चे नंबरों को सिस्टम में फीड करना एक पूर्व-निर्मित "मैच" या "नो मैच" फ्लैग देने की तुलना में बेहतर काम करता है, क्योंकि कंप्यूटर स्वयं आंशिक मिलान और त्रुटियों को पहचानने के लिए सीख सकता है। हालाँकि, उन्हें सावधान रहना पड़ा, क्योंकि बारकोड पर बहुत अधिक निर्भर रहने से तब गलतियाँ हो सकती हैं जब दो अलग-अलग उत्पाद गलती से एक ही कोड साझा करते हैं। उन्होंने इसे यह सुनिश्चित करके हल किया कि जब बारकोड मेल खाता है, तो सिस्टम उत्पाद के नाम की दोबारा जांच करे, ताकि वह दुर्लभ त्रुटियों से न छले।
एक तेज़ फ़िल्टर के साथ एक स्मार्ट, वेब-सर्चिंग एजेंट को जोड़कर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो सटीक भी है और किफायती भी। उन्होंने एक महंगे, क्लोज्ड-सोर्स आर्टिफिशियल इंटेलिजेंस को एक सेल्फ-होस्टेड संस्करण से बदल दिया जो चलाने में लगभग एक-सातवें हिस्से के बराबर लागत में आता है, जबकि उच्च सटीकता बनाए रखता है। इस दृष्टिकोण का अर्थ है कि ऑनलाइन मार्केटप्लेस अपने कैटलॉग को अधिक गहनता से साफ कर सकते हैं, यह सुनिश्चित करते हुए कि ग्राहकों को प्रत्येक उत्पाद के लिए एक एकल, स्पष्ट प्रविष्टि दिखाई दे, न कि डुप्लिकेट्स का बिखरा हुआ ढेर। परिणाम दुनिया की वस्तुओं को व्यवस्थित करने का एक स्मार्ट, अधिक कुशल तरीका है, जो यह सिद्ध करता है कि कभी-कभी बड़े पैमाने की समस्या को हल करने का सबसे अच्छा तरीका हर कील के लिए सबसे बड़ा हथौड़ा उपयोग करना नहीं है, बल्कि यह जानना है कि विशेषज्ञ को कब बुलाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।