← नवीनतम पेपर
🤖 machine learning

UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale

UniPinRec पहला प्रोडक्शन सिस्टम है जो साझा इनपुट, प्रशिक्षण और सर्विंग इंफ्रास्ट्रक्चर के साथ रिट्रीवल और रैंकिंग को पूरी तरह से एक एकल ट्रांसफार्मर-आधारित पाइपलाइन में एकीकृत करता है, जिससे Pinterest के पैमाने पर महत्वपूर्ण जुड़ाव लाभ और दक्षता सुधार प्राप्त हुए हैं।

मूल लेखक: Hanyu Li, Yi-Ping Hsu, Aditya Mantha, Prabhat Agarwal, Laksh Bhasin, Jialu Wang, Hongtao Lin, Bella Huang, Yaxin Li, Xinyi Li, Chuxi Wang, Kousik Rajesh, Hooshmand Shokri Razaghi, Shunyao Li, Zongyue
प्रकाशित 2026-06-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Hanyu Li, Yi-Ping Hsu, Aditya Mantha, Prabhat Agarwal, Laksh Bhasin, Jialu Wang, Hongtao Lin, Bella Huang, Yaxin Li, Xinyi Li, Chuxi Wang, Kousik Rajesh, Hooshmand Shokri Razaghi, Shunyao Li, Zongyue Qin, Jaewon Yang, James Li, Dhruvil Deven Badani, Jiajing Xu, Charles Rosenberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

Pinterest की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ अरबों किताबें (Pins) हैं। जब आप अंदर कदम रखते हैं, तो लाइब्रेरी को दो काम बहुत तेज़ी से करने होते हैं:

  1. रिट्रीवल (Retrieval): पूरी लाइब्रेरी को स्कैन करना ताकि आपकी पसंद की कुछ हज़ार किताबें मिल सकें।
  2. रैंकिंग (Ranking): उन कुछ हज़ार किताबों को लेना, उनके सारांश को ध्यान से पढ़ना और उन्हें आपके लिए एकदम सही क्रम में व्यवस्थित करना।

पुराना तरीका: दो अलग-अलग लाइब्रेरियन

लंबे समय तक, Pinterest ने इन दोनों कामों को करने के लिए दो अलग-अलग "लाइब्रेरियन" (AI मॉडल्स) का उपयोग किया।

  • लाइब्रेरियन A (रिट्रीवल) एक स्पीड डेमन था। वे पूरी लाइब्रेरी को तेज़ी से स्कैन करते थे लेकिन किताबों को गहराई से नहीं पढ़ते थे। वे बस संभावित मैचों का एक बड़ा ढेर उठा लेते थे।
  • लाइब्रेरियन B (रैंकिंग) एक सावधानी से पढ़ने वाला व्यक्ति था। वे उस ढेर को लेते थे, हर किताब को विस्तार से पढ़ते थे और उन्हें पूरी तरह से सॉर्ट करते थे।

समस्या: दोनों लाइब्रेरियन आपके पिछले व्यवहार (आपने क्या क्लिक किया, सेव किया या हाइड किया) के बारे में बिल्कुल एक ही नोट्स पढ़ रहे थे। वे दोनों अलग-अलग अपने इतिहास को "याद रखने" का भारी काम कर रहे थे। यह एक ही फोन बुक को याद करने के लिए दो लोगों को काम पर रखने जैसा था ताकि वे दो अलग-अलग लिस्ट बना सकें। इससे पैसा, कंप्यूटर पावर और समय बर्बाद हो रहा था।

नया समाधान: UniPinRec (सुपर-लाइब्रेरियन)

यह पेपर UniPinRec को पेश करता है, जो एक अकेला "सुपर-लाइब्रेरियन" है जो एक ही बार में दोनों काम करता है, एक ही दिमाग, एक ही सेट नोट्स और एक ही वर्कफ़्लो का उपयोग करता है।

उन्होंने इसे तीन चतुर ट्रिक्स का उपयोग करके कैसे काम करने के योग्य बनाया, यहाँ बताया गया है:

1. "मास्क्ड एक्शन" ट्रिक (MAM)

आमतौर पर, "रिट्रीवल" लाइब्रेरियन केवल उन आइटम्स की सूची देखता है जिन्हें आपने पसंद किया है। "रैंकिंग" लाइब्रेरियन को यह जानने की ज़रूरत होती है कि आपने उन आइटम्स के साथ क्या किया (क्या आपने क्लिक किया? सेव किया? या हाइड किया?)।

  • पुरानी समस्या: यदि आप "आपने क्या किया" को लिस्ट में मिला देते हैं, तो यह रिट्रीवल लाइब्रेरियन की गति को बिगाड़ देता है।
  • UniPinRec का समाधान: वे एक "मास्किंग" तकनीक का उपयोग करते हैं। कल्पना करें कि लाइब्रेरियन के पास आपके इतिहास की एक सूची है। वे "आपने क्या किया" वाले हिस्से को एक स्टिकी नोट से ढक (मास्क) देते हैं।
    • लाइब्रेरियन यह अनुमान लगाना सीखता है कि आपने आइटम के आधार पर क्या किया होगा।
    • यह लाइब्रेरियन को आइटम्स को खोजने (रिट्रीवल) और उन्हें परखने (रैंकिंग) दोनों में सक्षम बनाता है, बिना लिस्ट को बहुत लंबा या भ्रमित किए। यह एक साथ ड्राइविंग और पार्किंग सीखने जैसा है, जिसमें आप हैंडब्रेक लगाकर अभ्यास करते हैं।

2. "शेयर्ड मेमोरी" ट्रिक (KV Cache Reuse)

यह सबसे बड़ा स्पीड बूस्टर है।

  • पुरानी समस्या: जब रैंकिंग लाइब्रेरियन अपना काम शुरू करता था, तो उसे यह समझने के लिए कि आप कौन हैं, आपका पूरा इतिहास फिर से पढ़ना पड़ता था।
  • UniPinRec का समाधान: रिट्रीवल लाइब्रेरियन पहले आपके इतिहास को पढ़ने का कठिन काम करता है। उन नोट्स को फेंकने के बजाय, वे उन्हें रैंकिंग लाइब्रेरियन को सौंप देते हैं।
    • रैंकिंग लाइब्रेरियन इतिहास को फिर से नहीं पढ़ता; वे बस उन नोट्स को देखते हैं जो पहले लाइब्रेरियन ने पहले ही लिख दिए थे।
    • उपमा: यह एक शेफ की तरह है जो सारी सब्जियां काटता है (रिट्रीवल) और फिर कटोरा सु-शेफ को सौंप देता है जो बस मसाले डालता है (रैंकिंग)। सु-शेफ को सब्जियां दोबारा काटने की ज़रूरत नहीं होती। इससे बहुत सारा समय बचता है।

3. "ब्लेंडेड ट्रेनिंग" ट्रिक

मॉडल को पहले "ढूंढने वाला" बनाने और फिर बाद में "सॉर्ट करने वाला" बनाने के बजाय, उन्होंने इसे एक साथ दोनों काम करने के लिए प्रशिक्षित किया।

  • उन्होंने मॉडल को ऐसे उदाहरण दिए जिनमें "आपने क्या पसंद किया उसका इतिहास" और "उन चीजों की सूची जो आपने देखीं लेकिन क्लिक नहीं किया" दोनों शामिल थे।
  • इसने मॉडल को बेहतर "ढूंढने वाला" बनाया क्योंकि वह आइटम्स को परखना जानता था, और एक बेहतर "परखने वाला" बनाया क्योंकि वह सही आइटम्स को ढूंढना जानता था।

परिणाम: तेज़, स्मार्ट, सस्ता

जब उन्होंने वास्तविक Pinterest ऐप में इस सुपर-लाइब्रेरियन को काम पर लगाया, तो परिणाम प्रभावशाली थे:

  • बेहतर सिफारिशें: उपयोगकर्ताओं ने अधिक Pins सेव किए और अधिक नोटिफिकेशन खोले। सिस्टम ने बेहतर आइटम्स ढूंढे क्योंकि "ढूंढने वाला" और "सॉर्ट करने वाला" एक-दूसरे से बात कर रहे थे।
  • तेज़ गति: क्योंकि उन्होंने उपयोगकर्ता के इतिहास को फिर से पढ़ना बंद कर दिया, इसलिए सिस्टम कुल मिलाकर 11% तेज़ हो गया।
  • अधिक क्षमता: सिस्टम बिना धीमे हुए एक ही समय में 63% अधिक उपयोगकर्ताओं को संभाल सकता था।

सारांश

UniPinRec एक अलग-अलग विभागों को एक कुशल टीम में मिलाने जैसा है। एक ही "दिमाग" (मॉडल), एक ही "नोट्स" (यूज़र हिस्ट्री) और एक ही "वर्कफ़्लो" साझा करके, Pinterest कंप्यूटर पर पैसा बचाता है, ऐप को उपयोगकर्ताओं के लिए तेज़ बनाता है, और लोगों को वह कंटेंट दिखाता है जिसे वे वास्तव में चाहते हैं। उन्होंने पूरे लाइब्रेरी सिस्टम को नहीं बदला; उन्होंने बस मौजूदा लाइब्रेरियन को आपस में पूरी तरह से तालमेल बिठाकर काम करने के योग्य बनाया।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →