🤖 AI

LERA: LLM-Enhanced RAG for Ad Auction in Generative Chatbots

यह शोध पत्र LERA का प्रस्ताव करता है, जो LLM-आधारित चैटबॉट्स के लिए एक दो-चरणीय 'रिट्रीव-देन-जेनरेट' (retrieve-then-generate) नीलामी ढांचा है, जो एक सत्यनिष्ठ भुगतान तंत्र (truthful payment mechanism) के भीतर एम्बेडिंग-आधारित मोटे तौर पर छँटाई (coarse filtering) को LLM-व्युत्पन्न जैविक प्रासंगिकता स्कोर के साथ जोड़कर विज्ञापन चयन की सटीकता और विविधता को बढ़ाता है।

मूल लेखक: Haoran Sun, Xinrui Song, Xinyu Zhang, Zhaohua Chen, Xu Chu, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Xiaotie Deng

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Sun, Xinrui Song, Xinyu Zhang, Zhaohua Chen, Xu Chu, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Xiaotie Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सहायक लाइब्रेरियन (एक AI चैटबॉट) के साथ चैट कर रहे हैं। आप किताबों के लिए सुझाव मांगते हैं, और लाइब्रेरियन विज्ञापनदाताओं (जैसे विशिष्ट प्रकाशकों या बुकस्टोर) का सुझाव देकर पैसा कमाना चाहता है।

बड़ी समस्या यह है: आप सही विज्ञापनदाता को कैसे चुनें बिना उपयोगकर्ता को परेशान किए या बातचीत की गति धीमी किए?

यदि लाइब्रेरियन केवल सबसे ऊंची बोली लगाने वाले को चुनता है, तो वह आपको रोमांस उपन्यासों के लिए पूछने पर एक साइंस-फिक्शन बुकस्टोर का सुझाव दे सकता है। यह आपके लिए बुरा है और व्यवसाय के लिए भी बुरा है। यदि लाइब्रेरियन दुनिया के हर एक बुकस्टोर के बारे में गहराई से सोचने की कोशिश करता है, तो आपकी बातचीत में बहुत समय लग जाएगा।

यह पेपर इस "गति बनाम गुणवत्ता" के द्वंद्व को हल करने के लिए एक चतुर दो-चरणीय प्रणाली, LERA पेश करता है। यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

समस्या: "बहुत अधिक विकल्प" का जाल

पहले, चैटबॉट्स में विज्ञापनों को संभालने के दो मुख्य तरीके थे:

"त्वरित नज़र" विधि (एम्बेडिंग-ओनली): सिस्टम आपके प्रश्न को देखता है और कीवर्ड समानता के आधार पर विज्ञापनदाताओं की एक सूची को जल्दी से स्कैन करता है। यह तेज़ है, लेकिन यह मूर्खतापूर्ण है। यह "apple" शब्द को इलेक्ट्रॉनिक्स स्टोर से जोड़ सकता है जब आपका मतलब फल से था।
"गहन विचारक" विधि (LLM-ओनली): AI आपके प्रश्न को पढ़ता है और डेटाबेस के प्रत्येक विज्ञापनदाता के बारे में गहराई से सोचता है। यह सटीक है, लेकिन अविश्वसनीय रूप से धीमा और महंगा है। यह एक प्रतिभाशाली व्यक्ति से एक व्यक्ति को काम पर रखने से पहले 10,000 रेज़्यूमे पढ़ने के लिए कहने जैसा है।

समाधान: LERA की दो-चरणीय "शॉर्टलिस्ट" रणनीति

LERA दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाता है। इसे एक टैलेंट शो ऑडिशन प्रक्रिया की तरह समझें।

चरण 1: त्वरित फ़िल्टर (द गेटकीपर)
जब आप कोई प्रश्न पूछते हैं, तो LERA सभी 10,000 विज्ञापनदाताओं को नहीं देखता है। इसके बजाय, यह एक तेज़, सरल उपकरण का उपयोग करता है जो भीड़ को जल्दी से स्कैन करता है और केवल 5 या 10 ऐसे उम्मीदवारों को चुन लेता है जो संभवतः प्रासंगिक हो सकते हैं।

उपमा: कल्पना कीजिए कि एक कास्टिंग डायरेक्टर 1,000 अभिनेताओं की एक कतार को जल्दी से स्कैन करता है और उन 10 को चुनता है जो भूमिका के लिए फिट दिखते हैं। यह तेज़ और सस्ता है।

चरण 2: विशेषज्ञ समीक्षा (द जज)
अब, LERA उन 10 शॉर्टलिस्ट किए गए उम्मीदवारों को लेता है और उन्हें स्मार्ट AI (LLM) को दिखाता है। AI को 1,000 प्रोफाइल पढ़ने की आवश्यकता नहीं है; उसे केवल इन 10 की तुलना करनी है। यह संदर्भ की अपनी गहरी समझ का उपयोग यह तय करने के लिए करता है: "इन 10 में से कौन सा सबसे अच्छा फिट है? या क्या हमें कोई विज्ञापन नहीं दिखाना चाहिए?"

उपमा: 10 अभिनेता निर्देशक के साथ एक उचित ऑडिशन देते हैं। निर्देशक अपनी विशेषज्ञता का उपयोग करके विजेता को चुनने के लिए करता है। यह उच्च-गुणवत्ता वाला है लेकिन इसमें बहुत कम समय लगता है क्योंकि समूह छोटा है।

भुगतान का नियम: "क्रिटिकल वैल्यू"

विज्ञापन नीलामियों में, विजेता हमेशा अपनी पूरी बोली नहीं चुकाता है। वे जीतने के लिए आवश्यक न्यूनतम राशि चुकाते हैं। LERA के पास इस दो-चरणीय प्रक्रिया के लिए एक विशेष नियम है:

जीतने के लिए, एक विज्ञापनदाता को गेटकीपर (चरण 1) को पार करने के लिए पर्याप्त मजबूत होना चाहिए और विशेषज्ञ समीक्षा (चरण 2) में अन्य फाइनलिस्टों को हराने के लिए भी पर्याप्त मजबूत होना चाहिए।
विजेता उन दो "थ्रेशोल्ड्स" (सीमाओं) में से उच्च राशि का भुगतान करता है जिन्हें उन्हें पार करना पड़ा था। यह सुनिश्चित करता है कि विज्ञापनदाता सच्चाई से बोली लगाएं क्योंकि वे जानते हैं कि अंदर आने की लागत क्या है।

यह बेहतर क्यों है?

पेपर ने पुराने तरीकों के मुकाबले LERA का परीक्षण किया और पाया:

बेहतर सटीकता: LERA ने सही विज्ञापनों को बहुत अधिक बार चुना, खासकर जब उपयोगकर्ता के प्रश्न पेचीदा थे (जैसे, "मुझे X नहीं चाहिए, मुझे Y चाहिए")।
बेहतर विविधता: लंबी बातचीत में, LERA एक ही विज्ञापन को दोहराने के बजाय विभिन्न प्रकार के विज्ञापन दिखाने में बेहतर था।
नियंत्रित गति: हालांकि यह "त्वरित नज़र" विधि की तुलना में थोड़ा धीमा है, लेकिन यह "गहन विचारक" विधि की तुलना में बहुत तेज़ है। यह एक ऐसा संतुलन बनाता है जहाँ बातचीत लैगी (laggy) महसूस नहीं होती, लेकिन विज्ञापन वास्तव में प्रासंगिक होते हैं।

संक्षेप में

LERA एक क्लब के स्मार्ट बाउंसर की तरह है। पहले, बाउंसर संभावित उम्मीदवारों के एक छोटे समूह को अंदर आने देने के लिए आईडी जल्दी से चेक करता है (चरण 1)। फिर, क्लब मैनेजर उस छोटे समूह का व्यक्तिगत रूप से साक्षात्कार करता है ताकि सबसे अच्छे अतिथि को चुना जा सके (चरण 2)। यह सुनिश्चित करता है कि सही लोग अंदर आएं बिना बाहर खड़े लोगों को घंटों इंतज़ार कराए।

तकनीकी सारांश: LERA: जनरेटिव चैटबॉट्स में विज्ञापन नीलामी के लिए LLM-संवर्धित RAG

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM)-आधारित चैटबॉट्स में विज्ञापन का एकीकरण व्यावसायीकरण के अवसर प्रस्तुत करता है, लेकिन यह प्रासंगिकता, दक्षता और उपयोगकर्ता अनुभव को संतुलित करने में अनूठी चुनौतियाँ भी पेश करता है। पूर्वनिर्धारित स्लॉट वाले पारंपरिक प्रायोजित खोज (sponsored search) या डिस्प्ले विज्ञापन के विपरीत, चैटबॉट विज्ञापन के लिए यह निर्धारित करना आवश्यक है कि विज्ञापनों को प्रतिक्रियाओं में कैसे और कहाँ बुना जाए। मौजूदा प्रतिमान महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

रिट्रीव-देन-जनरेट (Retrieve-then-Generate): हाजीघयी आदि [9] जैसे तरीके दक्षता के लिए जनरेशन से रिट्रीवल को अलग करते हैं लेकिन पूरी तरह से टेक्स्ट एम्बेडिंग समानता पर निर्भर करते हैं। यह अक्सर व्यावसायिक गलत व्याख्या, सूक्ष्म इरादे (intent) को पकड़ने में विफलता और बार-बार विज्ञापन प्रविष्टि का कारण बनता है।
जनरेट-देन-रिट्रीव (Generate-then-Retrieve): LLM के प्रासंगिक समझ (contextual understanding) का लाभ उठाने वाले दृष्टिकोण अक्सर कई LLM कॉल्स या विज्ञापनदाता-विशिष्ट स्कोरिंग की मांग करते हैं, जिससे अत्यधिक विलंबता (latency) और इन्फरेंस लागत आती है।
LLM-ओनली स्कोरिंग (LLM-Only Scoring): उच्च-थ्रूपुट इन्फरेंस इंजनों में बड़े कैंडिडेट सेट्स पर पैरेलल प्री-फिलिंग की आवश्यकता के कारण सभी विज्ञापनदाताओं को स्कोर करने के लिए सीधे LLM का उपयोग करना कम्प्यूटेशनल रूप से महंगा है।

कार्यप्रणाली (Methodology)
लेखक LERA (LLM-Enhanced RAG for Ad Auction) प्रस्तावित करते हैं, जो सटीकता और थ्रूपुट को संतुलित करने के लिए डिज़ाइन किया गया एक दो-चरणीय रिट्रीव-देन-जनरेट नीलामी ढांचा है।

चरण 1: एम्बेडिंग-आधारित मोटे तौर पर फ़िल्टरिंग (Embedding-Based Coarse Filtering)
- उम्मीदवार पूल को $N$ विज्ञापनदाताओं से $K$ आकार के एक छोटे सेट ( $K \ll N$ ) तक कम करने के लिए, सिस्टम पहले उपयोगकर्ता क्वेरी ( $x$ ) से संक्षिप्त इरादा कीवर्ड ( $w$ ) उत्पन्न करने के लिए एक LLM को प्रॉम्प्ट करता है।
- प्रासंगिकता स्कोर की गणना कीवर्ड एम्बेडिंग और प्रत्येक विज्ञापनदाता के विवरण एम्बेडिंग के बीच नॉर्मलाइज्ड कोसाइन सिमिलरिटी का उपयोग करके की जाती है: $s^{(1)}_i = \text{Norm}(\text{Similarity}(\text{Emb}(w), \text{Emb}(d_i)))$ ।
- इस स्कोर को विज्ञापनदाता के बिड ( $b_i$ ) द्वारा भारित (weighted) किया जाता है ताकि $\text{Score}^{(1)}_i = s^{(1)}_i \cdot b_i$ प्राप्त हो सके। शीर्ष- $K$ विज्ञापनदाता कैंडिडेट सेट $S$ बनाते हैं।
चरण 2: LLM-लॉगिट फाइन रैंकिंग (LLM-Logit Fine Ranking)
- कैंडिडेट सेट $S$ को एक "नो-इंसर्शन" विकल्प ( $\phi$ ) के साथ विस्तारित किया जाता है ताकि $\hat{S} = S \cup \{\phi\}$ बन सके।
- LLM को मूल क्वेरी और कैंडिडेट विवरणों के साथ क्वेरी किया जाता है ताकि इन उम्मीदवारों पर लॉगिट्स (logits) उत्पन्न किए जा सकें।
- इन लॉगिट्स को इन कैंडिडेट्स पर रिफाइंड ऑर्गेनिक रेलेवेंस स्कोर प्राप्त करने के लिए सॉफ्टमैक्स (softmax) के माध्यम से नॉर्मलाइज किया जाता है: $s^{(2)}_j = \frac{\exp(z_j)}{\sum_{k \in \hat{S}} \exp(z_k)}$ ।
- अंतिम नीलामी स्कोर $\text{Score}^{(2)}_j = s^{(2)}_j \cdot b_j$ (जहाँ $b_\phi = 1$ ) है। विजेता $i^*$ वह कैंडिडेट है जिसका स्कोर उच्चतम है। यदि $i^* = \phi$ , तो कोई विज्ञापन नहीं डाला जाता है।
क्रिटिकल-वैल्यू पेमेंट नियम (Critical-Value Payment Rule)
- इस दो-चरणीय प्रक्रिया में प्रोत्साहन अनुकूलता (incentive compatibility/truthfulness) सुनिश्चित करने के लिए, एक क्रिटिकल-वैल्यू पेमेंट नियम डिज़ाइन किया गया है। विजेता विज्ञापनदाता वह न्यूनतम बिड चुकाता है जो उसे विजेता बने रहने के लिए आवश्यक है, जिसमें दोनों थ्रेशोल्ड को ध्यान में रखा जाता है:
  $p_{i^*} = \max \left( \frac{\text{Score}^{(1)}_{(K+1)}}{s^{(1)}_{i^*}}, \frac{\text{Score}^{(2)}_{(2)}}{s^{(2)}_{i^*}} \right)$
- यह सुनिश्चित करता है कि विजेता चरण 1 में कैंडिडेट सेट में प्रवेश करने और चरण 2 में प्रतिस्पर्धियों को हराने, दोनों के लिए पर्याप्त भुगतान करे। पेपर सिद्ध करता है कि स्वतंत्रता और निष्पक्षता की धारणाओं के तहत यह तंत्र अधिकतम उपयोगिता चाहने वाले विज्ञापनदाताओं के लिए प्रोत्साहन-अनुकूल है।
मल्टी-एड इंसर्शन (Multi-Ad Insertion) का विस्तार
- फ्रेमवर्क डायनेमिक डायलॉग फ्लो के लिए प्रतिक्रियाओं को सेगमेंट में विभाजित करके इसे विस्तारित करता है। प्रत्येक सेगमेंट के लिए, नीलामी क्वेरी और रिस्पॉन्स प्रीफिक्स पर आधारित होती है, जिससे नियंत्रित विलंबता बनाए रखते हुए विविध विज्ञापन प्रविष्टियाँ संभव होती हैं।

प्रमुख योगदान

फ्रेमवर्क डिज़ाइन: एम्बेडिंग-आधारित मोटे तौर पर फ़िल्टरिंग और LLM-लॉगिट-आधारित फाइन रैंकिंग को संयोजित करने वाला एक संदर्भ-जागरूक (context-aware) विज्ञापन नीलामी ढांचा LERA का प्रस्ताव।
नीलामी तंत्र: दोनों चरणों (कैंडिडेट-सेट एंट्री और फाइनल-स्टेज कॉम्पिटिशन) को ध्यान में रखते हुए सत्यनिष्ठा (truthfulness) सुनिश्चित करने के लिए एक क्रिटिकल-वैल्यू पेमेंट नियम का डिज़ाइन।
परफॉरमेंस ट्रेड-ऑफ: यह प्रदर्शन करना कि LERA जटिल इरादों को कैप्चर करता है और प्रविष्टि विविधता में सुधार करता है, जबकि एम्बेडिंग-ओनली और LLM-ओनली विकल्पों की तुलना में एक अनुकूल सटीकता-दक्षता ट्रेड-ऑफ बनाए रखता है।

प्रायोगिक परिणाम (Experimental Results)
प्रयोग 8 श्रेणियों के 100 विज्ञापनदाताओं के सिंथेटिक डेटासेट पर, विभिन्न स्केल्स (4B, 30B, 235B) के Qwen3 मॉडल्स और इन्फरेंस के लिए SGLang का उपयोग करके किए गए।

सिंगल एड सिलेक्शन एक्यूरेसी (Single Ad Selection Accuracy):
- LERA ने जटिल इरादे (complex intent), इरादा बदलाव (intent shift), और नेगेटिव रिफाइनमेंट परिदृश्यों में एम्बेडिंग-ओनली बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन किया।
- छोटे मॉडल्स (4B और 30B) के लिए, LERA ने "LLM-ओनली" वेरिएंट (जो सभी $N$ विज्ञापनदाताओं को स्कोर करता है) की तुलना में काफी बेहतर प्रदर्शन किया, जिससे पता चलता है कि मोटे तौर पर फ़िल्टरिंग फाइन-ग्रेन्ड रैंकिंग की कठिनाई को कम करती है।
- 235B LLM-ओनली मॉडल ने पूर्ण सटीकता प्राप्त की लेकिन गंभीर थ्रूपुट बाधाओं का सामना किया।
मल्टी-एड इंसर्शन और क्वेरी संतुष्टि (Multi-Ad Insertion & Query Satisfaction):
- डायनेमिक मल्टी-एड परिदृश्यों में, LERA ने एम्बेडिंग-ओनली बेसलाइन की तुलना में क्वेरी संतुष्टि (अनुरोधित श्रेणियों के पूरा होने का अनुपात) में 20-40% का सुधार किया।
- LERA ने एब्लेशन वेरिएंट्स (Keyword-Match, Cosine-LLM) को पछाड़ दिया, जो कीवर्ड-अवेयर फ़िल्टरिंग और LLM-लॉगिट रैंकिंग दोनों की आवश्यकता की पुष्टि करता है।
दक्षता और विलंबता (Efficiency and Latency):
- पैरेलल प्री-फिलिंग लागतों के कारण LERA (LLM-ओनली) जल्दी ही थ्रूपुट बाधाओं तक पहुँच गया।
- LERA ने नियंत्रणीय विलंबता ओवरहेड का सामना किया। हालांकि उच्च समवर्ती (concurrency) स्तरों पर एम्बेडिंग-ओनली की तुलना में विलंबता बढ़ी, लेकिन थ्रूपुट वास्तविक समय के अनुप्रयोगों के लिए व्यवहार्य रहा।
- कैंडिडेट सेट के आकार $K$ पर एब्लेशन अध्ययन ने दिखाया कि $K$ बढ़ाने से संतुष्टि में सुधार होता है लेकिन थ्रूपुट कम हो जाता है, जो एक ट्यून करने योग्य ट्रेड-ऑफ को उजागर करता है।

महत्व और दावे
पेपर का दावा है कि LERA LLM-संचालित चैटबॉट्स में नीलामी-आधारित विज्ञापन प्रविष्टि के व्यावहारिक परिनियोजन की दिशा में एक कदम है। यह रिट्रीवल-आधारित आवंटन की दक्षता को बनाए रखते हुए और केवल एक छोटे, पूर्व-फ़िल्टर किए गए कैंडिडेट सेट पर LLM के प्रासंगिक निर्णय का लाभ उठाकर मौजूदा सीमाओं को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण विज्ञापन एकीकरण को एक ऐसे तरीके से सक्षम बनाता है जो संदर्भ के अनुकूल, व्यावसायिक रूप से सार्थक और सत्यनिष्ठ नीलामी-आधारित मूल्य निर्धारण के साथ संगत है, बिना सभी उम्मीदवारों के लिए भारी LLM-आधारित स्कोरिंग की लागत उठाए।

समस्या: "बहुत अधिक विकल्प" का जाल

समाधान: LERA की दो-चरणीय "शॉर्टलिस्ट" रणनीति

भुगतान का नियम: "क्रिटिकल वैल्यू"

यह बेहतर क्यों है?

संक्षेप में

इसी तरह के और पेपर