💬 NLP

PILA: Plug-and-Play Insertion for LLM-native Advertising

यह शोध पत्र PILA को पेश करता है, जो एक मॉडल-अज्ञेय (model-agnostic), प्लग-एंड-प्ले साइडकार मॉड्यूल है जो विज्ञापन प्रविष्टि को सामग्री निर्माण से अलग करता है ताकि मूल मॉडल में संशोधन किए बिना या प्रतिक्रिया की गुणवत्ता से समझौता किए बिना उच्च-गुणवत्तापूर्ण, नियंत्रणीय LLM-नेटिव विज्ञापन सक्षम किया जा सके।

मूल लेखक: Zhaowei Zhang, Yuhan Fu, Yihang Zhang, Xiaohan Liu, Ceyao Zhang, Xiaoyuan Zhang, Yipeng Kang, Tonghan Wang, Yaodong Yang

प्रकाशित 2026-07-29

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zhaowei Zhang, Yuhan Fu, Yihang Zhang, Xiaohan Liu, Ceyao Zhang, Xiaoyuan Zhang, Yipeng Kang, Tonghan Wang, Yaodong Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

इंटरनेट की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ लाइब्रेरियन अब इंसान नहीं, बल्कि अविश्वसनीय रूप से बुद्धिमान रोबोट हैं जिन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है। ये रोबोट कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और आपके इस गहरे सवाल का जवाब दे सकते हैं कि आसमान नीला क्यों है। लेकिन यहाँ एक पेचीदा बात है: आप इन रोबोरों के लिए भुगतान कैसे करेंगे? पुराने दिनों में, लाइब्रेरी में बिलबोर्ड लगाए जाते थे या दरवाजे पर पर्चे बांटे जाते थे। लेकिन इन बात करने वाले रोबोटों की इस नई दुनिया में, किसी के द्वारा कविता पढ़ने के दौरान "यह खरीदें!" चिल्लाना जैसा लगता है, जो पूरी प्रक्रिया के जादू को खराब कर देता है। मुख्य सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम रोबोट की कहानी में एक विज्ञापन को इतनी सहजता से शामिल कर सकते हैं कि वह कहानी का हिस्सा लगे, न कि कोई बाधा?

यहीं पर "LLM-नेटिव एडवरटाइजिंग" नामक एक नया विचार आता है। यह उत्पाद के उल्लेख को रोबोट के उत्तर में इतनी स्वाभाविक रूप से बुनने का सपना है कि वह विज्ञापन जैसा बिल्कुल न लगे। हालाँकि, मुख्य रोबोट को ऐसा करने के लिए सिखाना एक आपदा रहा है। यह एक मास्टर शेफ से एक बेहतरीन स्टेक पकाने के साथ-साथ आपको एक ब्लेंडर बेचने की कोशिश करने जैसा है; शेफ विचलित हो जाता है, स्टेक ठंडा हो जाता है, और ब्लेंडर का प्रचार जबरदस्ती भरा हुआ लगता है। वर्तमान के अधिकांश तरीके इस कोशिश में रहते हैं कि रोबोट को एक साथ दोनों काम करने के लिए मजबूर किया जाए, जो अक्सर उत्तरों को खराब कर देता है या रोबोट के मस्तिष्क को ऐसे बदलने की मांग करता है जो हम नहीं कर सकते क्योंकि इनमें से कई स्मार्ट रोबोट "क्लोज्ड-सोर्स" (एक बंद ब्लैक बॉक्स की तरह जिसे हम छू नहीं सकते) हैं।

यहाँ PILA आता है, जो पेकिंग और त्सिंगहुआ जैसे शीर्ष विश्वविद्यालयों के शोधकर्ताओं द्वारा प्रस्तावित एक चतुर फ्रेमवर्क है। PILA को एक नए शेफ के रूप में नहीं, बल्कि एक विशेषज्ञ "साइडकार" वेटर के रूप में सोचें। कल्पना कीजिए कि आपने मुख्य शेफ (मूल रोबोट) से एक भोजन ऑर्डर किया है, और भोजन एकदम सही बनकर आता है। ठीक आपके टेबल तक पहुँचने से पहले, एक छोटा, अदृश्य साइडकार वेटर झपट्टा मारता है। यह वेटर रेसिपी या शेफ के काम को नहीं बदलता; वे बस प्लेट को धीरे से व्यवस्थित करते हैं, उसमें एक छोटा, पूरी तरह से सजाया गया गार्निश (विज्ञापन) जोड़ते हैं जो व्यंजन के स्वाद के अनुकूल हो।

यह पेपर PILA को एक "प्लग-एंड-प्ले" समाधान के रूप में पेश करता है। इसे यह जानने की आवश्यकता नहीं है कि मुख्य रोबोट कैसे सोचता है, और न ही इसे हर बार रोबोट के अपग्रेड होने पर फिर से प्रशिक्षित करने की आवश्यकता है। इसके बजाय, यह रोबोट के तैयार उत्तर को लेता है और विज्ञापन को शामिल करने के लिए इसे बस थोड़ा सा फिर से लिख देता है। शोधकर्ताओं ने इस साइडकार को यह सिखाने के लिए 25,000 उदाहरणों का एक विशाल प्रशिक्षण डेटासेट बनाया। उन्होंने पाया कि PILA लगभग किसी भी रोबोट के साथ काम कर सकता है, चाहे वह OpenAI के हों, Google के हों या Anthropic के।

परिणाम काफी उत्साहजनक हैं। अपने परीक्षणों में, PILA ने विज्ञापन को बहुत अधिक स्वाभाविक और प्रभावी बनाने में सफलता प्राप्त की, बिना उत्तर की गुणवत्ता को खराब किए। वास्तव में, अन्य तरीकों की तुलना में जो रोबोट को एक साथ सब कुछ करने के लिए मजबूर करते हैं, PILA ने समग्र अनुभव में महत्वपूर्ण अंतर से सुधार किया—कुछ मामलों में 47.3% तक बेहतर। यह प्रबंधकों को एक "वॉल्यूम नॉब" (जिसे तीव्रता नियंत्रक कहा जाता है) भी देता है ताकि वे यह तय कर सकें कि विज्ञापन कितना तेज़ होना चाहिए, जो सूक्ष्म होने और ध्यान आकर्षित करने के बीच संतुलन बनाता है। हालाँकि पेपर सुझाव देता है कि यह एक व्यावहारिक मार्ग है, यह ध्यान रखना महत्वपूर्ण है कि ये निष्कर्ष कंप्यूटर सिमुलेशन और विशिष्ट डेटासेट पर परीक्षणों से आए हैं, न कि अभी किसी लाइव ऐप में वास्तविक दुनिया के उपयोग से। लेकिन विचार स्पष्ट है: रोबोट के दिमाग को चीजें बेचने के लिए तोड़ने के बजाय, हम बस बेचने के लिए एक स्मार्ट, अदृश्य साइडकार जोड़ सकते हैं।

तकनीकी सारांश: PILA – LLM-नेटिव विज्ञापन के लिए प्लग-एंड-प्ले इंसर्शन (Plug-and-Play Insertion)

समस्या विवरण (Problem Statement)

यूज़र ट्रैफ़िक के गेटवे के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से बढ़ते उपयोग ने नई मुद्रीकरण (monetization) रणनीतियों, विशेष रूप से LLM-नेटिव विज्ञापन की आवश्यकता को जन्म दिया है, जहाँ प्रायोजित सामग्री (sponsored content) को मॉडल-जनरेटेड प्रतिक्रियाओं में स्वाभाविक रूप से एकीकृत किया जाता है। हालाँकि, मौजूदा दृष्टिकोण एक मौलिक वास्तुशिल्प सीमा (architectural limitation) से ग्रस्त हैं: वे कंटेंट जनरेशन और विज्ञापन इंसर्शन को आपस में मजबूती से जोड़ देते हैं।

वर्तमान विधियाँ आमतौर पर निम्नलिखित पर निर्भर करती हैं:

प्रतिक्रिया और विज्ञापनों को संयुक्त रूप से उत्पन्न करने के लिए मॉडल पैरामीटर्स का फाइन-ट्यूनिंग (Fine-tuning) करना।
जेनरेशन को प्रभावित करने के लिए आंतरिक मॉडल तंत्रों (जैसे, टोकन-लेवल ऑक्शन) का लाभ उठाना।
एक ही मॉडल इंस्टेंस के भीतर प्रॉम्प्ट इंजीनियरिंग (Prompt engineering) या सैंपलिंग-आधारित डिकोडिंग (Sampling-based decoding)।

ये युग्मित (coupled) प्रतिमान तीन महत्वपूर्ण व्यावहारिक सीमाओं का सामना करते हैं:

असंपहुंचता (Inaccessibility): फ्रंटियर LLMs अक्सर क्लोज्ड-सोर्स होते हैं और केवल API के माध्यम से सुलभ होते हैं, जिससे पैरामीटर संशोधन असंभव हो जाता है।
वर्कफ़्लो असंगति (Workflow Incompatibility): आधुनिक अनुप्रयोग तेजी से एजेंटिक वर्कफ़्लो, RAG, और मल्टी-एजेंट हार्नेस पर निर्भर हैं जहाँ विज्ञापन को एक एकल मोनोलिथिक मॉडल के बजाय विषम (heterogeneous) घटकों में संचालित होना चाहिए।
उद्देश्य हस्तक्षेप (Objective Interference): एक ही जेनरेशन प्रक्रिया के भीतर उपयोगकर्ता संतुष्टि और विज्ञापन राजस्व दोनों को अनुकूलित करने से उपयोगकर्ता की सेवा करने के प्राथमिक उद्देश्य से समझौता हो सकता है।

परिणामस्वरूप, एक ऐसे विलगित (decoupled), मॉडल-अज्ञेय (model-agnostic) समाधान की आवश्यकता है जिसे मूल मॉडल को संशोधित किए बिना या मूल पाइपलाइनों को बाधित किए बिना मौजूदा LLM सेवाओं में एकीकृत किया जा सके।

कार्यप्रणाली: PILA फ्रेमवर्क (Methodology: The PILA Framework)

लेखक PILA (Plug-and-Play Insertion for LLM-native Advertising) का प्रस्ताव करते हैं, जो विज्ञापन इंसर्शन को एक कंडीशनल रिस्पॉन्स रीराइटिंग (conditional response rewriting) समस्या के रूप में पुनर्गठित करता है। प्रतिक्रिया और विज्ञापन को एक साथ उत्पन्न करने के बजाय, PILA एक हल्के साइडकार मॉड्यूल (sidecar module) के रूप में कार्य करता है जो केवल अंतिम प्रतिक्रिया चरण में हस्तक्षेप करता है।

मुख्य वास्तुकला (Core Architecture)

विलगित पाइपलाइन (Decoupled Pipeline):
- एक अपस्ट्रीम सिस्टम $M_{up}$ (जो एक एकल LLM, RAG सिस्टम, या एजेंटिक वर्कफ़्लो हो सकता है) उपयोगकर्ता क्वेरी $x$ के आधार पर एक विज्ञापन-मुक्त प्रतिक्रिया $y$ उत्पन्न करता है।
- PILA, एक साइडकार रीराइटर $\pi_\theta$ के रूप में स्थापित, टुपल $(x, y, a, c)$ को इनपुट के रूप में लेता है—जहाँ $a$ विज्ञापनदाता का नाम है और $c$ विज्ञापन की सामग्री है।
- यह एक विज्ञापन-संवर्धित प्रतिक्रिया $\tilde{y}$ आउटपुट करता है, जहाँ प्रायोजित स्पैन (span) को स्पष्ट रूप से <ad> और </ad> टैग के साथ चिह्नित किया गया है।
- यह डिज़ाइन सुनिश्चित करता है कि PILA मॉडल-अज्ञेय (model-agnostic) है और इसे अपस्ट्रीम मॉडल पैरामीटर्स या आंतरिक अवस्थाओं तक पहुँच की आवश्यकता नहीं है।
डेटा निर्माण (Data Construction):
- लेखकों ने NaiAD इंफ्रास्ट्रक्चर के आधार पर एक 25k उच्च-गुणवत्ता वाला कॉर्पस बनाया।
- सीड जनरेशन (Seed Generation): Claude Opus 4.5 का उपयोग करके, उन्होंने क्यूरेटेड विज्ञापनों (1,936 ब्रांड्स) और उपयोगकर्ता प्रश्नों के लिए विज्ञापन-मुक्त और विज्ञापन-संवर्धित प्रतिक्रियाओं के जोड़े को सिंथेसाइज किया। इस प्रक्रिया में सिमेंटिक मैचिंग, डाइवर्सिटी पेनल्टी और गुणवत्ता के लिए सेल्फ-जजिंग शामिल थी।
- डाइवर्सिटी ऑग्मेंटेशन (Diversity Augmentation): Claude Haiku 4.5 का उपयोग करके, उन्होंने कोर विज्ञापन सामग्री और सीमाओं को सुरक्षित रखते हुए, एड टैग्स के आसपास के डिस्कोर्स विंडो के पैराफ्रेस (paraphrases) उत्पन्न करके सीड सेट का विस्तार किया।
- अंतिम डेटासेट में 10k सीड उदाहरण और 15k ऑगमेंटेड उदाहरण शामिल हैं, जो कंडीशनल रिस्पॉन्स रीराइटिंग के लिए फॉर्मेट किए गए हैं।
विज्ञापन तीव्रता नियंत्रण (Ad Intensity Control):
- उपयोगकर्ता-पक्ष की स्वाभाविकता और विज्ञापन-पक्ष के एक्सपोज़र के बीच संतुलन बनाने के लिए, PILA परसुएशन नॉलेज मॉडल (Persuasion Knowledge Model - PKM) पर आधारित एक एड-इंटेंसिटी कंट्रोलर पेश करता है।
- कंट्रोलर कॉन्ट्रास्टिव डिकोडिंग (contrastive decoding) का उपयोग करके एक तीव्रता-नियंत्रित पॉलिसी को परिभाषित करता है:
  $\log \pi_\rho^{PILA} = \log \pi^{PILA} + \rho \log \left( \frac{\pi^{PILA}}{\pi_{ref}} \right)$
- यहाँ, $\pi_{ref}$ मूल अनट्यून्ड बैकबोन है, और $\rho$ विज्ञापन-तीव्रता कारक है।
- जब $\rho = 0$ होता है, तो मॉडल एक मानक रीराइटर की तरह व्यवहार करता है। जैसे-जैसे $\rho$ बढ़ता है, मॉडल संदर्भ के सापेक्ष प्रशिक्षण के दौरान सीखी गई व्यवहारों को बढ़ाता है, जिससे अधिक प्रमुख (salient) प्रायोजित सामग्री उत्पन्न होती है। यह तैनाती के समय बिना पुनः प्रशिक्षण के एक नियंत्रणीय ट्रेड-ऑफ प्रदान करता है।

मुख्य योगदान (Key Contributions)

फॉर्मूलेशन: पेपर LLM-नेटिव विज्ञापन इंसर्शन को एक कंडीशनल रिस्पॉन्स रीराइटिंग समस्या के रूप में प्रस्तुत करता है, जो इसे अपस्ट्रीम जेनरेशन प्रक्रिया से अलग करता है।
फ्रेमवर्क: यह एक PILA प्रस्तावित करता है, जो एक प्लग-एंड-प्ले, मॉडल-अज्ञेय साइडकार फ्रेमवर्क है जो API-ओनली सिस्टम, एजेंटिक पाइपलाइन और मौजूदा प्रोडक्शन स्टैक के साथ संगत है।
व्यावहारिक रेसिपी: लेखक एक पूर्ण कार्यान्वयन रेसिपी प्रदान करते हैं, जिसमें 25k-सैंपल डेटा पाइपलाइन और PKM-ग्राउंडेड कॉन्ट्रास्टिव-डिकोडिंग कंट्रोलर शामिल है जो ट्यूनेबल विज्ञापन तीव्रता प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न सेटिंग्स में PILA का मूल्यांकन किया, विभिन्न कमर्शियल अपस्ट्रीम मॉडल्स को बेहतर बनाने की इसकी क्षमता के विरुद्ध सिंगल-LLM बेसलाइन्स (प्रॉम्प्ट-आधारित, सैंपलिंग-आधारित/MOSAIC, और ट्यूनिंग-आधारित/SFT) के साथ तुलना की।

प्रदर्शन मेट्रिक्स (Performance Metrics)

मूल्यांकन छह वाणिज्यिक डोमेन (ऑटोमोटिव, फूड एंड बेवरेज, होम एंड पर्सनल केयर, ट्रैवल, एडवोकेसी, फाइनेंशियल) पर तीन मेट्रिक्स (1-5 स्केल) का उपयोग करके किया गया:

Q1: प्रतिक्रिया प्रासंगिकता (उपयोगकर्ता-पक्ष)।
Q2: अभिव्यक्ति सामंजस्य (उपयोगकर्ता-पक्ष)।
Q3: विज्ञापन प्रभावशीलता (विज्ञापन-पक्ष)।

मुख्य निष्कर्ष (Key Findings)

सिंगल-LLM बेसलाइन्स पर श्रेष्ठता: PILA ने लगातार सभी बेसलाइन्स को पछाड़ दिया। औसतन, PILA-8B ने औसत स्कोर के मामले में SFT, Base (प्रॉम्प्ट-आधारित), और MOSAIC (सैंपलिंग-आधारित) की तुलना में क्रमशः 7.7%, 34.2%, और 47.3% का सुधार दिखाया।
प्लग-एंड-प्ले एन्हांसमेंट: सात फ्रंटियर कमर्शियल मॉडल्स (GPT-5.4, Gemini 3.1, Claude Haiku 4.5, DeepSeek V3.2/4) पर लागू होने पर, PILA-4B और PILA-8B ने क्रमशः 17.2% और 18.4% के औसत स्कोर में सुधार किया।
पारेटो सुधार (Pareto Improvement): उपयोगकर्ता-गुणवत्ता (Q1+Q2) और विज्ञापन-गुणवत्ता (Q3) के बीच के ट्रेड-ऑफ स्पेस में, PILA ने बेस विधि के सापेक्ष लगातार ऊपरी-दाएं क्षेत्र (upper-right region) में स्थान बनाया, जो उपयोगकर्ता संतुष्टि और विज्ञापन प्रभावशीलता दोनों में एक साथ सुधार का संकेत देता है।
तीव्रता नियंत्रण: $\rho$ के साथ विज्ञापन-तीव्रता कारक के प्रयोगों ने दिखाया कि $\rho$ में मध्यम वृद्धि से विज्ञापन-पक्ष के स्कोर में सुधार होता है, जबकि अत्यधिक वृद्धि से उपयोगकर्ता-पक्ष के स्कोर में गिरावट आती है, जो PKM-आधारित अंतर्ज्ञान की पुष्टि करता है कि अत्यधिक प्रमुख विज्ञापन कथित प्रासंगिकता को कम कर देते हैं।

केस स्टडीज (Case Studies)

गुणात्मक विश्लेषण (Qualitative analysis) से पता चला कि जबकि बेसलाइन विधियाँ अक्सर विज्ञापनों को अचानक (abruptly) डाल देती हैं (उदाहरण के लिए, TCM स्पष्टीकरण से सीधे डिटॉक्स उत्पाद पर स्विच करना), PILA सफलतापूर्वक सिमेंटिक ब्रिज (semantic bridges) बनाता है (उदाहरण के लिए, पश्चिमी शारीरिक अवधारणाओं को पेश करने से पहले लिवर फंक्शन की TCM अवधारणाओं को पश्चिमी शारीरिक अवधारणाओं से जोड़ना), जिसके परिणामस्वरूप उच्च सामंजस्य और प्रासंगिकता स्कोर प्राप्त होता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PILA सामान्य-उद्देश्यीय, मॉडल-अज्ञेय, नियंत्रणीय और तैनात करने योग्य (deployable) LLM-नेटिव विज्ञापन के लिए एक व्यावहारिक मार्ग का प्रतिनिधित्व करता है।

वास्तुकला परिवर्तन (Architectural Shift): कंटेंट जेनरेशन से विज्ञापन इंसर्शन को अलग करके, PILA आधुनिक API-ओनली/एजेंटिक वर्कफ़्लो और मौजूदा विज्ञापन इंसर्शन विधियों के बीच असंगतता को हल करता है।
तैनाती व्यवहार्यता (Deployment Viability): फ्रेमवर्क एक "प्लग-एंड-प्ले" इंटरफ़ेस प्रदान करता है जिसे बेस मॉडल में किसी भी संशोधन की आवश्यकता नहीं है, जिससे यह वर्तमान प्रोडक्शन स्टैक के लिए तुरंत लागू करने योग्य बन जाता है।
नियंत्रण क्षमता (Controllability): तीव्रता नियंत्रक हितधारकों को उपयोगकर्ता अनुभव और विज्ञापन उपयोगिता के बीच संतुलन बनाने के लिए एक डिप्लॉयमेंट-टाइम नॉब (knob) प्रदान करता है, जो डाउनस्ट्रीम प्राइसिंग और डिप्लॉयमेंट रणनीतियों को सुगम बनाता है।

लेखक निष्कर्ष निकालते हैं कि यह विलगित (decoupled) दृष्टिकोण उपयोगकर्ता अनुभव की गुणवत्ता या अंतर्निहित जेनरेशन मॉडल्स की अखंडता से समझौता किए बिना LLM प्रतिक्रियाओं में प्रायोजित सामग्री को एकीकृत करने के लिए एक आशाजनक दिशा को रेखांकित करता है।