🤖 machine learning

MaxShapley: Towards Incentive-compatible Generative Search with Fair Context Attribution

यह शोध पत्र MaxShapley प्रस्तुत करता है, जो एक डिकम्पोज़ेबल (de-composable) मैक्स-सम उपयोगिता फलन (max-sum utility function) का लाभ उठाने वाला एक कुशल एल्गोरिदम है ताकि जनरेटिव सर्च इंजन में कंटेंट प्रदाताओं के लिए निष्पक्ष, बहुपद-समय (polynomial-time) क्रेडिट एट्रिब्यूशन प्रदान किया जा सके, जो सटीक शापली मानों (Shapley values) के तुलनीय सटीकता प्राप्त करते हुए कंप्यूटिंग संसाधनों की खपत को काफी कम कर देता है।

मूल लेखक: Sara Patel, Mingxun Zhou, Giulia Fanti

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sara Patel, Mingxun Zhou, Giulia Fanti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ MAXSHAPLEY पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "जीरो-क्लिक" का रहस्य

कल्पना कीजिए कि आप किसी विशिष्ट तथ्य को खोजने के लिए एक लाइब्रेरी में जाते हैं। पुराने दिनों में, लाइब्रेरियन आपको शेल्फ पर मौजूद एक विशिष्ट पुस्तक की ओर इशारा करता। आप वहाँ जाते, उसे पढ़ते, और शायद वह किताब खरीदते या बुकस्टोर पर जाते। उस किताब के लेखक को श्रेय (और पैसा) मिलता क्योंकि आपने उनके "स्टोर" पर विज़िट किया था।

अब, एक सुपर-स्मार्ट रोबोट लाइब्रेरियन (एक जेनेरेटिव AI) की कल्पना करें जो सभी किताबों को तुरंत पढ़ लेता है और आपको सीधे उत्तर बता देता है। आपको अपना उत्तर मिल जाता है, लेकिन आप कभी मूल किताबों तक पहुँचते ही नहीं हैं। उन किताबों के लेखकों को कोई श्रेय, कोई ट्रैफ़िक और कोई पैसा नहीं मिलता।

पेपर यह सवाल पूछता है: यदि रोबट अपना उत्तर बनाने के लिए पाँच अलग-अलग किताबों का उपयोग करता है, तो हम निष्पक्ष रूप से यह कैसे तय करें कि किस किताब को सबसे अधिक श्रेय (और पैसा) मिलना चाहिए?

पुराना तरीका: "टेस्ट-टेस्ट" का दुस्वप्न (Nightmare)

यह पता लगाने के लिए कि किसने क्या योगदान दिया, शोधकर्ताओं ने पहले Shapley Value नामक एक विधि का प्रयास किया। इसे एक सूप के लिए विशाल, थका देने वाले 'टेस्ट-टेस्ट' (स्वाद परीक्षण) की तरह समझें।

लक्ष्य: आप जानना चाहते हैं कि प्रत्येक सामग्री (प्याज, गाजर, नमक) ने अंतिम स्वाद में कितना योगदान दिया।
पुराना तरीका: आपको सूप को हजारों बार बनाना पड़ता है।
- केवल प्याज के साथ सूप बनाएं। चखें।
- प्याज और गाजर के साथ बनाएं। चखें।
- प्याज, गाजर और नमक के साथ बनाएं। चखें।
- सामग्रियों के हर संभव संयोजन के साथ बनाएं। चखें।
समस्या: यदि आपके पास 20 सामग्रियां हैं, तो सटीक उत्तर पाने के लिए आपको दस लाख से अधिक अलग-अलग बैच बनाने होंगे। इसमें बहुत समय लगता है और सामग्री (या AI की दुनिया में, "टोकन्स" और कंप्यूटिंग पावर) पर बहुत खर्च होता है। यह एक रियल-टाइम सर्च इंजन के लिए बहुत धीमा है।

नया समाधान: MAXSHAPLEY

लेखकों ने MAXSHAPLEY बनाया है, जो एक चतुर शॉर्टकट है जो आपको बिना लाखों सूप बनाए एक निष्पक्ष उत्तर देता है।

यह कैसे काम करता है ( "की-पॉइंट" उपमा)

पूरे सूप को एक साथ चखने के बजाय, MAXSHAPLEY रेसिपी को Key Points (मुख्य बिंदुओं) में तोड़ देता है।

इसे तोड़ें: कल्पना करें कि AI का उत्तर एक मूवी स्टार के बारे में एक कहानी है। MAXSHAPLEY उस कहानी को छोटे "Key Points" में तोड़ देता है:
- पॉइंट A: उनका जन्म 1920 में हुआ था।
- पॉइंट B: उन्होंने 1950 में ऑस्कर जीता।
- पॉइंट C: वे 1980 में रिटायर हो गए।
स्कोरकार्ड: सिस्टम प्रत्येक स्रोत दस्तावेज़ (किताबों) को देखता है और पूछता है: "किताब 1 पॉइंट A का कितनी अच्छी तरह समर्थन करती है? किताब 2 पॉइंट A का कितनी अच्छी तरह समर्थन करती है?"
- शायद किताब 1 कहती है कि उनका जन्म 1920 में हुआ था (स्कोर: 10/10)।
- शायद किताब 2 कहती है कि उनका जन्म 1922 में हुआ था (स्कोर: 0/10)।
"बेस्ट सपोर्ट" नियम: प्रत्येक पॉइंट के लिए, सिस्टम केवल सर्वश्रेष्ठ स्रोत की परवाह करता है। यदि किताब 1 एकमात्र थी जिसने पॉइंट A को सही बताया, तो किताब 1 को उस पॉइंट का श्रेय मिलता है। यदि किताब 3 और किताब 4 दोनों ने पॉइंट B को सही बताया, तो वे उस पॉइंट के लिए श्रेय आपस में बाँट लेते हैं।
गणित की ट्रिक: पेपर एक विशेष गणितीय सूत्र (एक "decomposable max-sum utility") पेश करता है जो उन्हें एक साधारण सॉर्टिंग विधि का उपयोग करके तुरंत अंतिम क्रेडिट स्कोर की गणना करने की अनुमति देता है, न कि हर संभावित संयोजन को आज़माने की।

परिणाम: यह ऐसा है जैसे आपको यह समझने की ज़रूरत नहीं है कि हर संभावित सूप संयोजन को चखना है। आपको बस यह जानने की ज़रूरत है कि किस शेफ ने सबसे अच्छे प्याज, सबसे अच्छी गाजर और सबसे अच्छा नमक लाया, और फिर आप उन स्कोर को जोड़ देते हैं।

यह क्यों मायने रखता है

पेपर मुख्य रूप से तीन बातें दावा करता है:

यह निष्पक्ष है: यह पुराने, पूर्ण तरीके (Shapley Value) के समान निष्पक्षता के कड़े नियमों का पालन करता है। यदि किसी स्रोत ने मदद नहीं की, तो उसे शून्य मिलता है। यदि उसने बहुत मदद की, तो उसे बहुत मिलता है।
यह तेज़ है: यह एक्सपोनेंशियल रूप से तेज़ है। पेपर कहता है कि यह पिछले सर्वोत्तम तरीकों की तुलना में 9 गुना कम कंप्यूटिंग पावर (टोकन्स) का उपयोग करता है जबकि समान गुणवत्ता के परिणाम देता है।
- उपमा: पुराना तरीका हर सूप संयोजन को चखने के लिए 1,000 शेफ की एक टीम को काम पर रखने जैसा था। MAXSHAPLEY एक स्मार्ट हेड शेफ को काम पर रखने जैसा है जो सामग्री की सूची को देखता है और तुरंत जानता है कि किसने सबसे अच्छा काम किया।
यह वास्तविक दुनिया में काम करता है: उन्होंने तीन बड़े डेटासेट्स (HotPotQA, MuSiQUE, MS MARCO) पर इसका परीक्षण किया, जो प्रश्नों और उत्तरों के विशाल पुस्तकालयों की तरह हैं।
- इसने "परफेक्ट" विधि की सटीकता से मेल खाया।
- यह मानव जजों के साथ बहुत अच्छी तरह से संरेखित हुआ (जिन्होंने कहा, "हाँ, यह किताब सबसे अधिक सहायक थी")।
- यह तब भी काम करता है जब AI एक "ब्लैक बॉक्स" हो (यानी आपको AI के दिमाग के अंदर देखने की ज़रूरत नहीं है; आपको बस प्रश्न, उत्तर और स्रोत देखने की आवश्यकता है)।

वे क्या दावा नहीं करते हैं

पेपर बहुत स्पष्ट है कि यह अभी क्या नहीं करता है:

यह वास्तव में लेखकों को भुगतान नहीं करता है। यह केवल वह स्कोर प्रदान करता है जिसका उपयोग भुगतान करने के लिए किया जा सकता है। (इसे एक रेफरी द्वारा स्कोरकार्ड देने के रूप में सोचें, न कि बैंक द्वारा चेक देने के रूप में)।
यह अपने आप AI के झूठ बोलने (hallucinations) की समस्या को ठीक नहीं करता है, हालांकि यह पहचानने में मदद करता है कि AI ने वास्तव में किन स्रोतों का उपयोग किया है।
यह दावा नहीं करता है कि यह सभी AI अर्थशास्त्रों के लिए अंतिम समाधान है, बल्कि यह "एट्रिब्यूशन" (क्रेडिट देने) की पहेली को हल करने के लिए एक विशिष्ट उपकरण है।

सारांश

MAXSHAPLEY एक नया, सुपर-फास्ट तरीका है यह पता लगाने का कि जब कोई AI किसी प्रश्न का उत्तर देता है, तो किन वेबसाइटों या दस्तावेजों को श्रेय मिलना चाहिए। हर संयोजन को देखने के लिए लाखों महंगे परीक्षण करने के बजाय, यह उत्तर को छोटे तथ्यों में तोड़ देता है, देखता है कि कौन सा स्रोत सबसे अच्छा तथ्य प्रदान करता है, और तुरंत स्कोर जोड़ने के लिए एक चतुर गणितीय ट्रिक का उपयोग करता है। यह कंटेंट क्रिएटर्स को उस दुनिया में निष्पक्ष रूप से भुगतान पाने में मदद कर सकता है जहाँ AI सर्च पर कब्ज़ा कर रहा है।

तकनीकी सारांश: MAXSHAPLEY

समस्या विवरण

जेनरेटिव सर्च इंजन, जो दस्तावेज़ों को खोजने और सीधे उत्तरों को संश्लेषित करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करते हैं, सामग्री प्रदाताओं (content providers) के लिए पारंपरिक प्रोत्साहन संरचनाओं को बाधित कर रहे हैं। पारंपरिक खोज के विपरीत, जो उपयोगकर्ताओं को मूल वेबसाइटों की ओर निर्देशित करती है, जेनरेटिव सर्च अक्सर इंटरफ़ेस के भीतर ही प्रश्नों के उत्तर दे देता है, जिससे मूल सामग्री रचनाकारों के ट्रैफ़िक और राजस्व में कमी आती है। इसके अलावा, उत्पन्न उत्तरों को विशिष्ट स्रोतों के साथ जोड़ने (attribute करने) के मौजूदा तरीके अक्सर अविश्वसनीय, आसानी से हेरफेर योग्य या अपारदर्शी होते हैं।

मुख्य चुनौती एक निष्पक्ष, प्रोत्साहन-संगत तंत्र (incentive-compatible mechanism) को परिभाषित करना है, जो उत्पन्न उत्तर में योगदान के आधार पर सूचना स्रोतों को श्रेय प्रदान कर सके। इस एट्रिब्यूशन को मानक निष्पक्षता सिद्धांतों (दक्षता, समरूपता, नल प्लेयर, योज्यता/Additivity) को संतुष्ट करना चाहिए, जबकि इसे लेटेंसी-सेंसिटिव सर्च पाइपलाइनों के लिए कम्प्यूटेशनल रूप से व्यवहार्य भी होना चाहिए। मौजूदा समाधान जो शापली वैल्यू (Shapley value) पर आधारित हैं—जो निष्पक्ष आवंटन के लिए स्वर्ण मानक है—इस संदर्भ में कम्प्यूटेशनल रूप से अव्यवहार्य हैं क्योंकि उनके लिए आमतौर पर स्रोतों के उपसमुच्चयों (subsets) की घातांकीय गणना या बार-बार एब्लेशन परीक्षणों की आवश्यकता होती है, जिससे अत्यधिक टोकन लागत और लेटेंसी उत्पन्न होती है।

कार्यप्रणाली: MAXSHAPLEY

लेखक MAXSHAPLEY प्रस्तावित करते हैं, जो एक नया एल्गोरिदम है जो प्राप्त स्रोतों और उत्पन्न उत्तर के बीच की अंतःक्रिया को एक सहकारी खेल (cooperative game) के रूप में मॉडल करके निष्पक्ष क्रेडिट एट्रिब्यूशन की गणना करता है। यह विधि एक ब्लैक-बॉक्स सेटिंग में कार्य करती है, जिसे केवल क्वेरी, प्राप्त स्रोत और अंतिम उत्पन्न उत्तर की आवश्यकता होती है, बिना सर्च LLM के आंतरिक लॉजिट्स (logits) या संभावनाओं तक पहुँच के।

कार्यप्रणाली में तीन प्राथमिक चरण शामिल हैं:

कीपॉइंट डिकंपोजिशन (Keypoint Decomposition): एक एट्रिब्यूशन LLM ( $\Psi_A$ ) उत्पन्न उत्तर $a$ को $n$ कीप पॉइंट्स $P = \{p_1, \dots, p_n\}$ और उनसे जुड़े भार $w_j$ के एक सेट में विभाजित करता है।
सपोर्ट स्कोरिंग (Support Scoring): एट्रिब्यूशन LLM यह मूल्यांकन करता है कि प्रत्येक स्रोत $s_i$ प्रत्येक कीप पॉइंट $p_j$ का कितनी अच्छी तरह समर्थन करता है, जिससे एक सपोर्ट स्कोर $v_{i,j}$ प्राप्त होता है। इस चरण के लिए $n \times m$ मूल्यांकन की आवश्यकता होती है (या बैचिंग के माध्यम से कम), जहाँ $m$ स्रोतों की संख्या है।
मैक्स-सम यूटिलिटी और सटीक शापली गणना (Max-Sum Utility & Exact Shapley Computation):
- लेखक एक सम-मैक्स (sum-max) संरचना पर आधारित एक नवीन यूटिलिटी फंक्शन $U_{MAXSHAPLEY}$ को परिभाषित करते हैं। स्रोतों के एक उपसमुच्चय $I$ के लिए, यूटिलिटी किसी भी स्रोत द्वारा प्रदान किए गए प्रत्येक कीप पॉइंट के लिए अधिकतम सपोर्ट स्कोर का भारित योग है:
  $U_{MAXSHAPLEY}(I) = \sum_{j=1}^{n} w_j \cdot \max_{i \in I} v_{i,j}$
- यह यूटिलिटी फंक्शन स्रोतों की सहकारी प्रकृति (पूरक जानकारी प्रदान करना) और ओवरलैपिंग सूचना की प्रतिस्पर्धी प्रकृति (एक विशिष्ट बिंदु के लिए केवल सबसे अच्छा स्रोत योगदान देता है) को मॉडल करता है।
- महत्वपूर्ण रूप से, यह संरचना पॉलीनोमियल समय में सटीक शापली वैल्यू गणना की अनुमति देती है। समस्या $n$ स्वतंत्र "मैक्स-गेम्स" में विभाजित हो जाती है। प्रत्येक कीप पॉइंट के लिए, सपोर्ट स्कोर को सॉर्ट करके और एक लीनियर स्कैन करके शापली वैल्यू की गणना की जाती है, जो एक $O(m \log m)$ ऑपरेशन है। यह ब्रूट-फोर्स शापली की $O(2^m)$ लागत या मोंटे कार्लो अनुमानों की सैंपलिंग वेरिएंस से बचता है।

मुख्य योगदान

एल्गोरिद्मिक नवाचार: यह शोध पत्र MAXSHAPLEY पेश करता है, जो एक शापली-आधारित एट्रिब्यूशन एल्गोरिदम है जिसे विशेष रूप से जेनरेटिव सर्च के लिए डिज़ाइन किया गया है। यह कवरेज गेम्स के एक सामान्य वर्ग से व्युत्पन्न, मैक्स-फंक्शन शापली सबप्रॉब्लम के लिए एक सटीक, कुशल $O(m \log m)$ एल्गोरिदम प्रदान करता है।
ब्लैक-बॉक्स दक्षता: पूर्ववर्ती कॉन्टेक्स्ट एट्रिब्यूशन विधियों (जैसे ContextCite, KernelSHAP) के विपरीत, जो बार-बार कॉन्टेक्स्ट एब्लेशन या लॉग-लाइक्लीहुड एक्सेस पर निर्भर करते हैं, MAXSHAPLEY को केवल एक एट्रिब्यूशन LLM तक ब्लैक-बॉक्स एक्सेस की आवश्यकता होती है और यह बार-बार जनरेशन परीक्षणों से बचता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रदर्शित करते हैं कि MAXSHAPLEY, सटीक शापली गणना (FullShapley) के तुलनीय गुणवत्ता और मानव एनोटेशन के साथ मजबूत संरेखण (alignment) प्राप्त करता है, जबकि यह बहुत कम कम्प्यूटेशनल संसाधनों का उपयोग करता है।
ओपन रिसोर्सेज: लेखक ओपन-सोर्स कोड, HotPotQA, MuSiQUE, और MS-MARCO के मैन्युअल रूप से पुन: एनोटेट किए गए उपसमुच्चय, और एक शैक्षिक डेमो जारी करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने तीन मल्टी-हॉप QA डेटासेट्स पर MAXSHAPLEY का मूल्यांकन किया: HotPotQA, MuSiQUE, और MS-MARCO।

दक्षता बनाम गुणवत्ता ट्रेड-ऑफ: MAXSHAPLEY MuSiQUE पर 0.88 का जैकार्ड इंडेक्स (Jaccard index) प्राप्त करता है (जो FullShapley के तुलनीय है) जबकि यह FullShapley द्वारा आवश्यक टोकन का केवल 5.4% उपयोग करता है। सबसे मजबूत शापली एप्रोक्सिमेशन बेसलाइन, KernelSHAP की तुलना में, MAXSHAPLEY मानव एनोटेशन के साथ समान संरेखण प्राप्त करता है, लेकिन टोकन लागत के 7% से भी कम में।
ग्राउंड ट्रुथ के साथ सहसंबंध: HotPotQA और MuSiQUE पर MAXSHAPLEY, FullShapley के साथ मजबूत ऑर्डिनल सहसंबंध (Kendall's $\tau_b$ ) दिखाता है। MS-MARCO पर, यह मध्यम सहसंबंध प्राप्त करता है, हालांकि सभी शापली विधियों ने इस डेटासेट पर गिरावट दिखाई, जो संभवतः स्रोत सामग्री की शोरयुक्त (noisy) प्रकृति के कारण है।
स्थिरता: स्थानीयकृत सिमेंटिक निर्णयों (स्रोत-कीपपॉइंट जोड़ों को स्कोर करना) का उपयोग करके, MAXSHAPHLEY उस स्कोरिंग अस्थिरता को कम करता है जो अक्सर LLM-as-a-judge मूल्यांकन में देखी जाती है, जहाँ शब्दों या स्रोत के क्रम के आधार पर अर्थपूर्ण रूप से समान उत्तरों को अलग-अलग स्कोर मिलते हैं।
स्केलेबिलिटी: MAXSHAPLEY के लिए टोकन खपत स्रोतों की संख्या के साथ रैखिक रूप से (linearly) बढ़ती है, जबकि KernelSHAP सुपर-लीनियर स्केलिंग प्रदर्शित करता है।

महत्व और दावे

शोध पत्र का दावा है कि MAXSHAPLEY प्रोत्साहन-संगत जेनरेटिव सर्च की ओर एक व्यावहारिक मार्ग प्रदान करता है। एक निष्पक्ष, कम्प्यूटेशनल रूप से कुशल और ब्लैक-बॉक्स विधि प्रदान करके, यह सामग्री प्रदाताओं के सामने मौजूद "विलुप्ति-स्तर की घटना" (extinction-level event) को संबोधित करता है।

लेखक अपने कार्य को पारिस्थितिकी तंत्र में एक आवश्यक विकास के रूप में देखते हैं, जो प्रायोजित खोज नीलामियों (जो विज्ञापनदाताओं को लाभ पहुँचाती है, मूल प्रदाताओं को नहीं) से आगे बढ़कर एक ऐसे मॉडल की ओर बढ़ता है जहाँ सामग्री प्रदाताओं को उत्पन्न उत्तर की उपयोगिता में उनके वास्तविक योगदान के आधार पर मुआवजा दिया जा सकता है। यह विधि निष्पक्षता की स्वयंसिद्ध आवश्यकताओं (शापली वैल्यू) को पूरा करती है, जबकि उन कम्प्यूटेशनल बाधाओं को दूर करती है जिन्होंने पहले इस प्रकार के एट्रिब्यूशन को वास्तविक समय की खोज सेटिंग्स में अव्यवहार्य बना दिया था। लेखक विनम्र रहते हुए कहते हैं कि हालांकि यह विधि मजबूत है, यह एक ब्लैक-बॉक्स धारणा के तहत काम करती है और भविष्य के कार्य व्हाइट-बॉक्स एट्रिब्यूशन या ऐसी यूटिलिटी फंक्शनों की खोज कर सकते हैं जो कई स्वतंत्र स्रोतों से पुष्ट साक्ष्य (corroborating evidence) को स्पष्ट रूप से पुरस्कृत करते हैं।