WARP: Wasserstein-Aligned RAG for Population Opinions
यह शोध पत्र WARP को प्रस्तुत करता है, जो एक पोस्ट-रिट्रीवल एल्गोरिदम है जो जनसंख्या के विचारों के प्रतिनिधित्व में सुधार करके RAG सिस्टम में सुधार करता है, जो कम प्रतिनिधित्व वाले विचारों को पुनः प्राप्त करता है और भावना वितरण (sentiment distributions) को जनसंख्या लक्ष्यों के साथ संरेखित करने के लिए वासरस्टीन-1 दूरी (Wasserstein-1 distance) का उपयोग करके दस्तावेजों का चयन करता है, जिससे वितरण त्रुटि (distributional error) को काफी कम किया जाता है और अधिक सटीक सर्वसम्मति सारांश उत्पन्न किए जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल युग में, जब लोग यह जानना चाहते हैं कि किसी उत्पाद, सेवा या नीति के बारे में अन्य लोग क्या सोचते हैं, तो वे अक्सर हजारों समीक्षाओं का सारांश निकालने के लिए आर्टिफिशियल इंटेलिजेंस (AI) की ओर मुड़ते हैं। ये सिस्टम, जिन्हें 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) टूल्स के रूप में जाना जाता है, प्रासंगिक जानकारी खोजने और उसे एक एकल, सुसंगत उत्तर में पिरोने के लिए विशाल टेक्स्ट लाइब्रेरी को स्कैन करते हैं। इसका वादा दक्षता का है: सैकड़ों विरोधाभासी मतों को पढ़ने के बजाय, एक उपयोगकर्ता को आम सहमति का एक त्वरित स्नैपशॉट मिल जाता है। हालाँकि, इस सुविधा के साथ एक छिपा हुआ दोष भी आता है। मानक सिस्टम उन दस्तावेजों को खोजने के लिए डिज़ाइन किए गए हैं जो पूछे गए प्रश्न के सबसे समान दिखते हैं। ऐसा करने में, वे अक्सर सबसे मुखर या सबसे सामान्य आवाजों का पक्ष लेते हैं, जिससे अल्पसंख्यक दृष्टिकोण प्रभावी रूप से दब जाते हैं। यदि साठ प्रतिशत होटल मेहमान खुश हैं लेकिन चालीस प्रतिशत शोर के बारे में शिकायत करते हैं, तो एक मानक सारांश केवल खुश मेहमानों को ही दर्शा सकता है, जो एक विकृत तस्वीर पेश करता है जो तथ्यात्मक तो लगती है लेकिन पूर्ण वास्तविकता को छोड़ देती है। शोधकर्ताओं के लिए चुनौती एक ऐसा सिस्टम बनाने की है जो न केवल प्रासंगिक दस्तावेज खोजे, बल्कि मानव राय के वास्तविक वितरण का निष्ठापूर्वक प्रतिनिधित्व करे, यह सुनिश्चित करते हुए कि अंतिम सारांश विचारों के वास्तविक संतुलन को दर्शाता है, जिसमें कम बार आने वाले विचार भी शामिल हों।
अमेज़न के शोधकर्ताओं की एक टीम ने इस पक्षपाती सारांशों की समस्या को हल करने के लिए WARP नामक एक नई विधि विकसित की है। उनका दृष्टिकोण मतों के संग्रह को केवल प्रासंगिकता के आधार पर रैंक किए जाने वाले दस्तावेजों की एक सूची के रूप में नहीं, बल्कि एक ऐसी आबादी के रूप में देखता है जिसका निष्पक्ष रूप से प्रतिनिधित्व किया जाना आवश्यक है। मुख्य विचार यह मापना है कि चयनित समीक्षाओं का समूह पूरे डेटासेट में मतों के ज्ञात वितरण के साथ कितनी अच्छी तरह मेल खाता है। ऐसा करने के लिए, टीम 'वासेरस्टीन डिस्टेंस' (Wasserstein distance) नामक एक गणितीय अवधारणा का उपयोग करती है, जो डेटा के क्रम और तीव्रता पर विचार करके दो वितरणों के बीच के अंतर को मापने का एक तरीका है। पुराने तरीकों के विपरीत, जो केवल सकारात्मक या नकारात्मक समीक्षाओं की गिनती करते हैं, यह नया मीट्रिक समझता है कि एक अत्यधिक सकारात्मक राय को अत्यधिक नकारात्मक राय समझने की तुलना में एक सकारात्मक राय को तटस्थ राय समझने में बहुत बड़ी त्रुटि होती है। भावनाओं की इस स्वाभाविक तीव्रता के क्रम का सम्मान करके, सिस्टम साक्ष्य का एक ऐसा सेट चुन सकता है जो जनसंख्या के वास्तविक सेंटिमेंट प्रोफाइल को दर्शाता है।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण तीन अलग-अलग डोमेन में किया: विक्रेताओं के लिए ऑनलाइन फोरम, होटल समीक्षाएं और ऑटोमोटिव समीक्षाएं, जिसमें तीस हजार से अधिक दस्तावेज़ शामिल थे। उन्होंने पाया कि मानक खोज विधियां अक्सर अल्पप्रतिनिधित्व वाले विचारों को दबा देती हैं, जिससे ऐसे सारांश बनते हैं जो एकतरफा लगते हैं। WARP इसे पहले यह जाँचकर संबोधित करता है कि क्या प्रारंभिक बैच में किसी विशिष्ट प्रकार के मतों की कमी है। यदि ऐसा है, तो सिस्टम अंतिम दस्तावेजों के सेट को चुनने से पहले उन गायब आवाजों को खोजने के लिए एक लक्षित खोज करता है। इसके बाद, यह उन समीक्षाओं के अंतिम समूह को चुनने के लिए अपने विशेष मीट्रिक का उपयोग करता है जो जनसंख्या के वितरण से सबसे अच्छी तरह मेल खाता है। परिणाम महत्वपूर्ण थे: तीनों डोमेन में, इस नई विधि ने मानक विधियों की तुलना में जनसंख्या के मतों का प्रतिनिधित्व करने में होने वाली त्रुटि को कम से कम तैंतालीस प्रतिशत तक कम कर दिया। कुछ मामलों में, यह सुधार सतहत्तर प्रतिशत तक रहा।
बेहतर दस्तावेज चुनने के अलावा, शोधकर्ता यह भी जानना चाहते थे कि क्या इन सुधारों का AI द्वारा उत्पन्न अंतिम उत्तर पर वास्तव में कोई प्रभाव पड़ता है। उन्होंने पांच अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) के एक पैनल से जज के रूप में कार्य करने के लिए कहा, जिन्होंने नए तरीके से बनाए गए सारांशों की तुलना मानक तरीकों से बनाए गए सारांशों से की। उन इक्यासी प्रतिशत मामलों में जहाँ जजों के पास विजेता चुनने का निर्णय था, उन्होंने WARP-चयनित साक्ष्यों से उत्पन्न सारांशों को प्राथमिकता दी। यह सुझाव देता है कि दस्तावेजों के चयन में तकनीकी सुधार सीधे तौर पर उपयोगकर्ता के लिए बेहतर, अधिक संतुलित उत्तरों में परिवर्तित होते हैं। सिस्टम ने इस प्रक्रिया में तीन सौ मिलीसेकंड से भी कम का समय जोड़ते हुए, वास्तविक दुनिया के उपयोग के अनुकूल गति बनाए रखते हुए ये परिणाम प्राप्त किए।
अध्ययन ने यह भी पता लगाया कि विभिन्न स्थितियों के तहत यह विधि कैसा प्रदर्शन करती है, जैसे कि जब किसी विशिष्ट विषय के लिए बहुत कम दस्तावेज़ उपलब्ध हों या जब प्रारंभिक डेटा शोर युक्त (noisy) हो। शोधकर्ताओं ने पाया कि उनका दृष्टिकोण मजबूत है; भले ही समीक्षाओं के सेंटिमेंट को दर्शाने वाले लेबल को जानबूझकर दूषित किया गया हो या जनसंख्या डेटा अपूर्ण हो, फिर भी सिस्टम ने मानक विधियों से बेहतर प्रदर्शन किया। उन्होंने प्रदर्शित किया कि इस पद्धति की सफलता केवल परिणामों के रैंडम शफलिंग पर नहीं, बल्कि इस बात पर निर्भर करती है कि यह मतों के अंतर को किस विशिष्ट तरीके से मापती है। मतों के क्रमिक स्वभाव को समझने वाले मीट्रिक का उपयोग करके, सिस्टम जटिल राय परिदृश्यों में भी सफलतापूर्वक काम कर सकता है जहाँ साधारण गिनती वाले तरीके विफल हो जाते हैं।
इस कार्य के प्रमुख अंतर्दृष्टि में से एक यह है कि विविधता ही एकमात्र लक्ष्य नहीं है। पक्षपाती सारांशों को ठीक करने के पिछले प्रयासों में अक्सर केवल दस्तावेजों को एक-दूसरे से अलग बनाने पर ध्यान केंद्रित किया गया था। हालाँकि, शोधकर्ताओं ने दिखाया कि एक बार जब एक निश्चित स्तर की विविधता प्राप्त हो जाती है, तो केवल अधिक अलग दस्तावेज़ जोड़ने से कोई लाभ नहीं होता यदि वे जनसंख्या के सही अनुपात को नहीं दर्शाते हैं। लक्ष्य केवल विचारों का मिश्रण होना नहीं है, बल्कि एक ऐसा मिश्रण होना है जो वास्तव में दुनिया में प्रत्येक विचार कितना सामान्य है, इसे सटीक रूप से दर्शाता हो। यह अंतर उन अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है जहाँ किसी राय के महत्व को समझना उतना ही महत्वपूर्ण है जितना कि यह जानना कि वह राय मौजूद है।
शोधकर्ताओं ने स्वीकार किया कि उनके कार्य की कुछ सीमाएँ हैं। सिस्टम को यह जानने के लिए पूर्व-लेबल वाले डेटा की आवश्यकता होती है कि जनसंख्या वितरण कैसा है, और यह सेंटिमेंट की तीव्रता के एक एकल पैमाने पर कार्य करता है। यह अभी उन जटिल परिदृश्यों को नहीं संभाल सकता जहाँ एक समीक्षा उत्पाद के एक पहलू की प्रशंसा कर सकती है जबकि दूसरे की आलोचना कर सकती है, या जहाँ कई अलग-अलग मुद्दों को एक साथ संतुलित करने की आवश्यकता होती है। इसके अलावा, अध्ययन ऑफलाइन आयोजित किया गया था, जिसका अर्थ है कि परिणाम यह दिखाते हैं कि एक नियंत्रित वातावरण में सिस्टम कैसा प्रदर्शन करता है, लेकिन वास्तविक दुनिया के उपयोगकर्ता विश्वास और निर्णय लेने पर इसके प्रभाव का परीक्षण अभी तक लाइव ट्रैफिक में नहीं किया गया है। इन सीमाओं के बावजूद, यह कार्य उन AI सिस्टमों के निर्माण के लिए एक स्पष्ट मार्ग प्रदान करता है जो न केवल यह सारांशित करते हैं कि लोग क्या कहते हैं, बल्कि यह भी कि लोग कैसे सोचते हैं।
अंत में, यह शोध प्रदर्शित करता है कि एक ऐसा रिट्रीवल सिस्टम बनाना संभव है जो मानवीय असहमति की सूक्ष्मता का सम्मान करता है। केवल समानता मिलान (similarity matching) से आगे बढ़कर और मतों की संरचना को समझने वाली विधि को शामिल करके, टीम ने एक ऐसा टूल बनाया है जो न केवल प्रासंगिक बल्कि प्रतिनिधि सारांश भी तैयार कर सकता है। यह सुनिश्चित करता है कि जब कोई उपयोगकर्ता पूछता है कि लोग क्या सोचते हैं, तो उन्हें मिलने वाला उत्तर अनुभव के पूर्ण स्पेक्ट्रम को शामिल करता है, उत्साही बहुमत से लेकर आलोचनात्मक अल्पसंख्यक तक, जो सामूहिक आवाज की एक स्पष्ट और अधिक ईमानदार तस्वीर पेश करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।