← नवीनतम पेपर
💬 NLP

Intent-Driven Semantic ID Generation for Grounded Conversational News Recommendation

यह शोध पत्र 'जनरेट-देन-मैच' प्रतिमान के तहत एक इंटेंट-ड्रिवन सिमेंटिक आईडी जनरेशन फ्रेमवर्क का प्रस्ताव करता है, जो कन्वर्सेशनल न्यूज़ रिकमेंडेशन में रिट्रीवल बाधाओं को दूर करने के लिए टू-स्टेज ट्रेनिंग और प्रोफाइल-अवेयर ड्यूल-सिग्नल रीजनिंग का उपयोग करता है, जिससे काफी कम लागत पर जीरो हैलुसिनेशन और GPT-4-आधारित बेसलाइन्स की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Hongyang Su, Beibei Kong, Lei Cheng, Chengxiang Zhuo, Zang Li, Chenyun Yu

प्रकाशित 2026-05-11
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Hongyang Su, Beibei Kong, Lei Cheng, Chengxiang Zhuo, Zang Li, Chenyun Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक न्यूज़ ऐप है जो एक पर्सनल असिस्टेंट की तरह काम करता है। आमतौर पर, यदि आप पूछते हैं, "मुझे ओलंपिक के बारे में समाचार दिखाएं," तो ऐप उन शब्दों वाले लेखों के लिए अपने डेटाबेस में खोज करता है। लेकिन क्या होगा यदि आप कुछ अस्पष्ट कहते हैं जैसे, "मैं बोर हो रहा हूँ, मुझे कुछ अलग दिखाओ," या "मुझे अब और खेल नहीं देखने हैं"? या क्या होगा यदि आप एक बिल्कुल नए उपयोगकर्ता हैं जिसने पहले कभी किसी चीज़ पर क्लिक नहीं किया है?

पारंपरिक ऐप्स यहाँ संघर्ष करते हैं। वे एक "पहले खोजें" (search first) रणनीति पर निर्भर करते हैं, जो तब विफल हो जाती है जब आपके पास विशिष्ट कीवर्ड या क्लिक का इतिहास नहीं होता है। यह पेपर एक नया सिस्टम पेश करता है जिसे NewsRec-Chat कहा जाता है जो इसे बदलकर हल करता है। उत्तर खोजने के बजाय, AI पहले उत्तर की कल्पना करता है और फिर जाँचता है कि क्या वह मौजूद है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "कल की लाइब्रेरी" (The Library of Tomorrow)

समाचार मूवीज़ या उत्पादों से अलग होते हैं। एक मूवी कैटलॉग में वर्षों तक रहती है, लेकिन एक समाचार लेख अक्सर 24 घंटों के भीतर समाप्त हो जाता है।

  • "कोल्ड स्टार्ट" (The Cold Start) की समस्या: यदि आप एक नए उपयोगकर्ता हैं, तो ऐप को पता ही नहीं है कि आपको क्या पसंद है। यदि आप एक पुराने उपयोगकर्ता हैं और "कुछ अलग" मांग रहे हैं, तो ऐप को नहीं पता कि आपके लिए "अलग" का क्या अर्थ है।
  • "इम्प्लिसिट इंटेंट" (Implicit Intent) का जाल: हमारी अधिकांश वास्तविक बातचीत अस्पष्ट होती है। हम यह नहीं कहते कि "मुझे स्वास्थ्य सेवा में AI के बारे में एक लेख चाहिए।" हम कहते हैं, "मुझे कुछ मजेदार बताओ।" मानक सर्च इंजन कुछ भी नहीं ढूंढ पाते क्योंकि खोजने के लिए कोई कीवर्ड मौजूद नहीं होते।

2. समाधान: "पहले अनुमान लगाओ, फिर जाँचो" (Guess First, Check Later)

लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे Generate-then-Match कहा जाता है।

  • पुराना तरीका (Retrieve-First): आप एक प्रश्न पूछते हैं -> ऐप अपने पुस्तकालय में खोजता है -> यदि उसे कुछ नहीं मिलता, तो वह हार मान लेता है या बेतरतीब ढंग से अनुमान लगाता है।
  • नया तरीका (Generate-then-Match): AI एक ऐसे शेफ की तरह कार्य करता है जो मेनू को जुबानी याद रखता है। पेंट्री (रसोई के सामान) से यह पूछने के बजाय कि "क्या आपके पास टमाटर हैं?", वह पहले आपके मूड के आधार पर एक आदर्श व्यंजन की कल्पना करता है ("ओह, उन्हें कुछ मसालेदार और अलग चाहिए")। वह उस व्यंजन के लिए एक "रेसिपी कार्ड" (एक सिमेंटिक आईडी - Semantic ID) बनाता है। फिर, वह पेंट्री में जाँच करता है कि क्या वे सामग्रियां वास्तव में मौजूद हैं। यदि वे मौजूद हैं, तो वह व्यंजन परोस देता है। यदि नहीं, तो वह एक थोड़ा अलग रेसिपी आज़माता है।

जादुई सामग्री: सिमेंटिक आईडी (Semantic IDs - SID)
हर समाचार लेख को केवल एक टेक्स्ट फ़ाइल के रूप में नहीं, बल्कि संख्याओं से बने एक बारकोड के रूप में सोचें।

  • बारकोड के पहले कुछ नंबर व्यापक श्रेणी (जैसे, "प्रौद्योगिकी") का प्रतिनिधित्व करते हैं।
  • अगले नंबर अधिक विशिष्ट होते हैं (जैसे, "आर्टिफिशियल इंटेलिजेंस")।
  • अंतिम नंबर विशिष्ट लेख की पहचान करते हैं।
    AI पूरे लेख को लिखने की कोशिश नहीं करता; वह केवल बारकोड के पहले कुछ नंबर जेनरेट करता है जो आपकी रिक्वेस्ट से मेल खाने चाहिए।

3. "स्मार्ट राउटर" (The Smart Router - PADR)

इस सिस्टम में एक विशेष मस्तिष्क है जिसे PADR (प्रोफ़ाइल-अवेयर ड्यूल-सिग्नल रीजनिंग) कहा जाता है, जो दो प्रकार के उपयोगकर्ताओं को अलग-अलग तरीके से संभालता है:

  • नियमित उपयोगकर्ता (Warm Path): यदि आपका इतिहास है, तो राउटर इस बात पर नज़र रखता है कि आपने कल क्या क्लिक किया था और आपके प्रोफाइल के साथ मिलकर यह अनुमान लगाता है कि आप आगे क्या चाहेंगे।
  • नया उपयोगकर्ता (Cold Path): यदि आपके पास शून्य इतिहास है, तो राउटर हार नहीं मानता। यह आपके प्रोफाइल (आयु, स्थान, घोषित रुचियां) को देखता है और तर्क का उपयोग करके अनुमान लगाता है कि आपके जैसा व्यक्ति क्या पसंद कर सकता है।
  • हाइब्रिड पाथ (Hybrid Path): यदि आपके पास कुछ ही क्लिक हैं, तो यह दोनों रणनीतियों का मिश्रण उपयोग करता है।

4. उन्होंने AI को कैसे प्रशिक्षित किया

AI को यह करने के लिए सिखाने हेतु, उन्होंने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:

  1. बारकोड सीखना: पहले, उन्होंने AI को समाचार लेखों और उनके बारकोड (सिमेंटिक आईडी) के बीच के संबंध को समझने के लिए प्रशिक्षित किया।
  2. सोचना सीखना (Chain-of-Thought): उन्होंने एक बहुत ही स्मार्ट AI (GPT-4) का उपयोग विभिन्न स्थितियों (जैसे "उपयोगकर्ता बोर हो रहा है, इसलिए ऐसी श्रेणी चुनें जिसे उन्होंने अभी तक नहीं देखा है") के लिए सही बारकोड चुनने के "विचार प्रक्रियाओं" को लिखने के लिए किया। फिर उन्होंने अपने छोटे, तेज़ AI को इन विचार प्रक्रियाओं की नकल करने के लिए प्रशिक्षित किया।

5. परिणाम: तेज़, सटीक और ईमानदार

उन्होंने इस परीक्षण को 163,000 लेखों वाले एक वास्तविक चीनी समाचार प्लेटफॉर्म पर किया।

  • कोई मतिभ्रम नहीं (No Hallucinations): सबसे बड़ी जीत यह है कि यह सिस्टम कभी भी ऐसा लेख रिकमेंड नहीं करता जो मौजूद नहीं है। क्योंकि यह पहले एक बारकोड जेनरेट करता है और फिर जाँचता है कि क्या वह बारकोड वर्तमान समाचार पूल में मौजूद है, इसके लिए नकली कहानी बनाना भौतिक रूप से असंभव है।
  • प्रतिद्वंद्वियों से बेहतर: इसने विशाल GPT-4 मॉडल और पारंपरिक खोज के संयोजन के बराबर (और कभी-कभी उससे भी बेहतर) प्रदर्शन किया, लेकिन बहुत कम लागत (लगभग 100 गुना सस्ता) पर।
  • नए उपयोगकर्ताओं के लिए सुपरपावर: बिना किसी इतिहास वाले नए उपयोगकर्ताओं के लिए, इस सिस्टम ने 18% सफलता दर हासिल की, जो रैंडम गेसिंग (बेतरतीब अनुमान) से 6 गुना बेहतर है और परीक्षण किए गए किसी भी अन्य तरीके से काफी बेहतर है।
  • गति: यह इतनी तेज़ी से काम करता है (100 मिलीसेकंड से कम) कि यह इंस्टेंट महसूस होता है, जिसका श्रेय इसके "ड्यूल-ट्रैक" सिस्टम को जाता है जो AI के नए विचार सोचने के दौरान सामान्य उत्तरों को कैश (cache) करता है।

सारांश

संक्षेप में, यह पेपर एक ऐसा समाचार अनुशंसा सिस्टम प्रस्तुत करता है जो उत्तरों को "खोजने" के बजाय इस बारे में "तर्क" करने लगता है कि आपको क्या पसंद हो सकता है। समाचार लेखों को स्मार्ट बारकोड में बदलकर और "अनुमान लगाओ-फिर-जाँचो" की रणनीति का उपयोग करके, यह बिना कभी भी फर्जी खबरें बनाए, नए उपयोगकर्ताओं और अस्पष्ट अनुरोधों को संभाल सकता है, और यह सब अविश्वसनीय रूप से तेज़ और सस्ता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →