💬 NLP

KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling

यह शोध पत्र नॉलेज कंपोजिशन सैंपलिंग (KCS) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो ज्ञान संरचना (नॉलेज कंपोजिशन) को संभाव्य कंट्रास्टिव लॉस और स्टोकेस्टिक डिकोडिंग के साथ एक वाक्य-स्तरीय सशर्त भविष्यवाणी कार्य के रूप में मॉडल करके मल्टी-हॉप प्रश्न निर्माण की विविधता और सटीकता को बढ़ाता है, जिससे डेटा की कमी को प्रभावी ढंग से संबोधित किया जाता है और HotpotQA एवं 2WikiMultihopQA जैसे बेंचमार्क पर प्रदर्शन में सुधार होता है।

मूल लेखक: Yangfan Wang, Jie Liu, Chen Tang, Lian Yan, Jingchi Jiang

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangfan Wang, Jie Liu, Chen Tang, Lian Yan, Jingchi Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "KCS: नॉलेज कंपोज़िशन सैंपलिंग के साथ विविध मल्टी-हॉप क्वेश्चन जनरेशन" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "बोरिंग क्वेश्चन" का जाल

कल्पना कीजिए कि आप एक शिक्षक हैं जो किसी छात्र की एक जटिल रहस्य सुलझाने की क्षमता का परीक्षण करने की कोशिश कर रहे हैं। इसके लिए, आपको ऐसे प्रश्न पूछने की आवश्यकता है जिनमें कहानी के विभिन्न हिस्सों से सुरागों को जोड़ने की आवश्यकता हो।

हालाँकि, एक समस्या है: डेटा की कमी (Data Sparsity)। AI मॉडल को प्रशिक्षित करने के लिए ऐसे जटिल "रहस्यमय" प्रश्नों की पर्याप्त संख्या उपलब्ध नहीं है। इस कारण, AI मॉडल नकल करना शुरू कर देते हैं। सुरागों को जोड़ने के बजाय, वे पैटर्न को याद कर लेते हैं या सरल कीवर्ड्स के आधार पर अनुमान लगाते हैं। वे "स्पूरियस लर्नर्स" (spurious learners) बन जाते हैं—जो दिखने में तो स्मार्ट लगते हैं लेकिन वास्तव में सोचने में कमजोर होते हैं।

इसे ठीक करने के लिए, शोधकर्ता आमतौर पर अधिक प्रश्न उत्पन्न करने की कोशिश करते हैं। लेकिन मौजूदा विधियाँ एक ऐसे रोबोट की तरह हैं जो केवल एक ही सवाल को तीन अलग तरीकों से पूछना जानता है:

"X कौन है?"
"क्या X हुआ?"
"मुझे X के बारे में बताओ।"

ये केवल एक ही विचार को पुन: वाक्यांशित (rephrasing) करना है। ये वास्तव में उस तर्क (logic) या सुरागों को नहीं बदलते जिन्हें उत्तर देने के लिए आवश्यक है। यह एक जासूस से पूछने जैसा है, "कुकी किसने चुराई?" और फिर, "कुकी किसने ली?" और फिर, "कुकी किसने झपट ली?" जासूस ने अपराध स्थल के बारे में कुछ भी नया नहीं सीखा है।

समाधान: KCS (द "क्लु ट कलेक्टर" - सुराग इकट्ठा करने वाला)

लेखक KCS (नॉलेज कंपोज़िशन सैंपलिंग) पेश करते हैं। KCS को केवल एक प्रश्न लेखक के रूप में नहीं, बल्कि एक रचनात्मक "सुराग कलेक्टर" (Clue Collector) के रूप में सोचें।

एक लंबी कहानी (संदर्भ/context) में सैकड़ों वाक्य होते हैं। उनमें से केवल कुछ ही "स्वर्ण सुराग" (golden clues) होते हैं जो रहस्य को सुलझाने के लिए आवश्यक होते हैं।

पुरानी विधि: AI प्रश्न बनाने के लिए हमेशा उन्हीं सटीक तीन वाक्यों (गोल्ड स्टैंडर्ड) को चुनता है।
KCS विधि: KCS महसूस करता है कि एक ही उत्तर तक पहुँचने के लिए वाक्यों के कई अलग-अलग संयोजन हो सकते हैं। यह एक ऐसे शेफ की तरह है जो जानता है कि एक स्वादिष्ट स्टू बनाने के कई तरीके हैं। आपको गाजर और आलू का उपयोग करने की आवश्यकता नहीं है; आप अजवाइन और मशरूम का भी उपयोग कर सकते हैं, और यह अभी भी एक बेहतरीन स्टू होगा।

KCS प्रश्न बनाने के लिए टेक्स्ट से सुरागों के विभिन्न संयोजनों (Knowledge Compositions) को चुनता है, जिससे प्रश्न तार्किक रूप से भिन्न होते हैं, भले ही अंतिम उत्तर समान हो।

KCS कैसे काम करता है: तीन-चरणीय नृत्य

यह फ्रेमवर्क तीन विशिष्ट चरणों में काम करता है, जिसे हम "डॉट कनेक्ट करने के खेल" (Connect the Dots) के रूप में देख सकते हैं:

1. जासूस की अंतर्दृष्टि (नॉलेज कंपोज़िशन सिलेक्शन)

प्रश्न पूछने से पहले, KCS को यह तय करना होता है कि किन वाक्यों का उपयोग किया जाए।

चुनौती: यदि आप रैंडम वाक्य चुनते हैं, तो प्रश्न का कोई अर्थ नहीं निकलता (इसे "डिजनरेशन" कहा जाता है)।
समाधान: KCS एक विशेष गणितीय ट्रिक का उपयोग करता है जिसे प्रोबेबिलिस्टिक कॉन्ट्रास्टिव लॉस (Probabilistic Contrastive Loss) कहा जाता है। कल्पना कीजिए कि आप एक कुत्ते को चीज़ लाना सिखा रहे हैं। आप केवल "लाओ" नहीं कहते। आप कहते हैं, "लाल गेंद लाओ, नीली वाली नहीं।"
- KCS वर्तमान वाक्य को देखता है और पूछता है: "क्या अगला वाक्य इस वाक्य का एक अच्छा दोस्त है?"
- यह सही वाक्यों के बीच संबंध को अधिकतम करता है और गलत वाक्यों के साथ संबंध को न्यूनतम करता है। यह बिना किसी पूर्व-निर्धारित मानचित्र के कहानी के "लॉजिक फ्लो" को सीखता है।

2. पासा फेंकना (स्टोकेस्टिक डिकोडिंग के साथ विविधता लाना)

एक बार जब KCS को अच्छे वाक्य चुनना आ जाता है, तो इसे रचनात्मक होने की आवश्यकता होती है।

समस्या: यदि AI हमेशा "सर्वश्रेष्ठ" वाक्य (वह वाक्य जिसकी संभावना सबसे अधिक है) चुनता है, तो वह उबाऊ और अनुमानित हो जाता है।
समाधान: KCS स्टोकेस्टिक डिकोडिंग (विशेष रूप से न्यूक्लियस सैंपलिंग) का उपयोग करता है।
- एक रूलेट व्हील की कल्पना करें। "सुरक्षित" नंबर वे वाक्य हैं जिनकी संभावना सबसे अधिक है। "जोखिम भरे" नंबर वे हैं जिनकी संभावना कम है।
- KCS "जोखिम भरे हिस्से" (वे वाक्य जो कोई अर्थ नहीं रखते) को काट देता है, लेकिन "काफी अच्छे" विकल्पों का एक विस्तृत घेरा रखता है।
- यह अगले सुराग को चुनने के लिए पहिया घुमाता है। कभी-कभी यह स्पष्ट सुराग चुनता है; कभी-कभी यह थोड़ा अलग, लेकिन अभी भी वैध सुराग चुनता है। यह विविधता (Diversity) पैदा करता है।

3. कहानीकार (मल्टी-हॉप क्वेश्चन जनरेशन)

अंत में, एक बार जब KCS सुरागों का एक अनूठा सेट (एक "नॉलेज कंपोज़िशन") एकत्र कर लेता है, तो वह वास्तविक प्रश्न लिखने के लिए एक मानक AI मॉडल को सौंप देता है।

क्योंकि सुराग अलग हैं, इसलिए प्रश्न स्वाभाविक रूप से अलग होता है।
उदाहरण:
- मानक AI: "Kiss and Tell में अभिनेत्री कौन थी?" (सुराग A, B, C का उपयोग करता है)।
- KCS: "जिस महिला ने A Kiss for Corliss में मुख्य भूमिका निभाई थी, उसका वयस्क होने पर क्या पेशा था?" (सुराग A, B, D, E का उपयोग करता है)।
- दोनों प्रश्नों का उत्तर एक ही है (शर्ली टेम्पल), लेकिन वे AI को तर्क के एक पूरी तरह से अलग पथ के माध्यम से सोचने के लिए मजबूर करते हैं।

यह क्यों महत्वपूर्ण है: परिणाम

शोधकर्ताओं ने दो प्रसिद्ध "रहस्यमय" डेटासेट्स (HotpotQA और 2WikiMultihopQA) पर KCS का परीक्षण किया।

बेहतर सुराग चयन: KCS मौजूदा सर्वोत्तम विधियों की तुलना में सही वाक्यों को चुनने में 3.9% अधिक सटीक रहा। यह एक बेहतर जासूस है।
स्मार्टर AI: जब उन्होंने KCS का उपयोग नए प्रशिक्षण प्रश्न उत्पन्न करने के लिए किया और उन प्रश्नों के साथ अन्य AI मॉडलों को प्रशिक्षित किया, तो वे मॉडल कठिन प्रश्नों के उत्तर देने में काफी बेहतर हो गए।
कोई बोरियत नहीं: KCS द्वारा उत्पन्न प्रश्न बहुत अधिक विविध थे। वे केवल पुन: वाक्यांशित नहीं थे; वे वास्तव में अलग तार्किक पहेलियाँ थीं।

मुख्य निष्कर्ष (The Takeaway)

KCS को एक माली (Gardener) के रूप में देखें।

पुरानी विधियाँ केवल उन्हीं तीन फूलों को बार-बार पानी देती थीं, इस उम्मीद में कि वे बड़े हो जाएंगे।
KCS पूरे बगीचे (लंबे टेक्स्ट) को देखता है, बीजों (वाक्यों) के विभिन्न संयोजनों को ढूंढता है, और उन्हें नए पैटर्न में लगाता है।
परिणाम? अनूठे, सुंदर फूलों (विविध प्रश्नों) से भरा एक बगीचा जो AI को केवल याद करने के लिए नहीं, बल्कि सोचने के लिए सिखाता है।

डॉट को जोड़ने के तरीके को विविध बनाकर, KCS मॉडल को अधिक मजबूत, लचीला और वास्तव में बुद्धिमान बनने में मदद करता है।

यहाँ शोध पत्र "KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-हॉप क्वेश्चन अनसरिंग (MHQA) के लिए मॉडलों को जटिल प्रश्नों के उत्तर देने हेतु एक लंबे संदर्भ (long context) से सूचना के कई हिस्सों को एकीकृत करने की आवश्यकता होती है। इस क्षेत्र में एक महत्वपूर्ण बाधा डेटा की कमी (data sparsity) है, जो भाषा मॉडलों को भ्रामक पैटर्न सीखने की ओर ले जाती है, जिससे उनकी मजबूती (robustness) और सामान्यीकरण (generalization) से समझौता होता है।

यद्यपि MHQA डेटासेट को बढ़ाने के लिए प्रश्न जनरेशन (QG) का प्रस्ताव दिया गया है, मौजूदा विधियाँ दो मुख्य सीमाओं से ग्रस्त हैं:

सरल प्रश्नों पर अत्यधिक निर्भरता: पूर्ववर्ती दृष्टिकोण कंटेंट प्लानिंग (क्या पूछा जाए) और अभिव्यक्ति (कैसे पूछा जाए) में विविधता लाने पर ध्यान केंद्रित करते हैं, लेकिन अक्सर सरल, सिंगल-हॉप प्रश्न उत्पन्न करते हैं।
ज्ञान एकीकरण (Knowledge Integration) की उपेक्षा: मौजूदा विधियाँ आमतौर पर यह मान लेती हैं कि "नॉलेज कंपोजिशन" (प्रश्न का उत्तर देने के लिए आवश्यक वाक्यों का विशिष्ट सेट) पहले से ही पहचाना गया और निश्चित है। वे संदर्भ के भीतर वाक्यों के विभिन्न वैध संयोजनों को खोजने में विफल रहती हैं, जो एक ही उत्तर की ओर ले जा सकते हैं लेकिन परिणाम स्वरूप अर्थपूर्ण रूप से भिन्न, जटिल मल्टी-हॉप प्रश्न उत्पन्न कर सकते हैं।

मूल समस्या जिसका समाधान किया गया है वह है: निश्चित या पूर्व-निर्धारित ज्ञान सेटों पर निर्भर रहने के बजाय, असंरचित लंबे संदर्भों से विविध, तार्किक रूप से सुसंगत ज्ञान संरचनाओं (knowledge compositions) को सैंपल करके विविध, उच्च-गुणवत्ता वाले मल्टी-हॉप प्रश्न कैसे उत्पन्न किए जाएं।

2. कार्यप्रणाली: KCS फ्रेमवर्क (Methodology: The KCS Framework)

लेखक नॉलेज कंपोजिशन सैंपलिंग (KCS) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो ज्ञान के टुकड़ों के चयन को एक गतिशील, संभाव्य प्रक्रिया (probabilistic process) के रूप में मानता है। यह फ्रेमवर्क तीन मुख्य चरणों से बना है:

A. नॉलेज कंपोजिशन सिलेक्शन (वाक्य-स्तरीय सशर्त भविष्यवाणी)

ज्ञान के चयन को केवल एक साधारण वर्गीकरण कार्य मानने के बजाय, KCS इसे एक सीक्वेंस प्रेडिक्शन टास्क के रूप में मॉडल करता है।

आर्किटेक्चर: एक पदानुक्रमित न्यूरल नेटवर्क (hierarchical neural network) जिसमें एक सेंटेंस एनकोडर (BERT-आधारित) और एक सेंटेंस-लेवल सीक्वेंस मॉडल (Transformer-आधारित एनकोडर-डिकोडर) शामिल है।
तंत्र (Mechanism): मॉडल उत्तर ( $a$ ), लंबे संदर्भ ( $D$ ), और पहले से चयनित वाक्यों ( $f_{0:k-1}$ ) की स्थिति में अगले प्रासंगिक वाक्य ( $f_k$ ) की भविष्यवाणी करता है।
प्रोबेबिलिस्टिक कॉन्ट्रास्टिव लॉस ( $L_{seq}$ ): "संभावित ज्ञान सुसंगतता" (potential knowledge coherence) को सीखने और मॉडल को अप्रासंगिक वाक्यों को चुनने से रोकने के लिए, लेखक एक कॉन्ट्रास्टिव लॉस पेश करते हैं।
- यह वर्तमान भविष्यवाणी के लेटेंट रिप्रेजेंटेशन और वास्तविक अगले वाक्य के बीच म्यूचुअल इंफॉर्मेशन (MI) को अधिकतम करता है।
- यह भविष्यवाणी और संदर्भ के अन्य वाक्यों (नेगेटिव सैंपल्स) के बीच MI को न्यूनतम करता है।
- फॉर्मूला: $L_{seq} = -E_c [\log \frac{MI(x_{f_k}, e_{k-1})}{\sum_{s \in D, s \neq f_k} MI(x_s, e_{k-1})}]$

B. नॉलेज कंपोजिशन में विविधता लाना (Stochastic Decoding)

स्टैंडर्ड ग्रीडी डिकोडिंग (उच्चतम संभावना वाले वाक्य का चयन करना) में विविधता की कमी होती है। सटीकता और विविधता के बीच संतुलन बनाने के लिए, KCS एक स्टोकेस्टिक डिकोडिंग रणनीति का उपयोग करता है:

न्यूक्लियस सैंपलिंग (Top-p): मॉडल संभाव्यता वितरण के "अविश्वसनीय टेल" (बहुत कम संभावना वाले वाक्य) को काट देता है और अधिकांश संभाव्यता द्रव्यमान (probability mass) वाले "डायनेमिक न्यूक्लियस" से अगले वाक्य को सैंपल करता है।
डायनेमिक न्यूक्लियस: प्रत्येक टाइमस्टेप पर कटऑफ पॉइंट ( $p$ ) को गतिशील रूप से निर्धारित किया जाता है ताकि यह सुनिश्चित हो सके कि चयनित वाक्य उच्च-गुणवत्ता वाले और विविध दोनों हों।
परिणाम: यह एक ही उत्तर के लिए कई विशिष्ट ज्ञान संरचनाएं ( $C = \{c_1, ..., c_{N_q}\}$ ) उत्पन्न करने की अनुमति देता है।

C. मल्टी-हॉप क्वेश्चन जनरेशन

एक बार विविध ज्ञान संरचनाएं सैंपल हो जाने के बाद, एक मानक "वैनिला" मल्टी-हॉप क्वेश्चन जनरेशन (MHQG) मॉडल (फाइन-ट्यून किया गया MixQG-base) अंतिम प्रश्न उत्पन्न करता है। यह ज्ञान की विविधता को टेक्स्ट जनरेशन से अलग करता है, जिससे फ्रेमवर्क विभिन्न MHQG बैकबोन के साथ संगत रहता है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क (KCS): एक ऐसा फ्रेमवर्क पेश किया जो असंरचित टेक्स्ट से विविध ज्ञान संरचनाओं को सैंपल करके मल्टी-हॉप QG में विविधता लाता है, जो निश्चित ज्ञान ग्राफ या पूर्व-पहचाने गए वाक्यों से आगे बढ़ता है।
सेंटेंस-लेवल कंडिशनल प्रेडिक्शन: ज्ञान चयन को एक सीक्वेंस प्रेडिक्शन टास्क के रूप में तैयार किया और स्पष्ट ग्राफ संरचनाओं के बिना वाक्यों के बीच सुसंगतता को प्रभावी ढंग से सीखने के लिए एक प्रोबेबिलिस्टिक कॉन्ट्रास्टिव लॉस पेश किया।
स्टोकेस्टिक डिकोडिंग स्ट्रैटेजी: सटीक ज्ञान चुनने और उच्च विविधता बनाए रखने के बीच संतुलन बनाने के लिए न्यूक्लियस सैंपलिंग के उपयोग को प्रमाणित किया, जिससे मॉडल का क्षरण (degeneration) रुकता है।
प्रदर्शन लाभ: प्रदर्शित किया कि KCS ज्ञान संरचना चयन की सटीकता में महत्वपूर्ण सुधार करता है और डेटा ऑग्मेंटेशन के माध्यम से डाउनस्ट्रीम MHQA प्रदर्शन को बढ़ाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन दो बेंचमार्क डेटासेट पर किया गया: HotpotQA और 2WikiMultihopQA।

नॉलेज कंपोजिशन सिलेक्शन सटीकता:
- KCS ने स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जिसने सबसे अच्छे प्रतिस्पर्धी बेसलाइन (CLS उपयोग करते हुए BERT-base) की तुलना में समग्र सटीकता (F1-स्कोर) में 3.9% का सुधार किया।
- 2WikiMultihopQA पर, KCS ने $K=2$ और $K=3$ के लिए क्रमशः 84.18% और 89.60% के सैद्धांतिक ऊपरी स्तर (MAX) को प्राप्त किया।
- विशेष रूप से, KCS ने ज्ञान संरचना की लंबाई बढ़ने के साथ बेहतर सटीकता दिखाई, जो दर्शाता है कि इसने सफलतापूर्वक लॉन्ग-रेंज नॉलेज कोहेरेंस को सीखा है।
डाउनस्ट्रीम MHQA प्रदर्शन (डेटा ऑग्मेंटेशन):
- जब LLMs (LLaMA3.1 और Qwen2.5) के प्रशिक्षण डेटा को बढ़ाने के लिए इसका उपयोग किया गया, तो KCS ने दोनों डेटासेट पर Exact Match (EM), Precision, Recall, और F1 स्कोर में निरंतर सुधार दिखाया।
- उदाहरण के लिए, LLaMA3.1 के साथ HotpotQA पर, KCS ने EM को 54.00 (ओरिजिनल) से बढ़ाकर 61.00 कर दिया।
- विविधता बनाम निरंतरता (Diversity vs. Consistency): KCS ने उच्च विविधता (Pairwise-BLEU: 68.1) हासिल की जबकि उचित निरंतरता बनाए रखी, जिसने RAST और Composition जैसे तरीकों को पीछे छोड़ दिया जो अक्सर विविधता के लिए निरंतरता का त्याग करते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- आर्किटेक्चर: एनकोडर-डिकोडर आर्किटेक्चर डिकोडर-ओनली मॉडल्स की तुलना में काफी बेहतर रहा, जो ग्लोबल कॉन्टेक्स्ट एनकोडिंग के महत्व को उजागर करता है।
- क्रम और लंबाई: मॉडल वाक्यों के क्रम के प्रति संवेदनशील है; "डॉक्यूमेंट" ऑर्डर (मूल संदर्भ प्रवाह को बनाए रखना) के साथ प्रशिक्षण करने से सर्वोत्तम परिणाम मिले।
- लॉस फंक्शन: प्रोबेबिलिस्टिक कॉन्ट्रास्टिव लॉस ( $\lambda=1$ ) अत्यंत महत्वपूर्ण था; इसे घटाकर 0.5 करने से प्रदर्शन में गिरावट आई।

5. महत्व और प्रभाव (Significance and Impact)

स्केलेबिलिटी: अन्य विधियों के विपरीत जो महंगे, संरचित ज्ञान ग्राफ या एंटिटी एक्सट्रैक्शन पर निर्भर करती हैं, KCS सीधे असंरचित टेक्स्ट पर काम करता है, जिससे यह अधिक स्केलेबल और विविध डोमेन के लिए लागू करने योग्य बनता है।
डेटा दक्षता: मौजूदा लॉन्ग-कॉन्टेक्स्ट डेटासेट्स के भीतर निहित विविधता का प्रभावी ढंग से उपयोग करके, KCS MHQA में डेटा की कमी की समस्या को हल करता है, जिससे जटिल मल्टी-हॉप प्रश्नों के लिए मैनुअल एनोटेशन की आवश्यकता कम हो जाती है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क मॉड्यूलर है; इसके नॉलेज सैंपलिंग घटक को किसी भी डाउनस्ट्रीम क्वेश्चन जनरेशन मॉडल के साथ जोड़ा जा सकता है, जो रीजनिंग मॉडल्स की मजबूती में सुधार के लिए एक लचीला दृष्टिकोण प्रदान करता है।

निष्कर्षतः, KCS "निश्चित तथ्यों के आधार पर प्रश्न उत्पन्न करने" से "वैध ज्ञान संयोजनों के स्थान को गतिशील रूप से खोजने द्वारा प्रश्न उत्पन्न करने" की ओर एक बदलाव का प्रतिनिधित्व करता है, जिससे मल्टी-हॉप रीजनिंग के लिए समृद्ध और अधिक मजबूत प्रशिक्षण डेटा तैयार होता है।