🤖 AI

Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning

यह शोध पत्र एक पोस्ट-ट्रेनिंग प्रतिमान (पैराडाइम) प्रस्तुत करता है जो ज्ञान ग्राफों (नॉलेज ग्राफ्स) को अंतर्निहित रिवॉर्ड मॉडल के रूप में उपयोग करके बड़े भाषा मॉडलों को स्वयंसिद्ध तथ्यों से संयोजी तर्क (कंपोजिशनल रीजनिंग) सीखने में सक्षम बनाता है, जिससे पथ-व्युत्पन्न पर्यवेक्षण (पाथ-डिराइव्ड सुपरविजन) के माध्यम से एक 14B मॉडल जटिल मल्टी-हॉप मेडिकल प्रश्नों पर फ्रंटियर सिस्टम्स को पछाड़ सकता है।

मूल लेखक: Yuval Kansal, Niraj K. Jha

प्रकाशित 2026-03-05✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuval Kansal, Niraj K. Jha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को केवल याद करना नहीं, बल्कि सोचना सिखाना

कल्पना कीजिए कि आप एक बेहद बुद्धिमान लेकिन अनुभवहीन मेडिकल छात्र (AI) को एक जटिल बीमारी का निदान (diagnose) करना सिखा रहे हैं।

पुराना तरीका (वर्तमान AI):
आप छात्र को हजारों पिछले परीक्षा प्रश्न और उनके उत्तर दिखाते हैं। छात्र पैटर्न याद करने में बहुत कुशल हो जाता है। यदि वह ऐसा प्रश्न देखता है जो दिखने में लगभग वैसा ही है जैसा उसने पहले देखा था, तो वह शब्दों के लहजे या विकल्पों के क्रम के आधार पर उत्तर का अनुमान लगा लेता है। वह सही उत्तर दे सकता है, लेकिन उसे वास्तव में यह समझ नहीं आता कि वह क्यों सही है। यदि आप उत्तरों के विकल्पों को आगे-पीछे कर दें या थोड़ा नया प्रकार का प्रश्न पूछें, तो वे अक्सर विफल हो जाते हैं। यह उस छात्र की तरह है जिसने विषय को समझने के बजाय केवल उत्तर कुंजी (answer key) रट ली है।

नया तरीका (यह शोध पत्र):
केवल उत्तर दिखाने के बजाय, आप छात्र को चिकित्सा तथ्यों का एक संरचित मानचित्र (structured map of medical facts) देते हैं (एक नॉलेज ग्राफ)। आप उनसे कहते हैं: "इस समस्या को हल करने के लिए, आपको इस मानचित्र पर एक विशिष्ट पथ (path) का अनुसरण करना होगा, तथ्य A को तथ्य B से और फिर तथ्य C से जोड़ना होगा।"

इस शोध पत्र के लेखकों ने एक चतुर तरीका खोजा है जिससे इस मानचित्र का उपयोग केवल एक पाठ्यपुस्तक के रूपas नहीं, बल्कि एक कठोर शिक्षक के रूप में किया जा सके, जो वास्तविक समय में छात्र की सोचने की प्रक्रिया को ग्रेड देता है।

मुख्य रूपक (Metaphor): "इम्प्लिसिट रिवॉर्ड मॉडल" (Implicit Reward Model)

AI प्रशिक्षण में, हमें आमतौर पर AI के काम को ग्रेड देने के लिए एक इंसान की आवश्यकता होती है ताकि वह बता सके, "अच्छा काम किया!" या "फिर से प्रयास करें।" यह प्रक्रिया धीमी और महंगी है।

लेखकों ने खोजा कि एक नॉलेज ग्राफ (KG) एक "इम्प्लिसिट रिवॉर्ड मॉडल" के रूप में कार्य कर सकता है।

मानचित्र (KG): चिकित्सा ज्ञान के एक विशाल सबवे मैप की कल्पना करें। हर स्टेशन एक तथ्य है (जैसे, "ट्यूमर") और हर ट्रैक एक संबंध है (जैसे, "कारण बनता है")।
पथ (The Path): एक कठिन समस्या को हल करने के लिए, आपको स्टेशनों से स्टेशन तक कूदना पड़ता है (जैसे, ट्यूमर → कारण बनता है → लक्षण → उपचार किया जाता है → दवा)।
रिवॉर्ड (The Reward): अंतिम उत्तर को ग्रेड देने के लिए इंसान के बजाय, सिस्टम यह जाँचता है: "क्या छात्र ने वास्तव में मानचित्र पर सही क्रम में सही स्टेशनों का दौरा किया?"
- यदि छात्र का तर्क मानचित्र के पथ से मेल खाता है, तो उसे रिवॉर्ड (उच्च स्कोर) मिलता है।
- यदि वह अनुमान लगाता है या शॉर्टकट लेता है, तो उसे कोई रिवॉर्ड नहीं (या दंड) मिलता है।

यह AI को तथ्यों को तार्किक रूप से एक साथ बनाने (compose) के लिए प्रशिक्षित करता है, न कि केवल अंतिम उत्तर का अनुमान लगाने के लिए।

प्रशिक्षण प्रक्रिया: प्रतिभा के दो चरण

यह शोध पत्र 14-बिलियन पैरामीटर वाले मॉडल (एक स्मार्ट AI, लेकिन सबसे बड़ा नहीं) का उपयोग करके एक विशिष्ट प्रशिक्षण विधि प्रस्तावित करता है।

चरण 1: "SFT" (सुपरवाइज्ड फाइन-ट्यूनिंग) - शब्दावली सीखना

सबसे पहले, वे AI को बुनियादी निर्माण खंड (building blocks) सिखाते हैं। वे इसे सरल समस्याएँ (मानचित्र पर 1 से 3 स्टेप्स) और उन्हें हल करने के सही पथ दिखाते हैं।

उपमा: यह छात्र को एक पाठ्यपुस्तक देने और उससे पहले तीन अध्यायों को पढ़ने के समान है। वे परिभाषाओं और सरल संबंधों को सीखते हैं।

चरण 2: "RL" (रीइन्फोर्समेंट लर्निंग) - तर्क सीखना

यही असली जादू है। वे AI को कठिन समस्याएँ हल करने की कोशिश करने देते हैं। लेकिन यहाँ एक ट्रिक है:

वे केवल AI को यह नहीं बताते कि अंतिम उत्तर सही है या गलत।
वे नॉलेज ग्राफ का उपयोग यह जाँचने के लिए करते हैं कि क्या AI के तर्क के चरण मानचित्र से मेल खाते हैं।
"कंपोजिशनल ब्रिज" (The Compositional Bridge): भले ही AI को केवल छोटे पथों (1-3 हॉप्स) पर प्रशिक्षित किया गया था, रिवॉर्ड सिस्टम उसे यह सिखाता है कि बिंदुओं को कैसे जोड़ना है। इसलिए, जब वह किसी अत्यंत कठिन समस्या (4-5 हॉप्स) का सामना करता है जिसे उसने पहले कभी नहीं देखा है, तो वह सीखे हुए तर्क का उपयोग करके एक पुल बनाना जानता है।

परिणाम: AI पुराने तथ्यों से नए समाधानों को "बनाना" (compose) सीख जाता है, ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है।

यह क्यों महत्वपूर्ण है: दिग्गजों को हराना

लेखकों ने इसका परीक्षण एक 14B मॉडल (सापेक्ष रूप से छोटा) पर "फ्रंटियर" मॉडल्स जैसे GPT-5.2 और Gemini 3 Pro (जो बहुत बड़े हैं और सब कुछ जानते हैं) के विरुद्ध किया।

आश्चर्य: छोटे, विशेष रूप से प्रशिक्षित मॉडल ने सबसे कठिन चिकित्सा प्रश्नों पर दिग्गजों को हरा दिया।
क्यों? दिग्गज ऐसे सामान्य विशेषज्ञों (generalists) की तरह हैं जो हर चीज़ के बारे में थोड़ा-थोड़ा जानते हैं लेकिन पैटर्न मैचिंग पर निर्भर करते हैं। जब प्रश्न बहुत जटिल हो जाता है (गहन तर्क की आवश्यकता होती है), तो वे भ्रमित हो जाते हैं।
विजेता: यह छोटा मॉडल एक विशेषज्ञ की तरह है जो जानता है कि तार्किक पथ का पालन कैसे करना है। इसे बहुत बड़ा होने की आवश्यकता नहीं थी; इसे बस सही प्रशिक्षण पद्धति (मैप-आधारित रिवॉर्ड) की आवश्यकता थी।

वास्तविक दुनिया का प्रमाण: "शफल टेस्ट" (Shuffle Test)

यह सिद्ध करने के लिए कि AI केवल उत्तरों के क्रम को देखकर धोखाधड़ी नहीं कर रहा है (जैसे, "विकल्प C आमतौर पर सही होता है"), उन्होंने उत्तरों के विकल्पों को आपस में बदल दिया।

अन्य AI: उनका प्रदर्शन काफी गिर गया क्योंकि वे सतही संकेतों पर निर्भर थे।
यह AI: इसका प्रदर्शन लगभग वैसा ही रहा। इसने वास्तव में तर्क को पढ़ा और सत्य को खोज निकाला, चाहे उत्तर कहीं भी छिपा हो।

एक वाक्य में सारांश

तथ्यों के एक संरचित मानचित्र (नॉलेज ग्राफ) को केवल अंतिम उत्तर के बजाय तर्क के चरणों को ग्रेड देने वाले एक सख्त शिक्षक के रूप में उपयोग करके, लेखकों ने एक छोटे AI को तार्किक रूप से सोचना और जटिल समस्याओं को हल करना सिखाया, जो बहुत बड़े, अप्रशिक्षित दिग्गजों से भी बेहतर है।

मुख्य बात: आपको एक बड़ा दिमाग नहीं चाहिए; आपको इसे बिंदुओं को जोड़ने का बेहतर तरीका सिखाने की आवश्यकता है।

यहाँ शोध पत्र "Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने गणित और प्रोग्रामिंग जैसे संरचित डोमेन में विशेषज्ञ स्तर का प्रदर्शन हासिल किया है, लेकिन वे विशिष्ट वैज्ञानिक क्षेत्रों (जैसे चिकित्सा) में कंपोजिशनल मल्टी-हॉप रीजनिंग (compositional multi-hop reasoning) करने में संघर्ष करते हैं। वर्तमान सीमाएँ निम्नलिखित हैं:

कंपोजिशनल जनरलाइजेशन का अभाव: मॉडल अक्सर जटिल, अनदेखे प्रश्नों को हल करने के लिए विश्वसनीय रूप से स्वयंसिद्ध तथ्यों (axiomatic facts) को संयोजित करने के बजाय पैटर्न मिलान या याद रखने (memorization) पर निर्भर रहते हैं।
रिवॉर्ड डिज़ाइन की खामियाँ: मौजूदा पोस्ट-ट्रेनिंग विधियाँ (जैसे RLHF, DPO) मानव प्राथमिकताओं या विशेषज्ञ उत्तरों के साथ अंतिम आउटपुट के संरेखण को अनुकूलित करती हैं, जो अक्सर रीजनिंग प्रक्रिया की अनदेखी करती हैं। इससे "रिवॉर्ड हैकिंग" (reward hacking) होती है, जहाँ मॉडल प्रवाहपूर्ण लेकिन तार्किक रूप से नाजुक उत्तर देते हैं।
प्रोसेस सुपरविजन की स्केलेबिलिटी: हालांकि गणित में मध्यवर्ती चरणों को पुरस्कृत करना (process supervision) प्रभावी है, लेकिन जटिल वैज्ञानिक डोमेन के लिए विशेषज्ञ-एनोटेटेड रीजनिंग ट्रेसेस (reasoning traces) तैयार करना अत्यधिक महंगा और कठिन है।

मूल चुनौती यह है: हम बिना महंगे ह्यूमन-इन-द-लूप एनोटेशन पर निर्भर रहे, जटिल मल्टी-हॉप कार्यों में ग्राउंडेड, कंपोजिशनल रीजनिंग को बढ़ावा देने वाले स्केलेबल सिस्टम कैसे बना सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक बॉटम-अप लर्निंग पैराडाइम का प्रस्ताव करते हैं जहाँ मॉडल को स्वयंसिद्ध डोमेन तथ्यों (axiomatic domain facts) में ग्राउंड किया जाता है और जटिल कार्यों को हल करने के लिए उन्हें संयोजित किया जाता है। समाधान में एक तीन-चरणीय पाइपलाइन शामिल है: Base Model $\to$ SFT (LoRA) $\to$ RL (GRPO), जिसमें नॉलेज ग्राफ्स (KGs) का उपयोग इम्प्लिसिट रिवॉर्ड मॉडल्स (Implicit Reward Models) के रूप में किया जाता है।

A. डेटा निर्माण और ग्राउंडिंग (Data Construction & Grounding)

स्रोत: यूनिफाइड मेडिकल लैंग्वेज सिस्टम (UMLS) KG।
जेनरेशन: KG में पथों (paths) का अनुसरण करके मल्टी-हॉप रीजनिंग प्रश्न (प्रशिक्षण के लिए 1–3 हॉप्स) उत्पन्न किए जाते हैं। प्रत्येक प्रश्न को एक ग्राउंड ट्रुथ (GT) पाथ (एक अनुक्रम: $(head, relation, tail)$ ट्रिपल्स) और एक रीजनिंग ट्रेस के साथ जोड़ा जाता है।
पृथक्करण: प्रशिक्षण (1–3 हॉप्स) और परीक्षण (2–5 हॉप्स) सेटों के बीच सख्त पृथक्करण ज़ीरो-शॉट जनरलाइजेशन मूल्यांकन सुनिश्चित करता है।

B. ट्रेनिंग पाइपलाइन

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
- एक बेस मॉडल (Qwen3) को KG-ग्राउंडेड QA पेयर्स (19,660 उदाहरण) पर लो-रैंक अडैप्टेशन (LoRA) का उपयोग करके फाइन-ट्यून किया जाता है।
- लक्ष्य: परमाणु डोमेन ज्ञान (atomic domain knowledge) स्थापित करना और मॉडल को संरचित रीजनिंग ट्रेसेस उत्पन्न करना सिखाना।
- निष्कर्ष: SFT अकेले एक नॉलेज बेस तो प्रदान करता है, लेकिन इसमें अनदेखे जटिल कार्यों के लिए तथ्यों को संयोजित करने की क्षमता का अभाव होता है।
GRPO के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RL):
- मॉडल एक छोटे, उच्च-गुणवत्ता वाले सबसेट (5,000 उदाहरण) पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के माध्यम से RL से गुजरता है।
- महत्वपूर्ण अंतर्दृष्टि: बेस मॉडल पर ज़ीरो-RL (Zero-RL) गहरा डोमेन विशेषज्ञता प्राप्त करने में विफल रहता है; इसके लिए वार्म स्टार्ट के रूप में SFT आवश्यक है।

C. मुख्य नवाचार: KG-पाथ व्युत्पन्न रिवॉर्ड (KG-Path Derived Rewards)

मानव फीडबैक या विशेषज्ञ टेक्स्ट की समानता पर निर्भर रहने के बजाय, यह शोध पत्र सीधे KG संरचना से प्राप्त एक कंपोजिट रिवॉर्ड फंक्शन पेश करता है:
$R_{total}(y) = R_{bin}(\hat{a}, a^*) + R_{path}(r, P)$

बाइनरी करेक्टनेस ( $R_{bin}$ ): अंतिम उत्तर को पुरस्कृत करता है। यह गलत उत्तरों को भारी दंड देने ( $\beta > \alpha$ ) के लिए नेगेटिव रीइन्फोर्समेंट का उपयोग करता है ताकि सही ट्राजेक्टरीज की खोज को प्रोत्साहित किया जा सके।
पाथ एलाइनमेंट रिवॉर्ड ( $R_{path}$ ): यह एक नवीन योगदान है। यह GT KG पाथ के विरुद्ध मॉडल के रीजनिंग ट्रेस के कवरेज (coverage) को मापता है।
- यह रीजनिंग ट्रेस को टोकनाइज़ करता है और GT पाथ से संस्थाओं (entities) की उपस्थिति की जाँच करता है।
- फॉर्मूला: $R_{path} = \min(\gamma_1 \cdot \text{coverage} + \gamma_2 \cdot \mathbb{I}(\text{hits} \ge 2), R_{max})$ ।
- तंत्र: यह एक इम्प्लिसिट रिवॉर्ड मॉडल के रूप में कार्य करता है, जो यह सत्यापित करता है कि मॉडल केवल अंतिम उत्तर का अनुमान लगाने के बजाय तार्किक रूप से सही स्वयंसिद्ध तथ्यों को संयोजित कर रहा है। यह स्केलेबल, सत्यापन योग्य प्रोसेस सुपरविजन प्रदान करता है।

3. प्रमुख योगदान (Key Contributions)

इम्प्लिसिट रिवॉर्ड मॉडल के रूप में KGs: यह शोध पत्र प्रदर्शित करता है कि KGs रिवॉर्ड सुपरवाइजर के रूप में मानव एनोटेटरों की जगह ले सकते हैं। मॉडल की रीजनिंग को KG पाथ के साथ संरेखित करके, यह प्रणाली महंगे मानव फीडबैक के बिना तार्किक संयोजन को लागू करती है।
कंपोजिशनल जनरलाइजेशन: यह दृष्टिकोण एक मॉडल को जो छोटे-हॉप (1–3) पाथ पर प्रशिक्षित है, उसे लंबे-हॉप (4–5) अनदेखे प्रश्नों के लिए प्रभावी ढंग से सामान्य करने में सक्षम बनाता है, जो यह सिद्ध करता है कि मॉडल 'चेन' को याद करने के बजाय "संयोजन के तर्क" (logic of composition) को सीखता है।
कुशल स्केलिंग: इस पाइपलाइन के साथ प्रशिक्षित एक 14B पैरामीटर मॉडल जटिल चिकित्सा तर्क कार्यों पर काफी बड़े फ्रंटियर मॉडल्स (जैसे GPT-5.2, Gemini 3 Pro) और डोमेन-विशिष्ट डिस्टिल्ड मॉडल्स (32B) को पछाड़ देता है।
मजबूती (Robustness): मॉडल प्रतिकूल गड़बड़ी (जैसे विकल्प शफलिंग/option shuffling) के खिलाफ उच्च प्रतिरोध प्रदर्शित करता है, जो दर्शाता है कि यह सतही संकेतों के बजाय तार्किक सामग्री पर निर्भर है।

4. परिणाम (Results)

प्रयोग ICD-Bench टेस्ट सुइट (3,675 मेडिकल प्रश्न) पर Qwen3 14B मॉडल का उपयोग करके किए गए।

अनदेखी जटिलता के लिए जनरलाइजेशन:
- 5-हॉप कार्यों पर (जो प्रशिक्षण के दौरान अनदेखे थे), SFT+RL मॉडल ने 89.33% सटीकता प्राप्त की।
- इसने 5-हॉप कार्यों पर SFT-केवल बेसलाइन से 11.1% और 4-हॉप कार्यों पर 7.5% बेहतर प्रदर्शन किया।
- हॉप की लंबाई बढ़ने के साथ प्रदर्शन का अंतर बढ़ता गया, जो वास्तविक कंपोजिशनल लर्निंग की पुष्टि करता है।
कठिनाई स्तर:
- सबसे कठिन कार्यों (लेवल 5) पर, बेस मॉडल ~20% सटीकता तक गिर गया।
- SFT+RL मॉडल ने 56.75% सटीकता प्राप्त की, जो बेस मॉडल के प्रदर्शन को लगभग तीन गुना कर देता है और SFT-केवल दृष्टिकोण (48.93%) से काफी बेहतर है।
फ्रंटियर मॉडल्स के साथ तुलना:
- 14B SFT+RL मॉडल ने 4- और 5-हॉप प्रश्नों पर GPT-5.2 और Gemini 3 Pro को पीछे छोड़ दिया।
- जहाँ फ्रंटियर मॉडल्स की सटीकता बढ़ती जटिलता के साथ स्थिर या कम होती गई, वहीं प्रस्तावित मॉडल ने एक सकारात्मक कंपोजिशनल ग्रेडिएंट दिखाया।
रोबस्टनेस टेस्ट:
- ऑप्शन शफलिंग स्ट्रेस टेस्ट के तहत, मॉडल ने नगण्य प्रदर्शन गिरावट (~1.17%) दिखाई, जबकि फ्रंटियर मॉडल्स आमतौर पर 4–6% की गिरावट का सामना करते हैं।

5. महत्व (Significance)

यह कार्य विशिष्ट डोमेन के लिए इंटेलिजेंट सिस्टम बनाने के लिए एक प्रतिमान परिवर्तन (paradigm shift) का सुझाव देता है:

ब्रूट-फोर्स स्केलिंग से स्ट्रक्चर्ड ग्राउंडिंग तक: यह धारणा को चुनौती देता है कि केवल बड़े मॉडल ही रीजनिंग समस्याओं को हल करते हैं। इसके बजाय, मॉडल्स को स्ट्रक्चर्ड नॉलेज (KGs) में ग्राउंड करना और पाथ-व्युत्पन्न रिवॉर्ड का उपयोग करना, विशिष्ट डोमेन में सुपरइंटेलिजेंस के लिए एक अधिक कुशल मार्ग है।
स्केलेबल प्रोसेस सुपरविजन: यह "प्रोसेस सुपरविजन" की बाधा के लिए एक समाधान प्रदान करता है, जो रिवॉर्ड जेनरेशन को KGs के माध्यम से स्वचालित करता है, जिससे उन डोमेन के लिए उच्च-गुणवत्ता वाली रीजनिंग ट्रेनिंग संभव हो जाती है जहाँ विशेषज्ञ एनोटेशन दुर्लभ है।
विश्वसनीयता: सत्यापन योग्य स्वयंसिद्ध तथ्यों के साथ संरेखण को लागू करके, यह दृष्टिकोण मतिभ्रम (hallucinations) को कम करता है और विश्वसनीयता में सुधार करता है, जो "तैयारी के भ्रम" (illusion of readiness) से आगे बढ़कर वास्तविक डोमेन सक्षमता की ओर ले जाता है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि नॉलेज ग्राफ्स शक्तिशाली, इम्प्लिसिट रिवॉर्ड मॉडल के रूप में कार्य कर सकते हैं, जो छोटे मॉडल्स को जटिल कंपोजिशनल रीजनिंग में महारत हासिल करने में सक्षम बनाते हैं जो वर्तमान में बहुत बड़े, जनरल-लिस्ट सिस्टमों को भी कठिन लग रही है।