💻 computer science

ChatR1: Reinforcement Learning for Conversational Reasoning and Retrieval Augmented Question Answering

यह शोध पत्र ChatR1 प्रस्तुत करता है, जो एक सुदृढीकरण अधिगम-आधारित (reinforcement learning-based) ढांचा है जो संवादात्मक प्रश्नोत्तर में विकसित होते उपयोगकर्ता इरादों के अनुकूल गतिशील रूप से ढलने के लिए खोज और तर्क को अंतर्निहित करता है, जो एक अभिनव इरादा-जागरूक पुरस्कार तंत्र के माध्यम से स्थिर पाइपलाइनों से बेहतर प्रदर्शन करता है और विविध डेटासेटों में मजबूत सामान्यीकरण प्रदर्शित करता है।

मूल लेखक: Simon Lupart, Mohammad Aliannejadi, Evangelos Kanoulas

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Simon Lupart, Mohammad Aliannejadi, Evangelos Kanoulas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिनर पार्टी के लिए एकदम सही रेसिपी खोजने की कोशिश कर रहे हैं, लेकिन आप एक बहुत ही बुद्धिमान, फिर भी थोड़े शाब्दिक (literal) शेफ से बात कर रहे हैं जो आपके परिवार का इतिहास नहीं जानता।

पुराना तरीका (Static Pipelines):
अतीत में, यदि आप शेफ से पूछते, "मुझे क्या पकाना चाहिए?" तो वे अनुमान लगाते। यदि आप कहते, "दरअसल, मेरा मतलब शाकाहारी से था," तो उन्हें सब कुछ रोकना, जो कुछ भी उन्होंने सोचा था उसे भूलना और फिर से शुरुआत से शुरू करना पड़ता। यदि आप फिर कहते, "और मेरे पास केवल एक छोटा ओवन है," तो उन्हें फिर से शुरू करना पड़ता। वे हर सवाल को एक नई, अलग घटना की तरह देखते थे, जो पहले हुई बातचीत को अनदेखा कर देता था। यह एक ऐसे जीपीएस (GPS) की तरह है जो मोड़ लेने के तुरंत बाद आपका गंतव्य भूल जाता है।

नया तरीका (ChatR1):
यह पेपर ChatR1 को पेश करता है, जो एक नया प्रकार का "शेफ" (एक AI) है जो एक इंसान के जासूस की तरह सोचना और खोजना सीखता है। केवल अनुमान लगाने या एक कठोर स्क्रिप्ट का पालन करने के बजाय, ChatR1 एक विशेष प्रशिक्षण पद्धति का उपयोग करता है जिसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है।

RL को कुत्ते को 'ट्रीट्स' (treats) देकर प्रशिक्षित करने की तरह समझें।

कुत्ता (AI): यह आपके सवालों के जवाब देने की कोशिश करता है।
ट्रीट (पुरस्कार/Reward): यदि यह सही उत्तर देता है, तो इसे एक ट्रीट मिलता है।
समस्या: एक लंबी बातचीत में, "ट्रीट" (सही अंतिम उत्तर) केवल बिल्कुल अंत में आता है। कुत्ते को यह पता नहीं चलता कि किस विशिष्ट कदम (जैसे तथ्य ढूँढना या प्रश्न को फिर से लिखना) ने उसे वहां तक पहुँचाने में मदद की। वह बस इतना जानता है कि अंत में उसे एक ट्रीट मिला, लेकिन यह सीखना कठिन है कि कौन सा कदम मददगार था।

सीक्रेट सॉस: "इंटेंट-अवेयर" रिवॉर्ड (Intent-Aware Reward)
लेखकों ने महसूस किया कि केवल अंतिम ट्रीट का इंतजार करना पर्याप्त नहीं था। इसलिए, उन्होंने एक नया प्रकार का रिवॉर्ड सिस्टम बनाया जिसे इंटेंट-अवेयर रिवॉर्ड कहा जाता है।

कल्पना कीजिए कि आप छिपे हुए खजाने को खोजने के लिए "हॉट एंड कोल्ड" (Hot and Cold) खेल खेल रहे हैं।

पुराना सिस्टम: आपको केवल अंत में "आप जीत गए!" का संकेत मिलता है। आपके पास कोई अंदाजा नहीं होता कि आपका पहला अनुमान कितना करीब था या आप गलत दिशा में जा रहे थे।
ChatR1 का सिस्टम: हर बार जब आप एक कदम उठाते हैं (या एक खोज प्रश्न पूछते हैं), तो सिस्टम जांचता है: "क्या इस कदम ने हमें वास्तव में उस चीज़ के करीब पहुँचाया जो उपयोगकर्ता चाहता था?"

यदि उपयोगकर्ता कहता है, "मुझे एक लाल कार चाहिए," और AI "नीले ट्रकों" की खोज करता है, तो सिस्टम एक छोटा "दंड" (कोई ट्रीट नहीं) देता है क्योंकि उसने इरादे (intent) को मिस कर दिया। यदि AI "लाल स्पोर्ट्स कारों" की खोज करता है, तो उसे अंतिम उत्तर लिखे जाने से पहले ही तुरंत एक छोटा "ट्रीट" मिलता है। यह AI को केवल अंतिम परिणाम के बजाय बातचीत के प्रवाह (flow) को समझने के लिए प्रशिक्षित करता है।

व्यवहार में यह कैसे काम करता है:

संदर्भ ही राजा है (Context is King): यदि आप कहते हैं, "उस दूसरे वाले के बारे में कैसा रहेगा?" तो AI याद रखता है कि आप पहले दो अलग-अलग चीजों के बारे में बात कर रहे थे और वह समझ जाता है कि आपका "दूसरा" से क्या मतलब है।
डायनेमिक सर्चिंग (Dynamic Searching): यह केवल एक बार सर्च नहीं करता। यह सोच सकता है, "हम्म, उस सर्च से मुझे पर्याप्त जानकारी नहीं मिली," और अपने मूल लक्ष्य को ध्यान में रखते हुए एक बेहतर प्रश्न के साथ फिर से सर्च करने का निर्णय ले सकता है।
करके सीखना (Learning by Doing): केवल एक पाठ्यपुस्तक से उत्तर रटने के बजाय (जो कि पुराने मॉडल्स करते थे), ChatR1 लाखों बातचीत का अभ्यास करके सीखता है, जिसमें अच्छे तर्क वाले कदमों के लिए "ट्रीट्स" और खराब कदमों के लिए "नो ट्रीट्स" मिलते हैं।

परिणाम:
पेपर ने इस "जासूस" का परीक्षण पांच अलग-अलग प्रकार की बातचीत पर किया, जिसमें फिल्मों के बारे में अनौपचारिक चैट से लेकर सरकारी दस्तावेजों के बारे में जटिल प्रश्न शामिल हैं।

प्रतिद्वंद्वियों से बेहतर: ChatR1 ने कई अन्य शीर्ष मॉडल्स को हराया, जिनमें बहुत बड़े और महंगे मॉडल भी शामिल हैं।
छोटा लेकिन शक्तिशाली: ChatR1 का छोटा संस्करण (3 बिलियन पैरामीटर्स) अन्य कंपनियों के बहुत बड़े मॉडल्स (7 बिलियन पैरामीटर्स) के बराबर या उनसे बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalization): इसने केवल प्रशिक्षण डेटा को याद नहीं किया; इसने तर्क करना सीखा। उन विषयों पर परीक्षण किए जाने पर जिन्हें इसने पहले कभी नहीं देखा था, यह अभी भी सही तरीके से खोजने और उत्तर देने में सक्षम रहा।

संक्षेप में:
ChatR1 एक AI को केवल एक क्विज़ का उत्तर देने के बजाय बातचीत करना सिखाने जैसा है। प्रत्येक चरण पर इसके सोचने और खोजने के तरीके पर फीडबैक देकर, यह आपकी बदलती जरूरतों को समझना, अपनी गलतियों को सुधारना और सही जानकारी ढूंढना सीखता है, भले ही आपको ठीक से पता न हो कि इसे कैसे पूछना है।

यहाँ शोध पत्र "ChatR1: Reinforcement Learning for Conversational Reasoning and Retrieval Augmented Question Answering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कन्वर्सेशनल क्वेश्चन अनswering (CQA) स्थिर सिंगल-टर्न QA की तुलना में अद्वितीय चुनौतियाँ प्रस्तुत करता है। CQA में, उपयोगकर्ता का इरादा (intent) संवाद के दौरों (dialogue turns) के दौरान विकसित होता रहता है, और कथन अक्सर अपूर्ण होते हैं (जैसे कि सर्वनाम, विलोपन/ellipses, या विषय परिवर्तन शामिल होना)।

वर्तमान दृष्टिकोणों की सीमाएँ: अधिकांश मौजूदा सिस्टम सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग करने वाले स्थिर "रीराइट-रिट्रीव-जेनरेट" पाइपलाइनों पर निर्भर करते हैं। ये पाइपलाइनएं क्वेरी पुनर्गठन (query reformulation), रिट्रीवल और जनरेशन को अलग-अलग, क्रमिक चरणों के रूप में मानती हैं। इनमें मध्यवर्ती फीडबैक के आधार पर तर्क रणनीतियों (reasoning strategies) को गतिशील रूप से अनुकूलित करने की क्षमता का अभाव है।
RL की चुनौती: जबकि रीइन्फोर्समेंट लर्निंग (RL) ने सिंगल-टर्न रीजनिंग (जैसे Search-R1) में आशाजनक परिणाम दिखाए हैं, मल्टी-टर्न CQA में इसे लागू करना रिवॉर्ड स्पर्सिटी (reward sparsity) के कारण कठिन है। मानक आउटकम-आधारित रिवॉर्ड्स (केवल अंतिम उत्तर पर आधारित) विलंबित फीडबैक प्रदान करते हैं, जिससे वे संदर्भ व्याख्या (context interpretation) या क्वेरी फॉर्मूलेशन जैसे मध्यवर्ती निर्णयों को निर्देशित करने में विफल रहते हैं। यह उन संवादात्मक सेटिंग्स में अस्थिरता और खराब शिक्षण की ओर ले जाता है जहाँ उपयोगकर्ता के लक्ष्य निरंतर बदलते रहते हैं।

2. कार्यप्रणाली: ChatR1 (Methodology: ChatR1)

लेखक ChatR1 प्रस्तावित करते हैं, जो एक ऐसा ढांचा (framework) है जो रीजनिंग, सर्च और जनरेशन को इंटरलीव (interleave) करते हुए पूरे कन्वर्सेशनल पाइपलाइन को एंड-टू-एंड ऑप्टिमाइज़ करने के लिए RL का उपयोग करता है।

A. इंटरेक्शन लूप और आर्किटेक्चर (Interaction Loop & Architecture)

पॉलिसी मॉडल ( $\pi_\theta$ ): Qwen2.5 (3B और 7B वेरिएंट) पर आधारित, यह मॉडल एक ट्राजेक्टरी $\tau$ $τ$ उत्पन्न करता है जिसमें शामिल हैं:
1. रीजनिंग ट्रेस (Reasoning Trace): आंतरिक विचार प्रक्रिया ( <thought> टैग के भीतर)।
2. सर्च एक्शन (Search Actions): एक बाहरी इंजन को सर्च क्वेरी जारी करना ( <search> टैग के भीतर)।
3. रिट्रीवल (Retrieval): टॉप- $N$ पैसेज प्राप्त करना।
4. अंतिम उत्तर (Final Answer): प्रतिक्रिया उत्पन्न करना ( <answer> टैग के भीतर)।
ऑप्टिमाइज़ेशन: मॉडल को प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है। इसका उद्देश्य मोड कोलैप्स को रोकने के लिए एक रेफरेंस मॉडल ( $\pi_{ref}$ ) के विरुद्ध रेगुलाइज़ करते हुए अपेक्षित रिवॉर्ड को अधिकतम करना है।
$J(\theta) = \mathbb{E}[R(\tau) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$

B. मुख्य नवाचार: इंटेंट-अवेयर रिवॉर्ड (The Core Innovation: Intent-Aware Reward)

रिवॉर्ड स्पर्सिटी समस्या को हल करने के लिए, लेखक एक कंपोजिट रिवॉर्ड फंक्शन $R(\tau)$ पेश करते हैं:
$R(\tau) = R_{answer}(y) + \alpha R_{intent}(Q)$

आंसर रिवॉर्ड ( $R_{answer}$ ): गोल्ड रेफरेंस $y^*$ के विरुद्ध जेनरेट किए गए अंतिम उत्तर $y$ की तुलना करने वाला एक मानक F1 स्कोर। यह स्पार्स (sparse) है और केवल ट्राजेक्टरी के अंत में प्रदान किया जाता है।
इंटेंट-अवेयर रिवॉर्ड ( $R_{intent}$ ): यह मुख्य योगदान है। यह मानव-एनोटेटेड कैनोनिकल क्वेरी रीराइट्स ( $q_{rw}$ $q_{r w}$ ) के विरुद्ध जेनरेट की गई सर्च क्वेरीज $Q = \{q_k\}$ $Q = {q_{k}}$ की तुलना करके टर्न-लेवल सुपरविजन प्रदान करता है।
$R_{intent}(Q) = \max_{q_k \in Q} \text{F1}(q_k, q_{rw})$
- तंत्र (Mechanism): यह संदर्भ (pronouns, ellipses) को हल करने वाली ग्राउंड-ट्रुथ रीराइट की गई क्वेरी और मॉडल की सर्च क्वेरी के बीच F1 ओवरलैप की गणना करता है।
- लाभ: यह एक सघन (dense) रिवॉर्ड सिग्नल बनाता है, जो मॉडल को अंतिम उत्तर जेनरेट करने से पहले उपयोगकर्ता के इरादे को सही ढंग से समझने के लिए निर्देशित करता है। यह रिट्रीवल त्रुटियों को क्वेरी फॉर्मूलेशन त्रुटियों से अलग करता है।

3. प्रमुख योगदान (Key Contributions)

ChatR1 फ्रेमवर्क: विशेष रूप से मल्टी-टर्न CQA के लिए डिज़ाइन किया गया पहला RL-आधारित रीजनिंग मॉडल, जो स्टैटिक पाइपलाइनों के बजाय रिट्रीवल और जनरेशन के बीच गतिशील समन्वय सक्षम करता है।
इंटेंट-अवेयर रिवॉर्ड शेपिंग: एक नवीन रिवॉर्ड मैकेनिज्म जो मध्यवर्ती सर्च क्वेरीज को विकसित होते उपयोगकर्ता के इरादे के साथ संरेखित करता है, जिससे रिवॉर्ड स्पर्सिटी काफी कम हो जाती है और संवादात्मक संदर्भों में RL ट्रेनिंग को स्थिरता मिलती है।
व्यापक मूल्यांकन: टॉपिक शिफ्ट, मिक्स्ड-इनिशिएटिव डायलॉग और मल्टी-डॉक्यूमेंट ग्राउंडिंग को कवर करने वाले पाँच विविध CQA डेटासेट्स (TopiOCQA, QReCC, INSCIT, MultiDoc2Dial, FaithDial) पर व्यापक परीक्षण।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग 5 डेटासेट्स का उपयोग करके 3B और 7B पैरामीटर मॉडल्स (Qwen2.5) पर किए गए।

प्रदर्शन लाभ (Performance Gains):
- ChatR1, F1 और BERTScore मेट्रिक्स पर SFT बेसलाइन्स और ज़ीरो-शॉट कमर्शियल मॉडल्स (ChatGPT, Claude) को काफी पीछे छोड़ देता है।
- ChatR1-3B, कई डेटासेट्स पर 7B सुपरवाइज्ड RAG बेसलाइन्स (जैसे UniConv, ChatRetriever) के प्रदर्शन के बराबर या उससे बेहतर है, बावजूद इसके कि इसने प्रतिस्पर्धियों द्वारा उपयोग किए जाने वाले 7B रिट्रीवर्स की तुलना में बहुत छोटा 300M रिट्रीवर उपयोग किया है।
- 3B से 7B तक स्केलिंग करने से निरंतर सुधार (औसत +1.4 F1 पॉइंट्स) मिलता है।
सामान्यीकरण (Generalization): ChatR1 मजबूत आउट-ऑफ-डोमेन ट्रांसफर प्रदर्शित करता है। QReCC पर प्रशिक्षित मॉडल अनदेखे डेटासेट्स (जैसे MultiDoc2Dial) पर उच्च प्रदर्शन बनाए रखते हैं, जो दर्शाता है कि यह विशिष्ट डोमेन के लिए ओवरफिट होने के बजाय सामान्यीकरण योग्य रिट्रीवल रणनीतियाँ सीखता है।
एब्लेशन स्टडीज (Ablation Studies):
- इंटेंट रिवॉर्ड ( $R_{intent}$ ) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट (औसत -2.2 F1) आती है, जो स्थिर RL लर्निंग के लिए इसकी आवश्यकता को सिद्ध करती है।
- क्वेरी-लेवल F1 रिवॉर्ड्स, पैसेज-लेवल हिट-आधारित रिवॉर्ड्स (जैसे hit@3) की तुलना में बेहतर प्रदर्शन करते हैं, क्योंकि वे कम स्पार्स हैं और रिट्रीवल इंजन के शोर (noise) से स्वतंत्र हैं।
रिट्रीवल की गुणवत्ता: ChatR1 स्वायत्त रूप से सर्च टूल का प्रभावी ढंग से उपयोग करना सीख जाता है। रिट्रीवल सटीकता (MRR) और अंतिम उत्तर की गुणवत्ता के बीच एक मजबूत सकारात्मक सहसंबंध है। मॉडल तब कई क्वेरी जारी करना सीखता है जब पहली खोज अपर्याप्त होती है।

5. महत्व और प्रभाव (Significance and Impact)

स्थिर पाइपलाइनों से परे: ChatR1 यह प्रदर्शित करता है कि RL अनुकूली व्यवहार (adaptive behaviors) सीख सकता है (जैसे, कब सर्च करना है, संदर्भ के आधार पर क्वेरी को कैसे पुनर्गठित करना है) जिसे स्टैटिक SFT पाइपलाइन आसानी से कैप्चर नहीं कर सकतीं।
दक्षता (Efficiency): यह छोटे मॉडल आकार (3B) और छोटे रिट्रीवर्स के साथ अत्याधुनिक (state-of-the-art) परिणाम प्राप्त करता है, जो यह सुझाव देता है कि बेहतर रीजनिंग रणनीतियाँ केवल पैरामीटर्स को स्केल करने की तुलना में अधिक प्रभावशाली हैं।
भविष्य की दिशा: यह कार्य एजेंटिक रीजनिंग और कन्वर्सेशनल सर्च के बीच के अंतर को पाटता है, जो ऐसे मॉडल को प्रशिक्षित करने के लिए एक ब्लूप्रिंट प्रदान करता है जो वास्तविक दुनिया के डायलॉग सिस्टम में जटिल, विकसित होती सूचना आवश्यकताओं को संभाल सकते हैं।

संक्षेप में, ChatR1 स्थापित करता है कि इंटेंट-अवेयर रिवॉर्ड शेपिंग के साथ रीइन्फोर्समेंट लर्निंग एक व्यवहार्य और श्रेष्ठ दृष्टिकोण है, जो पारंपरिक सुपरवाइज्ड तरीकों की तुलना में अधिक गतिशील रूप से तर्क करने और जानकारी को अधिक प्रभावी ढंग से रिट्रीव करने में सक्षम कन्वर्सेशनल एजेंटों को प्रशिक्षित करने में सक्षम बनाता है।