OCC-RAG: Optimal Cognitive Core for Faithful Question Answering
यह शोध पत्र OCC-RAG को प्रस्तुत करता है, जो कार्य-विशिष्ट छोटे भाषा मॉडलों का एक परिवार है, जिन्हें एक नए मल्टी-हॉप रीजनिंग डेटासेट पर प्रशिक्षित किया गया है जो निष्ठावान, संदर्भ-आधारित प्रश्न उत्तर देने में अपने आकार के 2-6 गुना बड़े सामान्य-उद्देश्य वाले मॉडलों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने के लिए एक जासूस को काम पर रख रहे हैं। आपके पास दो प्रकार के जासूस हैं:
"एनसाइक्लोपीडिया" जासूस: इस जासूस ने दुनिया की हर किताब पढ़ रखी है। उन्हें बहुत कुछ पता है, लेकिन कभी-कभी वे उस चीज़ पर इतना विश्वास करने लगते हैं जिसे वे जानते हैं कि वे उन विशिष्ट सुरागों को अनदेखा कर देते हैं जो आपने अभी उन्हें दिए हैं। यदि आप उनसे कहते हैं, "बटलर (बड़ा नौकर) दोषी है," लेकिन उन्हें याद आता है कि उन्होंने एक उपन्यास में पढ़ा था कि "माली दोषी है," तो वे आपसे बहस कर सकते हैं और कह सकते हैं, "नहीं, यह माली है!" क्योंकि उनके दिमाग में वही है।
"OCC-RAG" जासूस: इनके पास एक छोटा पुस्तकालय है, लेकिन इन्हें एक स्वर्णि नियम के साथ प्रशिक्षित किया गया है: "अभी मेज पर रखे सुरागों को ही देखो।" यदि मेज पर रखे सुराग कहते हैं कि बटलर दोषी है, तो वे कहेंगे कि बटलर दोषी है—भले ही उनकी याददाश्त इसके विपरीत चिल्ला रही हो। यदि सुराग गायब हैं, तो वे ईमानदारी से कहेंगे, "मैं इसे अभी हल नहीं कर सकता," बजाय इसके कि वे कोई अंदाज़ा लगाएं।
यह पेपर OCC-RAG का परिचय देता है, जो इन "आज्ञाकारी सुराग-अनुयायी" (Obedient Clue-Following) जासूसों का एक परिवार है। वे छोटे, कुशल हैं और विशेष रूप से इस बात के लिए प्रशिक्षित हैं कि वे आपके द्वारा दी गई जानकारी के प्रति निष्ठावान (faithful) रहें, न कि अपने पढ़े हुए ज्ञान पर निर्भर रहें।
समस्या: जब "स्मार्टनेस" रास्ते में आ जाती है
बड़े AI मॉडल (जैसे एनसाइक्लोपीडिया जासूस) अद्भुत हैं, लेकिन उनमें एक दोष है जिसे 'हैलुसिनेशन' (Hallucination) कहा जाता है। जब आप उनसे किसी विशिष्ट पाठ के आधार पर कोई प्रश्न पूछते हैं, तो वे अक्सर उन तथ्यों को मिला देते हैं जो उन्होंने अपने विशाल प्रशिक्षण के दौरान सीखे थे।
- पेपर का उदाहरण: कल्पना करें कि आप एक मॉडल को एक टेक्स्ट देते हैं जिसमें लिखा है, "चार्ल्स डी गॉल पहले अमेरिकी राष्ट्रपति थे।" (यह गलत है)।
- एक विशाल, स्मार्ट मॉडल आपके टेक्स्ट को अनदेखा कर सकता है और कह सकता है, "जॉर्ज वाशिंगटन," क्योंकि वास्तविक दुनिया में यही सच है।
- एक छोटा, अप्रशिक्षित मॉडल बस एक रैंडम नाम जैसे "डोनाल्ड ट्रंप" बना सकता है।
- OCC-RAG आपके इस फर्जी टेक्स्ट को देखता है और कहता है, "चार्ल्स डी गॉल," क्योंकि वह सख्ती से आपके द्वारा दिए गए दस्तावेज़ का पालन कर रहा है। जब दोनों के बीच टकराव होता है, तो यह 'सत्यता' (Truthfulness - वास्तविक दुनिया के तथ्यों पर टिके रहना) के बजाय 'निष्ठा' (Faithfulness - स्रोत पर टिके रहना) को प्राथमिकता देता है।
उन्होंने एक आदर्श जासूस कैसे बनाया
टीम ने केवल एक बड़े मॉडल को छोटा नहीं किया; उन्होंने इन छोटे मॉडलों को एक जासूस की तरह सोचना सिखाने के लिए एक नया ट्रेनिंग पाइपलाइन बनाया।
1. "नकली केस" फैक्ट्री (सिंथेटिक डेटा)
इन मॉडलों को प्रशिक्षित करने के लिए, शोधकर्ताओं ने एक फैक्ट्री बनाई जिसने 3.25 मिलियन अभ्यास मामले तैयार किए।
- सेटअप: उन्होंने वास्तविक विकिपीडिया लेख लिए, उन्हें टुकड़ों में बांटा, और "गोल्ड" सुराग (सत्य) और "डिस्ट्रैक्टर" सुराग (भटकाने वाले संकेत) बनाए।
- ट्विस्ट: उन्होंने कुछ मामले ऐसे भी बनाए जिन्हें हल करना असंभव था। यदि सुरागों में उत्तर नहीं होता, तो मॉडल को "पर्याप्त जानकारी नहीं है" कहना होता था।
- परिणाम: मॉडलों ने शोर (noise) को अनदेखा करना, आवश्यक विशिष्ट सुरागों को खोजना, और कब रुकना है और यह स्वीकार करना है कि वे नहीं जानते, यह सीख लिया।
2. "स्टेप-बायट-स्टेप" नोटबुक (संरचित तर्क)
केवल उत्तर देने के बजाय, OCC-RAG को एक विशिष्ट प्रारूप में अपनी विचार प्रक्रिया लिखने के लिए मजबूर किया जाता है, जैसे कि एक जासूस की नोटबुक:
- क्वेरी विश्लेषण (Query Analysis): "प्रश्न क्या पूछ रहा है?"
- स्रोत विश्लेषण (Source Analysis): "किस पैराग्राफ में उत्तर है?"
- तर्क (Reasoning): "मैं बिंदुओं को कैसे जोड़ रहा हूँ।"
- स्थिति (Status): "क्या यह हल करने योग्य है? हाँ या नहीं?"
- उत्तर (Answer): अंतिम निष्कर्ष।
यह मॉडल को अपना काम दिखाने के लिए मजबूर करता है, जिससे वह सटीक वाक्य का उल्लेख करता है जिसका उसने उपयोग किया है, ताकि आप सत्यापित कर सकें कि उसने केवल अनुमान नहीं लगाया है।
परिणाम: छोटे लेकिन शक्तिशाली
इन छोटे मॉडलों (0.6 बिलियन और 1.7 बिलियन पैरामीटर्स) का परीक्षण बहुत बड़े मॉडलों (32 बिलियन तक) के विरुद्ध किया गया।
- दौड़: कल्पना करें कि एक दौड़ है जहाँ छोटे मॉडल साइकिल पर दौड़ रहे हैं, और बड़े मॉडल फरारी में हैं।
- परिणाम: उन कार्यों पर जिनमें सख्त ध्यान (strict attention) की आवश्यकता होती है (जैसे मल्टी-हॉप रीजनिंग, जहाँ आपको अलग-अलग पैराग्राफ से सुराग जोड़ने पड़ते हैं), OCC-RAG की साइकिल ने फरारी को हरा दिया।
- विशिष्ट जीत:
- वे निष्ठा (Faithfulness) में बेहतर थे: वे अपने प्रशिक्षण के विपरीत होने पर भी टेक्स्ट पर टिके रहे।
- वे अस्वीकार करने (Refusal) में बेहतर थे: वे मनगढ़ंत बातें बनाने के बजाय "मुझे नहीं पता" कहना जानते थे।
- वे चलाने में बहुत तेज़ और सस्ते थे क्योंकि वे बहुत छोटे हैं।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि उन कार्यों के लिए जहाँ सटीकता और साक्ष्य (evidence) सामान्य ज्ञान से अधिक महत्वपूर्ण होते हैं, आपको एक विशाल, महंगे मस्तिष्क की आवश्यकता नहीं है। आपको एक विशेष, अनुशासित मस्तिष्क की आवश्यकता है।
एक छोटे मॉडल को टेक्स्ट के "निष्ठावान अनुयायी" के रूप में प्रशिक्षित करके, न कि एक "सब कुछ जानने वाले" के रूप में, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो है:
- विश्वसनीय: यह आपको झूठ नहीं बोलेगा कि दस्तावेज़ क्या कहता है।
- पारदर्शी: यह आपको ठीक से दिखाएगा कि इसने उत्तर कहाँ से पाया।
- कुशल: यह एक विशाल मॉडल के काम को बहुत कम शक्ति का उपयोग करके करता है।
संक्षेप में, OCC-RAG यह सिद्ध करता है कि कभी-कभी बड़ा और मतलबी होने के बजाय छोटा और आज्ञाकारी होना बेहतर होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।