FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision
FARCA एक नीति अनुकूलन ढांचा (policy optimization framework) है जो तथ्यात्मक पर्यवेक्षण के साथ सुदृढीकरण शिक्षण (reinforcement learning) में मतिभ्रम (hallucination) को कम करता है, जो शोर वाले क्रेडिट असाइनमेंट (noisy credit assignment) को स्थानीयकरण (localization) और विश्वसनीयता संबंधी अस्पष्टताओं (reliability ambiguities) में विभाजित करके किया जाता है, जिससे सूक्ष्म, विश्वसनीयता-भारित टोकन-स्तरीय प्रशिक्षण संकेत उत्पन्न होते हैं जो सामान्य तर्क क्षमताओं से समझौता किए बिना मॉडल की तथ्यात्मकता में सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) तर्क करने के लिए शक्तिशाली उपकरण बन गए हैं, जो चरण-दर-चरण स्पष्टीकरण उत्पन्न करके जटिल समस्याओं को हल करने में सक्षम हैं। इन प्रणालियों को अक्सर 'रीइन्फोर्समेंट लर्निंग' नामक एक विधि का उपयोग करके प्रशिक्षित किया जाता है, जहाँ कंप्यूटर प्रयास और त्रुटि (ट्रायल एंड एरर) के माध्यम से सीखता है, और उसे इनाम केवल तभी मिलता है जब वह सही अंतिम उत्तर देता है। हालाँकि यह दृष्टिकोण प्रभावशाली क्षमताओं को अनलॉक कर चुका है, लेकिन इसमें एक छिपा हुआ जोखिम भी है: मॉडल काल्पनिक तथ्यों से भरी एक कहानी बुनकर सही निष्कर्ष तक पहुँच सकता है। क्योंकि प्रशिक्षण प्रणाली केवल अंतिम परिणाम की जाँच करती है, यह अनजाने में मॉडल को यह सिखा देती है कि विवरणों की रचना करना एक वैध रणनीति है, बशर्ते अंत सही हो। यह घटना, जिसे 'हैलुसिनेशन' (भ्रम) कहा जाता है, इन प्रणालियों की विश्वसनीयता को कम करती है, विशेष रूप से तब जब उनसे वास्तविक दुनिया के सटीक ज्ञान की आवश्यकता वाले प्रश्न पूछे जाते हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने पर्यवेक्षण (सुपरविजन) की एक नई परत पेश करना शुरू कर दिया है जो न केवल अंतिम उत्तर बल्कि तर्क प्रक्रिया के भीतर तथ्यों की भी जाँच करती है। हालाँकि, एक नया अध्ययन बताता है कि केवल तथ्य-जाँच (फैक्ट-चेक) जोड़ना ही पर्याप्त नहीं है। यदि सिस्टम यह सटीक रूप से निर्धारित नहीं कर पाता कि वाक्य के कौन से शब्द सत्य थे और कौन से असत्य, या यदि वह अपने द्वारा उपयोग किए जाने वाले प्रत्येक तथ्य-जांची (फैक्ट-चेकर) पर अंधविश्वास करता है, तो प्रशिक्षण वास्तव में अधिक शोर भरा और कम प्रभावी हो सकता है। शोधकर्ताओं ने पाया कि मौजूदा पद्धतियाँ अक्सर पूरे वाक्य या तर्क के एक चरण को एक एकल इकाई के रूप में मानती हैं, और उस चरण के भीतर प्रत्येक शब्द को समान श्रेय या दोष देती हैं। यह एक विसंगति पैदा करता है जहाँ एक सही तथ्य और एक काल्पनिक तथ्य एक ही रिवॉर्ड सिग्नल साझा कर सकते हैं, जिससे मॉडल भ्रमित हो जाता है। इसके अलावा, तथ्यों को सत्यापित करने के लिए उपयोग किए जाने वाले उपकरण त्रुटिहीन नहीं होते; उन्हें भाषाई चालों या अप्रासंगिक जानकारी द्वारा गुमराह किया जा सकता है, फिर भी वर्तमान प्रशिक्षण विधियाँ उनके निर्णयों को पूर्ण सत्य मानती हैं।
इन समस्याओं को हल करने के लिए, नानजिंग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और नानजिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने FARCA नामक एक नया ढांचा विकसित किया है। उनका दृष्टिकोण तथ्य-जाँच की सूक्ष्मता (ग्रैनुलैरिटी) को मॉडल के सीखने के तरीके के साथ संरेखित करने के लिए डिज़ाइन किया गया है। एक पूरे वाक्य का एक साथ निर्णय लेने के बजाय, यह प्रणाली मॉडल के तर्क को छोटे, स्वतंत्र दावों, या 'एटॉमिक फैक्ट्स' (परमाणु तथ्यों) में विभाजित करती है। इन छोटे दावों में से प्रत्येक के लिए, सिस्टम उस विशिष्ट पाठ (टेक्स्ट) तक इसकी ट्रेसिंग करता है जिसने इसे उत्पन्न किया है। यह प्रक्रिया, जिसे लेखक 'टोकन प्रोवेनेंस' कहते हैं, यह सुनिश्चित करती है कि मॉडल को केवल उन विशिष्ट शब्दों के लिए इनाम या दंड मिले जो एक सत्य या असत कथन के अनुरूप हैं। यदि एक वाक्य में एक सही तथ्य और एक गलत तथ्य है, तो सिस्टम अब सही भाग को पुरस्कृत कर सकता है और गलत भाग को दंडित कर सकता है, बजाय इसके कि दोनों को आपस में मिला दिया जाए।
शोधकर्ताओं ने अविश्वसनीय तथ्य-जांचकर्ताओं (फैक्ट-चेकर्स) की समस्या को भी संबोधित किया। उन्होंने महसूस किया कि सभी तथ्य-जाँच संकेत समान रूप से विश्वसनीय नहीं होते हैं। कुछ निर्णय स्पष्ट, पहचान योग्य साक्ष्यों पर आधारित होते हैं, जबकि अन्य मॉडल के भाषाई पैटर्न से प्रेरित अनुमान हो सकते हैं। इसे संभालने के लिए, FARCA 'काउंटरफैक्चुअल एविडेंस एट्रिब्यूशन' नामक तकनीक का उपयोग करता है। एक तथ्य-जाँच को स्वीकार करने से पहले, सिस्टम एक सरल प्रश्न पूछता है: यदि हम इस तथ्य का समर्थन करने वाले सबसे महत्वपूर्ण साक्ष्य को हटा दें, तो क्या तथ्य-जांची अपना निर्णय बदल देगी? यदि उत्तर 'हाँ' है, तो निर्णय को अत्यधिक विश्वसनीय माना जाता है। यदि तथ्य-जांची मुख्य साक्ष्य के बिना भी वही उत्तर देती है, तो सिस्टम उस निर्णय को कमजोर मानता है और प्रशिक्षण प्रक्रिया पर इसके प्रभाव को कम कर देता है। यह मॉडल को मजबूत, साक्ष्य-आधारित सुधारों से सीखने और शोर भरे या भ्रामक संकेतों को अनदेखा करने की अनुमति देता है।
टीम ने इस नई पद्धति का परीक्षण दो अलग-अलग भाषा मॉडलों पर विभिन्न चुनौतीपूर्ण डेटासेट्स का उपयोग करके किया, जिनमें गहरा ज्ञान और तर्क की आवश्यकता होती है। उन्होंने अपने परिणामों की तुलना तथ्यात्मक पर्यवेक्षण का उपयोग करने वाली कई मौजूदा पद्धतियों से की। निष्कर्षों ने दिखाया कि नए ढांचे ने जटिल समस्याओं को हल करने की क्षमता से समझौता किए बिना तथ्यों पर टिके रहने की मॉडलों की क्षमता में काफी सुधार किया। बेंचमार्क जो यह मापने के लिए डिज़ाइन किए गए हैं कि मॉडल कितनी बार मनगढ़ंत बातें बनाते हैं, उन पर नए तरीके ने सभी पिछले दृष्टिकोणों को पछाड़ दिया, जिससे हैलुसिनेशन में उल्लेखनीय कमी आई। उदाहरण के लिए, सामान्य ज्ञान में सत्यता को मापने वाले एक परीक्षण में, सुधार पर्याप्त था, जिसमें नया तरीका अगले सर्वश्रेष्ठ सिस्टम की तुलना में कई प्रतिशत अंक अधिक स्कोर प्राप्त करने में सफल रहा। महत्वपूर्ण रूप से, मॉडलों ने गणितीय तर्क कार्यों पर अपना प्रदर्शन बनाए रखा या उसमें सुधार भी किया, जिससे यह सिद्ध हुआ कि प्रशिक्षण को अधिक तथ्य-केंद्रित बनाने से मॉडल तर्क करने में कमजोर नहीं हुए।
अध्ययन सुझाव देता है कि विश्वसनीय AI को प्रशिक्षित करने की कुंजी सटीकता और संदेहवाद में निहित है। यह सुनिश्चित करके कि तथ्य वाक्य में कहाँ स्थित है और हर तथ्य-जाँच के पीछे के साक्ष्य की मजबूती पर सवाल उठाकर, शोधकर्ताओं ने एक ऐसा प्रशिक्षण वातावरण बनाया है जो अधिक सटीक और अधिक सुदृढ़ (रोबस्ट) है। उनका कार्य प्रदर्शित करता है कि बेहतर आर्टिफिशियल इंटेलिजेंस का मार्ग केवल अधिक तथ्यों की जाँच करने के बारे में नहीं है, बल्कि उन्हें इस तरह से जाँचने के बारे में है जो भाषा की जटिलता और सत्यापन उपकरणों की सीमाओं का सम्मान करता है। यह दृष्टिकोण इन शक्तिशाली प्रणालियों को निर्देशित करने का एक स्पष्ट और अधिक स्थिर तरीका प्रदान करता है, यह सुनिश्चित करता है कि जब वे तर्क करें, तो वे सत्य की नींव पर आधारित हों, न कि केवल विश्वसनीय लगने वाले झूठों के संग्रह पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।