SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution
यह शोध पत्र SEVA को प्रस्तुत करता है, जो एक स्व-विकसित सत्यापन एजेंट (self-evolving verification agent) है, जो एक संरचित, बहु-घटक आउटपुट सिस्टम को प्रशिक्षित करने के लिए प्रोसेस रिवॉर्ड मैकेनिज्म का उपयोग करके अपारदर्शी बाइनरी फैक्ट-चेकिंग की सीमाओं को दूर करता है, जिससे निरंतर स्व-सुधार संभव होता है जो ऑडिट योग्य तर्क और GPT-4o-mini के तुलनीय प्रदर्शन वाले बेंचमार्क-विशेषज्ञ मॉडल प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट लेकिन कभी-कभी अति-आत्मविश्वासी रोबोट सहायक (एक AI एजेंट) है जो आपके लिए रिपोर्ट लिखता है। कभी-कभी, यह रोबोट मनगढ़ंत बातें बनाता है या तथ्यों को गलत बताता है। इसे ईमानदार रखने के लिए, आप इसके काम की समीक्षा करने के लिए एक "फैक्ट चेकर" (तथ्य जाँचकर्ता) रोबोट को काम पर रखते हैं।
लंबे समय तक, ये फैक्ट चेकर सख्त शिक्षकों की तरह थे जो केवल एक लाल "X" या हरा "चेक" मार्क देते थे। यदि रिपोर्ट में कोई गलती होती थी, तो शिक्षक केवल "गलत" कहता और आगे बढ़ जाता। लिखने वाले रोबोट को यह पता नहीं चलता था कि क्या गलत था (क्या तारीख गलत थी? क्या हमने नाम बदल दिए? क्या हमने कोई संख्या मनगढ़ंत बनाई?) , इसलिए वह खुद को सुधारने के लिए सीख नहीं पाता था। और यदि कोई मानव बॉस शिक्षक का ऑडिट करना चाहता, तो वे तर्क के पीछे के कारण को नहीं देख पाते कि "X" क्यों दिया गया।
प्रवेश: SEVA: द "सेल्फ-इवॉल्विंग" फैक्ट चेकर
लेखकों ने एक नया प्रकार का फैक्ट चेकर बनाया जिसे SEVA कहा जाता है। केवल पास/फेल ग्रेड देने के बजाय, SEVA एक विस्तृत संपादक (एडिटर) की तरह काम करता है। जब इसे कोई गलती मिलती है, तो यह:
- उस सटीक टेक्स्ट को हाइलाइट करता है जहाँ दावा स्रोत दस्तावेज़ से मेल खाता है (या टकराता है)।
- अपने तर्क का चरण-दर-चरण स्पष्टीकरण लिखता है।
- विशिष्ट त्रुटि प्रकार का निदान करता है (जैसे, "आपने संख्याओं को बढ़ा-चढ़ाकर बताया" या "आपने गलत व्यक्ति का नाम बदल दिया")।
- सुधार का सुझाव देता है।
यह प्रक्रिया पारदर्शी बनाती है और लिखने वाले रोबोट को सुधारने के लिए एक स्पष्ट मार्ग देती है।
बड़ी समस्या: "सब-कुछ-या-कुछ-भी-नहीं" का जाल (The "All-or-Nothing" Trap)
शोधकर्ताओं ने SEVA को 'रीइन्फोर्समेंट लर्निंग' (RL) नामक पद्धति का उपयोग करके बेहतर बनाने की कोशिश की, जो कि एक कुत्ते को इनाम देकर प्रशिक्षित करने जैसा है। आमतौर पर, यदि कुत्ता बैठता है, तो आप उसे ट्रीट (इनाम) देते हैं, और यदि नहीं, तो कोई ट्रीट नहीं देते।
हालाँकि, SEVA का आउटपुट जटिल है। इसे एक साथ पाँच चीजें करनी होती हैं: JSON कोड को सही ढंग से फॉर्मेट करना, टेक्स्ट को अलाइन करना, तर्क लिखना, तर्क का अंतिम लेबल सही प्राप्त करना और त्रुटि का निदान करना।
शोधकर्ताओं ने पाया कि एक साधारण "पास/फेल" रिवॉर्ड सिस्टम का उपयोग करने से प्रशिक्षण टूट गया। यहाँ इसका उदाहरण है:
- कल्पना कीजिए कि एक छात्र एक बेहतरीन निबंध लिखता है जिसमें शानदार तर्क है लेकिन अंतिम उत्तर गलत हो जाता है।
- कल्पना कीजिए कि एक अन्य छात्र बड़बड़ाता है लेकिन अंतिम उत्तर सही अनुमान लगा लेता है।
- पुराने सिस्टम के तहत, दोनों को 0 (या 1) का स्कोर मिलता है। शिक्षक के बीच अंतर करने का कोई तरीका नहीं है।
- क्योंकि लगभग हर प्रयास को "0" स्कोर मिलता है, प्रशिक्षण एल्गोरिदम भ्रमित हो जाता है। यह एक पहाड़ चढ़ने की कोशिश करने जैसा है जहाँ ज़मीन पूरी तरह से समतल है; वहाँ कोई ढलान नहीं है जो पर्वतारोही का मार्गदर्शन कर सके। सीखने की प्रक्रिया वहीं रुक जाती है।
समाधान: "प्रोसेस रिवॉर्ड" (The "Process Reward")
इसे ठीक करने के लिए, लेखकों ने एक प्रोसेस रिवॉर्ड का आविष्कार किया। पूरे निबंध का एक साथ न्याय करने के बजाय, वे निबंध के प्रत्येक भाग को अलग से ग्रेड देते हैं और अंक जोड़ते हैं।
- क्या आपने इसे सही ढंग से फॉर्मेट किया? (+अंक)
- क्या आपने साक्ष्य (evidence) ढूँढा? (+अंक)
- क्या आपका तर्क तार्किक है? (+अंक)
- क्या आपको अंतिम लेबल सही मिला? (+अंक)
भले ही अंतिम लेबल गलत हो, रोबोट को अन्य कार्यों को अच्छी तरह से करने के लिए अंक मिलते हैं। यह प्रक्रिया को फिर से एक "ढलान वाले पहाड़" में बदल देता है। रोबमान देख सकता है कि वह फॉर्मेटिंग या तर्क में थोड़ा बेहतर हो रहा है, भले ही उसने अभी तक अंतिम उत्तर में महारत हासिल न की हो। यह प्रशिक्षण को सुचारू रूप से जारी रखने की अनुमति देता है।
परिणाम: रोबोट ने अपने उत्तरों को पूरी तरह से फॉर्मेट करना सीखा (100% सफलता) और साक्ष्य खोजने में बहुत बेहतर हो गया, और अंततः एक बहुत बड़े, अधिक महंगे AI मॉडल (GPT-4o-mini) की सटीकता से मेल खाते हुए वह सारा अतिरिक्त विवरण प्रदान करने में सक्षम हुआ।
आश्चर्य: "स्पेशलिस्ट" प्रभाव (The "Specialist" Effect)
शोधकर्ताओं ने फिर एक "सेल्फ-इवॉल्विंग लूप" स्थापित किया। रोबोट अपने स्वयं के काम की जांच करेगा, अपनी कमजोरियों को पहचानेगा, विशेष रूप से उन कमजोरियों के लिए नए अभ्यास प्रश्न उत्पन्न करेगा, और खुद को फिर से प्रशिक्षित करेगा। उन्हें उम्मीद थी कि रोबोट समय के साथ हर चीज़ में बेहतर होगा।
आश्चर्य: एक सामान्य विशेषज्ञ बनने के बजाय, रोबोट एक विशेषज्ञ (specialist) बन गया।
- यह एक विशिष्ट प्रकार के टेस्ट (HaluEval) में मतिभ्रम (hallucinations) को पकड़ने में बहुत बेहतर हो गया।
- लेकिन यह दूसरे प्रकार के टेस्ट (TruthfulQA) में उन्हें पकड़ने में बदतर हो गया।
इसे एक बास्केटबॉल खिलाड़ी की तरह समझें जो केवल फ्री थ्रो का अभ्यास करता है। वे फ्री थ्रो में अद्भुत हो जाते हैं, लेकिन उनका डिफेंस और पासिंग वास्तव में खराब हो सकती है क्योंकि वे उन कौशलों का अभ्यास नहीं कर रहे हैं। रोबोट सामान्य अर्थों में "स्मार्टर" नहीं हो रहा था; वह उन विशिष्ट प्रकार की गलतियों के लिए हाइपर-ट्यून हो रहा था जिनका उसे अभ्यास करने के लिए मजबूर किया जा रहा था।
मुख्य निष्कर्ष
यह शोध पत्र स्मार्ट AI सिस्टम बनाने के लिए एक सरल नियम के साथ समाप्त होता है: यदि आप किसी AI को एक जटिल, बहु-चरणीय कार्य करने के लिए कहते हैं, तो आपको उसे केवल अंतिम परिणाम के लिए नहीं, बल्कि हर चरण के लिए पुरस्कृत करना चाहिए।
यदि आप केवल अंतिम "हाँ/नहीं" उत्तर की परवाह करते हैं, तो AI बीच के कठिन काम को करना छोड़ देगा। प्रक्रिया को पुरस्कृत करके, आपको एक ऐसा रोबोट मिलता है जो न केवल सटीक है, बल्कि ईमानदार, व्याख्यात्मक और अपनी गलतियों को सुधारने में सक्षम भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।