GRACE: Step-Level Benchmark for Faithful Reasoning over Context
यह शोध पत्र GRACE को प्रस्तुत करता है, जो संदर्भ-आधारित तर्क (context-grounded reasoning) में निष्ठा (faithfulness) के मूल्यांकन के लिए एक डेटा-संचालित त्रुटि वर्गीकरण (error taxonomy) के साथ पहला मानव-एनोटेटेड स्टेप-लेवल बेंचमार्क है, जो यह प्रदर्शित करता है कि सुदृढीकरण लर्निंग (reinforcement learning) में स्टेप-लेवल निष्ठा संकेतों को एकीकृत करने से मॉडल की सटीकता और विश्वसनीयता दोनों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के निबंध को ग्रेड दे रहे हैं। छात्र का अंतिम उत्तर सही है, लेकिन यदि आप उनके काम को ध्यान से देखें, तो आप देखते हैं कि उन्होंने एक अलग किताब से एक तथ्य कॉपी किया है, एक संख्या मनगढ़ंत बनाई है, या किसी तर्क के नियम को घुमा दिया है ताकि वे वहां तक पहुँच सकें।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह एक आम समस्या है। AI मॉडल अक्सर सही उत्तर देते हैं, लेकिन उनकी "सोचने की प्रक्रिया" (जिसे Chain-of-Thought कहा जाता है) छिपी हुई गलतियों, झूठ या अनुमानों से भरी होती है जो उन्हें दिए गए स्रोत सामग्री से मेल नहीं खाती। अब तक, हमने मुख्य रूप से केवल अंतिम उत्तर की जाँच की है, जैसे एक शिक्षक जो केवल पृष्ठ के शीर्ष पर दिए गए ग्रेड को देखता है और नीचे किए गए बिखरे हुए काम को अनदेखा कर देता है।
GRACE से मिलिए: "चरण-दर-चरण" जासूस
यह पेपर GRACE (Grounded Reasoning Assessment through Chain-of-Thought Evaluation) पेश करता है। GRACE को एक नए, अत्यंत सख्त ग्रेडिंग सिस्टम के रूप में सोचें जो केवल अंतिम उत्तर नहीं देखता; यह AI के तर्क के हर एक चरण की जांच करता है कि क्या वह स्रोत दस्तावेजों के प्रति सच्चा रहा है।
यहाँ बताया गया है कि यह पेपर सरल उपमाओं का उपयोग करके इसे कैसे समझाता है:
1. समस्या: AI का "जादू का खेल"
जब एक AI कठिन प्रश्न हल करता है, तो वह चरणों की एक सूची लिखता है। कभी-कभी, यह एक आदर्श, तार्किक श्रृंखला की तरह दिखता है। लेकिन पेपर ने पाया कि AI मॉडल अक्सर एक "जादू का खेल" दिखाते हैं:
- भ्रम (The Illusion): वे पाठ से एक तथ्य तो निकाल सकते हैं, लेकिन फिर उसे एक ऐसे निष्कर्ष में फिट करने के लिए मोड़ देते हैं जो वास्तव में समर्थित नहीं है।
- बेईमानी (The Cheat): वे अपने स्वयं के "याद किए गए" ज्ञान (जैसे कि वे तथ्य जो उन्होंने प्रशिक्षण के दौरान सीखे हैं) का उपयोग कर सकते हैं, बजाय उस विशिष्ट दस्तावेज़ के जिसे उन्हें पढ़ना था।
- परिणाम: वे सही उत्तर प्राप्त करते हैं, लेकिन गलत कारणों से। यह एक छात्र के अनुमान लगाने जैसा है जिसने गणित की परीक्षा में सही उत्तर इसलिए दिया क्योंकि उसने उत्तर कुंजी देख ली थी, भले ही उसका गणित गलत था।
2. समाधान: एक नया "रिपोर्ट कार्ड"
लेखकों ने एक विशाल डेटासेट (एक बेंचमार्क) बनाया जिसे GRACE कहा जाता है। उन्होंने 10 अलग-अलग AI मॉडलों को लिया और उन्हें 4 अलग-अलग प्रकार के परीक्षणों (जैसे तर्क पहेलियाँ और पठन बोध) से प्रश्न हल करने के लिए कहा।
फिर, उन्होंने विशेषज्ञ संपादकों की एक टीम की तरह काम किया। वे AI द्वारा लिखे गए प्रत्येक वाक्य के माध्यम से गए और पूछा:
- "क्या आपने वास्तव में यह पाठ में कहा था?"
- "क्या यह एक तार्किक चरण है, या आपने बस एक निष्कर्ष पर छलांग लगा दी?"
उन्होंने पाया कि इन "सही" उत्तरों में से लगभग आधे चरण वास्तव में अविश्वसनीय (झूठ बोलने वाले या अनुमान लगाने वाले) थे। यह साबित करता है कि अंतिम उत्तर की जाँच करना पर्याप्त नहीं है; हमें चरणों की जाँच करने की आवश्यकता है।
3. गलतियों के दो "ट्रैक"
पेपर ने पाया कि AI दो अलग-अलग प्रकार की गलतियाँ करता है, जैसे कि एक कार में दो अलग-अलग प्रकार के इंजन फेलियर होते हैं:
ट्रैक 1: "तर्क की गड़बड़ी" (GRACE-Inference)
- उपमा: कल्पना कीजिए कि एक वकील जो कानून को समझता है लेकिन तर्क को उल्टा पेश करता है।
- क्या होता है: AI नियमों को समझता है लेकिन उन्हें मोड़ देता है। यह कह सकता है, "यदि A के कारण B होता है, तो B के कारण A होना चाहिए" (उल्टा तर्क), या यह किसी विशिष्ट नियम को अनदेखा कर सकता है जिसका उल्लेख पाठ में किया गया था।
- कहाँ होता है: ज्यादातर तर्क पहेलियों और परीक्षा के प्रश्नों में।
ट्रैक 2: "तथ्य की गड़बड़ी" (GRACE-Grounding)
- उपमा: कल्पना कीजिए कि एक टूर गाइड एक इमारत की ओर इशारा करता है और कहता है, "यह एफिल टॉवर है," जबकि वास्तव में वह स्टैच्यू ऑफ लिबर्टी है।
- क्या होता है: AI तथ्य मनगढ़ंत बनाता है, पाठ की बातों का खंडन करता है, या नामों को मिला देता है (उदाहरण के लिए, कहना कि "जॉन" ने कुछ किया जबकि पाठ में "जेन" लिखा था)।
- कहाँ होता है: ज्यादातर पठन बोध (reading comprehension) में जहाँ आपको लंबे दस्तावेजों में विशिष्ट तथ्य खोजने होते हैं।
4. AI के लिए "ट्रेनिंग जिम"
पेपर ने केवल एक टेस्ट ही नहीं बनाया; उन्होंने इसका उपयोग AI को प्रशिक्षित करने के लिए किया।
- प्रयोग: उन्होंने छोटे AI मॉडलों को GRACE "रिपोर्ट कार्ड" का उपयोग करके सिखाया। केवल AI को यह बताने के बजाय कि "आपका उत्तर सही है," उन्होंने कहा, "आपका उत्तर सही है, लेकिन चरण 3 एक झूठ था। ऐसा न करें।"
- परिणाम: ये छोटे मॉडल बहुत बेहतर हो गए। वे कम झूठ बोलने लगे और तर्क की गलतियाँ भी कम करने लगे।
- सुदृढीकरण सीखना (Reinforcement Learning): उन्होंने एक विधि भी आजमाई जिसे "Reinforcement Learning" कहा जाता है, जहाँ AI को केवल सही उत्तर के लिए ही नहीं, बल्कि अपने चरणों में ईमानदार होने के लिए भी "पुरस्कार" मिलता है। इसने AI को अधिक स्मार्ट और अधिक भरोसेमंद बना दिया।
5. मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि वर्तमान AI मॉडलों में सुधार की बहुत गुंजाइश है। यहाँ तक कि सबसे उन्नत मॉडल भी अभी भी अपने तर्क के चरणों के भीतर "हैलुसिनेट" (मनगढ़ंत बातें बनाना) कर रहे हैं, भले ही उन्हें अंतिम उत्तर पता हो।
GRACE का उपयोग करके, हम:
- पता लगा सकते हैं कि AI कहाँ झूठ बोल रहा है या तर्क की गलती कर रहा है।
- वर्गीकृत कर सकते हैं (क्या यह तर्क का मोड़ है या मनगढ़ंत तथ्य?)।
- AI को प्रशिक्षित कर सकते हैं ताकि वे अधिक ईमानदार बनें, यह सुनिश्चित करते हुए कि जब वे कोई उत्तर देते हैं, तो जिस पथ का उन्होंने अनुसरण किया है वह वास्तव में साक्ष्यों द्वारा समर्थित हो।
संक्षेप में, GRACE AI को "दिखावा करने" से रोकने और उन्हें चरण-दर-चरण सही ढंग से तर्क करने का कठिन कार्य करने के लिए मजबूर करने का एक उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।