Measuring AI Reasoning: A Guide for Researchers
यह शोध पत्र तर्क देता है कि एआई (AI) तर्क के मूल्यांकन को केवल अंतिम-उत्तर की सटीकता पर निर्भर रहने के बजाय एक प्रक्रिया-आधारित दृष्टिकोण की ओर स्थानांतरित होना चाहिए जो मध्यवर्ती तर्क प्रक्षेप पथों (reasoning traces) की निष्ठा और वैधता का आकलन करता है, क्योंकि अनुकूलनशील, बहु-चरणीय खोज (multi-step search), एकल फॉरवर्ड पास से संरचनात्मक रूप से भिन्न है और मॉडल के व्यवहार के निदान के लिए आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: केवल उत्तर को ग्रेड न दें
कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। वर्षों से, शिक्षक यह तय करने के लिए कि छात्र बुद्धिमान है या नहीं, केवल बॉक्स में लिखे अंतिम नंबर को देखते आए हैं। यदि उत्तर "42" है, तो छात्र को 'A' ग्रेड मिलता है। यदि यह "43" है, तो उसे 'F' मिलता है।
यह पेपर तर्क देता है कि "तर्क करने" (reasoning) को मापने का यह एक बहुत ही खराब तरीका है।
क्यों? क्योंकि एक छात्र तीन बहुत अलग कारणों से "42" तक पहुँच सकता है:
- याद करना (Memorization): उसने पिछले हफ्ते एक प्रैक्टिस शीट पर यही सटीक सवाल देखा था और बस उत्तर याद कर लिया।
- अंदाजा लगाना/पैटर्न मिलाना (Guessing/Pattern Matching): उसने गौर किया कि जब भी प्रश्न में "सेब" शब्द आता है, तो उत्तर आमतौर पर "42" होता है, इसलिए उसने अंदाज़ा लगा लिया।
- वास्तविक तर्क (Actual Reasoning): उसने वास्तव में गणित किया, स्टेप-दर-स्टेप, ताकि वह उत्तर तक पहुँच सके।
यदि आप केवल अंतिम उत्तर देखते हैं, तो आप उस जीनियस और उस नकलची के बीच अंतर नहीं कर सकते जिसने काम किया है और जिसने चाबी (key) याद कर ली है। लेखक कहते हैं कि हमें केवल अंतिम बॉक्स को ग्रेड देना बंद करना चाहिए और रफ कार्य (scratchpad) पर दिखाए गए काम को ग्रेड देना शुरू करना चाहिए।
"समझदारी" के तीन स्तर
यह पेपर बताता है कि AI (और इंसान) समस्याओं को कैसे हल करते हैं। इसे गंतव्य तक पहुँचने के विभिन्न तरीकों के रूप में देखें:
1. याद करना (मेमोरी का "फ्लैशकार्ड" तरीका)
- यह क्या है: AI एक ऐसा प्रश्न देखता है जिसे उसने पहले देखा है और अपने मेमोरी में स्टोर किए गए उत्तर को बाहर निकाल देता है।
- उपमा: यह एक तोते की तरह है जो टीवी पर सुनी हुई बात दोहराता है। वह अर्थ नहीं समझता; वह बस जानता है कि जब आप कहते हैं "फ्रांस की राजधानी क्या है?", तो उसे कहना चाहिए "पेरिस"।
- समस्या: यदि आप तोते से सवाल उल्टा पूछें ("पेरिस किस देश की राजधानी है?"), तो वह भ्रमित हो सकता है। वह सोच नहीं रहा है; वह बस एक फाइल को रिकॉल कर रहा है।
2. बोध/समझ (गट फीलिंग का "अंतर्ज्ञान" तरीका)
- यह क्या है: AI उन पैटर्न्स के आधार पर बिंदुओं को जोड़ता है जिन्हें उसने लाखों बार देखा है। वह स्टेप-दर-स्टेप गणना नहीं करता, बल्कि "कॉमन सेंस" वाले जुड़ाव का उपयोग करके सही उत्तर तक पहुँच जाता है।
- उपमा: कल्पना कीजिए कि आपको धुएं की गंध आती है और आप तुरंत सोचते हैं "आग"। आपने दहन (combustion) का वैज्ञानिक विश्लेषण नहीं किया; आपके दिमाग ने बस एक पैटर्न को पहचान लिया। AI शब्दों के साथ ऐसा ही करता है। वह "लोग" देखता है और "भीड़" देखता है और जानता है कि वे साथ चलते हैं।
- समस्या: यह आसान सवालों के लिए काम करता है, लेकिन यह तब विफल हो जाता है जब समस्या के लिए लंबे, जटिल तर्क की आवश्यकता होती है जिसे AI ने पहले नहीं देखा है।
3. तर्क (डिटेक्टिव/जासूस का तरीका)
- यह क्या है: यह वह है जिसे यह पेपर वास्तव में मापने के लिए कहता है। यह एक खोज प्रक्रिया (search process) है। AI को एक कदम उठाना होगा, जांचना होगा कि क्या वह सही है, दूसरा कदम उठाना होगा, शायद पीछे हटना होगा, और समाधान खोजने के लिए चलते रहना होगा।
- उपमा: यह एक जासूस की तरह है जो रहस्य सुलझा रहा है। वह केवल हत्यारे का अंदाजा नहीं लगा सकता। उसे सबूत देखने होंगे, हथियार की जांच करनी होगी, गवाह का इंटरव्यू लेना होगा और यह महसूस करना होगा कि एक सुराग फिट नहीं बैठ रहा है, इसलिए उसे वापस जाकर दूसरा रास्ता आजमाना होगा। वह जो रास्ता लेता है वह उन सुरागों पर निर्भर करता है जो उसे रास्ते में मिलते हैं।
- मुख्य बात: पेपर का तर्क है कि वास्तविक तर्क अनुकूलनशील (adaptive) होता है। आपको यह नहीं पता होता कि कितने कदम लगेंगे जब तक कि आप शुरू नहीं कर देते। कुछ पहेलियों में 3 कदम लगते हैं; कुछ में 30।
"ब्लैक बॉक्स" की समस्या
लेखक एक बड़ी तकनीकी बाधा की ओर इशारा करते हैं। आधुनिक AI मॉडल ब्लैक बॉक्स की तरह हैं जो एक ही बड़ी छलांग (एक "सिंगल फॉरवर्ड पास") में समस्या को हल करने की कोशिश करते हैं।
- सीमा: कल्पना कीजिए कि एक भूलभुलैया (maze) को शुरू से अंत तक एक बड़ी छलांग लगाकर पार करने की कोशिश करना। यदि भूलभुलैया चलते समय बदलती है, तो आप ऐसा नहीं कर सकते।
- वास्तविकता: वर्तमान AI आर्किटेक्चर तेज़ और समानांतर (एक साथ कई चीजें करना) होने के लिए बने हैं। वे जटिल तर्क के लिए आवश्यक "रुककर सोचने" के काम में संघर्ष करते क्योंकि वे बिना आगे देखे यह तय नहीं कर पाते कि कब रुकना है या अगला कदम कौन सा लेना है।
समाधान: बाहरी ट्रेस (Externalized Traces)
इसे ठीक करने के लिए, पेपर सुझाव देता है कि हम AI को सोचते समय ज़ोर से बोलने के लिए मजबूर करें। इसे "रीजनिंग ट्रेस को एक्सटर्नलाइज़ करना" (जिसे अक्सर "चेन ऑफ थॉट" कहा जाता है) कहा जाता है।
- उपमा: इसके बजाय कि AI केवल शिक्षक को उत्तर फुसफुसाए, हम उसे एक व्हाइटबोर्ड देते हैं। उसे हर कदम लिखना होगा: "पहले मैं यह करूँगा... ओह रुकिए, यह गलत है, मुझे यह आज़माना चाहिए..."
- यह कैसे मदद करता है: अब, शोधकर्ता व्हाइटबोर्ड को देख सकते हैं। वे देख सकते हैं कि क्या AI ने वास्तव में जासूसी वाला काम किया है, या उसने केवल स्मार्ट दिखने के लिए एक फर्जी कहानी लिखी है।
ग्रेडिंग के दो नए नियम
पेपर का प्रस्ताव है कि यदि हम "व्हाइटबोर्ड" (रीजनिंग ट्रेस) को देख रहे हैं, तो हमें इसे केवल इस आधार पर नहीं, बल्कि दो विशिष्ट चीजों पर ग्रेड करना होगा कि उत्तर सही है या नहीं।
1. निष्ठा/विश्वसनीयता (Faithfulness - क्या यह सच बोल रहा है?)
- मुद्दा: कभी-कभी एक AI व्हाइटबोर्ड पर एक सुंदर, तार्किक कहानी लिखता है, लेकिन वास्तव में उसने पहले उत्तर का अनुमान लगा लिया था और फिर उसके अनुरूप कहानी बना ली।
- परीक्षण: यदि आप कहानी में एक कदम बदलते हैं (जैसे, "अगर संख्या 3 के बजाय 5 होती तो क्या होता?"), तो क्या अंतिम उत्तर बदल जाता है? यदि उत्तर वही रहता है, तो कहानी फर्जी थी। तर्क उत्तर के प्रति "निष्ठावान" (faithful) नहीं था।
- लक्ष्य: हम चाहते हैं कि कहानी वास्तव में उत्तर का कारण बने, न कि केवल उसे सजाने का काम करे।
2. वैधता (Validity - क्या तर्क सही है?)
- मुद्दा: AI ईमानदार हो सकता है (उसने वास्तव में उत्तर प्राप्त करने के लिए चरणों का उपयोग किया है), लेकिन चरण गलत हो सकते हैं।
- परीक्षण: क्या गणित सही था? क्या तर्क टिक सका?
- लक्ष्य: हम चाहते हैं कि चरण तथ्यात्मक और तार्किक रूप से सही हों, न कि केवल सुनने में सही लगें।
"कंटामिनेशन" (Contamination) का जाल
पेपर डेटा कंटामिनेशन के बारे में चेतावनी देता है। यह तब होता है जब AI ने अनजाने में अपने प्रशिक्षण के दौरान टेस्ट के प्रश्नों को याद करके "नकल" कर ली हो।
- उपमा: कल्पना कीजिए कि एक छात्र ने गलती से परीक्षा से पहले उत्तर कुंजी (answer key) देख ली। उसे 100% अंक मिलते हैं। क्या उसने विषय सीखा? नहीं।
- पेपर का बिंदु: कई प्रसिद्ध AI बेंचमार्क "कंटैमिनेटेड" हैं। AI तर्क नहीं कर रहा है; वह बस उत्तर कुंजी को याद कर रहा है। यह AI को उसकी वास्तविक क्षमता से अधिक स्मार्ट दिखाता है। इस तरह को पकड़ने का एकमात्र तरीका रीजनिंग ट्रेस को देखना है। यदि ट्रेस छोटा और दोहराव वाला है, तो यह संभवतः याद करना (memorization) है। यदि यह एक लंबा, अनुकूलनशील खोज (adaptive search) है, तो यह वास्तविक तर्क है।
सारांश
यह पेपर शोधकर्ताओं के लिए एक गाइड है जो कहता है: "केवल यह गिनना बंद करें कि कितने उत्तर सही हैं। यह देखना शुरू करें कि AI वहां तक कैसे पहुँचा।"
- सिर्फ अंतिम स्कोर (Accuracy) न देखें।
- रफ कार्य (Reasoning Traces) को देखें।
- जांचें कि क्या रफ कार्य ईमानदार है (Faithfulness)।
- जांचें कि क्या रफ कार्य सही है (Validity)।
ऐसा करके, हम यह बता सकते हैं कि कौन सा AI वास्तव में "सोच" रहा है और कौन सा केवल एक बहुत अच्छा नकलची (mimic) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।