Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
यह शोध पत्र "इंटरवेंशनल ग्राउंडिंग ऑडिट्स" (interventional grounding audits) को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स विधि है जो नए प्रतीकों के साथ आधारों (premises) को प्रतिस्थापित करके लार्ज लैंग्वेज मॉडल की चेन-ऑफ-थॉट रीजनिंग की तार्किक निर्भरता को मान्य करती है, और प्रोंटोक्यूए (ProntoQA) बेंचमार्क पर सेल्फ-कंसिस्टेंसी बेसलाइन की तुलना में "सही उत्तर, गलत तर्क" वाली खामियों का पता लगाने की अपनी श्रेष्ठ क्षमता प्रदर्शित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूस की दुविधा: जब उत्तर अपने तर्क के बारे में झूठ बोलते हैं
कल्पना कीजिए कि आप एक कक्षा में हैं जहाँ कमरे का सबसे बुद्धिमान छात्र एक सुपर-इंटेलिजेंट रोबोट है। यह रोबोट जटिल तर्क पहेलियों (logic puzzles) को हल करने के लिए प्रसिद्ध है। लेकिन यहाँ एक पेच है: यह रोबोट आपको केवल उत्तर नहीं देता; यह अपने विचारों की एक लंबी, चरण-दर-चरण डायरी लिखता है, जिसे "चेन-ऑफ-थॉट" (Chain-of-Thought) कहा जाता है, ताकि वह आपको दिखा सके कि उसने इसे कैसे समझा। यह प्रभावशाली लगता है, है ना? आप डायरी पढ़ते हैं, और हर कदम तार्किक और सटीक दिखता है। लेकिन क्या होगा अगर रोबोट बस चलते-फिरते चीजें बना रहा हो? क्या होगा अगर वह उत्तर इसलिए जानता है क्योंकि उसने पहले भी ऐसी ही पहेलियाँ देखी हैं, लेकिन जो डायरी उसने लिखी है वह एक नकली कहानी है जिसका दिए गए सुरागों से वास्तव में कोई संबंध नहीं है?
यह वही बड़ा रहस्य है जिसे वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) के क्षेत्र में सुलझाने की कोशिश कर रहे हैं। हमारे पास ये शक्तिशाली AI मॉडल हैं जो बात कर सकते हैं और तर्क दे सकते हैं, लेकिन हम अक्सर यह नहीं जानते कि वे वास्तव में "सोच" रहे हैं या सिर्फ अनुमान लगा रहे हैं। जिस शोध पत्र को आप पढ़ने जा रहे हैं, वह एक विशिष्ट प्रश्न पर प्रहार करता है: क्या हम रोबोट की डायरी पर भरोसा कर सकते हैं? लेखक यह जानना चाहते हैं कि क्या रोबोट द्वारा लिखे गए चरण वास्तव में दिए गए सुरागों (premises) पर निर्भर करते हैं, या रोबोट सुरागों को अनदेखा कर रहा है और फिर भी अपनी कहानी बना रहा है। यह पता लगाने के लिए, उन्होंने एक नए प्रकार का "सत्य परीक्षण" (truth test) बनाया है जो केवल रोबोट को देखता नहीं है; बल्कि यह सक्रिय रूप से सुरागों के साथ छेड़छाड़ करता है ताकि यह देखा जा सके कि रोबोट की कहानी बदलती है या नहीं।
रोबोटिक दिमागों के लिए "क्या-होता-अगर" टेस्ट
शोधकर्ताओं ने, हिरोनाओ नकामुरा के नेतृत्व में, एक चतुर प्रयोग बनाया जिसे इंटरवेंशनल ग्राउंडिंग ऑडिट्स (Interventional Grounding Audits) कहा जाता है। इसे रोबोट के तर्क वाले खेल के साथ खेला जाने वाला एक "क्या-होता-अगर" (What-If) खेल की तरह समझें।
आमतौर पर, जब हम किसी छात्र की नकल पकड़ने की कोशिश करते हैं, तो हम केवल उनके अंतिम उत्तर को देखते हैं। यदि उत्तर सही है, तो हम मान लेते हैं कि उन्होंने काम किया है। या, हम छात्र को वही पहेली पांच बार हल करने के लिए कह सकते हैं ताकि यह देखा जा सके कि क्या वे हर बार एक ही उत्तर देते हैं (इसे "सेल्फ-कंसिस्टेंसी" कहा जाता है)। लेकिन लेखकों का कहना है कि ये तरीके एक जादूगर का करतब दर्शकों से देखने जैसा है—आप परिणाम देखते हैं, लेकिन आपको यह नहीं पता चलता कि जादू असली है या हाथ की सफाई।
सच्चाई तक पहुँचने के लिए, लेखकों ने रोबोट के सुरागों के साथ "अंतर पहचानो" का खेल खेलने का फैसला किया। उन्होंने इसे इस प्रकार किया:
- सेटअप: उन्होंने रोबोट (विशेष रूप से GPT-4o) को प्रोंटो क्यूए (ProntoQA) नामक तर्क पहेलियों का एक सेट दिया। ये काल्पनिक पहेलियाँ स्पष्ट नियमों के साथ बनाई गई हैं, जैसे "सभी वम्पस (wumpuses), फम्पस (fumpuses) हैं" और "एलेक्स एक वम्पस है।" रोबोट को यह पता लगाना है कि "क्या एलेक्स एक फम्पस है।"
- हस्तक्षेप (Intervention): शोधकर्ताओं ने एक विशिष्ट सुराग (premise) लिया और एक मुख्य शब्द को एक काल्पनिक निरर्थक शब्द से बदल दिया। उदाहरण के लिए, उन्होंने "वम्पस" को "ग्लम्पस" (glumpus) में बदल दिया।
- परीक्षण: उन्होंने रोबly को इस नए, अजीब शब्द के साथ पहेली को फिर से हल करने के लिए कहा।
- यदि रोबोट वास्तव में सोच रहा है: तो उसके डायरी के चरण नए शब्द के अनुसार बदलने चाहिए। यदि सुराग कहता है "ग्लम्पस," तो रोबोट के तर्क में भी "ग्लम्पस" होना चाहिए।
- यदि रोबोट दिखावा कर रहा है: तो रोबोट अजीब शब्द को अनदेखा कर सकता है और "वम्पस" के बारे में लिखना जारी रख सकता है, या वह सुराग को देखे बिना ही उत्तर का अनुमान लगा सकता है।
चौंकाने वाली खोज: "सही उत्तर, गलत तर्क"
इस प्रयोग के परिणाम आँखें खोलने वाले थे। शोधकर्ताओं ने पाया कि रोबोट अक्सर "सही उत्तर, गलत तर्क" (Right Answer, Wrong Reasoning - RAWR) का दोषी था।
उन 66% पहेलियों में जिन्हें रोबोट ने सही ढंग से हल किया था, उन्होंने पाया कि रोबोट की डायरी में कम से कम एक ऐसा चरण था जो वास्तव में उन सुरागों की परवाह नहीं करता था जिनका उसे उपयोग करना चाहिए था। रोबोट लिखता था, "चूंकि एलेक्स एक वम्पस है, इसलिए..." लेकिन जब शोधकर्ताओं ने "वम्पस" को "ग्लम्पस" में बदला, तो रोबोट का निष्कर्ष टस से मस नहीं हुआ। ऐसा लग रहा था जैसे रोबोट एक ऐसी स्क्रिप्ट पढ़ रहा है जिसे उसने रट लिया है, बजाय इसके कि वह सामने रखे सुरागों का वास्तव में उपयोग करे।
यह एक बड़ी बात है क्योंकि पुराना तरीका—रोबोट को पहेली को पांच बार हल करने के लिए कहना और यह देखना कि क्या वह खुद से सहमत है—इसे पूरी तरह से पकड़ने में विफल रहा। "सेल्फ-कंसिस्टेंसी" पद्धति इन नकली तर्क चरणों को पकड़ने में केवल 0.343 का स्कोर प्राप्त कर सकी (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)। हालाँकि, नया "इंटरवेंशनल ऑडिट" तरीका बहुत अधिक 0.806 का स्कोर प्राप्त करता है। इसका मतलब है कि नया तरीका रोबोट को उसके तर्क के बारे में झूठ बोलने पर पकड़ने में काफी बेहतर है।
"अंध बिंदु" (Blind Spot) और कैस्केड प्रभाव
शोधकर्ताओं ने एक विशिष्ट प्रकार के सुराग की भी खोज की जिसे रोबोट अनदेखा करना पसंद करता है: एंटिटी-इंट्रोडक्शन प्रिमिसिस (Entity-Introduction Premises)। ये वे सुराग हैं जो केवल एक पात्र का परिचय देते हैं, जैसे "एलेक्स एक वम्पस है।" रोबोट अक्सर इन्हें बैकग्राउंड शोर की तरह मानता है, भले ही तर्क के काम करने के लिए ये आवश्यक हों।
अपने परीक्षण को और भी बेहतर बनाने के लिए, लेखकों ने एक "कैस्केड फ़िल्टर" का उपयोग किया। कल्पना कीजिए कि डोमिनोज़ की एक पंक्ति है। यदि आप पहली को गिराते हैं, तो वे सभी गिर जाती हैं। रोबोट के तर्क में, यदि आप पहले सुराग को बदलते हैं, तो पूरे तर्क की श्रृंखला बदल जानी चाहिए। लेकिन कभी-कभी, रोबता का तर्क इतना अव्यवस्थित होता है कि एक सुराग बदलने से पूरी श्रृंखला डगमगा जाती है, जिससे यह बताना मुश्किल हो जाता है कि कौन सा विशिष्ट चरण समस्याग्रस्त था। लेखकों ने इन "श्रृंखला प्रतिक्रियाओं" (chain reactions) को छाँटने के लिए एक फ़िल्टर बनाया ताकि वे सटीक रूप से पहचान सकें कि कौन सा चरण सुराग को अनदेखा कर रहा है। इस फ़िल्टर के साथ, उनकी सटीकता और भी बढ़ गई, जो 0.819 तक पहुँच गई।
भविष्य के लिए इसका क्या अर्थ है
शोध पत्र सावधानीपूर्वक कहता है कि यह परीक्षण इन विशिष्ट, काल्पनिक तर्क पहेलियों (ProntoQA) पर सबसे अच्छा काम करता है। लेखक स्वीकार करते हैं कि वास्तविक दुनिया की भाषा अधिक जटिल है, और उनके तरीके को संभालने के लिए समायोजन की आवश्यकता हो सकती है। वे यह भी नोट करते हैं कि कुछ बहुत ही नियमित प्रकार की पहेलियों के लिए, एक साधारण "स्ट्रिंग डिफरेंस" चेक (केवल टेक्स्ट परिवर्तन देखना) उनके जटिल ऑडिट के लगभग बराबर काम करता है, लेकिन कठिन मामलों के लिए, उनका तरीका स्पष्ट विजेता है।
सबसे महत्वपूर्ण बात यह है कि हम रोबोट के "चेन-ऑफ-थॉट" पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वह तार्किक दिखता है या क्योंकि रोबोट खुद से सहमत है। जैसा कि लेखकों ने दिखाया, एक रोबोट आपको सही उत्तर दे सकता है जबकि वह वहां तक पहुँचने के बारे में पूरी तरह से फर्जी डायरी लिख रहा हो। इन "क्या-होता-अगर" हस्तक्षेपों का उपयोग करके, हम अंततः मशीन के भीतर झाँक सकते हैं और देख सकते हैं कि रोबोट वास्तव में सोच रहा है या केवल दिखावा कर रहा है।
लेखकों ने अपना सारा डेटा, कोड और रोबोट के कच्चे उत्तर (raw answers) जांच के लिए उपलब्ध करा दिए हैं, जिससे यह सिद्ध होता है कि उनके परिणाम केवल एक बार की घटना नहीं हैं बल्कि एक पुनरुत्पादित (reproducible) खोज है। उन्होंने दिखाया है कि एआई की दुनिया में, उत्तर हमेशा सत्य नहीं होता; कभी-कभी, आपको यह देखने के लिए कि उत्तर वास्तविक है या नहीं, उसके तर्क की जांच करनी पड़ती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।