Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework
यह शोध पत्र GRAPHEVAL को प्रस्तुत करता है, जो एक ग्राफ-आधारित ढांचा है जो एक नवीन ग्राफ रीजनिंग कोहेरेंस स्कोर (GRCS) के माध्यम से तर्क अनिश्चितता को परिमाणित करता है और सरल उत्तर सहमति के बजाय तार्किक वैधता को प्राथमिकता देकर तर्क निष्ठा में सुधार करने के लिए ग्राफ सेल्फ-कंसिस्टेंसी (GSC) का उपयोग करता है, जिससे मानक डिकोडिंग रणनीतियों की सीमाओं का पता चलता है और प्रमुख तर्क पथों की सुदृढ़ता उजागर होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादू का शो देख रहे हैं जहाँ जादूगर (एक AI) टोपी में से एक खरगोश निकालता है। कभी-कभी, खरगोश असली होता है। कभी-कभी, वह कार्डबोर्ड का एक कटआउट होता है जो बिल्कुल एक खरगोश जैसा दिखता है, लेकिन अगर आप उसे चुभाते हैं, तो वह बिखर जाता है। लंबे समय से, हम जादूगर को सिर्फ अंतिम खरगोश को देखकर आंक रहे हैं। अगर वह एक खरगोश जैसा दिखता है, तो हम तालियाँ बजाते हैं। हम मान लेते हैं कि जादू पूरी तरह से सफल रहा।
लेकिन एक नया पेपर जिसका नाम GRAPHEVAL है, यह सुझाव देता है कि यह जादूगर को आंकने का एक बहुत बुरा तरीका है। इसके लेखक, जो यूनिवर्सिटी ऑफ इलिनॉय शिकागो की एक टीम है, का तर्क है कि हमें टोपी के अंदर झांकने की जरूरत है यह देखने के लिए कि खरगोश कैसे बनाया गया था। उन्होंने पाया कि कभी-कभी, AI सही उत्तर (खरगोश) प्राप्त कर लेता है, लेकिन एक पूरी तरह से टूटे हुए, नकली या भ्रमित (hallucinated) प्रोसेस (कार्डबोर्ड कटआउट) के माध्यम से। और जांच करने का पुराना तरीका, जिसे "सेल्फ-कंसिस्टेंसी" (Self-Consistency) कहा जाता है, केवल यह गिनने में व्यस्त रहता है कि कितने खरगोश दिखाई दे रहे हैं और यह नोटिस नहीं कर पाता कि उनमें से आधे कार्डबोर्ड के बने हैं।
समस्या: "लकी गेस" (भाग्यशाली अनुमान) का जाल
यह पेपर एक लोकप्रिय विधि के विरुद्ध तर्क देता है जिसे सेल्फ-कंसिस्टेंसी (SC) कहा जाता है। SC को ऐसे समझें जैसे कि 20 लोगों की भीड़ से किसी गणित के सवाल को हल करने के लिए कहना। यदि 12 लोग "42" कहते हैं और 8 लोग "43" कहते हैं, तो भीड़ "42" को चुनती है। पुराना सिद्धांत था: "यदि अधिकांश लोग सहमत हैं, तो वे सही होंगे।"
लेखकों का कहना है: इतना जल्दी भी नहीं।
उन्होंने पाया कि छोटे AI मॉडल्स में, एक "लकी गेस" हो सकता है। कल्पना कीजिए कि एक ऐसी भीड़ जहाँ 12 लोग सही उत्तर तक पहुँचने के लिए एक ही गलत कारण का भ्रम पाल रहे हैं। वे सभी कह सकते हैं, "उत्तर 42 है क्योंकि मैंने एक नीला पक्षी देखा!" (जो कि बेतुका है), जबकि 8 समझदार लोग कहेंगे, "उत्तर 42 है क्योंकि 21 प्लस 21 बराबर 42 होता है।" भीड़ "42" को इसलिए चुनती है क्योंकि नीले पक्षी वाली भीड़ का बहुमत है, भले ही तर्क कचरा हो। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि केवल बहुमत का होना यह सुनिश्चित नहीं करता कि तर्क भरोसेमंद है।
समाधान: "लोड-बियरिंग" (भार वहन करने वाला) मार्ग
इसे ठीक करने के लिए, टीम ने GRAPHEVAL नामक एक नया फ्रेमवर्क बनाया। केवल अंतिम उत्तर को देखने के बजाय, वे AI की सोच के हर कदम को एक मैप (ग्राफ) में बदल देते हैं। वे तथ्यों के बीच के बिंदुओं को जोड़ते हैं ताकि यह देखा जा सके कि रास्ता एक मजबूत पुल है या एक डगमगाती रस्सी।
उन्होंने एक नया स्कोर पेश किया जिसे GRCS (ग्राफ रीजनिंग कोहेरेंस स्कोर) कहा जाता है।
- उपमा: कल्पना कीजिए कि आपके पास 20 अलग-अलग खोजकर्ता हैं जिन्होंने खजाना खोजने के लिए 20 अलग-अलग नक्शे बनाए हैं।
- यदि 15 खोजकर्ता ऐसे नक्शे बनाते हैं जो दिखने में पूरी तरह अलग हैं लेकिन अंततः एक ही स्थान पर पहुँचते हैं, तो वे सभी केवल अनुमान लगा रहे हो सकते हैं।
- यदि 15 खोजकर्ता लगभग एक जैसे नक्शे बनाते हैं, जिनमें एक ही पुल और सुरंगें हैं, तो वह एक कोहेरेंट (सुसंगत) पथ है।
- GRCS मापता है कि ये नक्शे कितने "एक साथ" हैं। यदि नक्शे अव्यवस्थित हैं और विरोधाभासों से भरे हैं, तो स्कोर बढ़ जाता है, जो हमें बताता है: "हे, यह AI भ्रमित है या झूठ बोल रहा है, भले ही इसे सही उत्तर मिल गया हो!"
पेपर ने इसे पांच अलग-अलग प्रकार की पहेलियों (सरल गणित से लेकर जटिल चिकित्सा प्रश्नों तक) में मापा और तीन अलग-अलग AI मॉडल्स (एक छोटा, एक मध्यम और एक बहुत स्मार्ट वाला) का परीक्षण किया। उन्होंने पाया कि GRCS ही एकमात्र उपकरण है जो लगातार पहचान सकता है कि AI उच्च विश्वास के साथ कब "भ्रमित" (hallucinating) हो रहा है। वास्तव में, 15 में से 14 टेस्ट सेटअप में, उच्च GRCS स्कोर का मतलब था कि AI का तर्क कम भरोसेमंद था।
"मेडॉइड" (Medoid) और एडवरसेरियल अटैक
टीम ने सबसे अच्छा उत्तर चुनने का एक नया तरीका भी बनाया, जिसे ग्राफ सेल्फ-कंसिस्टेंसी (GSC) कहा जाता है। सबसे लोकप्रिय उत्तर चुनने के बजाय, GSC "मेडॉइड" की तलाश करता है।
- उपमा: कल्पना कीजिए कि दोस्तों का एक समूह यह तय करने की कोशिश कर रहा है कि कहाँ खाना खाना है। "मेडॉइड" केवल सबसे अधिक वोट वाला रेस्टोरेंट नहीं है; यह वह है जो समूह की सहमति का "केंद्र" है। यह वह रेस्टोरेंट है जिसकी ओर बाकी सभी बढ़ रहे हैं, भले ही उन सभी ने अभी तक उसके लिए वोट न दिया हो। यह सबसे "केंद्रीय" और समर्थित विचार है।
यह परीक्षण करने के लिए कि क्या यह "मेडॉइड" पथ वास्तव में महत्वपूर्ण था, लेखकों ने "प्रॉम्प्ट पॉइज़निंग" (prompt poisoning) का खेल खेला। उन्होंने AI के सबसे अच्छे पथ (मेडॉइड) को लिया और AI को कहा: "आपको इस पथ का उपयोग करने से सख्ती से रोका जाता है। आपको समस्या को हल करने के लिए एक पूरी तरह से नया तरीका खोजना होगा।"
- परिणाम: जब उन्होंने छोटे AI मॉडल्स के साथ ऐसा किया, तो कुछ दिलचस्प हुआ। AI अक्सर अभी भी सही उत्तर प्राप्त कर लेता था (खरगोश प्रकट हो जाता था), लेकिन तर्क बिखर जाता था। पेपर सुझाव देता है कि यह साबित करता है कि मेडॉइड एक "लोड-बियरिंग पाथ" था। यह वह मुख्य सपोर्ट बीम था जिसने तर्क को थामे रखा था। इसके बिना, AI केवल अंधेरे में ठोकर खा रहा था और केवल भाग्यशाली अनुमान लगा रहा था।
- आंकड़े: छोटे मॉडल (Llama 3.1 8B) के लिए, जब उन्होंने मेडॉइड को हटाया, तो तर्क की विश्वसनीयता (faithfulness) काफी कम हो गई। कुछ मामलों में, जैसे मेडिकल एग्जाम के सवालों (MedQA) में, मेडॉइड को हटाने के बाद AI की सटीकता 9.0 प्रतिशत अंक गिर गई, जिससे पता चला कि उसकी पिछली "सफलता" कमजोर नींव पर टिकी थी।
बड़े, स्मार्ट AI के बारे में क्या?
पेपर ने सुपर-स्मार्ट AI (DeepSeek R1) को भी देखा। यहाँ, कहानी थोड़ी अलग है। स्मार्ट AI इतना लचीला है कि वह सही उत्तर तक पहुँचने के लिए कई अलग-अलग रास्ते खोज सकता है। जब लेखकों ने मेडॉइड को हटाया, तो स्मार्ट AI उतना बुरी तरह से क्रैश नहीं हुआ। यह सुझाव देता है कि जहाँ मेडॉइड छोटे मॉडल्स के लिए एक "लोड-बियरिंग" बीम है, वहीं बड़े मॉडल्स के पास बीम्स का एक व्यापक और विविध नेटवर्क है। हालाँकि, स्मार्ट AI के लिए भी, मेडॉइड पथ सबसे विश्वसनीय तर्क रखता है।
निचोड़ (The Bottom Line)
यह पेपर यह दावा नहीं करता कि उसने AI विश्वास को "हल" कर दिया है। इसके बजाय, यह कठोर परीक्षण के माध्यम से सुझाव देता है और प्रदर्शन करता है कि हम केवल अंतिम उत्तर पर भरोसा नहीं कर सकते।
- जो उन्होंने खारिज किया: उन्होंने साबित किया कि साधारण बहुमत मतदान (Self-Consistency) अक्सर "लकी गेस" द्वारा धोखा खा जाता है जहाँ AI गलत कारणों से सही उत्तर प्राप्त कर लेता है।
- जो उन्होंने पाया: तर्क को एक ग्राफ की तरह मैप करके और सहमति के "केंद्र" (मेडॉइड) को खोजकर, हम नकली तर्क को फ़िल्टर कर सकते हैं।
- चुनौती: यह नया तरीका पुराने तरीके की तुलना में गणना करने के लिए अधिक कंप्यूटर पावर लेता है। यह दीवार के हर ईंट की जांच करने के लिए निरीक्षकों की एक टीम रखने जैसा है, बजाय इसके कि केवल पेंट को देखा जाए। लेखक नोट करते हैं कि सबसे बड़े, स्मार्ट मॉडल्स के लिए, "लकी गेस" की समस्या कम गंभीर है, लेकिन छोटे, सस्ते मॉडल्स के लिए, भ्रमित करने वाले बकवास से बचने के लिए यह नया ग्राफ-आधारित चेक आवश्यक है।
संक्षेप में: यदि कोई AI आपको सही उत्तर देता है, तो केवल ताली न बजाएं। उससे अपना मैप दिखाने को कहें। यदि मैप एक टेढ़ी-मेढ़ी लकीर जैसा दिखता है, तो उत्तर एक "लकी गेस" हो सकता है, और आपको इस पर किसी महत्वपूर्ण चीज़ के लिए भरोसा नहीं करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।