How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स तार्किक वैधता (logical validity) को अर्थपूर्ण संभाव्यता (semantic plausibility) के साथ मिला देते हैं क्योंकि ये अवधारणाएं उनके आंतरिक निरूपणों (internal representations) में रैखिक रूप से संरेखित होती हैं, और यह प्रदर्शित करता है कि उन्हें अलग करने के लिए स्टीयरिंग वेक्टर्स (steering vectors) लागू करना प्रभावी रूप से सामग्री संबंधी पूर्वाग्रहों को कम कर सकता है और तर्क की सटीकता में सुधार कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अदालत में न्यायाधीश हैं। आपका काम यह तय करना है कि एक वकील का तर्क तार्किक रूप से सुदृढ़ (क्या निष्कर्ष आधारों से निकलता है?) है या तार्किक रूप से त्रुटिपूर्ण।
अब, कल्पना कीजिए कि वकील कहता है:
"सभी बिल्लियाँ स्तनधारी हैं। सभी स्तनधारियों के बाल होते हैं। इसलिए, सभी बिल्लियों के बाल होते हैं।"
आप सिर हिलाते हैं। यह वैध (तर्क सही है) और संभाव्य (यह वास्तविक जीवन में सच है) है। आसान है।
लेकिन अब, कल्पना कीजिए कि वकील कहता है:
"सभी बिल्लियाँ स्तनधारी हैं। सभी स्तनधारी सरीसप (reptiles) हैं। इसलिए, सभी बिल्लियाँ सरीसप हैं।"
तार्किक रूप से, इसकी संरचना वास्तव में वैध है (यदि आधार सत्य होते, तो निष्कर्ष भी सत्य होता)। लेकिन आपका मस्तिष्क चिल्लाता है, "रुको! बिल्लियाँ सरीसप नहीं होतीं!" क्योंकि निष्कर्ष असंभाव्य (वास्तविक दुनिया में गलत) है, आप सहज रूप से कह सकते हैं कि पूरा तर्क "खराब" या "अवैध" है, भले ही तर्क स्वयं पूर्ण हो।
इसे कंटेंट इफेक्ट (Content Effect) कहा जाता है। मनुष्य अक्सर ऐसा करते हैं। हम अपने वास्तविक दुनिया के ज्ञान (जो हम सच मानते हैं) को अपने तार्किक तर्क पर हावी होने देते हैं।
बड़ा सवाल: क्या AI मॉडल (लार्ज लैंग्वेज मॉडल्स या LLMs) भी ऐसा करते हैं? और यदि वे करते हैं, तो क्यों?
जासूसी कार्य: AI के मस्तिष्क के भीतर झाँकना
इस शोध के लेखकों ने AI के लिए 'ब्रेन सर्जन' की तरह काम करने का निर्णय लिया। उन्होंने केवल AI से प्रश्न नहीं पूछे; उन्होंने AI के "न्यूरल नेटवर्क" (इसके आंतरिक गणित) के भीतर देखा कि यह कैसे सोचता है।
यहाँ उन्हें जो मिला, उसका विवरण कुछ उपमाओं के साथ दिया गया है:
1. "भ्रमित दिशा-सूचक यंत्र" (Confused Compass) की उपमा
कल्पना कीजिए कि AI के पास एक विशाल आंतरिक दिशा-सूचक यंत्र (compass) है।
- एक सुई तर्क (Logic) की ओर इशारा करती है (क्या यह तर्क वैध है?)।
- दूसरी सुई वास्तविकता (Reality) की ओर इशारा करती है (क्या यह कथन वास्तविक दुनिया में सत्य है?)।
एक आदर्श तार्किक रोबोट में, ये दोनों सुइयाँ पूरी तरह से अलग दिशाओं में होनी चाहिए। यदि कोई तर्क तार्किक रूप से वैध है लेकिन तथ्यात्मक रूप से गलत है, तो 'तर्क' वाली सुई तेजी से घूमेगी जबकि 'वास्तविकता' वाली सुई स्थिर रहेगी।
खोज: शोधकर्ताओं ने पाया कि वर्तमान AI मॉडल में, ये दोनों सुइयाँ आपस में चिपकी हुई हैं। वे लगभग एक ही दिशा में इशारा करती हैं।
- जब AI "तर्क" के बारे में सोचता है, तो वह वास्तव में "वास्तविक दुनिया की सच्चाई" के बारे में सोच रहा होता है।
- जब AI "सत्य" के बारे में सोचता है, तो वह अनजाने में "तर्क" के बारे में सोच रहा होता है।
क्योंकि ये दोनों अवधारणाएं AI के गणित में इतनी उलझी हुई हैं, AI के लिए अंतर करना असंभव है। यदि कोई निष्कर्ष सच लगता है (संभाव्य), तो AI मान लेता है कि तर्क भी अच्छा ही होगा। यदि कोई निष्कर्ष गलत लगता है (असंभाव्य), तो AI मान लेता है कि तर्क भी खराब ही होगा।
2. "स्टीयरिंग व्हील" (Steering Wheel) का प्रयोग
इसे सिद्ध करने के लिए, शोधकर्ताओं ने स्टीयरिंग वेक्टर्स (Steering Vectors) नामक तकनीक का उपयोग किया। इसे AI के मस्तिष्क के लिए एक रिमोट कंट्रोल की तरह समझें।
- प्रयोग: उन्होंने AI के मस्तिष्क में वह विशिष्ट गणितीय "दिशा" खोजी जो "सत्य" का प्रतिनिधित्व करती है। फिर, उन्होंने उस दिशा को लिया और उसे AI के मस्तिष्क में जबरदस्ती डाला जब AI तर्क का निर्णय लेने की कोशिश कर रहा था।
- परिणाम: AI का तर्क संबंधी निर्णय बदल गया!
- यदि AI किसी तर्क को "अवैध" कहने वाला था, तो "सत्य" वेक्टर जोड़ने से उसने उसे "वैध" कह दिया।
- यदि AI किसी तर्क को "वैध" कहने वाला था, तो "असत्यता" (Falsehood) का वेक्टर जोड़ने से उसने उसे "अवैध" कह दिया।
यह वैसा ही है जैसे यदि आपके पास एक कार हो जहाँ स्टीयरिंग व्हील गैस पेडल से चिपका हुआ हो। यदि आप बाएं मुड़ने (तर्क का निर्णय लेने) की कोशिश करते हैं, तो आप गलती से गैस दबा देते हैं (सत्य का निर्णय लेने), और कार सड़क से उतर जाती है। AI के "तर्क" और "सत्य" नियंत्रण भौतिक रूप से उसके कोड में जुड़े हुए हैं।
3. "चेन ऑफ थॉट" (Chain of Thought) उपचार
आपने सुना होगा कि AI को "चरण-दर-चरण सोचें" (Chain of Thought) कहने से वह अधिक स्मार्ट हो जाता है। शोधकर्ताओं ने पाया कि यह इसलिए काम करता है क्योंकि यह सुइयों को अलग कर देता है।
जब AI को अपना तर्क चरण-दर-चरण लिखने के लिए मजबूर किया जाता है, तो यह "तर्क" की सुई को "सत्य" की सुई से अलग कर देता है। "गोंद" टूट जाता है। अचानक, AI एक तार्किक रूप से वैध तर्क को देख सकता है जिसका निष्कर्ष गलत हो, और कह सकता है, "तर्क पूर्ण है, भले ही तथ्य गलत हों।"
4. "जादुई इरेज़र" (Magic Eraser - Debiasing)
सबसे रोमांचक हिस्सा? उन्होंने केवल समस्या को ढूँढा ही नहीं; उन्होंने AI को पुन: प्रशिक्षित (retraining) किए बिना इसे ठीक भी किया।
उन्होंने एक डिबायसिंग वेक्टर (Debiasing Vector) बनाया। कल्पना कीजिए कि यह एक विशेष इरेज़र है जो AI के मस्तिष्क के "सत्य" वाले हिस्से को मिटा देता है जबकि "तर्क" वाले हिस्से को अछूता छोड़ देता है।
- उन्होंने "तर्क" की दिशा ली और उसमें से "सत्य" की दिशा को घटा दिया।
- उन्होंने इस "अंतर वेक्टर" (Difference Vector) को AI के मस्तिष्क में जोड़ दिया।
- परिणाम: AI शुद्ध तर्क में बहुत बेहतर हो गया। इसने वास्तविक दुनिया के तथ्यों से खुद को भ्रमित होने से बचा लिया। अब यह कह सकता था, "यह तर्क तार्किक रूप से वैध है," भले ही निष्कर्ष "सभी कुत्ते बिल्लियाँ हैं" जैसा क्यों न हो।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक बड़ी उपलब्धि है क्योंकि यह हमें "AI गलतियाँ कर रहा है" से बदलकर "यहाँ बताया गया है कि AI कैसे गलतियाँ कर रहा है" तक ले जाता है।
- पहले: हम सोचते थे कि AI बस "भ्रमित" (hallucinating) हो रहा है या बेतरतीब व्यवहार कर रहा है।
- अब: हम जानते हैं कि AI के पास एक विशिष्ट "ब्लाइंड स्पॉट" है जहाँ वह जो सत्य है और जो तार्किक है, उनके बीच भ्रमित हो जाता है।
यह समझने जैसा है कि एक छात्र गणित में बुरा नहीं है; बस उसकी एक आदत है कि वह स्पेलिंग टेस्ट हल करने के लिए अपने कैलकुलेटर का उपयोग करता है। एक बार जब आप यह जान जाते हैं, तो आप उसे एक "केवल स्पेलिंग वाला" कैलकुलेटर (डिबायसिंग वेक्टर) दे सकते हैं और वह परीक्षा में उत्कृष्ट प्रदर्शन करता है।
संक्षेप में: AI मॉडल वर्तमान में "जो समझ में आता है" और "जो सत्य है" के बीच भ्रमित हो रहे हैं। उनके मस्तिष्क की ज्यामिति को समझकर, हम इन अवधारणाओं को सुलझा सकते हैं और ऐसे AI का निर्माण कर सकते हैं जो वास्तव में तार्किक हो, न कि केवल अपनी राय रखने वाला।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।