Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
यह शोध पत्र भाषा मॉडलों में यादृच्छिक शोर (रैंडम नॉइज़) से वास्तविक पैराकंप्लीट या पैराकंसिस्टेंट तर्क को अलग करने के लिए एक अंशांकन प्रोटोकॉल (कैलिब्रेशन प्रोटोकॉल) प्रस्तावित करता है, जिसमें यह पाया गया है कि जबकि कई मॉडल ज्ञात दावों पर महत्वपूर्ण सत्य-मान अंतराल (ट्रुथ-वैल्यू गैप्स) प्रदर्शित करते हैं, केवल एक मॉडल का व्यवहार ही व्याख्या करने के लिए पर्याप्त विश्वसनीय है, जो यह प्रकट करता है कि लाइर पैराडॉक्स (Liar paradox) के अनकैलिब्रेटेड पठन को भ्रामक रूप से डायलेथिज्म या क्रिपकियन गैप्स के रूप में आरोपित किया जा सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यह समझने के लिए कि एक कंप्यूटर प्रोग्राम सत्य के बारे में कैसे सोचता है, हमें पहले यह समझना होगा कि वह "नहीं" शब्द को कैसे संभालता है। आर्टिफिशियल इंटेलिजेंस के अध्ययन में, शोधकर्ता अक्सर एक मॉडल से किसी कथन का निर्णय करने के लिए कहते हैं, जैसे कि "आकाश नीला है।" यदि मॉडल कहता है "असत्य," तो हम जानते हैं कि वह मानता है कि आकाश नीला नहीं है। लेकिन क्या होगा यदि मॉडल "आकाश नीला है" इस कथन के लिए भी "असत्य" कहता है और "आकाश नीला नहीं है" इस कथन के लिए भी "असत्य" कहता है? यह एक तार्किक पहेली खड़ी करता है। मॉडल केवल यह नहीं कह रहा है कि आकाश का रंग अलग है; बल्कि वह दावे और उसके विलोम, दोनों को खारिज कर रहा है। तर्कशास्त्र में, इस स्थिति को "गैप" (अंतराल) कहा जाता है, जो यह सुझाव देता है कि मॉडल उस कथन को बिना किसी सत्य मान के देखता है, शायद इसलिए क्योंकि प्रश्न स्वयं त्रुटिपूर्ण है। दो अलग-अलग प्रश्नों को पूछने की इस पद्धति को—एक दावे के बारे में और एक उसके निषेध (negation) के बारे में—द्विपक्षीय मूल्यांकन (bilateral evaluation) कहा जाता है। इसे यह प्रकट करने के लिए डिज़ाइन किया गया है कि क्या एक कृत्रिम मस्तिष्क विरोधाभासों को संभाल सकता है या वह केवल भाषा की संरचना से भ्रमित हो जाता है।
इस प्रश्न के निहितार्थ बहुत ऊंचे हैं क्योंकि इसमें "लायर पैराडॉक्स" (झूठ बोलने वाले का विरोधाभास) जैसी प्रसिद्ध दार्शनिक पहेलियाँ शामिल हैं, जो एक वाक्य है, "यह वाक्य असत्य है।" यदि यह वाक्य सत्य है, तो इसे असत्य होना चाहिए। यदि यह असत्य है, तो इसे सत्य होना चाहिए। दशकों से, दार्शनिकों ने इस पर बहस की है कि क्या ऐसे वाक्य हल करने के लिए असंभव हैं, या क्या वे एक ही समय में सत्य और असत्य दोनों हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस सिस्टम अधिक सक्षम होते जा रहे हैं, शोधकर्ताओं ने इन प्राचीन विचारों का परीक्षण करने के लिए उनका उपयोग करना शुरू कर दिया है, इस उम्मीद में कि वे देख सकें कि क्या मशीनें स्वाभाविक रूप से इन जटिल तार्किक दृष्टिकोणों को अपनाती हैं। हालाँकि, एक नया अध्ययन बताता है कि जब हम इन मशीनों के उत्तर देने के तरीके को बारीकी से देखते हैं, तो हम अक्सर उनके "नहीं" शब्द को संसाधित करने की क्षमता में एक गड़बड़ी (glitch) देख रहे होते हैं, न कि कोई गहरा दार्शनिक अंतर्दृष्टि।
चिली और इक्वाडोर के विश्वविद्यालयों के एक शोधकर्ता, माइकेल लेवा ने यह परीक्षण करने के लिए छह अलग-अलग भाषा मॉडलों का परीक्षण किया कि क्या वे वास्तव में इन जटिल तरीकों से तर्क करते हैं। अध्ययन एक सरल लेकिन कठोर योजना के साथ शुरू हुआ: कठिन दार्शनिक पहेलियों के बारे में पूछने से पहले, शोधकर्ता ने उन्हें निर्विवाद रूप से सत्य या असत्य तथ्यों के बारे में पूछा। उन्होंने 150 स्पष्ट कथन प्रस्तुत किए, जैसे कि "11 और 35 का योग 46 है" और "पेरिस फ्रांस की राजधानी है," उनके निषेधों के साथ। फिर उन्होंने प्रत्येक मॉडल से, अलग-अलग बातचीत में, पूछा कि क्या मूल कथन सत्य है और क्या निषेधित कथन सत्य है। यदि कोई मॉडल सही ढंग से काम कर रहा है, तो उसे एक के लिए "सत्य" और दूसरे के लिए "असत्य" कहना चाहिए। यदि वह दोनों के लिए "असत्य" कहता है, तो उसने एक "गैप" (अंतराल) बना लिया है। यदि वह दोनों के लिए "सत्य" कहता है, तो उसने एक "ग्लट" (अतिरेक), या एक विरोधाभास बना लिया है।
इन प्रारंभिक परीक्षणों के परिणाम चौंकाने वाले थे। परीक्षण किए गए छह मॉडलों में से, चार ने अपने स्वयं के तर्क के बुनियादी परीक्षण में विफलता प्रदर्शित की। सरल गणितीय समस्याओं का सामना करते समय, इन मॉडलों ने अक्सर सही और गलत दोनों योगों को नकार दिया। उदाहरण के लिए, एक मॉडल ने यह भी नकारा कि 11 प्लस 35 बराबर 46 है, और यह भी नकारा कि 11 प्लस 35 बराबर 46 नहीं है। यह कुछ मॉडलों के लिए गणित के आधे से अधिक प्रश्नों में हुआ। शोधकर्ता ने पाया कि यह विफलता ज्ञान की कमी के कारण नहीं थी; मॉडलों ने ये त्रुटियां तब भी कीं जब गणित सही था। इसके बजाय, मॉडल निषेध (negation) की क्रिया के साथ संघर्ष करते लग रहे थे। वे अंकगणित की प्रकृति में कोई तार्किक अंतराल नहीं खोज रहे थे; वे बस "नहीं" शब्द को संसाधित करने में विफल हो रहे थे।
इन निष्कर्षों को समझने के लिए, शोधकर्ता ने परिणामों की व्याख्या करने के लिए एक सख्त नियम, या "गेट" (द्वार) स्थापित किया। किसी मॉडल के उत्तरों को तभी वास्तविक तार्किक अंतराल माना जा सकता है जब वह पहले सरल, ज्ञात तथ्यों पर अच्छा प्रदर्शन करे। यदि कोई मॉडल आसान प्रश्नों पर बहुत अधिक गलतियाँ करता है, तो उसके कठिन प्रश्नों के उत्तरों पर भरोसा नहीं किया जा सकता। जब यह नियम लागू किया गया, तो तस्वीर नाटकीय रूप से बदल गई। चार मॉडलों को गेट में विफल होने के कारण अयोग्य घोषित कर दिया गया। एक पांचवें मॉडल ने, हालांकि उसने बहुत अधिक तर्क संबंधी गलतियाँ नहीं कीं, 30 प्रतिशत से अधिक मामलों में उत्तर देने से इनकार कर दिया या ऐसे उत्तर दिए जिन्हें समझा नहीं जा सकता था, जिससे उसके परिणाम मापने योग्य नहीं रहे। इससे केवल एक मॉडल बचा, एक छोटा सिस्टम जिसका नाम जेमिनी 3.1 फ्लैश लाइट (Gemini 3.1 Flash Lite) था, जो आगे के अध्ययन के लिए पर्याप्त विश्वसनीय था।
इस एकल, कैलिब्रेटेड मॉडल के साथ, शोधकर्ता प्रसिद्ध 'लायर पैराडॉक्स' पर वापस लौटा। अंशांकन (calibration) से पहले, एक बड़े, ओपन-सोर्स मॉडल के डेटा के अनकैलिब्रेटेड अध्ययन ने सुझाव दिया था कि मशीन ने विरोधाभास को एक तार्किक अंतराल के रूप में माना, यानी उसने सत्य मान को सौंपने से इनकार कर दिया। यह ऐसा लग रहा था जैसे मशीन दार्शनिक క్రిप्की के तर्क का पालन कर रही है, जिन्होंने तर्क दिया था कि ऐसे वाक्यों का कोई सत्य मान नहीं होता। हालाँकि, एक बार अंशांकन लागू होने के बाद, वह निष्कर्ष गायब हो गया। एकमात्र मॉडल जिस पर भरोसा किया जा सकता था, उसने विरोधाभास को अंतराल के रूप में नहीं देखा। इसके बजाय, उसने उत्तर दिया कि वाक्य सत्य नहीं है और वह असत्य है, प्रभावी रूप से इसे एक मानक "असत्य" का निर्णय दिया। इसने वाक्य को न तो सत्य और न ही असत्य के रूप में देखा, बल्कि इसने इसे बिना किसी मूल्य के भी नहीं देखा। इसने बस उस दावे को खारिज कर दिया।
अध्ययन यह निष्कर्ष निकालता है कि कृत्रिम बुद्धिमत्ता का उपयोग करके प्राचीन तार्किक पहेलियों को हल करने का वादा वर्तमान में मशीनों की अपनी कमजोरियों के कारण सीमित है। "गैप्स" और "ग्लट्स" जिन्हें शोधकर्ता इन मॉडलों के व्यवहार में खोजने की उम्मीद कर रहे थे, वे अक्सर निषेध को संभालने में मॉडलों की त्रुटियाँ मात्र थे। एक मॉडल जिसने सख्त परीक्षण पास किया, उसने लायर पैराडॉक्स के लिए कोई नया दार्शनिक समाधान नहीं दिया; उसने एक मानक, दो-तरफा उत्तर दिया। शोध यह सिद्ध नहीं करता कि मशीनें जटिल तरीकों से सोच नहीं सकतीं, लेकिन यह सिद्ध करता है कि हम यह मान नहीं सकते कि वे ऐसा करती हैं। यह जानने के लिए कि मशीन वास्तव में क्या सोच रही है, हमें पहले यह सुनिश्चित करना होगा कि वह एक कथन और उसके विपरीत के बीच के अंतर को समझती है। जब तक हम मॉडलों को "नहीं" के सरल तर्क को संभालने के लिए कैलिब्रेट नहीं कर लेते, तब तक जटिल पहेलियों पर उनके उत्तरों से निकाले गए कोई भी गहरे निष्कर्ष अप्रामाणिक रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।