Abductive Reasoning with Syllogistic Forms in Large Language Models
यह शोध पत्र एक न्यायवाक्य (syllogistic) डेटासेट को परिवर्तित करके एबडक्टिव रीजनिंग (abductive reasoning) में लार्ज लैंग्वेज मॉडल्स की सटीकता और संभावित पूर्वाग्रहों की जांच करता है ताकि सीमित जानकारी से अस्थायी निष्कर्ष निकालने की उनकी क्षमता का मूल्यांकन किया जा सके, जिसका उद्देश्य औपचारिक निगमन (formal deduction) से परे मशीन और मानव संज्ञान के बीच के अंतर को पाटना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास सोचने के दो मुख्य तरीके हैं: निगमन (Deduction) और अपवर्तन (Abduction)।
- निगमन (Deduction) एक सख्त रेसिपी (विधि) का पालन करने जैसा है। यदि आप सामग्री (आधार वाक्य 1) और चरणों (आधार वाक्य 2) को जानते हैं, तो केक (निष्कर्ष) बिल्कुल वैसा ही बनेगा जैसा वर्णित किया गया है। इसमें कोई अनुमान नहीं लगाया जाता।
- अपवर्तन (Abduction) एक अपराध स्थल पर मौजूद जासूस होने जैसा है। आप एक कीचड़ वाला पदचिह्न देखते हैं (अवलोकन) और आप जानते हैं कि कीचड़ वाले जूते पदचिह्न छोड़ते हैं (नियम)। आप अनुमान लगाते हैं, "आह, बटलर यहाँ रहा होगा!" (परिकल्पना)। यह कोई गारंटीकृत तथ्य नहीं है, लेकिन यह जो आप देखते हैं उसे समझाने के लिए सबसे अच्छा अनुमान है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं—का परीक्षण करने के बारे में है, यह देखने के लिए कि वे एक जासूस (Abduction) बनने में (Deduction) रेसिपी का पालन करने की तुलना में कितने अच्छे हैं।
बड़ी हैरानी: AI एक बुरा जासूस है
शोधकर्ताओं को उम्मीद थी कि AI अपवर्तन (Abduction) में बहुत अच्छा होगा क्योंकि, वास्तविक जीवन में हम ऐसा ही करते हैं। हम अनुमान लगाते हैं कि ट्रेन क्यों लेट है या हमारा दोस्त उदास क्यों है। हम केवल गणना नहीं करते; हम निष्कर्ष निकालते हैं।
हालाँकि, परिणाम आश्चर्यजनक थे: AI वास्तव में रेसिपी का पालन करने की तुलना में एक जासूस बनने में कम कुशल था।
- निगमन में (रेसिपी): AI काफी अच्छा था, खासकर जब उसे पहले अध्ययन करने के लिए कुछ उदाहरण दिए गए हों। वह तर्क के नियमों का अच्छी तरह से पालन कर सकता था।
- अपवर्तन में (जासूसी कार्य): AI संघर्ष करता रहा। वह अक्सर सही अनुमान लगाने में विफल रहा, या उसने उसके विपरीत अनुमान लगाया जो समझ में आता था।
"कॉमन सेंस" (सामान्य ज्ञान) का जाल
यहाँ सबसे दिलचस्प बात है: AI उन्हीं "ब्रेन ग्लिच" (मस्तिष्क की त्रुटियों) से ग्रस्त है जिनसे मनुष्य भी होते हैं।
कल्पना कीजिए कि एक तर्क पहेली है जहाँ नियम कहते हैं: "सभी चीजें जो मीठे रेस्टोरेंट में बनी हैं, वे तीखी (spicy) हैं।"
फिर आप देखते हैं: "यह केक मीठे रेस्टोरेंट में बना था।"
तार्किक निष्कर्ष है: "यह केक तीखा है।"
लेकिन रुकिए! यह हमारे मानवीय मस्तिष्क को गलत लगता है क्योंकि केक आमतौर पर तीखे नहीं होते।
- ग्लिच (त्रुटि): मानव और AI दोनों ही यह कहने की प्रवृत्ति रखते हैं कि, "नहीं, यह निष्कर्ष अमान्य है," केवल इसलिए क्योंकि यह हमारे वास्तविक दुनिया के ज्ञान (कि केक मीठे होते हैं, तीखे नहीं) से टकराता है।
- परिणाम: AI तर्क परीक्षण में इसलिए विफल नहीं हुआ क्योंकि वह गणित नहीं कर सकता था, बल्कि इसलिए हुआ क्योंकि वह अपने "कॉमन सेंस" से विचलित हो गया था। उसने उस चीज़ को प्राथमिकता दी जो उसे लगता था कि सच है, बजाय इसके कि तर्क क्या कह रहा था।
"नेगेटिव" (नकारात्मक) पूर्वाग्रह
शोधकर्ताओं ने यह भी पाया कि AI के सोचने के तरीके में एक अजीब सा दोष है। यदि पहेली में "नहीं" या "नहीं" (जैसे, "बिल्लियाँ कुत्ते नहीं हैं") जैसे शब्दों का उपयोग किया गया है, तो AI में एक मजबूत आदत होती है कि वह अनुमान लगाता है कि उत्तर में भी "नहीं" होगा।
यह एक छात्र की तरह है जो परीक्षा दे रहा है और सोचता है, "यदि प्रश्न में 'नहीं' है, तो उत्तर में भी 'नहीं' होना चाहिए," भले ही तर्क इसके विपरीत हो। AI ने रेसिपी का पालन करने (Deduction) की तुलना में जासूसी कार्य (Abduction) में ऐसा बहुत अधिक किया।
इससे क्या फर्क पड़ता है?
शोध पत्र सुझाव देता है कि हम AI को कटौती (deduction) कार्यों में "अतार्किक" होने के लिए बहुत कठोरता से आंक रहे होंगे। शायद AI वास्तव में एक इंसान की तरह जासूस बनने की कोशिश कर रहा है, जो अव्यवस्थित है और अनुमानों से भरा है, न कि एक ठंडा, कठोर कैलकुलेटर।
हालाँकि, चूंकि AI वर्तमान में "रेसिपी का पालन करने" की तुलना में इस "जासूसी कार्य" में खराब है, यह हमें बताता है कि:
- AI अभी तक पूरी तरह से मानव नहीं बना है: इसने सीमित सुरागों से स्मार्ट अनुमान लगाने की कला में महारत हासिल नहीं की है जैसा कि हम करते हैं।
- हमें बेहतर प्रशिक्षण की आवश्यकता है: AI को जटिल समस्याओं (जैसे चिकित्सा निदान या वैज्ञानिक खोज) के लिए वास्तव में सहायक बनाने के लिए, हमें इसे केवल "हाँ" और "नहीं" के बजाय "शायद" और "संभवतः" को बेहतर ढंग से संभालने के लिए सिखाने की आवश्यकता है।
निष्कर्ष (The Takeaway)
AI को एक ऐसे प्रतिभाशाली छात्र के रूप में सोचें जो गणित की कक्षा (Deduction) में बहुत अच्छा है लेकिन "रहस्य का अनुमान लगाओ" खेल में बार-बार फेल हो जाता है क्योंकि वह अपने वास्तविक दुनिया के ज्ञान से भ्रमित हो जाता है। यह शोध पत्र एक आह्वान है: बेहतर AI बनाने के लिए, हमें उन्हें कैलकुलेटर की तरह मानना बंद करना होगा और उन्हें एक बेहतर जासूस बनना सिखाना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।