Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning
यह शोध पत्र तर्क के एरोटेटिक सिद्धांत (Erotetic Theory of Reasoning) का उपयोग करते हुए 38 भाषा मॉडलों का मूल्यांकन करता है ताकि यह प्रदर्शित किया जा सके कि जैसे-जैसे मॉडल की क्षमता बढ़ती है, उनकी त्रुटियां यादृच्छिक गलतियों के बजाय विशिष्ट मानव-समान तर्कदोषों (fallacy patterns) के अधिक अनुरूप हो जाती हैं, और आधारवाक्यों (premise) का क्रम तर्कदोष उत्पादन को महत्वपूर्ण रूप से प्रभावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जासूस बनना सिखा रहे हैं। आप उसे सुरागों (premises) का एक ढेर देते हैं और उसे एक रहस्य सुलझाने के लिए कहते हैं। यदि रोबोट उत्तर गलत देता है, तो आप जानना चाहते हैं: क्या यह एक रैंडम (यादृच्छिक) गलती कर रहा है, या यह वही तरह की गलती कर रहा है जो एक इंसान करता?
यह शोध पत्र, जिसे एक प्रमुख AI सम्मेलन में प्रस्तुत किया गया है, ठीक यही सवाल पूछता है। शोधकर्ता यह देखना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के दिमाग हैं—सिर्फ किसी भी तरह से "बेवकूफी" कर रहे हैं, या उनके पास एक विशिष्ट, अनुमानित "मानव-समान" तरीका है गलत होने का।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. "मानवीय त्रुटि" (Human Glitch) का सिद्धांत
शोधकर्ताओं ने एरोटेटिक रीजनिंग थ्योरी (ETR) नामक एक विशेष सिद्धांत का उपयोग किया। इस सिद्धांत को आप "मानवीय मस्तिष्क के धुंधलके (brain fog) का ब्लूप्रिंट" मान सकते हैं।
- उपमा: कल्पना कीजिए कि आपका मस्तिष्क एक फिल्टर है। जब आप एक जटिल कहानी सुनते हैं, तो आपका मस्तिष्क सभी संभावनाओं को खुला रखने की कोशिश करता है। लेकिन कभी-कभी, ऊर्जा बचाने के लिए, आपका मस्तिष्क बहुत जल्दी एक संभावना को अनजाने में छोड़ देता है। इससे एक विशिष्ट प्रकार की तार्किक त्रुटि होती है जिसे "फालसी" (fallacy) कहा जाता है।
- टूल: टीम ने PyETR नामक एक सॉफ्टवेयर टूल बनाया (इस सिद्धांत के लिए एक कैलकुलेटर)। यह हजारों ऐसे लॉजिक पजल्स बनाता है जो विशेष रूप से मनुष्यों में इन "ब्रेन फॉग" के क्षणों को ट्रिगर करने के लिए डिज़ाइन किए गए हैं।
2. प्रयोग: 38 जासूस, 383 पहेलियाँ
उन्होंने 38 अलग-अलग AI मॉडल्स को (छोटे, सस्ते मॉडल्स से लेकर विशाल, सुपर-स्मार्ट मॉडल्स तक) 383 लॉजिक पजल्स दिए।
उन्होंने दो चीजें देखीं:
- क्या AI ने सही उत्तर दिया?
- यदि इसने गलत उत्तर दिया, तो क्या इसने वह विशिष्ट गलती की जो "मानवीय ब्रेन फॉग ब्लूप्रिंट" द्वारा भविष्यवाणी की गई थी?
3. सबसे बड़ा आश्चर्य: स्मार्ट AI = अधिक मानव-समान गलतियाँ
यह सबसे अधिक विरोधाभासी निष्कर्ष है। आमतौर पर, हम सोचते हैं: "AI जितना बड़ा और स्मार्ट होगा, गलतियाँ उतनी ही कम होंगी।"
वास्तविकता:
- कुल सटीकता (Overall Accuracy): जैसे-जैसे AI "स्मार्टर" होता गया (इसे चैटबॉट टूर्नामेंट में इसके प्रदर्शन द्वारा मापा गया), इन लॉजिक पजल्स पर सही उत्तर देने की इसकी क्षमता सुधरी नहीं। यह लगभग समान रही।
- "मानवीय" त्रुटि दर: हालांकि, जब स्मार्ट AI ने गलतियाँ कीं, तो वे बहुत अधिक संभावना के साथ उन विशिष्ट, मानव-समान गलतियों को करते थे जिनकी भविष्यवाणी सिद्धांत द्वारा की गई थी।
रूपक (Metaphor):
कल्पना कीजिए कि छात्रों का एक समूह एक कठिन गणित की परीक्षा दे रहा है।
- "कम समझ वाला" छात्र: वह उत्तर गलत करता है क्योंकि उसे गणित बिल्कुल नहीं आता। वह रैंडम तरीके से अनुमान लगाता है।
- "स्मार्ट" छात्र: वह गणित जानता है, लेकिन जब वह चूक करता है, तो वह एक बहुत ही विशिष्ट तरीके से चूक करता है क्योंकि वह बहुत अधिक सोच रहा होता है या किसी बुरी आदत पर निर्भर होता है।
- निष्कर्ष: जैसे-जैसे AI मॉडल्स "स्मार्टर" (स्मार्ट छात्र की तरह) होते गए, उनकी गलतियाँ रैंडम शोर (random noise) नहीं रहीं और वे ठीक उन्हीं विशिष्ट, अनुमानित त्रुटियों की तरह दिखने लगीं जो इंसान करते हैं। वे केवल विफल नहीं हो रहे थे; वे हमारी तरह विफल हो रहे थे।
4. "ऑर्डर ऑफ ऑपरेशंस" का कमाल
शोधकर्ताओं ने AI के साथ एक चाल भी चली। तर्क (logic) में, सुरागों का क्रम मायने नहीं रखता। (यदि A का अर्थ B है, और B का अर्थ C है, तो इससे कोई फर्क नहीं पड़ता कि आप पहले A और B कहें, या B और A)।
लेकिन इंसान अजीब होते हैं। यदि आप किसी इंसान को अलग क्रम में कहानी सुनाते हैं, तो वह भ्रमित हो सकता है और गलती कर सकता है।
- परीक्षण: शोधकर्ताओं ने AI को वही लॉजिक पजल्स दिए लेकिन सुरागों का क्रम बदल दिया।
- परिणाम: कई मॉडल्स के लिए, वाक्यों के क्रम को उलटने मात्र से वे मानव-समान गलती करना बंद कर देते थे। यह ऐसा था जैसे AI को एक "रीसेट बटन" मिल गया हो जिसने उस बुरी आदत को तोड़ दिया। यह साबित करता है कि AI केवल गणना नहीं कर रहा है; यह कहानी के प्रवाह के प्रति प्रतिक्रिया दे रहा है, ठीक वैसे ही जैसे एक इंसान करता है।
5. यह क्यों मायने रखता है?
यह एक दोधारी तलवार है।
- अच्छी खबर: इसका मतलब है कि AI मानवीय भाषा और तर्क के पैटर्न को समझने के लिए पर्याप्त परिष्कृत होता जा रहा है। यह केवल एक कैलकुलेटर नहीं है; यह एक व्यक्ति की तरह सोचने लगा है।
- बुरी खबर: इसका मतलब यह भी है कि जैसे-जैसे AI अधिक शक्तिशाली होता जाएगा, यह हमारे सबसे बुरे संज्ञानात्मक पूर्वाग्रहों (cognitive biases) को भी विरासत में ले सकता है। यदि हम चिकित्सा निदान या कानूनी सलाह के लिए AI का उपयोग करते हैं, तो हम केवल यह मानकर नहीं चल सकते कि यह हमसे "अधिक तार्किक" होगा। यह कुछ मामलों में अधिक तार्किक हो सकता है, लेकिन यह अभी भी उन्हीं जाल में फंसेगा जिनमें हमारा मस्तिष्क फंसता है।
निचोड़ (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि AI को स्केल अप करना (इसे बड़ा और स्मार्ट बनाना) इसकी तर्क करने की क्षमता को अपने आप ठीक नहीं करता। इसके बजाय, ऐसा लगता है कि यह AI को उन विशिष्ट, व्यवस्थित त्रुटियों को करने के लिए ट्यून करता है जो मनुष्य करते हैं।
सीख: यदि आप वास्तव में विश्वसनीय AI बनाना चाहते हैं, तो आप इसे केवल बड़ा नहीं बना सकते। आपको इसे विशेष रूप से उन "मानवीय ग्लिच" से बचने के लिए प्रशिक्षित करना होगा जिन्हें हमारे सबसे स्मार्ट मॉडल भी अब पकड़ रहे हैं। हमें रोबोट को न केवल सोचना नहीं, बल्कि यह भी सिखाना होगा कि जब तर्क की आवश्यकता हो तो इंसानों की तरह सोचना कैसे बंद किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।