Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs
यह अध्ययन प्रकट करता है कि जबकि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) कभी-कभी कंडीशन्स (शर्तों) में प्रिपोजिशन प्रोजेक्शन (पूर्वधारणा प्रक्षेपण) पर मानवीय रेटिंग के बराबर प्रदर्शन कर सकते हैं, उनका प्रदर्शन अक्सर वास्तविक व्यावहारिक तर्क के बजाय सतही पैटर्न मिलान से उत्पन्न होता है, जो सांख्यिकीय संरेखण और वास्तविक भाषाई सक्षमता के बीच एक विच्छेद को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके पेपर की व्याख्या दी गई है।
मुख्य विचार: "यदि-तो" (If-Then) की पहेली
कल्पना कीजिए कि आप एक दोस्त के साथ तर्क (logic) का खेल खेल रहे हैं। आप कहते हैं: "यदि जॉन एक स्कूबा डाइवर है, तो वह अपना वेटसूट साथ लाएगा।"
आपका दोस्त पूछता है, "क्या जॉन के पास वास्तव में वेटसूट है?"
- मानवीय उत्तर: अधिकांश मनुष्य कहते हैं, "शायद अभी नहीं। उसके पास वेटसूट तभी होगा यदि वह गोताखोरी कर रहा हो।" वेटसूट इस शर्त से जुड़ा हुआ है।
- दूसरा मानवीय उत्तर: अब कल्पना कीजिए कि आप कहते हैं: "यदि जॉन लंदन की उड़ान भरता है, तो उसकी बहन उसे लेने आएगी।"
- मानवीय उत्तर: यहाँ, मनुष्य कहते, "हाँ, जॉन की एक बहन निश्चित रूप से है।" उसका बहन होना उड़ान पर निर्भर नहीं है; यह जॉन के बारे में एक तथ्य है।
इस अंतर को "प्रोविसो समस्या" (Proviso Problem) कहा जाता है। यह भाषा विज्ञान (linguistics) में एक पेचीदा पहेली है कि हम यह कैसे तय करते हैं कि एक छिपा हुआ तथ्य (एक पूर्वधारणा या 'presupposition') हमेशा सत्य है या केवल तभी सत्य है जब "यदि" वाला हिस्सा घटित होता है।
प्रयोग: मनुष्य बनाम AI
शोधकर्ताओं ने यह देखना चाहा कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के दिमाग हैं—इस पहेली को उसी तरह हल कर सकते हैं जैसे मनुष्य करते हैं।
उन्होंने एक "टेस्ट" तैयार किया जिसमें दो समूह थे:
- 120 मनुष्य: वास्तविक लोग जिन्होंने वाक्यों को पढ़ा और एक छिपे हुए तथ्य के सत्य होने की संभावना को 0 से 7 के पैमाने पर रेट किया।
- 4 AI मॉडल: AI के विभिन्न संस्करण (जैसे GPT-5, Gemini, Llama, और Qwen) जिन्होंने बिल्कुल वही कार्य किया।
उन्होंने AI का परीक्षण दो तरीकों से किया:
- "बेयर" (Bare) टेस्ट: केवल वाक्य (जैसे, "यदि जॉन एक डाइवर है...")।
- "कॉन्टेक्स्ट" (Context) टेस्ट: वाक्य और थोड़ा सा बैकग्राउंड विवरण (जैसे, "जॉन ओटावा से है। यदि जॉन एक डाइवर है...")।
परिणाम: "बहरूपिया" AI
यहाँ उन्हें क्या मिला, जिसे सरल रूपकों में विभाजित किया गया है:
1. मनुष्य सहज बुद्धि वाले जासूस हैं
मनुष्य इसमें बहुत अच्छे हैं। वे तर्क को सामान्य ज्ञान के साथ मिलाते हैं। यदि "यदि" वाला हिस्सा छिपे हुए तथ्य को अधिक संभावित बनाता है (जैसे एक डाइवर को वेटसूट की आवश्यकता होती है), तो वे अपनी रेटिंग कम कर देते हैं। यदि "यदि" का तथ्य से कोई लेना-देना नहीं है (जैसे लंदन की उड़ान भरना और बहन का होना), तो वे रेटिंग को उच्च रखते हैं। वे इस बात के प्रति संवेदनशील हैं कि वाक्य के दोनों हिस्से एक-दूसरे के कितने प्रासंगिक हैं।
2. AI उत्तर की "नकल" करता है, लेकिन तर्क नहीं
यह सबसे आश्चर्यजनक हिस्सा है।
- छोटा AI (Qwen): इस मॉडल ने ऐसे उत्तर दिए जो मनुष्यों के बहुत समान थे। यदि मनुष्यों ने "7" कहा, तो AI ने "6.8" कहा। यह एक बेहतरीन नकलची था।
- बड़ा AI (GPT-5, Gemini): इन मॉडलों ने ऐसे उत्तर दिए जो मनुष्यों जैसे कम थे। वे अक्सर बहुत अधिक या बहुत कम थे, और वे उन सूक्ष्म बदलावों को पकड़ने में विफल रहे जो मनुष्य करते हैं।
ट्विस्ट: जब शोधकर्ताओं ने AI से पूछा कि उन्होंने वे उत्तर क्यों दिए (जैसे किसी छात्र से उसका गणित का काम दिखाने के लिए कहना), तो एक अजीब पैटर्न सामने आया:
- छोटा AI (Qwen), जिसने सबसे बेहतर मानवीय उत्तर दिए, वास्तव में उसका तर्क बहुत खराब था। वह तर्क को ठीक से समझा नहीं सका। वह केवल अपने प्रशिक्षण डेटा में देखे गए पैटर्न के आधार पर अनुमान लगा रहा था, जैसे कोई तोता बिना अर्थ समझे सुनी हुई बात को दोहराता है।
- बड़ा AI (GPT-5), जिसने कम मानवीय उत्तर दिए, वास्तव में उसका तर्क बेहतर था। वह तर्क के नियमों को अच्छी तरह समझा सकता था, लेकिन अंतिम संख्या के मामले में, वह मनुष्यों की तुलना में गलत हो गया।
"चेकलिस्ट" की उपमा
इसे समझने के लिए, शोधकर्ताओं ने एक "जज AI" (रेफरी) का उपयोग किया जिसके पास एक चेकलिस्ट थी। कल्पना कीजिए कि एक शिक्षक छात्र के निबंध को ग्रेड दे रहा है।
- चेकलिस्ट: "क्या आपने ट्रिगर की पहचान की? क्या आपने जांचा कि क्या संदर्भ मायने रखता है? क्या आपने तर्क समझाया?"
- परिणाम: "बड़ा AI" चेकलिस्ट पास कर गया (उसने एक अच्छा निबंध लिखा)। "छोटा AI" चेकलिस्ट में विफल रहा (उसका निबंध अव्यवस्थित था)।
- विरोधाभास: भले ही "छोटा AI" तर्क परीक्षण में विफल रहा, लेकिन उसका अंतिम स्कोर मानव औसत के करीब था।
निष्कर्ष: पैटर्न मिलान बनाम समझ
पेपर यह निष्कर्ष निकालता है कि AI मॉडल वास्तव में भाषा को उस तरह से नहीं "समझ" रहे हैं जैसे मनुष्य करते हैं।
- मनुष्य यह तय करने के लिए कि कोई तथ्य सत्य है या नहीं, तर्क, दुनिया के ज्ञान और प्रासंगिकता के मिश्रण का उपयोग करते हैं।
- AI केवल सतही स्तर पर पैटर्न मिलान (pattern matching) करता प्रतीत होता है। वह "यदि जॉन एक डाइवर है" और "वेटसूट" जैसे शब्दों को देखता है, देखता है कि वे उसके प्रशिक्षण डेटा में अक्सर एक साथ आते हैं, और नंबर का अनुमान लगा लेता है। वह वास्तव में यह नहीं "जानता" कि वेटसूट गोताखोरी के अधीन है।
सीख: सिर्फ इसलिए कि एक AI आपको ऐसा उत्तर देता है जो सही दिखता है (जैसे वह छात्र जिसने उत्तर कुंजी रट ली है), इसका मतलब यह नहीं है कि वह पाठ को समझता है। वास्तव में, जो AI सबसे अधिक "मानवीय" उत्तर दे रहा था, वह वास्तव में वास्तविक तर्क पर सबसे कम निर्भर था।
यह पेपर क्या नहीं कहता है
- यह यह नहीं कहता कि AI बेकार है।
- यह यह नहीं कहता कि AI कभी भाषा को नहीं समझ पाएगा।
- यह चिकित्सा निदान या कानूनी सलाह के लिए इसका उपयोग करने का सुझाव नहीं देता है।
- यह केवल यह कहता है: अभी के लिए, इस प्रकार के पेचीदा तर्क वाले पहेली के मामले में, AI जितना वह सोचता है उससे कहीं बेहतर तरीके से दिखावा (fake) कर रहा है, और जो "सबसे स्मार्ट" दिखने वाले उत्तर हैं, वे सबसे सतही हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।