Humans and LLMs Diverge on Probabilistic Inferences
यह शोध पत्र ProbCOPA को प्रस्तुत करता है, जो मानव निर्णयों के साथ एनोटेट की गई संभाव्य अनुमानों (probabilistic inferences) का एक डेटासेट है, यह प्रदर्शित करने के लिए कि अत्याधुनिक रीजनिंग वाले LLMs निरंतर मानव संभाव्य तर्क की क्रमिक और विविध प्रकृति की नकल करने में विफल रहते हैं, जो नियतात्मक कार्यों (deterministic tasks) से परे मॉडलों के मूल्यांकन के लिए एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Humans and LLMs Diverge on Probabilistic Inferences" (इंसान और LLM संभाव्यता संबंधी अनुमानों में अलग हैं) पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं का उपयोग किया गया है।
मुख्य विचार: "शायद" वाली मशीन बनाम "शायद" वाला इंसान
कल्पना कीजिए कि आप एक हाईवे पर खड़े होकर कार दुर्घटना देख रहे हैं।
- मानवीय विचार: "ओह नहीं, एक दुर्घटना! ट्रैफिक शायद बहुत खराब होने वाला है।" (आप काफी आश्वस्त हैं, लेकिन आप जानते हैं कि यह संभव है कि पुलिस ने तुरंत रास्ता साफ कर दिया हो, या सभी ने दूसरा रास्ता चुन लिया हो। इसलिए, आप सोचते हैं कि यह संभावित है, लेकिन 100% गारंटी नहीं है।)
- LLM का विचार: पेपर का तर्क है कि वर्तमान AI मॉडल इस "शायद" के साथ संघर्ष करते हैं। वे एक ऐसे रोबोट की तरह व्यवहार करते हैं जो केवल ब्लैक एंड व्हाइट (काला और सफेद) देखता है। वे या तो सोचते हैं "ट्रैफिक निश्चित रूप से खराब होगा" या "ट्रैफिक निश्चित रूप से ठीक रहेगा," और अक्सर उस उलझे हुए, अनिश्चित मध्य मार्ग को छोड़ देते हैं जहाँ वास्तविक जीवन घटित होता है।
शोधकर्ताओं ने यह देखने के लिए एक नया परीक्षण बनाया जिसे PROBCOPA कहा जाता है कि AI इन "ग्रे एरिया" (धुंधले क्षेत्र) वाले अंदाजों को इंसानों की तुलना में कितनी अच्छी तरह संभालता है।
1. परीक्षण: एक नए प्रकार की पहेली
शोधकर्ताओं ने एक क्लासिक पहेली डेटासेट COPA (जो पूछता है जैसे, "बारिश हुई। क्या घास गीली हो गई?") को एक संभाव्यता (probability) परीक्षण में बदल दिया।
"सही या गलत?" पूछने के बजाय, उन्होंने पूछा: "0 से 100 के पैमाने पर, यह परिणाम कितना संभावित है?"
- 0 = असंभव।
- 100 = गारंटीकृत।
- 50 = एक सिक्के का उछाल (सिक्का उछालने जैसा/50-50)।
उन्होंने 210 अलग-अलग परिदृश्यों (scenarios) को रेट करने के लिए 30 अलग-अलग इंसानों से कहा। फिर, उन्होंने 8 सबसे स्मार्ट AI मॉडलों (जैसे GPT-5, Gemini, Claude) से भी बिल्कुल यही काम 30-30 बार करने को कहा।
2. इंसानों ने क्या किया: "गोल्डिलॉक्स" ज़ोन (Goldilocks Zone)
जब इंसानों ने इन परिदृश्यों को देखा, तो उनके जवाब श्रेणीबद्ध और विविध थे।
- उपमा: कल्पना कीजिए कि इंसान एक कोरस (choir) की तरह हैं जो एक सुर में गा रहे हैं। कुछ थोड़ा ऊँचा गाते हैं, कुछ थोड़ा नीचा, लेकिन वे सभी एक विशिष्ट नोट के आसपास क्लस्टर (समूह) बनाते हैं।
- परिणाम: इंसान चरम स्थितियों (0 या 100) पर सहमत थे। लेकिन बीच की चीजों के लिए, उन्होंने जवाबों की एक विस्तृत श्रृंखला दी। किसी ने कहा "70% संभावित," तो किसी ने कहा "40% संभावित।" जवाबों का यह फैलाव वास्तव में एक अच्छी बात है—यह दर्शाता है कि इंसान समझते हैं कि दुनिया अनिश्चित है।
3. AI ने क्या किया: "सब-या-कुछ-नहीं" वाला रोबोट
AI मॉडलों ने बहुत अलग व्यवहार किया।
- उपमा: कल्पना कीजिए कि AI एक लाइट स्विच है। यह या तो ON (100% निश्चित) है या OFF (0% निश्चित) है। यह शायद ही कभी रोशनी को मंद (dim) छोड़ता है।
- परिणाम: AI ने बीच में (जैसे 40% या 60%) जवाब लगभग कभी नहीं दिए। यह सीधे "अत्यधिक संभावित" या "अत्यधिक अनिश्चित" पर कूद गया।
- समस्या: भले ही इंसान भ्रमित थे और अलग-अलग जवाब दे रहे थे, AI ने हर बार एक ही जवाब दिया। इसमें वह "मानवीय भिन्नता" की कमी थी जो वास्तविक अनिश्चितता से आती है।
4. "सोचने" की प्रक्रिया: AI ऐसा क्यों करता है?
शोधकर्ताओं ने AI के "दिमाग" (इसके रीजनिंग चेन) के अंदर झाँका कि यह कैसे सोचता है।
- उपमा: जब इंसान अनिश्चित होता है, तो वह कह सकता है, "खैर, यह ऐसा हो सकता है, या शायद वह... मुझे यकीन नहीं है।"
- AI की ट्रिक: AI विकल्पों का उल्लेख करता है। यह कहता है, "शायद ट्रैफिक साफ हो गया, शायद नहीं हुआ।" लेकिन, विकल्पों को बताने के बाद, यह तुरंत एक पक्ष चुन लेता है और उस चुनाव में 100% आश्वस्त होकर कार्य करता है।
- निष्कर्ष: AI अधिक समय "सोचने" (अधिक टेक्स्ट जेनरेट करने) में बिताता है जब इंसान भ्रमित होते हैं, लेकिन फिर भी यह जवाबों की एक श्रृंखला (range) पैदा नहीं करता। यह बस गलत चीज़ के बारे में अधिक गहराई से सोचता है: निर्णायक होने के बारे में, न कि अनिश्चित होने के बारे में।
5. "टेम्परेचर" प्रयोग: क्या हम इसे ठीक कर सकते हैं?
शोधकर्ताओं ने इसकी सेटिंग्स बदलकर (जैसे इसे अधिक रैंडम बनाने के लिए "तापमान/temperature" बढ़ाकर, या इसे "आप एक संदिग्ध जासूस हैं" जैसा नकली व्यक्तित्व देकर) AI को अधिक "मानव-समान" बनाने की कोशिश की।
- परिणाम: यह काम नहीं आया।
- "रैंडमनेस" (यादृच्छिकता) बढ़ाने से AI केवल मतिभ्रम (hallucinations) पैदा करने लगा या बकवास दोहराने लगा।
- एक "व्यक्तित्व" देने से भी इसके जवाबों में पर्याप्त भिन्नता नहीं आई।
- अधिक "लंबा सोचने" से भी कोई मदद नहीं मिली।
निष्कर्ष: हमें "ग्रे" (धुंधले) चिंतन की आवश्यकता है
पेपर यह निष्कर्ष निकालता है कि जबकि AI गणित और तर्क (जहाँ उत्तर 100% सही या 100% गलत होता है) में अद्भुत है, यह संभाव्यता संबंधी तर्क (probabilistic reasoning) (जहाँ उत्तर "शायद, लेकिन शायद नहीं" होता है) में बहुत खराब है।
- मानवीय तर्क: "मुझे लगता है कि बारिश की 60% संभावना है, लेकिन मैं एहतियात के तौर पर छाता साथ रखूँगा।"
- AI तर्क: "बारिश हो रही है।" (भले ही डेटा कहता हो कि इसकी संभावना केवल 60% है)।
यह क्यों मायने रखता है?
जैसे-जैसे हम AI का उपयोग चिकित्सा निदान (medical diagnoses), कानूनी सलाह, या सेल्फ-ड्राइविंग कारों जैसी चीजों के लिए करना शुरू कर रहे हैं, हमें ऐसी मशीनों की आवश्यकता है जो अनिश्चितता को समझ सकें। यदि कोई AI कहता है कि एक सर्जरी की "सफलता दर 99% है" जबकि वास्तव में वह एक सिक्के के उछाल (50-50) जैसा है, तो यह खतरनाक है। यह पेपर दिखाता है कि अभी, हमारे सर्वश्रेष्ठ AI मॉडल भी बहुत आत्मविश्वासी और बहुत कठोर हैं, और वे वास्तव में मानव जीवन की उलझी हुई, अनिश्चित प्रकृति को समझने के लिए तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।