Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation
यह शोध पत्र विचार-विमर्श के आवंटन (deliberation allocation) में मनुष्यों और बड़े रीजनिंग मॉडल्स (LRMs) के बीच एक महत्वपूर्ण अलगाव को प्रकट करता है: जबकि दोनों ही कठिन समस्याओं पर कुल मिलाकर अधिक समय व्यतीत करते हैं, मनुष्य उन मदों पर कम समय निवेश करते हैं जिन्हें वे अंततः गलत कर देते हैं (कठिन कार्यों को छोड़ देना), जबकि LRMs विरोधाभासी रूप से उन समस्याओं पर लंबे रीजनिंग ट्रेसेस उत्पन्न करते हैं जिनमें वे विफल रहते हैं (अनिश्चितता में बने रहना), जो सतही समानताओं के बावजूद रुकने और नियंत्रण नीतियों में एक मौलिक अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो अलग-अलग छात्रों को एक बहुत कठिन गणित की परीक्षा देते देख रहे हैं। एक एक प्रतिभाशाली मानव किशोर है, और दूसरा एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम है जिसे चरण-दर-चरण समस्याओं पर "सोचने" के लिए डिज़ाइन किया गया है। लंबे समय से, वैज्ञानिक इस बात से मंत्रमुग्ध रहे हैं कि वे दोनों कैसे एक-दूसरे से तुलना करते हैं। उन्होंने एक सतही समानता देखी है: जब कोई समस्या पेचीदा होती है, तो मानव और कंप्यूटर दोनों ही उस पर अधिक समय बिताते हैं। यह एक कार के स्पीडोमीटर को देखने जैसा है; यदि सड़क ढलान वाली हो जाती है, तो दोनों चालक चढ़ाई करने के लिए धीमे हो जाते हैं। इस अवलोकन ने कई लोगों को यह विश्वास करने के लिए प्रेरित किया कि कंप्यूटर वास्तव में मनुष्यों की तरह "सोच" रहे हैं, और यह समझने के लिए समान मानसिक गियरों का उपयोग कर रहे हैं कि कौन सी समस्याएं कठिन हैं और कौन सी आसान।
लेकिन यहाँ एक मोड़ है: केवल इसलिए कि दो चालक एक ही खड़ी पहाड़ी पर धीमे होते हैं, इसका मतलब यह नहीं है कि वे एक ही तरह से गाड़ी चला रहे हैं। एक चालक मोड़ को सावधानी से पार करने के लिए धीमा हो सकता है, जबकि दूसरा इसलिए धीमा हो सकता है क्योंकि वह भ्रमित है और मानचित्र को देखते हुए अनिश्चित है कि आगे क्या करना है। आर्टिफिशियल इंटेलिजेंस और मानव मनोविज्ञान की दुनिया में बड़ा सवाल यह है: कैसे ये विचारक तय करते हैं कि कब कोशिश जारी रखनी है और कब हार मान लेनी है? क्या वे उन समस्याओं पर अतिरिक्त प्रयास करते हैं जिनमें वे संघर्ष कर रहे हैं, या वे नुकसान को स्वीकार कर आगे बढ़ जाते हैं? यह समझना केवल गणित के अंकों के बारे में नहीं है; यह यह पता लगाने के बारे में है कि क्या कंप्यूटर वास्तव में हमारी तरह तर्क करना सीख रहे हैं, या वे केवल सोचने के दिखावे की नकल कर रहे हैं बिना उसी आंतरिक तर्क के।
महान "सोचने" का बेमेल (The Great "Thinking" Mismatch)
शोधकर्ता हान-यू वांग द्वारा किए गए एक नए अध्ययन ने इस रहस्य की परतों को उघाड़ा है और एक चौंकाने वाला रहस्य सामने लाया है जो आँखों के सामने छिपा हुआ है। जबकि मानव और उन्नत "तर्क करने वाले" AI मॉडल इस बात पर सहमत हैं कि कौन सी समस्याएं कठिन हैं, वे इस बारे में पूरी तरह से असहमत हैं कि उसके बारे में क्या किया जाए।
इसे एक वीडियो गेम की तरह समझें। जब एक खिलाड़ी किसी ऐसे बॉस से टकराता है जो बहुत शक्तिशाली है, तो एक स्मार्ट मानव खिलाड़ी यह महसूस कर सकता है कि, "यह अभी बहुत कठिन है," और समय बर्बाद करना बंद करने का निर्णय ले सकता है, शायद एक अलग रणनीति आज़माने या दूसरे स्तर पर जाने का फैसला कर सकता है। वह विमुख (disengage) हो जाता है। लेकिन AI, इस अध्ययन के अनुसार, बिल्कुल इसके विपरीत करता है। जब AI किसी समस्या का गलत उत्तर देता है, तो वह रुकता नहीं है; वह और अधिक चलता रहता है, और भी अधिक टेक्स्ट, अधिक "विचार", और अधिक चरण उत्पन्न करता है, और अंत में गलत उत्तर देने से पहले तक जारी रहता है।
मुख्य खोज: "गलत" बनाम "सही" का अंतर
अध्ययन ने डेटा के एक विशाल संग्रह को देखा जहाँ मनुष्यों और छह अलग-अलग AI मॉडलों ने एक ही दृश्य पहेलियों (जिन्हें H-ARC कहा जाता है) को हल किया। शोधकर्ताओं ने दो चीजें मापीं:
- पंजीकरण (Registration): क्या वे इस बात पर सहमत थे कि कौन सी पहेलियाँ कठिन थीं? हाँ। मानव और AI दोनों ही कठिन पहेलियों पर अधिक समय लेते हैं।
- आवंटन (Allocation): जब उन्हें कोई पहेली गलत मिली, तो क्या उन्होंने सही मिलने की तुलना में उस पर अधिक या कम समय बिताया? नहीं। यहीं पर वे अलग हो जाते हैं।
- मानव: जब मनुष्यों को कोई पहेली गलत मिली, तो उन्होंने सही मिलने की तुलना में उस पर कम समय बिताया। डेटा एक "कोहेन का डी" (Cohen's d) -0.10 दिखाता है। यह एक "हार मान लेने" की रणनीति का सुझाव देता है। यदि कोई मनुष्य महसूस करता है कि वह फंस गया है, तो वह अक्सर उस पर सोचना जल्दी बंद कर देता है।
- AI मॉडल: जब AI को कोई पहेली गलत मिली, तो उसने काफी अधिक समय बिताया। AI मॉडलों ने "कोहेन का डी" 1.47 से 3.13 के बीच दिखाया। इसका मतलब है कि AI तब भी "विचार" (टोकन) उत्पन्न करता रहा, जब वह स्पष्ट रूप से विफल हो रहा था।
पेपर का तर्क है कि यह केवल एक छोटी सी त्रुटि नहीं है; यह उनके "सोचने" के तरीके में एक मौलिक अंतर है। मानव पैटर्न जुड़ाव बनाम परित्याग (engagement vs. abandonment) जैसा दिखता है: हम उन समस्याओं पर टिके रहते हैं जिन्हें हम हल कर सकते हैं और उन्हें छोड़ देते हैं जिन्हें हम नहीं कर सकते। AI पैटर्न अनिश्चितता-पर-लंबाई (length-on-uncertainty) जैसा दिखता है: जब AI अनिश्चित होता है, तो वह बस बोलता रहता है, तर्क की लंबी श्रृंखलाएं उत्पन्न करता रहता है, भले ही वह अतिरिक्त बातचीत उसे सही उत्तर पाने में मदद न कर रही हो।
"ट्रेस" के सुराग (The "Trace" Clues)
यह समझने के लिए कि AI ऐसा क्यों करता है, शोधकर्ताओं ने AI द्वारा उत्पन्न वास्तविक टेक्स्ट (उसका "थॉट ट्रेस") को देखा। उन्होंने पाया कि जब AI किसी प्रश्न का गलत उत्तर देने वाला होता था, तो उसका टेक्स्ट "हिचकिचाहट" और "आत्म-संदेह" से भरा होता था। वह कहता था जैसे "रुको, वास्तव में," "हम्म," या "मुझे फिर से विचार करने दो।" वह अनिवार्य रूप से खुद से बात कर रहा था, रास्ते को लेकर अनिश्चित था, लेकिन वह रुका नहीं।
इसके विपरीत, जब मनुष्यों ने तेजी से कोई प्रश्न गलत किया, तो उन्होंने अक्सर कम चालें (जैसे पहेली में ग्रिड संपादन की कम संख्या) लीं, जिससे यह संकेत मिलता है कि उन्होंने पहले ही तय कर लिया था कि पहेली प्रयास करने योग्य नहीं है। अध्ययन बताता है कि मनुष्यों के लिए, रुकने का निर्णय एक स्मार्ट, मेटाकोग्निटिव (metacognitive) विकल्प है। AI के लिए, रुकने का निर्णय एक अलग नियम से बंधा हुआ लगता है: वह तब तक चलता रहता है जब तक कि वह अपने "बजट" को समाप्त नहीं कर देता या किसी दीवार से नहीं टकरा जाता, भले ही उसे पता हो (या पता होना चाहिए) कि वह गलत दिशा में जा रहा है।
इसका क्या अर्थ है (और क्या नहीं है)
पेपर बहुत सावधानी से यह नहीं कहता कि AI "मूर्ख" है या मनुष्य "पूर्ण" हैं। इसके बजाय, यह सुझाव देता है कि AI और मनुष्य अलग-अलग नियमों के अनुसार खेल रहे हैं।
- AI अनिवार्य रूप से सोचने में विफल नहीं हो रहा है: यह एक नियम का पालन कर रहा होगा जो कहता है, "यदि आप अनिश्चित हैं, तो अधिक टेक्स्ट उत्पन्न करें।" यह कुछ कार्यों के लिए एक अच्छी रणनीति हो सकती है, लेकिन इन पहेलियों के लिए, यह व्यर्थ प्रयास की ओर ले जाता है।
- "सोचना" एक जैसा नहीं है: केवल इसलिए कि AI टेक्स्ट की एक लंबी श्रृंखला उत्पन्न करता है जो मानव तर्क जैसा दिखता है, इसका मतलब यह नहीं है कि वह उसी मानसिक रुकने के नियमों का उपयोग कर रहा है। अध्ययन दिखाता है कि AI का "सोचना" एक भ्रमित होने पर पहिये पर दौड़ते हुए हैम्स्टर जैसा है, जबकि मानव एक ऐसे हाइकर (हाइकर) की तरह है जो रास्ता बहुत कठिन होने पर वापस मुड़ने का निर्णय लेता है।
शोधकर्ताओं ने अन्य प्रकार की पहेलियों (जैसे सहज भौतिकी और बाइनरी रीजनिंग) पर भी इसका परीक्षण किया। पैटर्न बना रहा: AI अपनी गलतियों पर अतिरिक्त समय खर्च करता रहा, जबकि मनुष्यों ने कम समय बिताया। हालाँकि, एक विशिष्ट प्रकार की पहेली (कोर्टेस) में, AI का व्यवहार थोड़ा बदल गया, जिससे पता चला कि "अनिश्चितता-पर-लंबाई" का नियम खेले जा रहे विशिष्ट खेल पर निर्भर हो सकता है।
निचोड़ (The Bottom Line)
यह अध्ययन यह साबित नहीं करता कि AI सोच नहीं सकता; यह साबित करता है कि AI और मनुष्य अपने thinking को अलग तरह से आवंटित (allocate) करते हैं। सतही समानता (दोनों ही कठिन चीजों पर अधिक समय लेते हैं) एक गहरे अंतर को छुपाती है: मनुष्य तब सोचना बंद कर देते हैं जब उन्हें एहसास होता है कि वे फंस गए हैं, जबकि AI मॉडल तब भी सोचते (और बोलते) रहते हैं जब वे फंसे होते हैं।
लेखकों का सुझाव है कि AI को वास्तव में समझने के लिए, हमें यह देखना होगा कि वे कब रुकते हैं, न कि केवल वे कितना लंबा सोचते हैं। वे इसे परखने का एक नया तरीका प्रस्तावित करते हैं: यदि हम AI की "सोच" को जल्दी काट दें (ट्रंकेशन), तो हम देख पाएंगे कि क्या वे अतिरिक्त शब्द वास्तव में मदद कर रहे थे या केवल शोर (noise) थे। जब तक हम ऐसा नहीं करते, पेपर निष्कर्ष निकालता है कि गलत उत्तरों पर AI का "दृढ़ता" दिखाना इस बात का संकेत है कि "कब छोड़ना है" यह तय करने के लिए उसका आंतरिक तर्क हमारे अपने तर्क से मौलिक रूप से भिन्न है। यह एक अनुस्मारक है कि मानव-समान AI बनाने की दौड़ में, हम ऐसी मशीनें बना रहे हो सकते हैं जो सोचने जैसा दिखने में बहुत अच्छी हैं, लेकिन यह जानने में बहुत खराब हैं कि कब रुकना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।