Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

तकनीकी सारांश: मनुष्य विमुख होते हैं, तर्क मॉडल बने रहते हैं

समस्या विवरण
हालिया कार्य (de Varda et al., 2025) ने लार्ज रीजनिंग मॉडल्स (LRMs) और मनुष्यों के बीच एक सतही संरेखण (surface-level alignment) स्थापित किया है: दोनों प्रणालियाँ कठिन वस्तुओं पर लंबे तर्क पथ (reasoning traces) उत्पन्न करती हैं (या अधिक समय लेती हैं)। यह "क्रॉस-आइटम संरेखण" (cross-item alignment) सुझाव देता है कि LRMs मनुष्यों की तरह ही कठिनाई को दर्ज करते हैं। हालाँकि, यह सहसंबंध दो अलग-अलग संज्ञानात्मक प्रक्रियाओं को मिला देता है: कठिनाई पंजीकरण (items को कठिनाई के आधार पर ग्रेड करना) और विचार अवधि आवंटन (एक बार कठिनाई ज्ञात होने के बाद किसी विशिष्ट वस्तु पर कितनी गणना खर्च करने का निर्णय लेना)।

यह शोध पत्र तर्क देता है कि क्रॉस-आइटम सहसंबंध यह दावा करने के लिए अपर्याप्त हैं कि उनमें यांत्रिक समानता है, क्योंकि वे यह प्रकट नहीं करते हैं कि एक एजेंट अपने स्वयं के सफलताओं और विफलताओं के सापेक्ष गणना को कैसे शेड्यूल करता है। विशेष रूप से, यह अज्ञात है कि क्या LRMs, मनुष्यों की तरह, उन वस्तुओं पर अधिक प्रयास लगाते हैं जिन्हें वे हल करने की अपेक्षा करते हैं (जुड़ाव/engagement), या क्या वे एक अलग संकेत के आधार पर प्रयास आवंटित करते हैं, जैसे कि अनिश्चितता, भले ही वह प्रयास विफलता की ओर ले जाए।

कार्यप्रणाली
अध्ययन पंजीकरण को आवंटन से अलग करने के लिए एक दो-स्तरीय नैदानिक (two-level diagnostic) प्रस्तुत करता है, जो तीन तर्क प्रतिमानों (reasoning paradigms) में एक सार्वजनिक, मेल खाते हुए मानव-LRM संग्रह का उपयोग करता है: H-ARC (विजुअल एब्स्ट्रैक्शन), INTUIT (सहज भौतिकी), और Cortes (बाइनरी रिलेशनल रीजनिंग)।

1. कठिनाई पंजीकरण (प्रोब 1): लेखक क्रॉस-आइटम विश्लेषण को दोहराते हैं, जो वस्तुओं के माध्यम से LRM तर्क पथ की लंबाई को मानव प्रतिक्रिया समय (RT) के साथ सहसंबंधित करता है।
2. विचार अवधि आवंटन (प्रोब 2): मुख्य नवाचार एक परिणाम-सशर्त, आइटम-नियंत्रित नैदानिक (outcome-conditioned, item-controlled diagnostic) है। लेखक पूछते हैं: एक निश्चित वस्तु को देखते हुए, क्या एजेंट गलत उत्तर देने वाले परीक्षणों की तुलना में सही उत्तर देने वाले परीक्षणों पर अधिक विचार (deliberation) खर्च करता है?
   • मेट्रिक: विथ-एजेंट $d$-अनुपात (within-agent $d$-ratio), जिसे लॉग-विचार समय (मनुष्यों के लिए सेकंड, LRMs के लिए टोकन) पर कोहेन के $d$ (Cohen's $d$) के रूप में परिभाषित किया गया है: $d = (\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$।
   • नियंत्रण: आवंटन को कठिनाई से अलग करने के लिए, विश्लेषण आइटम फिक्स्ड इफेक्ट्स (आइटम पहचान को समाहित करते हुए) और कठिनाई-नियंत्रित रिग्रेशन का उपयोग करता है। यह सुनिश्चित करता है कि तुलना सख्ती से उसी आइटम के भीतर हो, जिससे क्रॉस-आइटम कठिनाई ग्रेडिएंट्स के कारण भ्रम की स्थिति न बने।
   • सामान्यीकरण (Normalization): विचार अवधि को प्रत्येक एजेंट के अपने मूल पैमाने (सेकंड बनाम टोकन) के भीतर मापा जाता है; पूर्ण परिमाणों की सीधी तुलना कभी नहीं की जाती है।
   • मॉडल: छह ओपन-वेट थिंकिंग LRMs (जैसे, DeepSeek-R1, Qвen-QwQ, gpt-oss) और एक नॉन-थिंकिंग बेसलाइन (DeepSeek-V3) की तुलना मेल खाते हुए मानव नमूनों से की जाती है।

मुख्य परिणाम
अध्ययन पंजीकरण और आवंटन के बीच एक विच्छेद (dissociation) पाता है:

• पंजीकरण (संरेखण): थिंकिंग LRMs और मनुष्य इस बात पर सहमत हैं कि कौन सी वस्तुएं कठिन हैं। LRM तर्क पथ की लंबाई वस्तुओं के बीच मानव RT के साथ सकारात्मक रूप से सहसंबंधित होती है (Spearman $\rho = 0.16–0.30$), जो de Varda et al. (2025) को दोहराती है।
• आवंटन (विचलन): एक बार आइटम की पहचान निश्चित होने के बाद, दोनों प्रणालियाँ विपरीत आवंटन नीतियों का प्रदर्शन करती हैं:
  • मनुष्य: नकारात्मक या शून्य के करीब $d$-अनुपात दिखाते हैं ($d = -0.10$ H-ARC पर)। मनुष्य उन परीक्षणों पर कम समय बिताते हैं जिन्हें वे गलत करते हैं, जो एक जुड़ाव-बनाम-परित्याग (engagement-vs-abandonment) रणनीति के अनुरूप है: वे उन वस्तुओं पर टिके रहते हैं जिन्हें वे हल करने की अपेक्षा करते हैं और उन पर जो उन्हें नहीं आतीं, वे हट जाते हैं (abandon)।
  • थिंकिंग LRMs: एक बड़ा सकारात्मक $d$-अनुपात दिखाते हैं ($d = 1.47–3.13$ H-ARC पर)। LRMs गलत परीक्षणों पर अधिक टोकन खर्च करते हैं। यह एक अनिश्चितता-पर-लंबाई (length-on-uncertainty) नीति का सुझाव देता है: जब मॉडल अनिश्चित होता है, तो श्रृंखला बढ़ती है, और यही वह समय है जब वह विफल होने की संभावना रखता है।
  • नॉन-थिंकिंग बेसलाइन: नॉन-थिंकिंग DeepSeek-V3 भी कुछ कार्यों पर सकारात्मक $d$-अनुपात दिखाता है, जो यह सुझाव देता है कि अनिश्चितता के तहत लंबाई का विस्तार आधार जनरेशन (base generation) का एक गुण हो सकता है, न कि एक विशिष्ट "तर्क" आवंटन नीति, हालांकि थिंकिंग मॉडल अधिक मजबूत प्रभाव दिखाते हैं।
• ट्रेस सामग्री (Trace Content): LRM ट्रेसेस के भीतर, गलत परीक्षणों में आत्म-संदेह मार्करों (जैसे, "wait," "hmm") का उच्च घनत्व होता है (H-ARC पर) और Cortes पर उच्च लेक्सिकल पुनरावृत्ति होती है, जो इस व्याख्या का समर्थन करती है कि लंबाई अनिश्चितता द्वारा संचालित है, न कि उत्पादक खोज (productive search) द्वारा।

योगदान

1. वैचारिक अपघटन (Conceptual Decomposition): यह पत्र औपचारिक रूप से कठिनाई पंजीकरण को विचार आवंटन से अलग करता है, यह प्रदर्शित करते हुए कि क्रॉस-आइटम संरेखण साझा स्टॉपिंग नीतियों का संकेत नहीं देता है।
2. नया नैदानिक: यह metacognitive नियंत्रण में मानव-LRM संरेखण के लिए एक आवश्यक परीक्षण के रूप में outcome-conditioned, item-controlled $d$-ratio को पेश करता है।
3. अनुभवजन्य निष्कर्ष: यह प्रकट करता है कि जबकि LRMs और मनुष्य इस बात पर सहमत हैं कि क्या कठिन है, वे इस बात पर मौलिक रूप से असहमत हैं कि कठिनाई के प्रति कैसे प्रतिक्रिया दी जाए। पूर्व कार्य में दिखने वाला संरेखण वास्तव में एक विपरीत आवंटन नीति को छिपा रहा था।

महत्व और दावे
शोध पत्र का दावा है कि देखा गया विच्छेद इस विचार को चुनौती देता है कि LRMs मानव जैसी मेटाकॉग्निटिव कंट्रोल लागू करते हैं।

• मेटाकॉग्निटिव डिकपलिंग (Metacognitive Decoupling): परिणाम बताते हैं कि वर्तमान थिंकिंग LRMs में, अनिश्चितता निगरानी (जो हेजिंग या लंबाई द्वारा संकेतित होती है) स्टॉपिंग कंट्रोल से अलग (decoupled) है। मनुष्य निगरानी का उपयोग प्रयास को नियंत्रित करने के लिए करते हैं (कम मूल्य वाले परीक्षणों को छोड़ना), जबकि LRMs अनिश्चित होने पर भी टोकन जनरेट करना जारी रखते हैं, चाहे सटीकता पर घटता हुआ लाभ (diminishing return) कुछ भी हो।
• संसाधन-तर्कसंगत व्याख्या (Resource-Rational Interpretation): एक रिसोर्स-रेशनल ढांचे के तहत, मानव पैटर्न एक ऐसे स्टॉपिंग नियम के अनुरूप है जो अपेक्षित सीमांत लाभ (marginal gain) समाप्त होने पर प्रयास वापस ले लेता है। LRM पैटर्न या तो आइटम-विशिष्ट विशेषताओं पर अपेक्षित लाभ को कंडीशन करने में विफलता, या एक अलग अनुकूलन उद्देश्य (जैसे, लंबाई-आधारित प्राथमिकता) का संकेत देता है।
• कार्यप्रणाली में बदलाव: लेखक तर्क देते हैं कि LRMs के भविष्य के संज्ञानात्मक मॉडलिंग को पंजीकरण परीक्षणों के साथ-साथ भीतर-आइटम आवंटन परीक्षणों को जोड़ना चाहिए। केवल क्रॉस-आइटम सहसंबंधों पर निर्भर रहना यांत्रिक समानता का दावा करने के लिए अपर्याप्त है।

सीमाएँ और भविष्य की दिशाएँ
लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष अवलोकन संबंधी (observational) हैं और यह सिद्ध नहीं करते कि अतिरिक्त टोकन का कारण (causal value) क्या है। वे यह दावा नहीं करते कि LRMs "अतार्किक" हैं, बल्कि यह कि वे एक अलग संसाधन-तर्कसंगत नीति लागू करते हैं। शोध पत्र नियंत्रित अनुमान-समय ट्रंकेशन (controlled inference-time truncation) को आवश्यक अगले कदम के रूप में प्रस्तावित करता है ताकि "अनिश्चितता-पर-लंबाई" (जहाँ ट्रंकेशन से सटीकता को नुकसान नहीं होगा) और "उपयोगी खोज" (जहाँ ट्रंकेशन प्रदर्शन को कम कर देगा) के बीच अंतर किया जा सके, जो इस अध्ययन में नहीं किया गया था। इस अध्ययन का दायरा ओपन-वेट मॉडल्स और विशिष्ट डेटासेट तक सीमित है, और जुड़ाव-बनाम-परित्याग की व्याख्या व्यवहारिक हस्ताक्षरों की एक व्याख्या है, न कि आंतरिक वास्तुकला का सीधा अवलोकन।