← नवीनतम पेपर
🤖 AI

How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem

यह शोध पत्र इक्विवेलेंस क्लास प्रॉब्लम (Equivalence Class Problem) पर लार्ज लैंग्वेज मॉडल्स का अनुभवजन्य मूल्यांकन करता है, जिससे यह पता चलता है कि जबकि रीजनिंग मॉडल्स, नॉन-रीजनिंग मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं, दोनों ही इस कार्य में संघर्ष करते हैं, जहाँ नॉन-रीजनिंग मॉडल्स कनेक्टिविटी के फेज ट्रांजिशन पॉइंट पर सबसे अधिक विफल होते हैं और रीजनिंग मॉडल्स सबसे बड़े ग्राफ डायमीटर पर अधिकतम कठिनाई का सामना करते हैं।

मूल लेखक: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

प्रकाशित 2026-05-11
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC0 1.0

मूल लेखक: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि कौन एक ही गुप्त क्लब का सदस्य है। आपके पास नियमों की एक सूची है जैसे "एलिस उसी क्लब में है जिसमें बॉब है" और "बॉब उसी क्लब में है जिसमें चार्ली है।" यदि आप उन दो नियमों को जानते हैं, तो आप यह निष्कर्ष निकाल सकते हैं कि एलिस और चार्ली भी एक ही क्लब में हैं, भले ही किसी ने स्पष्ट रूप से ऐसा न कहा हो। यह इक्विवेलेंस क्लास प्रॉब्लम (Equivalence Class Problem) है: कनेक्शनों को जोड़ने वाली एक सरल तर्क पहेली।

यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: क्या आधुनिक एआई मॉडल (लार्ज लैंग्वेज मॉडल्स) इन पहेलियों को हल कर सकते हैं जब कनेक्शन की श्रृंखला बहुत लंबी हो जाती है?

शोधकर्ताओं ने दो प्रकार के एआई का परीक्षण किया:

  1. "नॉन-रीजनिंग" (गैर-तर्कशील) मॉडल: मानक, तेज़ एआई जो पैटर्न के आधार पर अगले शब्द का अनुमान लगाता है (जैसे DeepSeek-V3)।
  2. "रीजनिंग" (तर्कशील) मॉडल: नए "सोचने वाले" एआई जो उत्तर देने से पहले एक चरण-दर-चरण योजना बनाने के लिए रुकते हैं (जैसे DeepSeek-R1)।

यहाँ उन्हें क्या मिला, जिसे सरल उपमाओं के माध्यम से समझाया गया है:

1. "वन-हॉप" वॉल (मानक एआई के लिए)

मानक एआई को एक बहुत बुद्धिमान लेकिन अदूरदर्शी पर्यटक के रूप में सोचें।

  • अच्छी खबर: यदि आप पूछते हैं, "क्या एलिस उसी क्लब में है जिसमें बॉब है?" (एक सीधा संबंध), तो पर्यटक लगभग हर बार सही होता है।
  • बुरी खबर: यदि आप पूछते हैं, "क्या एलिस उसी क्लब में है जिसमें डेव है?" और आपको बॉब और चार्ली के माध्यम से गुजरना पड़ता है (तीन चरणों की एक श्रृंखला), तो पर्यटक पूरी तरह से खो जाता है।
  • परिणाम: जैसे ही श्रृंखला एक कदम से लंबी होती है, मानक एआई का प्रदर्शन गिर जाता है। यह "एलिस →\to बॉब →\to चार्ली" को एक जुड़ी हुई कहानी के बजाय तीन अलग-अलग, असंबंधित तथ्यों के रूप में देखता है। यह तुरंत एक "रीजनिंग वॉल" (तर्क की दीवार) से टकरा जाता है।

2. "थका हुआ हाइकर" (रीजनिंग एआई के लिए)

"रीजनिंग" एआई एक विस्तृत मानचित्र और दिशा-सूचक यंत्र (कम्पास) वाले हाइकर की तरह है।

  • अच्छी खबर: यह हाइकर बहुत बेहतर है। वे कनेक्शनों के उन लंबे रास्तों का सफलतापूर्वक अनुसरण कर सकते हैं जो पर्यटक को भ्रमित कर देते। वे केवल एक कदम के बाद नहीं खो जाते।
  • बुरी खबर: यहाँ तक कि सबसे अच्छा हाइकर भी थक जाता है। शोधकर्ताओं ने पाया कि जैसे-जैसे कनेक्शनों की श्रृंखला लंबी होती जाती है, हाइकर गलतियाँ करने लगता है। यह पर्यटक की तरह अचानक होने वाला क्रैश नहीं है; यह गलतियों का एक धीमा, घातांकीय (exponential) बढ़ना है।
  • परिणाम: हालांकि ये मॉडल बहुत बेहतर हैं, फिर भी वे हर लंबी श्रृंखला को पूरी तरह से हल नहीं कर सकते। श्रृंखला जितनी लंबी होगी, उनके लड़खड़ाने की संभावना उतनी ही अधिक होगी।

3. "केओस ज़ोन" (अराजकता क्षेत्र)

शोधकर्ताओं ने गौर किया कि मॉडल कहाँ विफल होते हैं।

  • कल्पना कीजिए कि नियम धागों की तरह हैं जो लोगों को जोड़ते हैं।
  • पर्यटक के लिए (मानक एआई): वे तब सबसे अधिक विफल होते हैं जब वेब "अराजक संक्रमण" (chaotic transition) की स्थिति में होता है—ठीक उसी समय जब यह एक विशाल, उलझे हुए जाल में बदल रहा होता है। वे संरचनात्मक जटिलता को बिल्कुल भी नहीं संभाल पाते।
  • हाइकर के लिए (रीजनिंग एआई): वे तब सबसे अधिक विफल होते हैं जब उन्हें तय करने वाला रास्ता अपने पूर्णतम (longest) स्तर पर होता है। उनका संघर्ष वेब की उलझन के बारे में नहीं है, बल्कि यात्रा की वास्तविक लंबाई के बारे में है।

4. "संकेत" (Hints) ने मदद क्यों नहीं की

शोधकर्ताओं ने एआई की मदद करने की कोशिश की:

  • उन्हें स्पष्ट नियम दिए (जैसे एक नियम पुस्तिका)।
  • उन्हें समान पहेलियों को हल करने के उदाहरण दिखाए।
  • उनसे कई बार प्रयास करने और सबसे अच्छा उत्तर चुनने के लिए कहा।

आश्चर्य: इनमें से किसी भी ट्रिक ने मूल समस्या को ठीक नहीं किया।

  • पर्यटक को नियम पुस्तिका देने से उन्हें लंबी श्रृंखला देखने में मदद नहीं मिली।
  • हाइकर को उदाहरण दिखाने से उन्हें लंबे रास्तों पर थकने से रोका नहीं जा सका।
  • निष्कर्ष: समस्या यह नहीं है कि एआई को नियम पता नहीं हैं; समस्या यह है कि उनका आंतरिक "इंजन" एक साथ तर्क की एक लंबी श्रृंखला को अपने दिमाग में रखने के लिए नहीं बना है। यह एक संरचनात्मक सीमा है, निर्देशों की कमी नहीं।

निचोड़ (The Bottom Line)

शोध पत्र यह निष्कर्ष निकालता है कि हालांकि "रीजनिंग" एआई एक बड़ी छलांग है, लेकिन इसने अभी तक पूर्ण, लंबी-श्रृंखला तर्क की समस्या को हल नहीं किया है।

  • मानक एआई एक कैलकुलेटर की तरह है जो एक बार में केवल एक जोड़ कर सकता है।
  • रीजनिंग एआई एक ऐसे कैलकुलेटर की तरह है जो एक लंबा योग कर सकता है, लेकिन यदि योग बहुत लंबा हो जाता है, तो वह अंक छोड़ना शुरू कर देता है।

लेखक चेतावनी देते हैं कि हमें यह नहीं मान लेना चाहिए कि इन मॉडलों ने तार्किक तर्क को "हल" कर लिया है। यदि आपको एक सटीक तर्क श्रृंखला की आवश्यकता है (जैसे जटिल कानूनी या सुरक्षा-महत्वपूर्ण स्थितियों में), तो ये मॉडल विफल हो सकते हैं, विशेष रूप से जब समस्याएँ बड़ी और अधिक जटिल होती जाती हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →