TsuGO: Probing Search Efficiency in LLM Reasoning via Go Life-and-Death Problems
यह शोध पत्र TsuGO को प्रस्तुत करता है, जो खोज दक्षता और संसाधन आवंटन को मापने के लिए गो (Go) की जीवन-मृत्यु (life-and-death) समस्याओं का उपयोग करने वाला एक नवीन बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल लंबी 'चेन ऑफ थॉट' (chain of thought) के बावजूद प्रभावी रणनीतिक योजना के बजाय अक्सर अनियंत्रित खोज पैटर्न पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ग्रैंडमास्टर शतरंज खिलाड़ी को पहेली सुलझाते हुए देख रहे हैं। अतीत में, हमें केवल इस बात की परवाह थी कि क्या उन्होंने अंत में सही चाल चुनी। यदि वे सही रहे, तो हम खुशी मनाते थे; यदि वे गलत रहे, तो हम आगे बढ़ जाते थे। लेकिन हाल ही में, आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिकों ने महसूस किया कि केवल अंतिम उत्तर को देखना पर्याप्त नहीं है। उन्होंने "चेन ऑफ थॉट" (Chain of Thought)—उस बिखरी हुई, चरण-दर-चरण बातचीत को देखना शुरू किया जो AI सोचते समय ज़ोर से बोलता है। वे जानना चाहते थे: क्या AI वास्तव में सोच रहा है, या यह केवल अनुमान लगा रहा है और भाग्य के भरोसे बैठा है?
हालाँकि, इसमें एक पेच है। अधिकांश AI परीक्षण गणित की समस्याओं की तरह हैं जहाँ उत्तर तक पहुँचने के लिए केवल एक सीधी रेखा होती है। AI को बस नियमों का पालन करने की आवश्यकता होती है। लेकिन वास्तविक सोच में अक्सर मृत अंत (dead ends), पीछे हटना और सही रास्ता खोजने से पहले विभिन्न रास्तों को आज़माना शामिल होता है। यह "खोज" (searching) के बारे में है। बड़ा सवाल यह है कि जब एक AI के सामने कई संभावित रास्ते होते हैं, तो क्या वह अपनी खोज को कुशलतापूर्वक व्यवस्थित करना जानता है, या वह बिना किसी दिशा के भटककर ऊर्जा बर्बाद करता है? यही वह रहस्य है जिसे शोधकर्ता सुलझाने की कोशिश कर रहे हैं।
यहाँ TsuGO आता है, एक नया प्रयोग जो AI के मस्तिष्क के भीतर झाँकने के लिए बनाया गया है, जबकि वह एक बहुत ही विशिष्ट खेल खेल रहा हो: गो (Go) के जीवन-मृत्यु की पहेलियाँ (जिन्हें tsumego कहा जाता है)। इन्हें गो के पूरे खेल के रूप में नहीं, बल्कि एक छोटी, तीव्र पहेली के रूप में समझें जहाँ पत्थरों का एक समूह फंसा हुआ होता है, और खिलाड़ी को उन्हें बचाने या प्रतिद्वंद्वी को मारने के लिए एक विशिष्ट चाल ढूंढनी होती है। यह एक बंद दुनिया है जिसमें एक स्पष्ट विजेता और हारने वाला होता है, जो इसे AI के विचारों को व्यवस्थित करने के तरीके को देखने के लिए एक आदर्श प्रशिक्षण मैदान बनाता है।
शोधकर्ताओं ने AI के मुक्त-प्रवाह वाले विचारों को एक "सर्च ट्री" (search tree) में बदलने के लिए एक प्रणाली बनाई। कल्पना कीजिए कि AI का मन एक बगीचे में बढ़ते पेड़ की तरह है। तना शुरुआती बोर्ड है। हर बार जब AI एक नई चाल पर विचार करता है, तो एक शाखा निकलती है। यदि वह चाल जीत की ओर ले जाती है, तो शाखा हरी रहती है; यदि वह हार की ओर ले जाती है, तो वह लाल हो जाती है। लक्ष्य केवल यह देखना नहीं है कि AI ने अंत में हरी शाखा ढूँढ ली, बल्कि यह देखना है कि उसने पेड़ को कैसे विकसित किया। क्या उसने बड़े, बेकार शाखाओं को उगाने में समय बर्बाद किया? क्या उसने सही रास्ता जल्दी खोज लिया? या क्या वह बार-बार एक ही गलत विचार पर वापस आता रहा?
परिणाम दुनिया के लिए एक वास्तविकता की जाँच (reality check) हैं। अध्ययन से पता चला कि आज के सबसे स्मार्ट, सबसे शक्तिशाली AI मॉडल भी अभी भी कुशल खोजकर्ता बनने से बहुत दूर हैं। जब शोधकर्ताओं ने AI को चुनने के लिए चार संभावित चालों की एक सूची दी, तो बेहतर मॉडलों ने ठीक-ठाक प्रदर्शन किया। लेकिन जब उन्होंने सूची हटा दी और AI से शून्य से चाल खोजने को कहा, तो कई मॉडल लड़खड़ा गए। वे अक्सर एक ऐसे व्यक्ति की तरह व्यवहार करते हैं जो अंधेरे जंगल में टॉर्च लेकर भटक रहा है, हर झाड़ी को बेतरतीब ढंग से चेक कर रहा है, बजाय एक ऐसे जासूस के जिसे पता है कि कहाँ देखना है।
चौंकाने वाली बात यह है: शोधकर्ताओं ने पाया कि अधिक टेक्स्ट लिखने का मतलब यह नहीं है कि AI बेहतर सोच रहा है। कुछ मॉडल विशाल, लंबे स्पष्टीकरण (हजारों शब्दों का उपयोग करके) देते थे लेकिन फिर भी सही चाल खोजने में विफल रहे। अन्य छोटे थे लेकिन सही रहे। यह पेपर एक नया तरीका पेश करता है जिसे "सर्च एफिशिएंसी" (Search Efficiency) कहा जाता है। यह पता चला कि सबसे अच्छे मॉडल वे नहीं हैं जो सबसे अधिक बातें करते हैं; बल्कि वे हैं जो मृत अंत वाली शाखाओं पर समय बर्बाद करना बंद कर देते हैं और आशाजनक रास्तों पर टिके रहते हैं।
अध्ययन ने इन AI मॉडलों की तुलना एक विशेष कंप्यूटर प्रोग्राम से भी की जो विशेष रूप से 'गो' खेलने के लिए डिज़ाइन किया गया है, जिसे 'काटागो' (KataGo) कहा जाता है। यहाँ तक कि सबसे शक्तिशाली AI मॉडल भी इस विशेष प्रोग्राम से काफी पीछे रह गए। यह सुझाव देता है कि जबकि AI बात करने और निर्देशों का पालन करने में बहुत अच्छा हो रहा है, वह अभी भी उस आंतरिक "योजना" (planning) के लिए संघर्ष करता है जिसकी आवश्यकता जटिल, प्रतिकूल स्थितियों में नेविगेट करने के लिए होती है, जहाँ उसे प्रतिद्वंद्वी की अगली चाल का अनुमान लगाना होता है और अपनी रणनीति को तुरंत बदलना होता है।
संक्षेप में, TsuGO प्रकट करता है कि AI के लिए अगला बड़ा उछाल केवल मॉडलों को बड़ा बनाने या उन्हें लंबा बोलने देने के बारे में नहीं है। यह उन्हें अपनी खोज को व्यवस्थित करना सिखाने, यह जानने के बारे में है कि किसी बुरे विचार को कब छोड़ देना है, और अपनी ऊर्जा उन रास्तों पर केंद्रित करने के बारे में है जो वास्तव में मायने रखते हैं। जब तक वे इसमें महारत हासिल नहीं कर लेते, वे गणित की समस्या तो हल कर सकते हैं, लेकिन संभावनाओं के जंगल में खो जाएँगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।