Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning
यह शोध पत्र प्रकट करता है कि जहाँ बड़े भाषा मॉडल गहन लुकअहेड (lookahead) वाले विस्तृत तर्क पथ (reasoning traces) उत्पन्न करते हैं, वहीं उनके वास्तविक चाल निर्णय मानव विशेषज्ञों में देखे जाने वाले गहन नियोजन के बजाय उथले, अल्पदर्शी खोज द्वारा संचालित होते हैं, एक ऐसा निष्कर्ष जिसे फोर-इन-ए-रो (four-in-a-row) के खेल से खोज वृक्षों (search trees) को निकालने और विश्लेषण करने के माध्यम से स्थापित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो अलग-अलग प्रकार के शतरंज के खिलाड़ियों को देख रहे हैं: एक मानव ग्रैंडमास्टर और एक बहुत ही उन्नत AI जो सोचने के दौरान खुद से बातें करता है।
यह शोध पत्र इस बात की जांच करता है कि ये AI मॉडल (लार्ज लैंग्वेज मॉडल्स, या LLMs) वास्तव में "फोर-इन-अ-रो" (Four-in-a-Row) नामक खेल में अपनी चालें कैसे तय करते हैं। शोधकर्ता यह जानना चाहते थे कि: जब AI एक लंबा, विस्तृत विचार प्रक्रिया लिखता है, तो क्या वह वास्तव में एक इंसान की तरह गहरी, रणनीतिक योजना बना रहा होता है, या वह केवल दिखावा कर रहा होता है?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. सेटअप: "बातचीत" वाला खेल
शोधकर्ताओं ने एक टूर्नामेंट आयोजित किया जहाँ 27 अलग-अलग AI मॉडल्स ने एक-दूसरे के खिलाफ "फोर-इन-अ-रो" खेला। यह एक सरल खेल है जहाँ आप एक ग्रिड में रंगीन डिस्क गिराते हैं, जिसका लक्ष्य चार की पंक्ति बनाना होता है (क्षैतिज, ऊर्ध्वाधर, या विकर्ण रूप से)।
अपनी चाल चलने से पहले, AI मॉडल्स को "ज़ोर से सोचने" (जिसे चेन-ऑफ-थॉट कहा जाता है) के लिए कहा गया। वे भविष्य की चालों का अनुकरण करते हुए लंबे पैराग्राफ उत्पन्न करते थे, जैसे: "यदि मैं यहाँ खेलता हूँ, तो प्रतिद्वंद्वी वहाँ खेलेगा, फिर मैं यहाँ खेलूँगा..."
2. जांच: "थॉट मैप" को पढ़ना
शोधकर्ताओं ने इन लंबे, अव्यवस्थित पैराग्राफों को साफ, संरचित सर्च ट्रीज़ (जैसे कि एक फैमिली ट्री, लेकिन गेम की चालों के लिए) में बदल दिया।
- रूट (Root): वर्तमान बोर्ड।
- ब्रांचेस (Branches): वे चालें जिन पर AI ने विचार किया।
- लीव्स (Leaves): वे भविष्य की स्थितियाँ जिनकी AI ने कल्पना की।
इसके बाद उन्होंने इन AI "थॉट मैप्स" की तुलना मानव विशेषज्ञों के खेलने के तरीके से की।
3. बड़ी खोज: "उथला" विचारक
शोधकर्ताओं ने AI द्वारा जो कहा जाता है और जो वह वास्तव में करता है, उसके बीच एक चौंकाने वाला अंतर पाया।
- मानव तरीका: मानव विशेषज्ञ गहरे गोताखोरों की तरह होते हैं। वे बहुत आगे तक देखते हैं। यदि वे एक चाल देखते हैं, तो वे यह देखने के लिए 5 या 6 कदम आगे का अनुकरण करते हैं कि क्या वह जीत की ओर ले जाती है। उनकी दक्षता तब बेहतर होती है जब वे गहराई से देखते हैं।
- AI का तरीका: AI मॉडल्स सतही पर्यटकों की तरह हैं।
- भ्रम: AI 10 कदम आगे देखने के बारे में एक बहुत लंबी, विस्तृत कहानी लिखता है। यह एक गहरे गोते जैसा दिखता है।
- वास्तविकता: जब AI वास्तव में एक चाल चुनता है, तो वह उस गहरी सोच को लगभग पूरी तरह से अनदेखा कर देता है। वह एक मायोपिक (निकट-दृष्टि वाले) खिलाड़ी की तरह कार्य करता है। उसे केवल तत्काल अगले कदम की परवाह होती है।
उपमा: एक छात्र की कल्पना करें जो गणित की समस्या को हल करने के लिए 10 पन्नों का निबंध लिख रहा है। वह अध्याय 2 से 10 तक के जटिल सूत्रों के बारे में लिखता है। लेकिन जब वह वास्तव में अंतिम उत्तर लिखता है, तो वह केवल समस्या के पहले वाक्य को देखता है और अनुमान लगा लेता है। वह लंबा निबंध केवल "सजावट" था, न कि उत्तर चलाने वाला वास्तविक इंजन।
4. AI को वास्तव में क्या जीत दिलाता है?
शोधकर्ताओं ने परीक्षण किया कि AI की सफलता को क्या संचालित करता है:
- गहराई (वे कितनी दूर तक देखते हैं): इससे कोई फर्क नहीं पड़ा। भले ही AI ने 10 कदम आगे देखने के बारे में लिखा हो, इससे उन्हें जीतने में मदद नहीं मिली।
- चौड़ाई (वे कितने विकल्पों की जाँच करते हैं): यही मुख्य कुंजी थी। जो AI मॉडल्स जीते, वे वे थे जिन्होंने अधिक अलग-अलग पहली चालों को देखा (जैसे कि 20 अलग-अलग दरवाजों की जाँच करना), बजाय इसके कि वे केवल एक दरवाजे के अंदर बहुत गहराई तक देखें।
यह ऐसा है जैसे AI गहराई तक गोता लगाने के बजाय एक विस्तृत जाल फैलाकर जीतता है।
5. "सर्जरी" प्रयोग
यह साबित करने के लिए कि AI अपनी गहरी सोच का उपयोग नहीं कर रहा था, शोधकर्ताओं ने एक "सर्जिकल" प्रयोग किया।
- उन्होंने AI के लंबे तर्क वाले टेक्स्ट को लिया और उन हिस्सों को हटा दिया जहाँ वह भविष्य में देखने के बारे में बात कर रहा था (यानी "गहरे" हिस्से)।
- वे केवल उन हिस्सों को रखते हैं जहाँ वह तत्काल अगली चाल के बारे में बात कर रहा था।
- परिणाम: AI ने पहले की तरह ही ठीक वही चालें चलीं।
इससे यह सिद्ध हुआ कि गहरी सोच केवल "शोर" (noise) थी। AI को अपना निर्णय लेने के लिए उस गहरी सोच की आवश्यकता नहीं थी। निर्णय पूरी तरह से उथले, तात्कालिक विचारों से प्रेरित था।
6. निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि मानव और AI योजना के बीच एक मौलिक अंतर है:
- इंसान गहराई से सोचकर स्मार्ट बनते हैं।
- AI चौड़ाई से सोचकर स्मार्ट बनता है, लेकिन वह अपने द्वारा उत्पन्न गहरी सोच का उपयोग निर्णय लेने के लिए नहीं करता है।
AI गहरी योजना बनाने का दिखावा करने में अच्छा है, लेकिन वह उस पर कार्य नहीं करता है। यह सुझाव देता है कि केवल AI मॉडल्स को लंबे, अधिक जटिल रीजनिंग ट्रेस लिखने के लिए बनाना उन्हें बेहतर प्लानर नहीं बनाएगा; हमें उन्हें वास्तव में उन गहरी सोचों का उपयोग करना सिखाना होगा जो वे उत्पन्न करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।