When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models
यह शोध पत्र एक नैदानिक बेंचमार्क प्रस्तुत करता है जो यह दर्शाता है कि जहाँ बड़े भाषा मॉडल (large language models) लघु प्रक्रियात्मक कार्यों पर उच्च सटीकता प्राप्त करते हैं, वहीं जटिलता बढ़ने के साथ चरण-दर-चरण एल्गोरिदम को निष्ठापूर्वक निष्पादित करने की उनकी क्षमता काफी घट जाती है, जो यह प्रकट करता है कि मजबूत बेंचमार्क प्रदर्शन अक्सर निर्देश पालन की पर्याप्त कमजोरियों को छिपा देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "When LLMs Stop Following Steps" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "रेसिपी" टेस्ट
कल्पना कीजिए कि आप एक शेफ को केक बनाने के लिए एक बहुत ही विशिष्ट, चरण-दर-चरण रेसिपी देते हैं। रेसिपी कहती है: "मैदा और चीनी मिलाएं। फिर अंडे डालें। फिर 10 सेकंड तक चलाएं। फिर बेक करें।"
आप उम्मीद कर सकते हैं कि शेफ हर एक निर्देश का क्रमवार पालन करेगा। लेकिन क्या होगा अगर शेफ, चरणों का पालन करने के बजाय, बस यह अंदाज़ा लगा ले कि एक केक का स्वाद आमतौर पर कैसा होता है और आपको परिणाम थमा दे? या क्या होगा अगर वे बीच में ही रुक जाएं, आखिरी तीन चरण भूल जाएं, और बस कह दें, "यह रहा केक"?
यह पेपर एक विशाल "टेस्ट किचन" की तरह है जहाँ शोधकर्ताओं ने 14 अलग-अलग "शेफ" AI मॉडल्स (लार्ज लैंग्वेज मॉडल्स) को हजारों ऐसी विशिष्ट रेसिपी दीं। रेसिपी सरल गणित के सवाल थे, लेकिन उन्हें लंबा और पेचीदा बनाया गया था। लक्ष्य यह देखना नहीं था कि क्या AI कठिन गणित कर सकता है, बल्कि यह देखना था कि क्या वह शुरुआत से अंत तक निर्देशों का निष्ठापूर्वक पालन कर सकता है।
सेटअप: "अनंत सीढ़ी"
शोधकर्ताओं ने इस कार्य को कठिन बनाने के दो मुख्य तरीके बनाए:
- सीढ़ी की लंबाई: उन्होंने AI को 5 से लेकर 95 चरणों वाली रेसिपी दीं। एक सीढ़ी की कल्पना करें। 5-चरण वाली सीढ़ी चढ़ना आसान है। 95-चरण वाली सीढ़ी थका देने वाली होती है।
- "लुक-बैक" नियम: कुछ रेसिपी में, चरण 10 केवल चरण 9 के परिणाम का उपयोग नहीं करता था। इसमें यह भी कहा जा सकता था, "वापस जाएं और चरण 3 के परिणाम का उपयोग करें।" यह एक हाइकर को बताने जैसा है, "एक कदम आगे बढ़ें, फिर पीछे उस तीसरे पेड़ के पास जाएं जो आपने पार किया था और वहां से एक पत्थर उठाएं।" यह AI को बहुत पीछे की चीजों को याद रखने के लिए मजबूर करता है।
उन्होंने क्या पाया: "याददाश्त का जाना"
परिणाम आश्चर्यजनक थे। भले ही गणित सरल था (केवल जोड़, घटाव, गुणा या भाग), जैसे-जैसे रेसिपी लंबी होती गई, AI का प्रदर्शन खराब होता गया।
- गिरावट: एक छोटी 5-चरण वाली रेसिपी पर, AI लगभग 61% बार सही उत्तर देता था। लेकिन एक लंबी 95-चरण वाली रेसिपी पर, उनकी सफलता दर गिरकर मात्र 20% रह गई।
- "लुक-बैक" की समस्या: जब AI को बहुत पीछे के चरणों को याद रखना पड़ता था (जैसे चरण 3), तो उनका प्रदर्शन और भी गिर गया। ऐसा लगता है जैसे AI कहानी में अपनी स्थिति को लेकर भ्रमित हो गया हो।
AI कैसे विफल हुए: "धोखेबाज" शेफ
शोधकर्ताओं ने केवल अंतिम उत्तर को नहीं देखा; उन्होंने यह भी देखा कि AI ने समस्या को हल करने की कोशिश कैसे की। उन्होंने पाया कि AI वास्तव में काम नहीं कर रहे थे। इसके बजाय, उन्होंने कई मज़ेदार तरीकों से "चीटिंग" करने या "शॉर्टकट" लेने की कोशिश की:
- "अर्ली एग्जिट" (अधूरी निष्पादन): यह सबसे आम विफलता थी। AI रेसिपी शुरू करता था, कुछ चरण करता था, बोर हो जाता या भ्रमित हो जाता, और फिर सीधे अंत पर कूद जाता, यह दिखावा करते हुए कि उसने सब कुछ पूरा कर लिया है। यह उस छात्र की तरह है जो निबंध का पहला वाक्य लिखता है, फिर बीच का हिस्सा छोड़े बिना सीधे निष्कर्ष पर पहुँच जाता है।
- "हैलुसिनेटेड" (मनगढ़ंत) चरण: कभी-कभी AI रेसिपी में मौजूद नहीं होने वाले अतिरिक्त चरण बना देता था। यह एक शेफ की तरह है जो "यूनिकॉर्न डस्ट छिड़कने" जैसा कुछ जोड़ देता है जबकि रेसिपी में ऐसा कहीं नहीं लिखा था।
- "सेल्फ-करेक्शन" का जाल: कभी-कभी AI गलत उत्तर देता था, उसे एहसास होता था, और बाद में टेक्स्ट में उसे ठीक करने की कोशिश करता था। लेकिन जब तक वह इसे ठीक करता, तब तक वह अंतिम परिणाम को बिगाड़ चुका होता।
- "पैटर्न मैचर": गणित करने के बजाय, कुछ AI ने ऐसा व्यवहार किया जैसे वे चरणों का पालन करने के बजाय संख्याओं के स्वरूप के आधार पर उत्तर का अनुमान लगा रहे हों।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि सिर्फ इसलिए कि कोई AI आपको एक "तर्कसंगत" (plausible) अंतिम उत्तर देता है, इसका मतलब यह नहीं है कि उसने वास्तव में काम किया है।
इसे एक छात्र द्वारा परीक्षा देने के रूप में सोचें। यदि वे सही उत्तर प्राप्त करते हैं, तो आप सोच सकते हैं कि उन्होंने पढ़ाई की है। लेकिन यह पेपर दिखाता है कि कभी-कभी, वे वास्तव में चरण-दर-चरण समस्या को हल करने के बजाय केवल अनुमान लगा रहे होते हैं या पिछले टेस्ट से उत्तर याद कर रहे होते हैं।
संक्षेप में: वर्तमान AI मॉडल स्मार्ट दिखने और अंतिम परिणाम देने में बहुत अच्छे हैं, लेकिन वे एक विश्वसनीय रोबोट की तरह काम करने में संघर्ष करते हैं जो लिखे गए लंबे, उबाऊ निर्देशों का ठीक से पालन करता है। जब निर्देश बहुत लंबे हो जाते हैं या उनमें अतीत की बहुत सारी चीजों को याद रखने की आवश्यकता होती है, तो AI अपना ट्रैक खो देता है और नियमों का पालन करना बंद कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।