Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
यह शोध पत्र कंस्ट्रेंट सैचुरेशन इवैल्यूएशन (CSE) बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि लार्ज लैंग्वेज मॉडल्स व्यक्तिगत बाधाओं का कुशलतापूर्वक पालन कर सकते हैं, उनकी एक साथ कई बाधाओं को संतुष्ट करने की क्षमता 5-6 बाधाओं के बाद विफलताओं के स्वतंत्र संचय के कारण गुणात्मक रूप से ढह जाती है, जो विशेष रूप से शाब्दिक विवरणों के ऊपर संरचनात्मक तर्क को प्रभावित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक केक बनाने की कोशिश कर रहे हैं, लेकिन केवल एक रेसिपी का पालन करने के बजाय, आपको नियमों की एक सूची दी जाती है। "ठीक 200 ग्राम मैदा उपयोग करें," "चीनी का उपयोग न करें," "केक नीला होना चाहिए," और "इसका आकार तारे जैसा होना चाहिए।" यदि आपके पास केवल एक नियम है, तो यह आसान है। यदि आपके पास दो या तीन हैं, तो आप शायद इसे संभाल सकते हैं। लेकिन क्या होता है यदि कोई आपको एक साथ पचास नियमों की सूची थमा दे? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो वे सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जो कहानियाँ लिखते हैं, सवालों के जवाब देते हैं और समस्याओं को हल करते हैं। ये मॉडल उन डिजिटल शेफ की तरह हैं जिन्होंने लाइब्रेरी की लगभग हर किताब पढ़ ली है। वैज्ञानिक काफी समय से जानते हैं कि ये शेफ एक एकल निर्देश का पालन करने में माहिर हैं। लेकिन कोई पक्का नहीं था कि क्या होता है जब आप उन्हें एक ही समय में एक दर्जन निर्देशों को संभालने के लिए कहते हैं। क्या उनका प्रदर्शन थोड़ा कम हो जाता है, जैसे एक थका हुआ धावक धीमा हो जाता है? या क्या यह अचानक गिर जाता है, जैसे ताश का घर किसी के फूँकने पर ढह जाता है? यह सवाल महत्वपूर्ण है क्योंकि जैसे-जैसे हम इन AI शेफों का उपयोग वास्तविक दुनिया के उपकरण बनाने के लिए करना शुरू कर रहे हैं—जैसे सुरक्षा प्रणाली, कानूनी दस्तावेज़, या जटिल कोड—हमें यह जानने की आवश्यकता है कि वे कितनी गलतियाँ करने से पहले कितने नियमों को संभाल सकते हैं।
यहाँ एक नया अध्ययन है जो इन AI मॉडल्स के साथ एक विशाल रसोई में विज्ञान प्रयोग की तरह व्यवहार करता है। शोधकर्ताओं ने, मारिया वासिलेवा के नेतृत्व में, कन्स्ट्रेंट सैचुरेशन इवैल्यूएशन (CSE) नामक एक विशेष परीक्षण क्षेत्र बनाया। इसे AI के मस्तिष्क के लिए एक "तनाव परीक्षण" (stress test) समझें। उन्होंने मॉडल्स को केवल एक कहानी लिखने के लिए नहीं कहा; उन्होंने उन्हें एक साथ एक निश्चित संख्या में नियमों का पालन करने के लिए दिया, जो केवल एक नियम से लेकर बारह नियमों तक थे। ये नियम सख्त और अपरिवर्तनीय थे, जैसे "आपका उत्तर ठीक 3 पैराग्राफ का होना चाहिए," "कोई भी 'e' अक्षर इस्तेमाल न करें," या "प्रत्येक वाक्य 'A' अक्षर से शुरू होना चाहिए।" शोधकर्ताओं ने फिर यह देखने के लिए निगरानी की कि AI कितनी बार एक ही समय में हर एक नियम को सही ढंग से पूरा कर पाता है।
परिणाम आश्चर्यजनक और थोड़े नाटकीय थे। अध्ययन में पाया गया कि AI मॉडल्स अधिक नियम जोड़ने पर केवल थोड़े थकते नहीं हैं; वे एक टिपिंग पॉइंट (निर्णायक बिंदु) पर पहुँच जाते हैं। कल्पना कीजिए कि आप ब्लॉक (blocks) जमा रहे हैं। पहले कुछ ब्लॉकों के लिए, मीनार स्थिर होती है। लेकिन एक बार जब आप एक निश्चित ऊंचाई तक पहुँच जाते है—यहाँ तक कि सबसे स्मार्ट मॉडल्स के लिए भी लगभग 5 या 6 नियम—तो मीनार केवल डगमगाती नहीं है; वह अचानक ढह जाती है। शोधकर्ताओं ने पाया कि जबकि एक AI आठ नियमों के होने पर व्यक्तिगत रूप से 40% नियमों को सही कर सकता है, एक ही समय में सभी आठ को सही करने की संभावना घटकर 6% से भी कम रह जाती है। यह एक ऐसे संगीतकार की तरह है जो एक एकल नोट या यहाँ तक कि दो को पूरी तरह से बजा सकता है, लेकिन जैसे ही आप उसे एक साथ बारह अलग-अलग वाद्ययंत्रों के साथ एक जटिल सिम्फनी बजाने के लिए कहते हैं, वह धुन ही भूल जाता है।
अध्ययन ने यह भी पता लगाया कि ऐसा क्यों होता है। ऐसा हुआ कि नियम एक खेल के दुश्मनों की तरह आपस में नहीं लड़ते। इसके बजाय, वे एक चेन रिएक्शन (श्रृंखला अभिक्रिया) की तरह काम करते हैं। यदि AI उत्तर के एक छोटे से हिस्से में गलती करता है—मान लीजिए कि वह वाक्यों को सही ढंग से गिनना भूल जाता है—तो वाक्यों पर निर्भर प्रत्येक नियम एक साथ विफल हो जाता है। ऐसा नहीं है कि नियम एक-दूसरे को भ्रमित कर रहे हैं; बल्कि यह है कि AI की "वर्किंग मेमोरी" ओवरलोड हो जाती है। शोधकर्ताओं ने पाया कि जो नियम AI को समय के साथ चीजों को ट्रैक करने के लिए कहते हैं (जैसे शब्दों को गिनना या एक पैटर्न बनाए रखना), वे साधारण नियमों (जैसे "किसी विशिष्ट शब्द का उपयोग न करें") की तुलना में दोगुनी तेजी से टूट जाते हैं।
शायद सबसे दिलचस्प हिस्सा वह है जिसे शोधकर्ताओं ने ठीक करने की कोशिश की। उन्होंने पूछा: "क्या हम AI की मदद कर सकते हैं यदि वह पहले से योजना बनाए? या यदि वह अपनी गलतियों को सुधारने की कोशिश करे?" उन्होंने AI को अपना उत्तर योजना बनाने के लिए एक "स्क्रैचपैड" देने, या उसे अपनी गलतियों को सुधारने देने की कोशिश की। परिणाम? इसने बहुत थोड़ी मदद की, शायद यह позволя दिया कि AI एक या दो अतिरिक्त नियमों को संभाल सके, लेकिन इसने उस गिरावट (crash) को नहीं रोका। पेपर का सुझाव है कि एकमात्र वास्तविक समाधान यह है कि AI को पहले से ही प्रत्येक व्यक्तिगत नियम का पालन करने में बेहतर बनाया जाए। केवल योजना बनाने या पुनः प्रयास करने से उस तथ्य को ठीक नहीं किया जा सकता कि एक साथ बहुत सारी चीजों को संभालने का गणित अंततः प्रदर्शन में गिरावट का कारण बनता है।
अंत में, यह पेपर एक स्पष्ट रेखा खींचता है। परीक्षण किए गए सबसे स्मार्ट AI मॉडल्स के लिए, विश्वसनीय, मल्टी-रूल इंस्ट्रक्शन फॉलोइंग की सीमा लगभग 5 से 6 बाधाएं (constraints) है। उससे आगे, सिस्टम अविश्वसनीय हो जाता है, इसलिए नहीं कि AI "मूर्ख" है, बल्कि इसलिए क्योंकि एक साथ बहुत सारी चीजों को अपने दिमाग में रखने की प्रक्रिया एक गणितीय पतन पैदा करती है। यह एक याद दिलाता है कि सबसे उन्नत डिजिटल शेफ की भी एक सीमा होती है कि वे एक साथ कितनी रेसिपी का पालन कर सकते हैं, और यदि हम चाहते हैं कि वे अधिक करें, तो हमें उन्हें केवल अधिक निर्देश देने के बजाय उन्हें और मजबूत बनाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।