Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
यह शोधपत्र एक बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (large language models) में निर्देश-अनुसरण करने का प्रदर्शन युग्मवार संघर्षों (pairwise conflicts) के कारण बाधाओं के संचय होने पर गैर-रैखिक रूप से घटता है, और यह भी दिखाता है कि एक प्रशिक्षण-मुक्त प्रॉम्प्ट कंपाइलर (training-free prompt compiler) इस समस्या को कमजोर मॉडलों के लिए प्रभावी ढंग से कम करता है जबकि मजबूत मॉडलों को काफी हद तक अप्रभावित छोड़ देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक अर्थ निकालने वाले (literal-minded) रोबोट सहायक को निर्देशों का एक सेट देने की कोशिश कर रहे हैं। आप जानते हैं कि यदि आप उससे एक काम करने के लिए कहते हैं, जैसे "एक कहानी लिखें," तो वह शायद बहुत अच्छा काम करेगा। लेकिन क्या होता है अगर आप उस पर एक साथ बीस अलग-अलग नियम थोप देते हैं? "ठीक 50 शब्द उपयोग करें," "इसे एक JSON फ़ाइल के रूप में फॉर्मेट करें," "तीन उद्धरण (citations) शामिल करें," "'e' अक्षर का उपयोग न करें," "एक सारांश के साथ शुरू करें," और "इसे एक समुद्री डाकू (pirate) की तरह सुनाएँ"? यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। ये आज हमारे द्वारा उपयोग किए जाने वाले कई चैटबॉट्स और टूल्स के पीछे के AI दिमाग हैं। इन्हें मानवीय आदेशों का पालन करने के लिए प्रशिक्षित किया गया है, लेकिन ये पूर्ण नहीं हैं। वैज्ञानिक लंबे समय से जानते हैं कि जब आप उन्हें बहुत अधिक नियम देते हैं, तो वे गड़बड़ी करने लगते हैं। लेकिन वास्तव में कोई नहीं जानता था कि वे कितनी बुरी तरह विफल होंगे, कौन से नियम एक-दूसरे के विरुद्ध लड़ते हैं, या क्या इसे रोबोट के मस्तिष्क को फिर से प्रशिक्षित किए बिना ठीक करने का कोई तरीका है। यह शोध पत्र उस नियमों के उलझे हुए ढेर में गहराई से उतरता है ताकि यह देख सके कि रोबोट वास्तव में कहाँ भ्रमित होता है और हम उसे चीजों को व्यवस्थित करने में कैसे मदद कर सकते हैं।
द ग्रेट इंस्ट्रक्शन स्टैक कोलैप्स (निर्देशों के ढेर का पतन)
AI को प्रॉम्प्ट देना एक शेफ को रेसिपी कार्ड सौंपने जैसा समझें। यदि कार्ड कहता है "एक सैंडविच बनाएं," तो शेफ खुश है। लेकिन कल्पना कीजिए कि यदि उस कार्ड के ऊपर अचानक एक स्टिकी नोट लगा दिया जाए जिसमें लिखा हो "केवल लाल सामग्री का उपयोग करें," दूसरा कहता हो "ब्रेड की अनुमति नहीं है," तीसरा कहता हो "इसे एक नीले कटोरे में परोसा जाना चाहिए," और चौथा चिल्ला रहा हो "अपने हाथों का उपयोग न करें!" यदि आप रेसिपी के ऊपर इन विरोधाभासी नोट्स का ढेर लगा देते हैं, तो शेफ केवल भ्रमित नहीं होता; वह अक्सर आधे नियमों को पूरी तरह से भूल जाता है। वह सैंडविच बना सकता है, लेकिन वह लाल सामग्री वाली बात भूल जाता है। वह नीले कटोरे का उपयोग कर सकता है, लेकिन वह "कोई ब्रेड नहीं" वाले नियम को अनदेखा कर देता है। और डरावनी बात क्या है? शेफ आपको यह नहीं बताता कि वह विफल रहा है। वह बस आपको एक अजीब सैंडविच परोसता है और कहता है, "यह लीजिए।"
यह शोध पत्र, जिसका शीर्षक "इंस्ट्रक्शन स्टैकिंग कोलैप्स" है, इसी बात की गहरी जांच करता है कि यह वास्तव में कैसे होता है। शोधकर्ताओं ने एक विशाल खेल का मैदान बनाया जहाँ उन्होंने यह परीक्षण किया कि तीन अलग-अलग शीर्ष स्तर के AI मॉडल (Claude Sonnet 4.6, GPT-5-mini, और Gemini 2.5 Flash) बढ़ते हुए निर्देशों के ढेर को कितनी अच्छी तरह संभाल सकते हैं। उन्होंने केवल एक नियम से शुरुआत की और धीरे-धीरे और अधिक नियम जोड़े, एक साथ बीस नियमों तक।
द क्रैश: जब नियम आपस में लड़ते हैं
परिणाम नाटकीय थे। जब AI के पास पालन करने के लिए केवल एक निर्देश था, तो वह एक सुपरस्टार की तरह था, जो लगभग 96% बार सही था। लेकिन जैसे ही नियमों का ढेर बढ़कर बीस हुआ, प्रदर्शन गिर गया।
- सबसे मजबूत मॉडल (Claude Sonвon) गिरकर लगभग 60% सफलता पर आ गया।
- मध्यम मॉडल (Gemini) गिरकर 43% पर आ गया।
- सबसे कमजोर मॉडल (GPT-5-mini) एक दीवार से टकरा गया, जो केवल 20% निर्देशों को सही ढंग से प्रबंधित कर पाया।
यह एक धीमा, उबाऊ पतन नहीं था। यह एक "कोलैप्स" (पतन) था। शोधकर्ताओं ने पाया कि नियम केवल खो नहीं रहे थे; वे सक्रिय रूप से एक-दूसरे से लड़ रहे थे। उन्होंने एक "कॉन्फ्लिक्ट मैप" (संघर्ष मानचित्र) की खोज की। उदाहरण के लिए, यदि आप AI को "वैध JSON आउटपुट करें" (एक विशिष्ट कंप्यूटर कोड प्रारूप) कहते हैं और साथ ही उसे "मार्डाउन हेडर" (जैसे ##Title) का उपयोग करने के लिए भी कहते हैं, तो AI फंस जाता है। वह दोनों नहीं कर सकता। यदि वह JSON चुनता है, तो वह चुपचाप मार्डाउन नियम को तोड़ देता है। यदि वह मार्डाउन चुनता है, तो वह JSON नियम को तोड़ देता है। शोध पत्र में पाया गया कि "आउटपुट JSON" निर्देश सबसे बड़ा समस्या पैदा करने वाला था, जिसने नौ अन्य सामान्य नियमों के साथ संघर्ष किया।
द मैजिक फिक्स: द इंस्ट्रक्शन कंपाइलर
तो, क्या समाधान केवल AI को कम नियम देना है? आवश्यक नहीं। शोधकर्ताओं ने पूछा: "क्या हम प्रॉम्प्ट को AI के देखने से पहले ही ठीक कर सकते हैं, बिना AI को कुछ नया सिखाए?"
उन्होंने एक उपकरण बनाया जिसे इंस्ट्रक्शन कंपाइलर कहा जाता है। इस कंपाइलर को एक अत्यंत व्यवस्थित सहायक के रूप में समझें जो आपके बीस स्टिकी नोट्स के अस्त-व्यस्त ढेर को शेफ को देने से पहले देखता है। कंपाइलर तीन काम करता है:
- समूहीकरण (Grouping): यह सभी "फॉर्मेट" नियमों को एक साथ और सभी "लंबाई" संबंधी नियमों को एक साथ रखता है।
- विलय (Merging): यदि दो नियम एक ही बात कहते हैं, तो यह उन्हें एक स्पष्ट वाक्य में मिला देता है।
- प्राथमिकता (Prioritizing): यदि दो नियम आपस में लड़ते हैं (जैसे "JSON का उपयोग करें" बनाम "मार्डाउन का उपयोग करें"), तो कंपाइलर एक नोट जोड़ता है: "हे, यदि ये दोनों टकराते हैं, तो JSON वाले को पहले प्राथमिकता दें।"
यह कंपाइलर एक बार चलता है, एक साफ, व्यवस्थित चेकलिस्ट बनाता है, और फिर उसी चेकलिस्ट का उपयोग हर उस प्रश्न के लिए किया जाता है जिसका उत्तर AI देता है। यह शेफ को नोटों के बिखरे हुए ढेर के बजाय एक एकल, पूरी तरह से लिखी गई रेसिपी कार्ड देने जैसा है।
द सरप्राइज: किसे मदद मिलती है?
कहानी का सबसे दिलचस्प हिस्सा यहाँ है। शोधकर्ताओं को उम्मीद थी कि यह "साफ रेसिपी कार्ड" सभी की समान रूप से मदद करेगा। लेकिन ऐसा नहीं हुआ। लाभ पूरी तरह से इस बात पर निर्भर था कि शेफ (AI मॉडल) कितना "स्मार्ट" था।
- कमजोर मॉडल्स के लिए (जैसे GPT-5-mini): कंपाइलर एक जीवन रक्षक की तरह था। इसने उनकी सफलता दर को +11 प्रतिशत अंक बढ़ा दिया। इसने एक ऐसे मॉडल को, जो 80% बार विफल हो रहा था, एक ऐसे मॉडल में बदल दिया जो केवल 69% बार विफल हो रहा था। यह बहुत बड़ी बात है क्योंकि इन कमजोर मॉडल्स का वास्तविक दुनिया में सबसे अधिक उपयोग किया जाता है क्योंकि वे तेज़ और सस्ते होते हैं।
- सबसे मजबूत मॉडल्स के लिए (जैसे Claude Sonnet): कंपाइलर ने लगभग कुछ नहीं किया। वास्तव में, इसने उनके प्रदर्शन को थोड़ा नुकसान पहुँचाया (लगभग -1.2 अंक)।
क्यों? शोध पत्र सुझाव देता है कि सबसे मजबूत मॉडल इतने स्मार्ट हैं कि वे पहले से ही नियमों के एक अस्त-व्यस्त ढेर को देखकर संरचना, संघर्ष और प्राथमिकताओं को समझ सकते हैं। उन्हें व्यवस्थित करने के लिए कंपाइलर की आवश्यकता नहीं है; वास्तव में, अतिरिक्त नोट्स उनके सोचने की प्रक्रिया में बाधा डालते हैं। हालाँकि, कमजोर मॉडल इस अव्यवस्था से अभिभूत हो जाते हैं। उन्हें एक अनुवादक के रूप में कंपाइलर की आवश्यकता होती है, जो अराजकता को एक स्पष्ट, चरण-दर-चरण योजना में बदल सके।
यह आपके लिए क्या मायने रखता है
यह शोध हमें दो बड़ी बातें बताता है। पहला, जब हम AI से कई नियमों के साथ जटिल कार्य करने के लिए कहते हैं, तो हम केवल उस पर टेक्स्ट की एक दीवार नहीं फेंक सकते और उम्मीद नहीं कर सकते कि वह काम करेगा। नियम ढह जाएंगे, और AI चुपचाप विफल हो जाएगा। दूसरा, हमें इस समस्या को ठीक करने के लिए बड़े, स्मार्ट रोबोट बनाने की आवश्यकता नहीं है। कभी-कभी, समाधान केवल बेहतर संगठन है।
यह शोध पत्र सिद्ध करता है कि निर्देशों को पुनर्गठित करने वाला एक सरल, मुफ्त उपकरण कमजोर AI मॉडल्स को बचा सकता है, जिससे वे उन कार्यों के लिए बहुत अधिक विश्वसनीय बन जाते हैं जिनका हम रोजमर्रा के जीवन में उपयोग करते हैं। यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी सबसे समझदारी भरा काम रोबोट को और स्मार्ट बनाना नहीं, बल्कि निर्देशों को स्पष्ट बनाना होता है। और सुपर-स्मार्ट रोबोटों के लिए? वे शायद खुद ही इसे सुलझाना पसंद करेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।