तकनीकी सारांश: PRISM (परम्यूटेशन-आधारित रीजनिंग और इंटेलिजेंस सर्च मेथड)

समस्या विवरण

कई जटिल प्रणालियाँ—जैसे कि कंपाइलर पासेस, वैज्ञानिक पाइपलाइन, न्यूरल मॉडल मॉड्यूल और प्रॉम्प्ट निर्देश—एक निश्चित घटक सेट (fixed component sets) रखती हैं जहाँ अनुकूलन (optimization) की चुनौती घटकों के चयन में नहीं, बल्कि उनके क्रम (order) को निर्धारित करने में निहित है। एक बार जब घटकों का एक मल्टीसेट (multiset) निश्चित हो जाता है, तो उम्मीदवार स्थान (candidate space) क्रमपरिवर्तनों (permutations) $\pi \in S_n$ का होता है। अनुकूलन का उद्देश्य $\pi^* \in \arg \max_{\pi \in S_n} F(\pi)$ खोजना है, जहाँ $F$ कार्य का स्कोर है।

यह कार्य एक महत्वपूर्ण गलत धारणा को संबोधित करता है कि खोज की कठिनाई खोज स्थान के आकार ($n!$) का फलन है। पेपर का तर्क है कि स्पेस कार्डिनैलिटी (cardinality) कठिनाई का एक खराब भविष्यवक्ता है; एक स्थान जिसमें 5,040 क्रमपरिवर्तन हैं, वह एक ऐसे स्थान से अधिक कठिन हो सकता है जिसमें $10^{13}$ क्रमपरिवर्तन हों, यदि बाद वाले में शोषण योग्य संरचना (exploitable structure) मौजूद हो। मुख्य समस्या यह है कि किसी विशिष्ट परिदृश्य (landscape) की स्थानीयता (locality) (एक मूव फिटनेस जानकारी को कितना सुरक्षित रखता है) और वैश्विक मार्गदर्शन (global guidance) (दूरी और अनुकूलतम के बीच संबंध) को मापे बिना, यह नहीं जाना जा सकता कि क्या संरचित खोज (जैसे कि इवोल्यूशनरी एल्गोरिदम) यूनिफॉर्म रैंडम सैंपलिंग से बेहतर प्रदर्शन करेगी।

कार्यप्रणाली: PRISM प्रोटोकॉल

PRISM एक प्री-फ्लाइट प्रोटोकॉल (pre-flight protocol) पेश करता है जिसे मुख्य मूल्यांकन बजट को समर्पित करने से पहले परिदृश्य की संरचना का निदान करने के लिए डिज़ाइन किया गया है। यह प्रोटोकॉल एक "विशिष्ट-मूल्यांकन बजट" (distinct-evaluation budget) पर कार्य करता है, यह सुनिश्चित करते हुए कि एक ही क्रम के बार-बार मूल्यांकन से गणना कृत्रिम रूप से न बढ़े।

1. प्री-फ्लाइट डायग्नोस्टिक्स (Pre-Flight Diagnostics)

मुख्य खोज से पहले, एक छोटे प्रोब बजट ($B_p$) का उपयोग विशिष्ट क्रमों को नमूना लेने और दो प्रमुख सांख्यिकीओं को मापने के लिए किया जाता है:

• वन-मूव फिटनेस ऑटोकोरिलेशन ($\rho_1$): एक विशिष्ट मूव ऑपरेटर $o$ (जैसे स्वैप, इंसर्शन, इन्वर्जन) के लिए, $\rho_1(o) = \text{corr}(F(\pi), F(o(\pi)))$। एक सकारात्मक मान इंगित करता है कि नेबरहुड (neighborhood) फिटनेस जानकारी को सुरक्षित रखता है; शून्य के करीब मान यह सुझाव देता है कि मूव प्रभावी रूप से एक रैंडम ड्रा है।
• फिटनेस-डिस्टेंस कोरिलेशन (FDC): $\text{FDC} = \text{corr}(F(\pi), d(\pi, \Omega))$, जहाँ $\Omega$ अनुकूलतमों (optima) का सेट है (या सबसे अच्छा फ्रोजन प्रोब सैंपल)।
  • नकारात्मक FDC: इंगित करता है कि बेहतर उम्मीदवार लक्ष्य के करीब स्थित हैं (गाइडिंग लैंडस्केप)।
  • शून्य के करीब FDC: कमजोर वैश्विक मार्गदर्शन (near-random regime) को दर्शाता है।
  • सकारात्मक FDC: एक भ्रामक (deceptive) परिदृश्य को दर्शाता है जहाँ स्थानीय सुधार के मूव्स अनुकूलतम से दूर ले जाते हैं।

2. एक्सेक्यूटर चयन (Executor Selection)

इन मापों के आधार पर, प्रोटोकॉल शेष बजट के लिए एक "एक्सेक्यूटर" चुनता है:

• यूनिफॉर्म सैंपलिंग (Uniform Sampling): इसकी सिफारिश तब की जाती है जब $\rho_1$ शून्य के करीब हो या FDC शून्य के करीब हो (near-random regime)।
• इवोल्यूशनरी सर्च (Evolutionary Search): इसकी सिफारिश तब की जाती है जब $\rho_1$ सकारात्मक हो और FDC नकारात्मक हो (guiding regime)।
• एक्सैक्ट एन्यूमरेशन (Exact Enumeration): छोटे स्थानों के लिए या ग्राउंड ट्रुथ को सत्यापित करने के लिए उपयोग किया जाता है।
• सरोगेट्स/ट्रांसफर (Surrogates/Transfer): उपयोग किया जाता है जब संरचना का पता चलता है लेकिन एन्यूमरेशन संभव नहीं होता।

महत्वपूर्ण रूप से, प्रोटोकॉल एक सही पूर्वानुमान को कि "सैंपलिंग इष्टतम है" को खोज पद्धति की विफलता के बजाय एक सफल परिणाम के रूप में मानता है।

मुख्य योगदान

C1. एक दो-सांख्यिकी प्री-फ्लाइट प्रोटोकॉल

पेपर $\rho_1$ और FDC को एक कम-बजट वाले सेलेक्टर के रूप में संचालित करता है जो परिदृश्यों को तीन श्रेणियों में विभाजित करता है: ऑपरेटर-अलाइन्ड (गाइडिंग), नियर-रैंडम, और डिसेप्टिव। यह शून्य परिणामों (जहाँ खोज विफल होती है) को अनस्पष्ट विफलताओं के बजाय परीक्षण योग्य पूर्वानुमानों में बदल देता है।

C2. "खोज हमेशा बेहतर होती है" का सटीक खंडन

एक नियत (deterministic) न्यूरल पैरिटी लैंडस्केप का उपयोग करते हुए जिसमें 7 मॉड्यूल ($7! = 5,040$ क्रमपरिवर्तन) हैं, लेखक यह प्रदर्शित करते हैं कि संरचित खोज यूनिफॉर्म सैंपलिंग से स्पष्ट रूप से बदतर हो सकती है।

• परिणाम: इस परिदृश्य पर, एलीटिस्ट इवोल्यूशनरी सर्च ने 40 रन में से 19 में अनुकूलतम पाया, जबकि यूनिफॉर्म सैंपलिंग ने 40 में से 30 रन में एक पाया।
• कारण: इस परिदृश्य में लगभग शून्य स्थानीय सहसंबंध ($\rho_1 \in [0.00, 0.06]$) और लगभग शून्य FDC ($-0.063$) था, जिसका अर्थ है कि स्थानीय सुधार के मूव्स ने फिटनेस के बारे में कोई जानकारी नहीं दी।
• महत्व: यह सिद्ध करता है कि स्पेस का आकार कठिनाई निर्धारित नहीं करता; संरचना करती है।

C3. इंस्ट्रक्शन ऑर्डरिंग का व्यापक मानचित्रण

लेखक ने एक निश्चित मॉडल और ग्रेडर का उपयोग करके GSM8K सबसेट पर छह निश्चित रीजनिंग निर्देशों (RESTATE, IDENTIFY, PLAN, COMPUTE, CHECK, ANSWER) के सभी $6! = 720$ क्रमपरिवर्तनों का मूल्यांकन किया।

• रेंज: केवल क्रम के आधार पर सटीकता 6.3% से 96.9% तक भिन्न हुई।
• पोजीशन इफेक्ट्स (Position Effects): "ANSWER" मॉड्यूल अंतिम स्थिति (0.870) में सर्वश्रेष्ठ और पहली स्थिति (0.435) में सबसे खराब प्रदर्शन करता है। "COMPUTE" शुरुआती दौर में सर्वश्रेष्ठ प्रदर्शन करता है।
• ट्रांसफर: ये पोजीशन इफेक्ट्स मॉडल परिवारों (Qwen, Llama, Gemma) के बीच भी स्थानांतरित हुए और स्वचालित वर्डिंग ऑप्टिमाइजेशन (OPRO) के बावजूद बने रहे, जो पुष्टि करता है कि ऑर्डर, टेक्स्ट कंटेंट से अलग एक विशिष्ट अनुकूलन समन्वय (optimization coordinate) है।
• सर्च बनाम सैंपलिंग: बड़े रेंज के बावजूद, परिदृश्य में घने अनुकूलतम (dense optima) थे (60 क्रमों ने अधिकतम सटीकता प्राप्त की)। फलस्वरूप, इवोल्यूशनरी सर्च (अनुकूलतम तक औसत 9.9 मूल्यांकन) ने यूनिफॉर्म सैंपलिंग (अनुकूलतम तक औसत 10.8 मूल्यांकन) से महत्वपूर्ण रूप से बेहतर प्रदर्शन नहीं किया, जो प्री-फ्लाइट की इस भविष्यवाणी की पुष्टि करता है कि सैंपलिंग प्रतिस्पर्धी होगी।

C4. क्रॉस-डोमेन कैलिब्रेशन

प्रोटोकॉल का परीक्षण निम्नलिखित पर किया गया:

• वैज्ञानिक पाइपलाइन: प्रत्येक में 720 क्रमपरिवर्तनों के साथ छह प्रणालियाँ; इवोल्यूशनरी सर्च ने सभी छह में सैंपलिंग को पछाड़ दिया, जिसमें इंसर्शन मूव्स ने उच्चतम $\rho_1$ दिखाया।
• न्यूरल आर्किटेक्चर सर्च (NAS): फिक्स्ड-ऑपरेशन स्लाइस पर 18 पंजीकृत पूर्वानुमान। 13 सही थे। अध्ययन ने रेखांकित किया कि दूरी मेट्रिक्स (जैसे स्वैप के लिए केली डिस्टेंस) इंसर्शन-आकार के लैंडस्स्केप में मार्गदर्शन को कम आंक सकते हैं।

परिणाम और निष्कर्ष

1. ऑर्डर एक वास्तविक अनुकूलन समन्वय है: फ्लैगशिप प्रयोग में, ऑर्डर अकेले सटीकता को 90.6 प्रतिशत अंक तक बदल देता है।
2. स्पेस का आकार $\neq$ कठिनाई: एक 5,040-ऑर्डर वाले स्पेस ने एलीटिस्ट सर्च को हरा दिया, जबकि एक $2 \times 10^{13}$-ऑर्डर वाले सिंथेटिक स्पेस को कुशलतापूर्वक हल किया गया क्योंकि बाद वाले में मजबूत संरचनात्मक मार्गदर्शन था।
3. सर्च ऑपरेटर्स लोकैलिटी को परिभाषित करते हैं: गलत मैच किए गए ऑपरेटर्स (जैसे प्रेसीडेंस लैंडस्केप पर स्वैप का उपयोग करना) सफलता को पूरी तरह से रोक सकते हैं। प्री-फ्लाइट सफलतापूर्वक सर्वश्रेष्ठ ऑपरेटर (जैसे इंस्ट्रक्शन लैंडस्केप के लिए इंसर्शन) की पहचान करता है (92.5% सटीकता के साथ)।
4. कंटेंट और ऑर्डर ऑर्थोगोनल (Orthogonal) हैं: इंस्ट्रक्शन वर्डिंग को अनुकूलित करने (OPRO के माध्यम से) ने औसत सटीकता में सुधार किया लेकिन इसने ऑर्डरिंग सरफेस को सपाट नहीं किया; ऑर्डरिंग प्रभावों का मानक विचलन उच्च बना रहा (0.059 बनाम 0.063)।
5. "मिस" (Misses) का मूल्य: पूर्वानुमान विफलताओं (जैसे यह भविष्यवाणी करना कि सैंपलिंग जीतेगी जब वास्तव में सर्च जीता, या इसके विपरीत) को बनाए रखना प्रोटोकॉल को कैलिब्रेट करने और दूरी मेट्रिक्स की सीमाओं को पहचानने के लिए आवश्यक है।

महत्व और दावे

पेपर का दावा है कि PRISM एक ऐसा फाल्सिफिएबल (falsifiable) प्रोटोकॉल है जो यह तय करने के लिए है कि कब खोज करनी है, कब सैंपल लेना है, और कब पहले इवैल्यूएटर को सुधारना है।

• मामूली दावा: लेखक यह दावा नहीं करते कि PRISM एक सार्वभौमिक ऑप्टिमाइज़र है या यह सभी डोमेन में बेहतर प्रदर्शन की गारंटी देता है। इसके बजाय, वे तर्क देते हैं कि मापे गए लैंडस्केप स्ट्रक्चर के आधार पर कैलिब्रेटेड निर्णय लेना, अंधाधुंध इवोल्यूशनरी सर्च लागू करने या यह मानने से बेहतर है कि रैंडम सैंपलिंग पर्याप्त है।
• वैज्ञानिक कठोरता: सटीक ग्राउंड ट्रुथ (जहाँ संभव हो) और एक "फोरकास्ट लेजर" (forecast ledger) का उपयोग करके, यह कार्य क्षेत्र को ऑप्टिमाइज़र रैंकिंग के पोस्ट-हॉक औचित्य से हटाकर परीक्षण योग्य, पूर्व-पंजीकृत परिकल्पनाओं की ओर ले जाने का लक्ष्य रखता है।
• व्यावहारिक निहितार्थ: अभ्यासकर्ताओं के लिए, मुख्य बात यह है कि कानूनी क्रमों (legal orderings) को परिभाषित करें, इवैल्यूएटर रेजोल्यूशन को सत्यापित करें, $\rho_1$ और FDC को मापने के लिए प्री-फ्लाइट चलाएं, और अंतर्ज्ञान के बजाय इस माप के आधार पर एक्सेक्यूटर (सैंपलिंग बनाम सर्च) चुनें।

कार्य यह निष्कर्ष निकालता है कि PRISM का मूल्य सार्वभौमिक ऑप्टिमाइज़र श्रेष्ठता के बजाय कैलिब्रेटेड चॉइस (calibrated choice) में निहित है, जो उन परिदृश्यों में कंप्यूटेशनल बजट बर्बाद करने से बचने के लिए एक ढांचा प्रदान करता है जहाँ संरचित खोज (structured search) रैंडम सैंपलिंग की तुलना में कोई लाभ नहीं देती है।