Routing Ceilings Are Domain-Independent: Structural Prior Injection in Code Security Vulnerability Detection
यह शोध पत्र यह प्रदर्शित करता है कि "राउटर परिकल्पना" (router hypothesis) और वह विशिष्ट ट्रेड-ऑफ जहाँ संरचनात्मक पूर्वधारणाएँ (चीटशीट्स) इन-डिस्ट्रीब्यूशन प्रदर्शन में भारी सुधार करती हैं जबकि आउट-ऑफ-डिस्ट्रीब्यूशन पतन का गंभीर कारण बनती हैं, जैसा कि पहले गणितीय तर्क में देखा गया था, कई मॉडलों और जटिलता स्तरों में कोड सुरक्षा भेद्यता पहचान (code security vulnerability detection) में भी सामान्यीकृत होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेहद बुद्धिमान लेकिन थोड़े शाब्दिक अर्थ निकालने वाले (literal-minded) रोबोट को कहानी में गलतियाँ पकड़ना सिखा रहे हैं। आप उसे "सुरागों" की एक सूची देते हैं (जैसे "यदि आप एक लाल दरवाजा देखते हैं, तो वह एक जाल है") और वह उस विशिष्ट कहानी में जाल खोजने में बहुत माहिर हो जाता है जिसके साथ आपने अभ्यास किया था। लेकिन जब आप उसे एक बिल्कुल नई कहानी देते हैं जिसमें अलग तरह के जाल हैं, तो क्या होता है? कभी-कभी, सुरागों की वही सूची उस रोबट को उसके काम में उतना ही खराब बना देती है जितना कि तब होता यदि आपने उसे बस इतना कहा होता, "जाओ और जाल ढूंढो," और उसे खुद पता लगाने देते। यह एक पहेली है जिसे शोधकर्ता आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ हल करने की कोशिश कर रहे हैं। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जो कोड लिख सकते हैं, गणित की समस्याएं हल कर सकते हैं, और हमसे चैट कर सकते हैं। बड़ा सवाल यह है कि क्या वे वास्तव में समझते हैं कि वे क्या कर रहे हैं, या वे केवल पैटर्न को याद कर रहे हैं और एक ऐसे नक्शे का पालन कर रहे हैं जो केवल एक विशिष्ट पड़ोस के लिए काम करता है?
"रूटिंग सीलिंग्स आर डोमेन-इंडिपेंडेंट" (Routing Ceilings Are Domain-Independent) शीर्षक वाला यह शोध पत्र इस प्रश्न की जांच करने के लिए इस सिद्धांत का परीक्षण करता है जिसे "रूटर हाइपोथेसिस" (router hypothesis) कहा जाता है। एक LLM को एक अकेले मस्तिष्क के रूप में नहीं, बल्कि एक व्यस्त रेलवे स्टेशन के रूप में देखें। जब कोई समस्या आती है, तो मॉडल को यह तय करना होता है कि उत्तर प्राप्त करने के लिए उसे किस "ट्रैक" (या पैटर्न) पर भेजना है। "रूटर हाइपोथेसिस" यह सुझाव देती है कि हर बार शून्य से उत्तर खोजने के बजाय, मॉडल अक्सर एक पहले से सीखे गए पैटर्न (कैश्ड मैप) को पकड़ लेता है और आँख बंद करके उसका पालन करता है। शोधकर्ता यह देखना चाहते थे कि क्या यह व्यवहार कंप्यूटर सुरक्षा की दुनिया में होता है, जहाँ कोड में बग (खामियां) ढूंढना महत्वपूर्ण है। उन्होंने परीक्षण किया कि क्या AI को एक "चीट शीट" (नकल करने वाली सूची) देने से उसे नकली, अभ्यास कोड में सुरक्षा खामियां खोजने में मदद मिलती है, और क्या वही चीट शीट का उपयोग वास्तविक, जटिल दुनिया के असली कोड पर करने से कुछ होता है।
प्रयोग: द चीट शीट ट्रैप (The Cheat Sheet Trap)
शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स (GPT-OSS-120B, Llama-3.3-70B, और Gemma-4-31B) के साथ एक खेल तैयार किया और उन्हें कंप्यूटर कोड में तीन प्रकार के सुरक्षा बग खोजने के लिए कहा। ये बग सरल (जैसे टेक्स्ट में सीधे लिखा गया पासवर्ड) से लेकर जटिल (जैसे एक चालाक लूप जो डेटाबेस को धीमा कर देता है) तक थे।
सबसे पहले, उन्होंने मॉडल्स का बिना किसी मदद के परीक्षण किया। इसे "ज़ीरो-शॉट" (zero-shot) कहा जाता है। मॉडल्स ने सरल बग्स पर ठीक-ठाक प्रदर्शन किया लेकिन जटिल बग्स पर संघर्ष किया। उदाहरण के लिए, एक मॉडल ने जटिल "N+1" बग्स को केवल 20% तक ही खोज पाया।
फिर, उन्होंने मॉडल्स को एक "चीट शीट" दी। यह कोई जादुई छड़ी नहीं थी; यह नियमों और पैटर्न की एक संरचित सूची थी जो AI को ठीक-ठीक बताती थी कि उसे क्या खोजना है। परिणाम क्या रहा? यह जादू जैसा था। अभ्यास (सिंथेटिक) कोड पर, चीट शीट्स ने मॉडल्स को लगभग पूर्ण बना दिया। एक मॉडल जटिल बग्स को खोजने में 20% से बढ़कर 100% तक पहुँच गया। चीट शीट ने समस्या को पूरी तरह से हल कर दिया था।
मोड़: जब चीट शीट भारी पड़ जाती है (The Twist: When the Cheat Sheet Backfires)
यहाँ कहानी एक तीखा मोड़ लेती है। शोधकर्ताओं ने उन्हीं मॉडल्स को, हाथ में वही परफेक्ट चीट शीट लिए हुए, वास्तविक दुनिया के कोड (वास्तविक सुरक्षा खामियों से संबंधित कोड) में बग खोजने के लिए कहा।
परिणाम विनाशकारी था। चीट शीट्स ने न केवल मदद करना बंद कर दिया, बल्कि मॉडल्स को नुकसान भी पहुँचाया।
- GPT-OSS-120B मॉडल के लिए, चीट शीट के कारण इसका प्रदर्शन अभ्यास कोड पर 100% के परफेक्ट स्कोर से गिरकर वास्तविक कोड पर केवल 48.9% रह गया।
- वास्तव में, वास्तविक कोड पर, चीट शीट वाले मॉडल्स ने उन मॉडल्स की तुलना में बहुत खराब प्रदर्शन किया जिनके पास कोई चीट शीट नहीं थी। "मददगार" गाइड उन्हें गलत रास्ते पर ले गई क्योंकि वास्तविक दुनिया वैसी नहीं थी जैसी अभ्यास की दुनिया थी।
शोधकर्ताओं ने इसे "वर्जन 2" चीट शीट बनाकर ठीक करने की कोशिश की। उन्होंने देखा कि मॉडल्स ने वास्तविक कोड पर क्या गलतियाँ की थीं और उन विशिष्ट त्रुटियों से बचने के लिए नियमों को अपडेट किया। आप सोच सकते हैं कि इससे मदद मिलेगी, लेकिन इसने स्थिति को और भी बदतर बना दिया। अधिक जटिल चीट शीट ने प्रदर्शन को और नीचे गिरा दिया, जो 41.7% रह गया। यह एक टूटे हुए कंपास को और अधिक निर्देश जोड़कर ठीक करने की कोशिश करने जैसा था; आप जितना अधिक मॉडल को एक विशिष्ट पथ का पालन करने के लिए मजबूर करते हैं, वह वास्तविक भूगोल बदलने पर उतना ही अधिक भटक जाता है।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि AI वास्तव में बग खोजने के लिए गहराई से और लचीले तरीके से "सीख" नहीं रहा है। इसके बजाय, यह एक ऐसे छात्र की तरह काम कर रहा है जिसने एक विशिष्ट अभ्यास परीक्षा के उत्तर कुंजी (answer key) को रट लिया है। जब परीक्षा बिल्कुल अभ्यास जैसी दिखती है, तो छात्र को 'A' ग्रेड मिलता है। लेकिन जब परीक्षा थोड़ी भी बदल जाती है, तो छात्र फेल हो जाता है क्योंकि वह केवल एक नक्शे का पालन कर रहा था, क्षेत्र (territory) की समझ नहीं रख रहा था।
शोधकर्ता तर्क देते हैं कि बेहतर चीट शीट्स या बेहतर प्रॉम्प्ट लिखकर इसे ठीक करने की कोशिश करना एक बेकार रास्ता है। समस्या संरचनात्मक है: AI उन शॉर्टकट पर निर्भर है जो डेटा बदलने पर काम नहीं करते। उनका सुझाव है कि एकमात्र वास्तविक समाधान यह है कि AI को शुरुआत से ही नकली और वास्तविक डेटा के मिश्रण पर प्रशिक्षित किया जाए, ताकि वह केवल एक नकली दुनिया के नक्शे को रटने के बजाय वास्तविक दुनिया में नेविगेट करना सीख सके।
संक्षेप में, यह शोध पत्र हमें चेतावनी देता है कि कंप्यूटर सुरक्षा की उच्च-दांव वाली दुनिया में, एक अभ्यास टेस्ट पर "परफेक्ट" स्कोर एक जाल हो सकता है। यदि हम इन चतुर प्रॉम्प्ट्स और चीट शीट्स पर बहुत अधिक भरोसा करते हैं, तो हम ऐसे सुरक्षा उपकरण बना सकते हैं जो लैब में तो शानदार दिखते हैं लेकिन इंटरनेट की जटिल वास्तविकता का सामना करने पर चुपचाप विफल हो जाते हैं। AI सोच नहीं रहा है; वह केवल रूटिंग (मार्गदर्शन) कर रहा है, और यदि मार्ग गलत है, तो मंजिल विनाशकारी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।