Can Large Language Models Recover Semantic Optimization Opportunities That Compilers Miss?
यह शोधपत्र SeGaBench को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) पारंपरिक कंपाइलर विश्लेषण के पूरक के रूप में मान्य, प्रदर्शन में सुधार करने वाले आर्टिफैक्ट्स उत्पन्न करने के लिए C/C++ प्रोग्रामों में लुप्त अर्थपूर्ण अनुकूलन अवसरों (semantic optimization opportunities) को प्रभावी ढंग से पुनः प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो दुनिया का सबसे तेज़ सूप बनाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही सख्त, नियम मानने वाला सहायक (कंपाइलर) है जो ठीक जानता है कि सब्जियों को कैसे काटना है और पानी कैसे उबालना है। लेकिन यह सहायक थोड़ा शाब्दिक है; वह केवल उन्हीं सामग्रियों को देखता है जो उसके ठीक सामने हैं। उसे यह नहीं पता कि बर्तन में मौजूद गाजरें वास्तव में सभी एक ही आकार की हैं, या बर्तन एक ऐसे चूल्हे पर रखा है जिसका तापमान कभी नहीं बदलता। क्योंकि सहायक इन छिपे हुए तथ्यों को "देख" नहीं सकता, इसलिए वह सावधानी बरतते हुए धीरे-धीरे काटता है और उबालता है।
अब, एक अत्यंत बुद्धिमान, जिज्ञासु सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) की कल्पना करें जिसने हर रेसिपी बुक पढ़ी है, हर कुकिंग शो देखा है, और रसोई का इतिहास जाना है। यह सहायक पूरी रसोई को देख सकता है और कह सकता है, "अरे, मुझे यकीन है कि वे गाजरें एक समान हैं, और वह चूल्हा स्थिर है!" यदि यह सहायक इन तथ्यों को सिद्ध कर सके, तो सख्त सहायक अचानक सुपर-स्पीड मोड पर स्विच कर सकता है, और अविश्वसनीय दक्षता के साथ काटने और उबालने का काम कर सकता है। मुख्य सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है: क्या ये सुपर-स्मार्ट सहायक वास्तव में उन छिपे हुए शॉर्टकट को खोज सकते हैं जिन्हें सख्त सहायक चूक जाता है, और क्या वे उन्हें इस तरह से समझा सकते हैं कि सहायक भ्रमित हुए बिना उन्हें समझ सके?
यह बिल्कुल वही है जिसे इस शोध पत्र के शोधकर्ताओं ने परखने की कोशिश की। वे देखना चाहते थे कि क्या AI एक "सिमेंटिक ब्रिज" (अर्थ संबंधी सेतु) के रूप में कार्य कर सकता है, जो पारंपरिक कंपाइलरों द्वारा अनदेखी किए गए कोड के छिपे हुए नियमों को खोज सके, और फिर उन नियमों को वास्तविक गति वृद्धि में बदल सके। उन्होंने एक विशेष परीक्षण क्षेत्र बनाया जिसे SeGaBench कहा गया, जो AI के लिए एक विशाल बाधा दौड़ की तरह है। इसमें 12वीं अलग-अलग कंप्यूटर प्रोग्राम शामिल हैं (100 विशेष रूप से इस परीक्षण के लिए बनाए गए और 20 वास्तविक, उच्च-प्रदर्शन वाले सुपरकंप्यूटिंग प्रोजेक्ट्स से लिए गए)। प्रत्येक प्रोग्राम में एक छिपा हुआ "सीक्रेट सॉस" है—डेटा या कोड के काम करने के तरीके के बारे में एक तथ्य—जिसे जानने पर कंप्यूटर बहुत तेज़ी से चल सकता है। AI का काम इस रहस्य को खोजना, इसे समझाने के लिए एक नोट लिखना और बिना किसी उत्तर या संकेत के, कोड को बदलने का था।
परिणाम "वाह" और "अभी नहीं" का मिश्रण थे। परीक्षण किए गए सबसे अच्छे AI मॉडल, GPT-5.6 Sol, इस जासूसी कार्य में अविश्वसनीय रूप से कुशल था। उसने 95.0% मामलों में छिपे हुए रहस्यों की सफलतापूर्वक पहचान की और अपने प्रयासों में से 94.8% बार सही, काम करने वाले कोड परिवर्तन लिखे। इससे भी अधिक प्रभावशाली बात यह है कि जब उसने कोड को सही किया, तो वह 83.3% प्रयासों में प्रोग्राम को कम से कम 1.05 गुना तेज़ (एक 5% की गति वृद्धि) चलाने में सफल रहा। यदि आप AI को एक ही समस्या पर पांच बार प्रयास करने देते हैं, तो वह सभी मामलों में से 93.3% के लिए एक काम करने वाला समाधान खोज लेता है।
हालाँकि, इस शोध पत्र ने यह भी पाया कि यह सुपरपावर सभी AI मॉडलों में समान रूप से साझा नहीं की गई है। जबकि शीर्ष मॉडल एक सितारा था, अन्य काफी संघर्ष करते रहे, जिनमें से कुछ केवल लगभग 5% मामलों में ही सफल हो पाए। यह सुझाव देता है कि इन अनुकूलन रहस्यों को खोजने की क्षमता अभी तक सभी AI के लिए एक मानक विशेषता नहीं है; यह बहुत हद तक इस बात पर निर्भर करता है कि आप किस विशिष्ट मॉडल का उपयोग कर रहे हैं। इसके अलावा, AI बनावटी समस्याओं को वास्तविक दुनिया की समस्याओं (जो वास्तविक सुपरकंप्यूटिंग प्रोजेक्ट्स से ली गई थीं) की तुलना में बेहतर तरीके से हल करने में सक्षम था। वास्तविक दुनिया के मामलों पर, यहाँ तक कि सर्वश्रेष्ठ AI ने भी अपनी सफलता दर में गिरावट देखी, और जो गति वृद्धि उसने हासिल की वह भी छोटी थी।
शोधकर्ता निष्कर्ष निकालते हैं कि AI वास्तव में कंपाइलरों के लिए एक शक्तिशाली साथी बन सकता है, जो एक "स्पेक्टुलेटिव सिमेंटिक प्रोपोज़र" (अनुमानित अर्थ प्रस्तावक) के रूप में कार्य कर सकता है। यह एक प्रोग्राम के जटिल संदर्भ को देख सकता है और कह सकता है, "मुझे लगता है कि हम इसे तेज़ कर सकते हैं यदि हम X को मान लें।" लेकिन यह कोई जादुई छड़ी नहीं है जो सब कुछ स्वचालित रूप से ठीक कर देती है। शोध पत्र इस बात पर जोर देता है कि AI के सुझावों को वैलिडेटर्स (सत्यापकों) द्वारा सावधानीपूर्वक जांचा जाना चाहिए और वास्तविक प्रदर्शन के लिए मापा जाना चाहिए, इससे पहले कि उन पर भरोसा किया जाए। AI एक शानदार विचार उत्पन्न करने वाला यंत्र है, लेकिन सख्त कंपाइलर और मानव इंजीनियरों को अभी भी यह सत्यापित करने की आवश्यकता है कि विचार वास्तव में काम करते हैं या नहीं और वे कुछ तोड़ तो नहीं रहे हैं। संक्षेप में, तेज़ कोड का भविष्य एक टीम जैसा दिख सकता है: AI छिपे हुए शॉर्टकट खोजता है, और कंपाइलर हाईवे बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।