LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
यह शोध पत्र LLM-Meta-SR को प्रस्तुत करता है, जो एक मेटा-लर्निंग फ्रेमवर्क है जो इवोल्यूशनरी सिम्बोलिक रिग्रेशन के लिए ब्लोट कंट्रोल के साथ ऑटोमैटिक रूप से सिमेंटिक्स-अवेयर सिलेक्शन ऑपरेटर्स को डिजाइन करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे कई डेटासेट्स पर विशेषज्ञ-डिज़ाइन किए गए बेसलाइन्स और मौजूदा एल्गोरिदम दोनों से बेहतर प्रदर्शन करते हुए अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक रोबोट को बेहतर कोच बनना सिखाना
कल्पना कीजिए कि आप एक रोबोट को गणित की पहेलियाँ सुलझाना सिखा रहे हैं (विशेष रूप से, डेटा पॉइंट्स के एक सेट के पीछे छिपे फॉर्मूले को ढूँढना)। इसे सिम्बोलिक रिग्रेशन (Symbolic Regression) कहा जाता है।
इन पहेलियों को हल करने के लिए, रोबोट जेनेटिक प्रोग्रामिंग (Genetic Programming) नामक विधि का उपयोग करता है। इसे एक डिजिटल विकास (evolution) की तरह समझें:
- रोबốt हजारों रैंडम गणितीय फॉर्मूले बनाता है।
- वह यह देखने के लिए उनका परीक्षण करता है कि कौन से सबसे अच्छा काम करते हैं।
- वह विजेताओं को रखता है, उनके "जीन्स" (फॉर्मूलों के हिस्सों) को मिलाता है, और एक नई पीढ़ी बनाता है।
- वह तब तक यह प्रक्रिया दोहराता है जब तक कि उसे सही फॉर्मूला न मिल जाए।
समस्या: इस प्रक्रिया में, एक महत्वपूर्ण चरण होता है जिसे सिलेक्शन (Selection - चयन) कहते हैं। रोबोट को यह तय करने के लिए एक "कोच" की आवश्यकता होती है कि कौन से फॉर्मूले प्रजनन करेंगे और किन्हें हटा दिया जाएगा।
- पुराना तरीका: मानव विशेषज्ञों को इस कोच को मैन्युअल रूप से डिजाइन करना पड़ता था। वे कहते थे, "उन्हें चुनें जिनका एरर (त्रुटि) सबसे कम हो," या "विभिन्न प्रकार के मिश्रण को चुनें।" यह कठिन, धीमा है, और अक्सर सर्वोत्तम रणनीतियों को मिस कर देता है।
- नया तरीका (यह पेपर): लेखकों ने एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग किया—जैसे कि एक सुपर-स्मार्ट AI जो कोड पढ़ सकता है—खुद उस कोच को स्वचालित रूप से डिजाइन करने के लिए।
वे इसे LLM-Meta-SR कहते हैं। केवल गणित की समस्या को हल करने के बजाय, AI यह हल कर रहा है कि गणित की समस्याओं को कैसे हल किया जाए।
तीन बड़ी बाधाएं (और उन्होंने उन्हें कैसे ठीक किया)
जब उन्होंने पहली बार AI को कोच डिजाइन करने देने की कोशिश की, तो उन्हें तीन प्रमुख समस्याओं का सामना करना पड़ा। यहाँ बताया गया है कि उन्होंने चालाक ट्रिक्स का उपयोग करके उन्हें कैसे हल किया:
1. "औसत जोक" वाली समस्या (सेमेंटिक अवेयरनेस/अर्थ संबंधी जागरूकता)
समस्या: कल्पना कीजिए कि आपके पास दो एथलीट हैं।
- एथलीट A दौड़ने में अद्भुत है लेकिन तैराकी में बहुत खराब है।
- एथलीट B दौड़ने में बहुत खराब है लेकिन तैराकी में अद्भुत है।
यदि आप केवल उनके औसत स्कोर को देखते हैं, तो वे बिल्कुल एक जैसे लग सकते हैं। यदि AI उन्हें केवल इसलिए "माता-पिता" के रूप में चुनता है क्योंकि उनका औसत स्कोर समान है, तो बच्चा एथलीट दोनों में औसत दर्जे का हो सकता है।
समाधान: लेखकों ने AI को विवरण (अर्थ/semantics) देखना सिखाया। केवल यह कहने के बजाय कि "अच्छा काम किया," AI यह देखता है कि एथलीट कहाँ सफल हुआ। यह दौड़ने के विशेषज्ञ को तैराकी के विशेषज्ञ के साथ जोड़ता है ताकि एक "सुपर एथलीट" बनाया जा सके जो हर चीज़ में अच्छा हो। इसे कॉम्प्लीमेंट्री सिलेक्शन (Complementary Selection) कहा जाता है।
2. "ब्लोट" की समस्या (कोड ब्लोट)
समस्या: AI मॉडल बातें करना पसंद करते हैं। जब एक सरल निर्देश लिखने के लिए कहा जाता है, तो वे कभी-कभी 1-पेज के मेमो के बजाय 10-पेज का निबंध लिख देते हैं। कोड में, इसे ब्लोट (Bloat) कहा जाता है। AI ऐसे सिलेक्शन नियम लिख देता था जो हजारों लाइनों लंबे होते थे, जिनमें अनावश्यक स्टेप्स भरे होते थे। इससे सिस्टम धीमा और समझने में कठिन हो जाता था।
समाधान:
- "शब्द संख्या" का नियम: उन्होंने प्रॉम्प्ट में AI को बताया: "आपको यह कोड 50 लाइनों से कम में लिखना होगा।"
- "सर्वाइवल ऑफ द फिटेस्ट" का नियम: यह चुनने के लिए कि कौन से AI-जनरेटेड कोच अगले दौर में जीवित रहेंगे, उन्होंने केवल सबसे स्मार्ट वाले को ही नहीं चुना। उन्होंने उन कोचों को चुना जो स्मार्ट और छोटे (संक्षिप्त) दोनों थे। यदि दो कोच समान रूप से स्मार्ट थे, तो छोटा वाला जीत गया। इसने AI को संक्षिप्त और कुशल बनने के लिए मजबूर किया।
3. "खाली पन्ने" की समस्या (डोमेन नॉलेज/क्षेत्रीय ज्ञान)
समस्या: यदि आप एक सामान्य AI (जैसे कि एक स्मार्ट चैटबॉट) से एक स्पोर्ट्स कोच डिजाइन करने के लिए कहते हैं, तो वह आपको "तेज़ दौड़ो" जैसी सामान्य सलाह दे सकता है। वह जेनेटिक प्रोग्रामिंग के विशिष्ट नियमों को नहीं जानता।
समाधान: उन्होंने AI को एक चीट शीट (डोमेन नॉलेज वाला प्रॉम्प्ट) दी। उन्होंने AI को बताया:
- "याद रखें, हमें विविधता चाहिए (एक ही प्रकार का फॉर्मूला दो बार न चुनें)।"
- "याद रखें, हमें सरल फॉर्मूले चाहिए (पढ़ने में आसान)।"
- "याद रखें, खेल की शुरुआत में, साहसी रहें; बाद में, सटीक रहें।"
इन विशेषज्ञ नियमों को AI के निर्देशों में फीड करके, AI बहुत अधिक स्मार्ट कोच जेनरेट कर सका।
परिणाम: AI इंसानों को हरा देता है
इस सिस्टम को प्रशिक्षित करने के बाद, परिणाम प्रभावशाली थे:
- "ओम्नी" (Omni) कोच: AI ने एक नई सिलेक्शन स्ट्रैटेजी डिजाइन की जिसे Omni कहा जाता है। जब उन्होंने इसका परीक्षण मानव विशेषज्ञों द्वारा डिजाइन किए गए 9 अलग-अलग कोचों के खिलाफ किया, तो Omni लगभग हर बार जीता।
- सर्वश्रेष्ठ से भी बेहतर: उन्होंने मौजूदा सर्वश्रेष्ठ गणित-सुलझाने वाले एल्गोरिदम (RAG-SR) को लिया और उसके मानव-डिजाइन किए गए कोच को AI-डिजाइन किए गए Omni कोच के साथ बदल दिया। परिणाम? यह 116 अलग-अलग डेटासेट्स पर टेस्ट किए गए 28 अलग-अलग तरीकों में से सबसे अच्छा प्रदर्शन करने वाला एल्गोरिदम बन गया।
- व्याख्यात्मकता (Interpretability): न केवल यह अधिक सटीक था, बल्कि इसके द्वारा खोजे गए फॉर्मूले छोटे और सरल भी थे (कम "ब्लोट")। इसका मतलब है कि इंसान वास्तव में इसके द्वारा खोजे गए गणितीय फॉर्मूलों को पढ़ और समझ सकते हैं, जो विज्ञान में एक बड़ी बात है।
निष्कर्ष
यह पेपर साबित करता है कि AI अब मानव विशेषज्ञों की तुलना में बेहतर एल्गोरिदम डिजाइन कर सकता है।
इसे इस तरह सोचें:
- पहले: इंसान एक खेल के लिए सही नियम पुस्तिका बनाने में वर्षों बिताते थे।
- अब: हमने एक ऐसा AI बनाया जो नियम पुस्तिका पढ़ता है, महसूस करता है कि नियम अव्यवस्थित हैं, और नियम पुस्तिका को खुद से तेज़, निष्पक्ष और अधिक प्रभावी ढंग से फिर से लिखता है।
लेखक दिखाते हैं कि AI की रचनात्मकता को क्षेत्र के विशिष्ट नियमों (सिम्बोलिक रिग्रेशन) के साथ जोड़कर, हम वैज्ञानिक खोज के सबसे कठिन हिस्से को स्वचालित कर सकते हैं: यह पता लगाना कि खोज कैसे की जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।