OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

यहाँ शोध पत्र "OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मशीन लर्निंग (ML) अनुसंधान को सैद्धांतिक परिकल्पनाओं से उत्पादन-तैयार (production-ready), सत्यापित कार्यान्वयन (implementations) में बदलने की उच्च-घर्षण वाली प्रक्रिया को संबोधित करता है। जबकि मौजूदा ऑटोमेशन तकनीकें जैसे कि न्यूरल आर्किटेक्चर सर्च (NAS) और AutoML ने निश्चित एल्गोरिद्मिक संरचनाओं के भीतर हाइपरपैरामीटर और लेयर चयन को सफलतापूर्वक अनुकूलित किया है, वे पूरी तरह से नए एल्गोरिद्मिक तर्क (algorithmic logic) की खोज करने की समस्या को हल नहीं कर पाए हैं। वर्तमान में, नवीन, गैर-सहज विचारों को निष्पादन योग्य, त्रुटि-मुक्त कोड में अनुवादित करना जो मानक पाइपलाइनों (जैसे scikit-learn) के साथ एकीकृत हो सके, एक मैनुअल और डिबगिंग-भारी कार्य बना हुआ है। लेखक लार्ज लैंग्वेज मॉडल्स (LLMs) की भूमिका को स्थिर टेक्स्ट जनरेटर से बदलकर निष्पादन योग्य शिक्षण प्रणालियों (executable learning systems) के रूप में विकसित करने का प्रस्ताव देते हैं जो स्वायत्त एल्गोरिद्मिक खोज में सक्षम हों।

2. कार्यप्रणाली: OMEGA फ्रेमवर्क (Methodology: The OMEGA Framework)

OMEGA एक एंड-टू-एंड फ्रेमवर्क है जिसे विचार सृजन से लेकर निष्पादन योग्य कोड मूल्यांकन तक, ML एल्गोरिदम निर्माण के जीवनचक्र को स्वचालित करने के लिए डिज़ाइन किया गया है। यह चार प्राथमिक चरणों के माध्यम से संचालित होता है:

A. विचार सृजन (Idea Generation)

फ्रेमवर्क एल्गोरिद्मिक अवधारणाओं को उत्पन्न करने के लिए दो पूरक दृष्टिकोणों का उपयोग करता है:

1. LLM ऑन्टोलॉजी सर्च (LLM Ontology Search): सिस्टम मौजूदा मॉडलों और अनुसंधान सिद्धांतों की एक सूची के साथ LLMs को प्रॉम्प्ट देता है ताकि अद्वितीय संशोधनों (प्रत्येक मॉडल के लिए 10) को उत्पन्न किया जा सके। इन विचारों को पार्स किया जाता है और कोड जनरेशन के लिए प्रॉम्प्ट के रूप में उपयोग किया जाता है।
2. मानव प्रेरित विचार (Human Prompted Ideas): मानव शोधकर्ता सीधे फ्रेमवर्क में नवीन अवधारणाएं सबमिट कर सकते हैं, जिन्हें LLM-जनित विचारों के साथ प्रोसेस किया जाता है।

B. कोड जनरेशन और सेल्फ-हीलिंग (Code Generation & Self-Healing)

एक बार विचार परिभाषित हो जाने के बाद, LLM दो सख्त बाधाओं के साथ कोड उत्पन्न करता है:

1. Scikit-Learn अनुपालन (Scikit-Learn Compliance): जनरेट किए गए मॉडलों को BaseEstimator से इनहेरिट करना चाहिए और .fit() तथा .predict() मेथड्स को लागू करना चाहिए। यह सुनिश्चित करता है कि मॉडल मौजूदा ML वर्कफ़्लो के साथ संगत डोमेन-विशिष्ट भाषा (DSL) के रूप में कार्य करें।
2. सेल्फ-हीलिंग पाइपलाइन (Self-Healing Pipeline): निष्पादन क्षमता सुनिश्चित करने के लिए, फ्रेमवर्क एक पुनरावृत्ति डिबगिंग लूप (iterative debugging loop) का उपयोग करता है। यदि कोड जनरेशन विफल होता है, तो एरर स्टैक ट्रेस को कोड को पुन: उत्पन्न करने के लिए वापस LLM में भेजा जाता है। यह प्रक्रिया निश्चित संख्या में प्रयासों तक दोहराई जाती है; यदि कोड ठीक नहीं हो पाता है, तो इसे हटा दिया जाता है। यह सुनिश्चित करता है कि केवल त्रुटि-मुक्त, कंपाइल करने योग्य कोड ही मूल्यांकन के लिए आगे बढ़े।

C. मूल्यांकन: इन्फिनिटी-बेंच (Evaluation: Infinity-Bench)

जनरेट किए गए एल्गोरिदम का आकलन करने के लिए, लेखक Infinity-Bench पेश करते हैं, जो 20 विविध वर्गीकरण डेटासेट्स (scikit-learn और OpenML से प्राप्त) का एक बेंचमार्क रिपॉजिटरी है।

• विविधता (Diversity): डेटासेट्स आकार, फीचर प्रकारों (संख्यात्मक/श्रेणीबद्ध) और डोमेन (बायो, मेडिसिन, एजुकेशन) में भिन्न होते हैं।
• मेट्रिक (Metric): कच्चे सटीकता (raw accuracy) के बजाय (जो डेटासेट की कठिनाई के आधार पर बदलती रहती है), फ्रेमवर्क एक Min-Max नॉर्मलाइज्ड रैंकिंग स्कोर का उपयोग करता है।
  • प्रत्येक डेटासेट $d$ के लिए, स्कोर $n_{m,d}$ को मॉडल की सटीकता ($s_{m,d}$) को सबसे खराब ($min_d$) और सबसे अच्छे ($max_d$) मॉडलों के विरुद्ध नॉर्मलाइज करके निकाला जाता है:
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • अंतिम प्रदर्शन स्कोर इन 20 डेटासेट्स में औसत नॉर्मलाइज्ड रैंकिंग का औसत है।

D. लाइब्रेरी निर्माण (Library Creation)

शीर्ष प्रदर्शन करने वाले मॉडलों को एक पायथन लाइब्रेरी (omega-models) में पैक किया जाता है, जिससे मानक वर्कफ़लो में निर्बाध एकीकरण संभव होता है।

3. मुख्य योगदान (Key Contributions)

1. OMEGA फ्रेमवर्क: एक स्वचालित, एंड-टू-एंड सिस्टम जो सरल प्रॉम्प्ट को कंपाइल-एरर-फ्री, scikit-learn-संगत ML क्लासिफायर में बदल देता है।
2. Infinity-Bench: सापेक्ष प्रदर्शन और 20 विविध डेटासेट्स पर मजबूती के आधार पर वर्गीकरण मॉडलों का मूल्यांकन करने के लिए एक मजबूत बेंचमार्क।
3. नवीन एल्गोरिदम की खोज (Novel Algorithm Discovery): दो विशिष्ट नवीन एल्गोरिदम का सृजन जो स्थापित बेसलाइन्स को पछाड़ते हैं:
   • MetaSynthesisClassifier: एक मानव-प्रेरित स्टैक्ड जनरलाइजेशन मॉडल।
   • DirectionalForest: फीचर डायरेक्शनलिटी (feature directionality) का उपयोग करने वाला एक LLM-स्वायत्त रूप से जनरेट किया गया एन्सेम्बल।
4. LLM तुलनात्मक विश्लेषण: चार अग्रणी LLMs (Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5, और xAI के grok-code-fast-1) की कोड जनरेशन क्षमताओं की तुलना करने वाला एक अध्ययन।
5. सेल्फ-इम्प्रूवमेंट रणनीति (Self-Improvement Strategy): रिकर्सिव सेल्फ-प्रॉम्प्टिंग का विश्लेषण, जो पुनरावृत्ति के रूप में प्रॉम्प्ट को सुधारने बनाम कोड को सुधारने की प्रभावकारिता की तुलना करता है।

4. परिणाम (Results)

A. बेसलाइन के विरुद्ध प्रदर्शन (Performance vs. Baselines)

OMEGA फ्रेमवर्क ने ऐसे मॉडल सफलतापूर्वक जनरेट किए जो मानक scikit-learn बेसलाइन्स (जैसे RandomForest, MLPClassifier, LogisticRegression) से बेहतर प्रदर्शन करते हैं।

• शीर्ष प्रदर्शनकर्ता (Top Performers): बेंचमार्क में शीर्ष 3 मॉडल OMEGA द्वारा जनरेट किए गए थे (MetaSynthesisClassifier, VotingEnsembleClassifier, और एक यूजर-प्रॉम्प्टेड वेरिएंट), जिन्होंने क्रमशः 0.9474, 0.9445, और 0.9401 के Min-Max स्कोर प्राप्त किए।
• बेसलाइन तुलना: मानक scikit-learn मॉडल कम रैंक करते हैं (जैसे RandomForest 0.9285 पर, LogisticRegression 0.8708 पर)।

B. नवीन एल्गोरिदम का विश्लेषण (Analysis of Novel Algorithms)

• MetaSynthesisClassifier: यह एक पदानुभित (hierarchical) स्टैक्ड जनरलाइजेशन दृष्टिकोण का उपयोग करता है। यह विशिष्ट नमूनों को डेटा से बाहर रखकर बेस एस्टिमेटर्स को प्रशिक्षित करता है (लीकेज रोकने के लिए) और बेस प्रेडिक्शन के इष्टतम वेटिंग को सीखने के लिए एक मेटा-एस्टिमेटर का उपयोग करता है। इसने विभिन्न मैनिफोल्ड जटिलताओं में असाधारण मजबूती प्रदर्शित की।
• DirectionalForest: एक स्वायत्त खोज जो फीचर डायरेक्शनलिटी (feature directionality) को शामिल करती है। यह क्लास मीन (class mean) और ग्लोबल मीन के बीच विचलन के चिह्न (sign) के आधार पर एक डायरेक्शनलिटी वेक्टर की गणना करता है। यह ट्रेनिंग के दौरान निर्णय वृक्षों (decision trees) को प्रशिक्षित करने से पहले इनपुट फीचर्स को रूपांतरित करता है ($x_{dir} = x \odot d$), जो प्रभावी रूप से फीचर महत्व की दिशा को सामान्य करता है और उच्च-आयामी स्थानों में वेरिएंस को कम करता है।

C. LLM तुलना (LLM Comparison)

• Gemini 2.5 Flash निष्पादन योग्य वर्गीकरण मॉडल उत्पन्न करने के लिए सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल बनकर उभरा, जिसने 10 विविध प्रॉम्प्ट्स पर उच्चतम औसत स्कोर (0.9162) प्राप्त किया।
• प्रॉम्प्ट की गुणवत्ता बनाम मॉडल की पहचान: हालांकि Gemini अग्रणी था, लेकिन मॉडलों के बीच प्रदर्शन का अंतर अपेक्षाकृत कम था, जो यह सुझाव देता है कि प्रारंभिक प्रॉम्प्ट की गुणवत्ता अक्सर विशिष्ट LLM के उपयोग से अधिक महत्वपूर्ण होती है।

D. सेल्फ-इम्प्रूवमेंट (प्रॉम्प्ट बनाम कोड) (Self-Improvement: Prompt vs. Code)

लेखकों ने परीक्षण किया कि प्रॉम्प्ट या कोड पर पुनरावृत्ति करने से बेहतर परिणाम मिलते हैं:

• निष्कर्ष: लगभग सभी LLMs के लिए प्रॉम्प्ट ट्यूनिंग ने कोड-ओनली ऑप्टिमाइजेशन की तुलना में लगातार बेहतर प्रदर्शन किया।
• उदाहरण: Claude के लिए, प्रॉम्प्ट सुधारों ने बेस की तुलना में 8.88% की वृद्धि प्रदान की, जबकि कोड सुधारों ने केवल 4.85% की वृद्धि दी।
• निहितार्थ: इस संदर्भ में LLM को उसके अपने कोड को डीबग करने के लिए कहने के बजाय उसे दिए गए वैचारिक निर्देशों (conceptual instructions) को परिष्कृत करना अधिक प्रभावी है।

5. महत्व (Significance)

OMEGA फ्रेमवर्क स्वचालित AI अनुसंधान (automated AI research) की दिशा में एक महत्वपूर्ण कदम है। विचार सृजन और निष्पादन योग्य, सत्यापित कोड के बीच के अंतर को पाटकर, यह नवीन ML एल्गोरिदम की खोज के लिए बाधाओं को कम करता है।

• स्केलेबिलिटी (Scalability): यह प्रदर्शित करता है कि LLMs एल्गोरिद्मिक तर्क के बारे में तर्क कर सकते हैं और मानवीय हस्तक्षेप के बिना प्रतिस्पर्धी, उत्पादन-तैयार कोड उत्पन्न कर सकते हैं।
• लोकतांत्रीकरण (Democratization): इन मॉडलों को पैकेज करके, यह फ्रेमवर्क तकनीकी और गैर-तकनीकी दोनों इंजीनियरों को LLM-जनित एल्गोरिदम का लाभ उठाने की अनुमति देता है।
• भावी अनुसंधान: इस क्षेत्र में "AI वैज्ञानिकों" की सफलता यह सुझाव देती है कि भविष्य में संपूर्ण अनुसंधान पाइपलाइन—परिकल्पना से लेकर पेपर तक—पूरी तरह से स्वचालित हो सकती है, जो मानव मैनुअल व्युत्पत्ति (manual derivation) से परे ML नवाचार की गति को तेज कर सकती है।