MOSAIC: Adversarial Co-evolution of Specialist Heuristics and Problem Instances for LLM-based Automated Heuristic Design

कल्पना कीजिए कि आप एक विशाल, उलझे हुए पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे सैकड़ों स्टॉप्स के लिए एक डिलीवरी ट्रक का रूट व्यवस्थित करना या एक सूटकेस में सबसे मूल्यवान वस्तुओं को यथासंभव पैक करना। ये "कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन प्रॉब्लम्स" (combinatorial optimization problems) हैं, और ये विशेष रूप से कठिन होते हैं क्योंकि टुकड़ों को व्यवस्थित करने के संभावित तरीकों की संख्या इतनी अधिक है कि सबसे तेज़ सुपरकंप्यूटर भी उन सभी की जांच नहीं कर सकते। दशकों तक, मनुष्यों ने इन पहेलियों को तेज़ी से हल करने के लिए विशेष "नियमों" (जिन्हें ह्यूरिस्टिक्स/heuristics कहा जाता है) को लिखने की कोशिश की है। लेकिन यहाँ एक पेच है: एक नियम जो ग्रिड जैसी सड़क संरचना वाले शहर के लिए पूरी तरह काम करता है, वह घुमावदार, गोलाकार सड़कों वाले शहर में बुरी तरह विफल हो सकता है। यह "नो फ्री लंच" (No Free Lunch) की वास्तविकता है: ऐसा कोई जादुई नियम नहीं है जो हर स्थिति में काम करे।

हाल ही में, वैज्ञानिकों ने "लार्ज लैंग्वेज मॉडल्स" (LLMs) का उपयोग करना शुरू किया है—वही AI जो कहानियाँ लिखता है और सवालों के जवाब देता है—इन नियमों को स्वचालित रूप से आविष्कार करने के लिए। हालाँकि, अधिकांश AI प्रयोग एक ऐसे छात्र की तरह थे जिसे केवल एक एकल, छोटी पाठ्यपुस्तक पर प्रशिक्षित किया गया था। AI उस विशिष्ट पुस्तक की समस्याओं को हल करने में बहुत अच्छा हो जाता था, लेकिन यदि आप उसे थोड़ा अलग पहेली देते, तो वह भ्रमित हो जाता था। यह एक शेफ को एक विशिष्ट फार्म के अंडों का उपयोग करके एक आदर्श ऑमलेट बनाना सिखाने जैसा था; यदि आप उन्हें दूसरे फार्म के अंडे देते, तो ऑमलेट बिखर सकता था। प्रशिक्षण का पुराना तरीका बहुत सरल फीडबैक पर निर्भर था, जैसे कि एक शिक्षक केवल "अच्छा काम किया" या "बुरा काम किया" कहता है, बिना यह समझाए कि क्यों या कहाँ गलती हुई।

यहाँ आता है MOSIC, एक नया फ्रेमवर्क जिसे जॉर्जिया इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं द्वारा विकसित किया गया है। MOSAIC को एक ऐसे छात्र के रूप में न सोचें जो केवल एक पाठ्यपुस्तक को रटने की कोशिश कर रहा है, बल्कि एक विशाल, जीवित पुस्तकालय के रूप में सोचें जहाँ विभिन्न "विशेषज्ञ" नियमों को विभिन्न प्रकार की पहेलियों के लिए प्रशिक्षित किया जाता है। केवल AI से "एक बेहतर नियम बनाने" के लिए कहने के बजाय, MOSIC एक उच्च-दांव वाले चूहे और बिल्ली के खेल की तरह काम करता है। यह AI के वर्तमान नियमों को "एडवर्सरियल" (adversarial) पहेली-बनाने वालों की एक टीम के खिलाफ खड़ा करता है। ये पहेली-बनाने वाले भी AI हैं, और उनका एकमात्र काम उन कठिन और सबसे भ्रमित करने वाली पहेलियों को बनाना है जो विशेष रूप से वर्तमान नियमों को तोड़ने के लिए डिज़ाइन की गई हों। जब कोई नियम विफल होता है, तो सिस्टम केवल यह नहीं कहता कि "आप हार गए।" यह एक स्मार्ट डिसीजन ट्री (decision tree) का उपयोग करके यह पता लगाता है कि किस प्रकार की पहेली ने नियम को तोड़ा, और फिर उस पहेली और उससे सीखे गए सबक को एक विशाल ग्रिड के एक विशिष्ट "सेल" में संग्रहीत करता है। समय के साथ, यह ग्रिड विशेषज्ञों के एक विविध संग्रह से भर जाता है: ग्रिड जैसे शहरों के लिए एक नियम, क्लस्टर्ड पड़ोस के लिए दूसरा, लंबे, घुमावदार रास्तों के लिए तीसरा। सिस्टम फिर इन संग्रहीत पाठों का उपयोग और भी बेहतर नियम विकसित करने के लिए करता है, जिससे विशेषज्ञों की एक ऐसी टीम तैयार होती है जहाँ प्रत्येक विशेषज्ञ अपने स्वयं के विशिष्ट क्षेत्र का मास्टर होता है।

शोधकर्ताओं ने इस विचार का परीक्षण तीन क्लासिक समस्याओं पर किया: ट्रैवलिंग सेल्समैन प्रॉब्लम (सबसे छोटा रास्ता खोजना), नैपसैक प्रॉब्लम (सबसे अधिक मूल्य पैक करना), और कैपेसिटेटेड व्हीकल रूटिंग प्रॉब्लम (सीमित ट्रक स्थान के साथ सामान वितरित करना)। उन्होंने पाया कि MOSIC लगातार अन्य अत्याधुनिक AI विधियों से बेहतर प्रदर्शन करता है। जबकि अन्य विधियाँ तब संघर्ष करती थीं जब पहेलियाँ थोड़ी बदल जाती थीं, MOSIC की "विशेषज्ञों की टीम" ने बदलावों को आसानी से संभाला, और अक्सर ऐसे समाधान खोजे जो पूर्ण उत्तर के काफी करीब थे। उदाहरण के लिए, ट्रैवलिंग सेल्समैन प्रॉब्लम पर, MOSIC की सर्वश्रेष्ठ नियमों की टीम अगली सर्वश्रेष्ठ विधि की तुलना में 22% तक अधिक सटीक थी।

शायद इससे भी अधिक रोमांचक बात यह है कि MOSIC द्वारा बनाए गए "एडवर्सरियल" पहेलियाँ पारंपरिक तरीकों द्वारा बनाई गई पहेलियों की तुलना में कहीं अधिक विविध और चुनौतीपूर्ण थीं। सिस्टम ने पिछले तरीकों की तुलना में "फीचर स्पेस" (पहेली संरचनाओं के विभिन्न प्रकार) के 33% अधिक हिस्से को कवर किया, जिसका अर्थ है कि इसने वास्तविक दुनिया के परिदृश्यों की बहुत अधिक विविधता को संभालने के लिए सीखा। अध्ययन बताता है कि समस्या को एक सह-विकासवादी लड़ाई (co-evolutionary battle) के रूप में मानकर—जहाँ पहेलियाँ कमजोरियों को उजागर करने के लिए कठिन होती जाती हैं, और नियम उन्हें ठीक करने के लिए स्मार्ट होते जाते हैं—हम ऐसा AI बना सकते हैं जो केवल कुछ उदाहरणों को याद नहीं करता, बल्कि समस्या के परिदृश्य को वास्तव में समझता है। यह एक एकल जीनियस को प्रशिक्षित करने से, जो एक चीज़ के बारे में सब कुछ जानता है, एक विविध विशेषज्ञ समुदाय बनाने की ओर एक बदलाव है, जो थोड़ा-थोड़ा बहुत कुछ जानता है, और अपने विशिष्ट कोने के बारे में बहुत कुछ जानता है।