← नवीनतम पेपर
🤖 AI

Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution

यह शोधपत्र QD-LLM को प्रस्तुत करता है, जो एक पैरामीटर-कुशल न्यूरोइवोल्यूशन फ्रेमवर्क है जो फ्रोजन लार्ज लैंग्वेज मॉडल्स को विविध, उच्च-गुणवत्ता वाले आउटपुट की ओर निर्देशित करने के लिए क्वालिटी-डाइवर्सिटी ऑप्टिमाइज़ेशन स्कीम के भीतर कॉम्पैक्ट प्रॉम्प्ट एम्बेडिंग्स को विकसित करता है, जो मॉडल फाइन-ट्यूनिंग की आवश्यकता के बिना कवरेज और डाउनस्ट्रीम उपयोगिता में मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Dongxin Guo, Jikun Wu, Siu Ming Yiu

प्रकाशित 2026-05-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Dongxin Guo, Jikun Wu, Siu Ming Yiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान शेफ (लार्ज लैंग्वेज मॉडल, या LLM) है जो लगभग कुछ भी बना सकता है। लेकिन एक समस्या है: इस शेफ की एक बुरी आदत है। आप उनसे कुछ भी बनाने के लिए कहें, वे हमेशा एक ही तरह का व्यंजन परोसते हैं, बस उसमें थोड़े अलग सजावटी सामान (garnishes) जोड़ देते हैं। यदि आप उनसे केक मांगते हैं, तो वे आपको वैनिला केक देते हैं। फिर से मांगें, और वह अभी भी एक वैनिला केक ही होता है। वे चॉकलेट, नींबू या मसालेदार केक बनाना भूल गए हैं। इसे "मोड कोलैप्स" (mode collapse) कहा जाता है—शेफ एक ही ढर्रे में फंस गया है।

यह पेपर इस समस्या को ठीक करने के लिए QD-LLM नामक एक नई प्रणाली पेश करता है। इसे एक "क्रिएटिव डायरेक्टर" की तरह समझें जो खुद खाना नहीं बनाता, बल्कि शेफ के कान में विशिष्ट निर्देश फुसफुसाता है ताकि उन्हें नए व्यंजन बनाने के लिए मजबूर किया जा सके।

यह कैसे काम करता है, इसके सरल अवधारणाओं में विभाजन यहाँ दिया गया है:

1. "फुसफुसाहट" (प्रॉम्ट एम्बेडिंग्स - Prompt Embeddings)

शेफ की पूरी रेसिपी बुक को फिर से लिखने के बजाय (जिसमें बहुत समय लगेगा और बहुत खर्च आएगा), टीम "फुसफुसाहटों" (जिन्हें प्रॉम्ट एम्बेडिंग्स कहा जाता है) का एक छोटा, विशेष सेट बनाती है।

  • उपमा: कल्पना कीजिए कि शेफ एक विशाल, जमी हुई मूर्ति है। आप मूर्ति को बदलने के लिए उसे पिघला नहीं सकते। लेकिन आप उसके माथे पर एक छोटा, चुंबकीय नोट रख सकते हैं। यह नोट (फुसफुसाहट) मूर्ति को हिलने-डुलने का निर्देश देता है।
  • जादू: यह नोट बहुत छोटा है (केवल लगभग 32,000 नंबर) लेकिन यह एक विशाल मस्तिष्क (70 बिलियन नंबर) को नियंत्रित करता है। इस छोटे से नोट को विकसित करके, टीम उस विशाल शेफ को चॉकलेट केक, फिर मसालेदार केक, फिर एक नमकीन पाई बनाने के लिए निर्देशित कर सकती है, बिना शेफ के वास्तविक मस्तिष्क को बदले।

2. "विविधता का मानचित्र" (क्वालिटी-डाइवर्सिटी ऑप्टिमाइज़ेशन - Quality-Diversity Optimization)

आमतौर पर, जब हम AI से कोई समस्या हल करने के लिए कहते हैं, तो हम केवल सर्वश्रेष्ठ उत्तर चाहते हैं। लेकिन कभी-कभी, हमें कई अलग-अलग प्रकार के अच्छे उत्तर चाहिए होते हैं।

  • उपमा: एक शहर के मानचित्र की कल्पना करें। अधिकांश लोग केवल मुख्य डाउनटाउन क्षेत्र (सबसे अच्छा समाधान) की खोज करते हैं। QD-LLM एक GPS की तरह है जो खोजकर्ताओं को हर एक मोहल्ले, गली और पार्क में जाने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वे केवल फैंसी डाउनटा운 में ही नहीं, बल्कि हर जिले में एक बेहतरीन रेस्टोरेंट खोज लें।
  • लक्ष्य: सिस्टम समाधानों की एक "गैलरी" रखता है। यह केवल उच्चतम स्कोर नहीं चाहता; यह व्यवहार के प्रत्येक प्रकार (जैसे, एक रिकर्सिव कोड समाधान, एक लूप-आधारित समाधान, एक लाइब्रेरी-आधारित समाधान) के लिए एक समाधान चाहता है।

3. "हाइब्रिड कंपास" (व्यवहार लक्षण वर्णन - Behavior Characterization)

सिस्टम को यह कैसे पता चलता है कि दो समाधान वास्तव में अलग हैं?

  • उपमा: कल्पना कीजिए कि आप किताबें छाँट रहे हैं। आप उन्हें शैली (Semantic: क्या यह एक रहस्यमय कहानी है या रोमांस?) और उनके भौतिक गुणों (Explicit: क्या यह हार्डकवर है? क्या यह 200 पन्नों की है?) के आधार पर छाँट सकते हैं।
  • पेपर की तरकीब: टीम एक "हाइब्रिड कंपास" का उपयोग करती है। वे टेक्स्ट के अर्थ (वाइब को समझने के लिए AI का उपयोग करना) और टेक्स्ट की संरचना (लाइनों की गिनती करना, लूप की जांच करना, या औपचारिकता को मापना) दोनों को देखते हैं।
  • परिणाम: उन्होंने गणितीय रूप से सिद्ध किया कि केवल एक के बजाय दोनों (वाइब और संरचना) का एक साथ उपयोग करने से आपको बहुत बड़ा और अधिक विविध मानचित्र मिलता है। यह एक ऐसे कंपास की तरह है जो एक साथ उत्तर और पूर्व दोनों दिशाओं में संकेत देता है।

4. "विकासवादी उद्यान" (न्यूरोइवोल्यूशन - Neuroevolution)

वे इन नई "फुसफुसाहटों" को कैसे खोजते हैं? वे मानक गणितीय ग्रेडिएंट्स का उपयोग नहीं करते (जो एक एकल पथ के नीचे जाने जैसा है)। इसके बजाय, वे न्यूरोइवोल्यूशन का उपयोग करते हैं।

  • उपमा: इसे पौधों के प्रजनन की तरह सोचें।
    1. वे एक "पैरेंट" फुसफुसाहट और एक "पैरेंट" कहानी लेते हैं।
    2. वे फुसफुसाहट में मामूली उत्परिवर्तन (यादृच्छिक बदलाव/mutations) करते हैं।
    3. कभी-कभी, वे एक नई फुसफुसाहट बनाने के लिए दो फुसफुसाहटों को "क्रॉसब्रीड" करते हैं।
    4. उनके पास एक विशेष तकनीक है जिसे टारगेटेड म्यूटेशन कहा जाता है: यदि वे अपने "विविधता मानचित्र" में एक अंतराल देखते हैं (एक ऐसा मोहल्ला जहाँ अभी तक कोई नहीं पहुँचा है), तो वे उस खाली स्थान की ओर विशेष रूप से फुसफुसाहट को धकेलने के लिए एक गणितीय अनुमान का उपयोग करते हैं।
  • परिणाम: समय के साथ, "उद्यान" विविध, उच्च-गुणवत्ता वाले, अद्वितीय समाधानों से भर जाता है।

5. यह क्यों मायने रखता है? (डाउनस्ट्रीम उपयोगिता - Downstream Utility)

पेपर दिखाता है कि इस विविध "गैलरी" के समाधानों का होना केवल एक मजेदार ट्रिक नहीं है; यह वास्तविक दुनिया के कार्यों के लिए वास्तव में उपयोगी है:

  • बेहतर परीक्षण: जब टीम ने नए सॉफ़्टवेयर का परीक्षण करने के लिए इन विविध कोड समाधानों का उपयोग किया, तो उन्होंने मानक तरीकों की तुलना में 34% अधिक "एज केसेस" (अजीब, ट्रिकी स्थितियाँ जो कोड को तोड़ देती हैं) पाए। यह उन परीक्षकों की एक टीम होने जैसा है जो सभी अलग तरह से सोचते हैं, और उन बग्स को पकड़ लेते हैं जिन्हें एक एकध्रुवीय परीक्षक मिस कर सकता है।
  • बेहतर प्रशिक्षण: जब उन्होंने एक छोटे AI मॉडल को सिखाने के लिए इन विविध समाधानों का उपयोग किया, तो छोटा मॉडल 8.3% अधिक स्मार्ट हो गया। इसने सीखा कि किसी समस्या को हल करने के कई तरीके हैं, न कि केवल एक।

सारांश

यह पेपर QD-LLM प्रस्तुत करता है, जो एक ऐसी विधि है जो विशाल AI मॉडलों को निर्देशित करने के लिए सूक्ष्म, अदृश्य "फुसफुसाहटों" को विकसित करती है। AI को बार-बार एक ही चीज़ बनाने में फंसने देने के बजाय, यह प्रणाली AI को संभावनाओं के पूरे परिदृश्य की खोज करने के लिए मजबूर करती है, जिससे विविध, उच्च-गुणवत्ता वाले समाधानों का एक समृद्ध पुस्तकालय बनता है जो कोड का परीक्षण करने और अन्य मॉडलों को प्रशिक्षित करने में बेहतर होता है।

मुख्य निष्कर्ष: आपको कार को नई दिशाओं में ले जाने के लिए पूरा इंजन बदलने की आवश्यकता नहीं है; कभी-कभी, आपको बस स्टीयरिंग व्हील को विकसित करने की आवश्यकता होती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →