🤖 machine learning

Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning

यह शोध पत्र एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो रिवॉर्ड अनिश्चितता को रिवॉर्ड फंक्शन के एक वितरण के रूप में मानकर उद्देश्य को पुनर्गठित करके एजेंट के विविध और नियंत्रणीय व्यवहार को स्वाभाविक रूप से प्रेरित करता है, जिससे पारंपरिक एंट्रॉपी रेगुलराइजेशन या ह्यूरिस्टिक विधियों में निहित प्रदर्शन-विविधता ट्रेड-ऑफ को समाप्त किया जा सके।

मूल लेखक: Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानियाँ लिखना, गणित की समस्याएँ हल करना या नई दवाएँ खोजना सिखा रहे हैं। पुराने तरीके में (जिसे "रीइन्फोर्समेंट लर्निंग" कहा जाता था), आप रोबोट को एक एकल, सख्त नियम पुस्तिका देते थे: "वही करो जिससे सबसे अधिक स्कोर मिले।"

समस्या क्या है? रोबोट जल्दी ही एक उबाऊ, एक ही काम करने वाला यंत्र बन जाता है। वह एक ही 'परफेक्ट' उत्तर ढूँढ लेता है और हर बार वही करता है, जिससे अन्य सभी अच्छे विकल्पों की अनदेखी हो जाती है। यदि आपकी नियम पुस्तिका थोड़ी भी गलत है (जो अक्सर होता है जब इंसान रोबोट का मूल्यांकन करते हैं), तो रोबोट उस छोटी सी गलती को बहुत अधिक सीख सकता है और कुछ बुरा करना शुरू कर सकता है।

यह पेपर रोबोट को सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है। उसे एक नियम पुस्तिका देने के बजाय, आप उसे कई अलग-अलग, थोड़ी भिन्न नियम पुस्तिकाओं का एक बॉक्स देते हैं। आप रोबोट से कहते हैं: "मुझे 100% यकीन नहीं है कि कौन सी नियम पुस्तिका 'असली' है, इसलिए कृपया उन सभी में से हर एक में अच्छा बनने के लिए सीखें।"

यहाँ बताया गया है कि इस पेपर का नया तरीका, जिसे ROSA (रैंडमाइज्ड ऑब्जेक्टिव्स, सेट एक्शन्स) कहा जाता है, रोजमर्रा के उदाहरणों का उपयोग करके कैसे काम करता है:

1. "नियम पुस्तिकाओं का बॉक्स" (रिवॉर्ड अनसर्टेन्टी/पुरस्कार अनिश्चितता)

वास्तविक दुनिया में, हम अक्सर ठीक से नहीं जानते कि हमें क्या चाहिए।

पुराना तरीका: आप एक शेफ को बताते हैं, "एक परफेक्ट स्टेक बनाओ।" शेफ एक विशिष्ट स्टेक बनाता है और उसे हमेशा के लिए परोसता रहता है। यदि वास्तव में आपको 'रेयर' (कम पका हुआ) स्टेक चाहिए था लेकिन आपने 'परफेक्ट' कह दिया, तो शेफ वहीं अटक जाता है।
नया तरीका (ROSA): आप शेफ से कहते हैं, "यहाँ 10 अलग-अलग जज हैं। जज A को रेयर पसंद है, जज B को मीडियम, और जज C को वेल-डन (अच्छी तरह पका हुआ)। मुझे नहीं पता कि आज कौन सा जज सही है। कृपया ऐसा स्टेक बनाना सीखें जो इनमें से किसी भी जज को खुश कर सके।"

रोबोट यह सीखता है कि क्योंकि उसे "असली" नियम का पता नहीं है, इसलिए सबसे समझदारी भरा कदम यह है कि वह अपने विकल्पों को खुला रखे और अलग-अलग शैलियों के बीच स्विच करने के लिए तैयार रहे। यह स्वाभाविक रूप से विविधता (diversity) पैदा करता है, बिना रोबोट को केवल 'रैंडम' होने के लिए मजबूर किए।

2. "बेस्ट-ऑफ-मेनी" ट्रिक (सेट एक्शन्स)

रोबोट इस बॉक्स ऑफ नियम पुस्तिकाओं को कैसे संभालना सीखता है?

पुराना तरीका: रोबोट एक क्रिया (action) करता है, स्कोर प्राप्त करता है, और अपडेट होता है। यदि स्कोर कम है, तो वह घबरा जाता है।
नया तरीका (ROSA): कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा है। एक प्रश्न का उत्तर देने और बेहतर होने की उम्मीद करने के बजाय, वह एक ही समय में पाँच अलग-अलग उत्तर लिख देता है।
- फिर, बॉक्स में मौजूद हर संभावित "नियम पुस्तिका" (जज) के लिए, रोबोट अपने पाँच उत्तरों को देखता है और उस विशिष्ट जज के लिए सबसे अच्छा उत्तर चुनता है।
- उसे उस "बेस्ट पिक" के आधार पर स्कोर मिलता है।
- अंत में, वह इन स्कोरों का सभी जजों के बीच औसत निकालता है।

यह कहने जैसा है कि: "मुझे एक साथ सब कुछ में परफेक्ट होने की ज़रूरत नहीं है। मुझे बस यह सुनिश्चित करना है कि किसी भी जज के आने पर, मेरी जेब में कम से कम एक ऐसा उत्तर हो जो उन्हें प्रभावित कर सके।"

3. यह "एंट्रॉपी" से बेहतर क्यों है

वैज्ञानिकों ने पहले "कन्फ्यूजन बोनस" (जिसे एंट्रॉपी रेगुलराइजेशन कहा जाता है) जोड़कर रोबोट को विविध बनाने की कोशिश की थी।

उपमा: यह एक छात्र को यह बताने जैसा है, "तुम्हें अतिरिक्त अंक मिलेंगे यदि तुम अपने उत्तर अजीब या अप्रत्याशित तरीके से लिखते हो।" छात्र केवल बोनस पाने के लिए बड़बड़ाना या अर्थहीन बातें लिखना शुरू कर सकता है, भले ही उत्तर गलत हो।
ROSA का लाभ: ROSA अव्यवस्था (messiness) के लिए नहीं कहता। यह तैयारी (preparedness) के लिए कहता है। रोब "विविध" इसलिए रहता है क्योंकि उसे अलग-अलग जजों के लिए तैयार रहने की आवश्यकता है। वह उच्च स्कोर पाने के लिए अपनी क्षमता का त्याग नहीं करता; बल्कि, वह अनिश्चितता को संभालने में वास्तव में बेहतर हो जाता है।

4. इस पेपर ने क्या सिद्ध किया

लेखकों ने इस विचार को कई परीक्षणों के माध्यम से चलाया:

विरोधाभासी जज (Conflicting Judges): जब दो जज विपरीत चीजें चाहते थे (जैसे, "उत्तर को सम बनाओ" बनाम "उत्तर को विषम बनाओ"), तो पुराने तरीके पूरी तरह विफल हो गए क्योंकि निर्देश एक-दूसरे को रद्द कर रहे थे। ROSA दोनों करना सीख गया, संदर्भ के आधार पर सम और विषम उत्तरों के बीच स्विच करना सीख गया।
एकाधिक सही उत्तर (Multiple Correct Answers): गणित की समस्याओं में, अक्सर एक समस्या को हल करने के कई तरीके होते हैं (छोटा और सरल, या लंबा और विस्तृत)। पुराने तरीकों ने एक शैली चुनी और उसी पर टिके रहे। ROSA ने सभी अलग-अलग वैध शैलियों को उत्पन्न करना सीखा, जिससे उपयोगकर्ता को अधिक विकल्प मिले।
शोर वाले जज (Noisy Judges): जब जज भ्रमित थे या उन्होंने गलतियाँ कीं (वास्तविक दुनिया की अनिश्चितता का अनुकरण करते हुए), तो ROSA भ्रमित नहीं हुआ। उसने स्वस्थ विविधता बनाए रखी, जबकि अन्य तरीके बुरी आदतों में फंस गए।

निष्कर्ष (The Bottom Line)

यह पेपर तर्क देता है कि विविधता कोई खामी नहीं है; यह तब समझदारी का लक्षण है जब आप सुनिश्चित न हों।

पुरस्कार (reward) को एक एकल संख्या के रूप में नहीं, बल्कि संभावनाओं के वितरण (distribution of possibilities) के रूप में मानकर, और रोबोट को एक साथ संभावित उत्तरों के सेट को देखने के लिए प्रशिक्षित करके, हमें एक ऐसा सिस्टम मिलता है जो है:

मजबूत (Robust): यदि नियम थोड़े भी गलत हों, तो यह टूटता नहीं है।
विविध (Diverse): यह स्वाभाविक रूप से कई अलग-अलग अच्छे समाधान पेश करता है।
कुशल (Efficient): यह केवल रैंडम होने के लिए समय बर्बाद नहीं करता; यह विविध इसलिए रहता है क्योंकि भविष्य अनिश्चित होने पर ऐसा करना ही तर्कसंगत है।

संक्षेप में: एक विशेषज्ञ (specialist) को प्रशिक्षित करने के बजाय जो केवल एक उत्तर जानता है, ROSA एक जनरललिस्ट (generalist) को प्रशिक्षित करता है जो किसी भी चीज़ के लिए तैयार है।

तकनीकी सारांश: विविध व्यवहार को प्रेरित करने के लिए रिवॉर्ड अनिश्चितता का उपयोग करना (Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning)

समस्या विवरण (Problem Statement)

शास्त्रीय सुदृढीकरण शिक्षण (Reinforcement Learning - RL) आमतौर पर एक नियतात्मक नीति (deterministic policy) खोजने का प्रयास करता है जो एक स्केलर रिवॉर्ड के अपेक्षित योग को अधिकतम करती है। जबकि यह धारणा एक इष्टतम नियतात्मक नीति के अस्तित्व की गारंटी देती है, यह आधुनिक अनुप्रयोगों जैसे कि लार्ज लैंग्वेज मॉडल (LLM) फाइन-ट्यूनिंग और वैज्ञानिक खोज में महत्वपूर्ण सीमाएं प्रस्तुत करती है। इन डोमेन में, एक एकल व्यवहार में अभिसरण (convergence) अक्सर अवांछनीय होता है। उदाहरण के लिए, रचनात्मक कार्यों और 'चेन-ऑफ-थॉट' रीजनिंग के लिए पूर्व-प्रशिक्षित नीतियों की विविधता को बनाए रखना महत्वपूर्ण है। इसके अलावा, जब रिवॉर्ड मॉडल वास्तविक अंतर्निहित प्राथमिकताओं के लिए अपूर्ण प्रॉक्सी होते हैं, तो एक एकल नियतात्मक नीति की ओर अत्यधिक अनुकूलन (over-optimization) से जनरेशन की गुणवत्ता में गिरावट आ सकती है (रिवॉर्ड हैकिंग)।

मौजूदा उपचार, जैसे कि एंट्रॉपी रेगुलराइजेशन (entropy regularization) या विविधता बोनस (diversity bonuses), स्टोकेस्टिसिटी (stochasticity) को लागू करने का प्रयास करते हैं लेकिन गंभीर कमियों से ग्रस्त हैं:

नाजुक ट्रेड-ऑफ (Fragile Trade-offs): एंट्रॉपी रेगुलराइजेशन एक ऐसा ट्रेड-ऑफ थोपता है जहाँ बढ़ी हुई स्टोकेस्टिसिटी की कीमत अपेक्षित रिवॉर्ड में कमी देकर चुकानी पड़ती है।
गलत पॉलिसी रैंकिंग (Incorrect Policy Ordering): विविधता बोनस अक्सर अवांछनीय रैंकिंग का परिणाम देते हैं जहाँ उच्च विविधता वाली उप-इष्टतम (sub-optimal) नीतियों को उच्च औसत रिवॉर्ड वाली नीतियों की तुलना में प्राथमिकता दी जाती है।
अभिव्यक्ति की कमी (Inexpressivity): कई उद्देश्य, जिनमें वेनिला पॉलिसी ग्रेडिएंट और एक्सपेक्टेड स्केलर रिटर्न (ESR) शामिल हैं, स्वाभाविक रूप से नियतात्मक इष्टतम नीतियों को रखते हैं, जो आवश्यक विविधता को प्रेरित करने में विफल रहते हैं।
अनुकूलन चुनौतियां (Optimization Challenges): स्केलर एक्सपेक्टेड रिटर्न (SER) फॉर्मुलेशन अक्सर गैर-रेखीय उद्देश्यों के लिए निष्पक्ष, सैंपल-आधारित ग्रेडिएंट अनुमानकों (gradient estimators) की कमी रखते हैं।

लेखक तर्क देते हैं कि विविधता को एक कृत्रिम बाधा के रूप में नहीं, बल्कि रिवॉर्ड फंक्शन में अनिश्चितता के प्रति एक तर्कसंगत प्रतिक्रिया के रूप में समझा जाना चाहिए। जब रिवॉर्ड फंक्शन पूरी तरह से ज्ञात नहीं होता (अस्पष्ट प्राथमिकताओं या अपूर्ण रिवॉर्ड मॉडल के कारण), तो एक एकल क्रिया के प्रति प्रतिबद्ध होना उप-इष्टतम हो सकता है।

कार्यप्रणाली: ROSA

यह शोध पत्र रिवॉर्ड को एक रिवॉर्ड फंक्शन के वितरण (distribution over reward functions) से बदलकर और एक्शन के सेट पर एक गैर-रेखीय उद्देश्य लागू करके RL उद्देश्य का एक मौलिक पुनर्गठन प्रस्तावित करता है। इस ढांचे को रैंडमाइज्ड ऑब्जेक्टिव्स, सेट एक्शन्स (Randomized Objectives, Set Actions - ROSA) कहा जाता है।

ROSA+Max मानदंड

कॉन्टेक्स्टुअल बैंडिट सेटिंग पर ध्यान केंद्रित करते हुए, लेखक प्राथमिक उद्देश्य, ROSA+Max को परिभाषित करते हैं। मान लीजिए $\rho$ रिवॉर्ड फंक्शन $R$ पर एक वितरण है, और $\mathbf{Y} = (Y_i)_{i=1}^n$ एक मल्टीसेट है जो एक पॉलिसी $\pi_\theta$ से i.i.d. सैंपल किया गया है। उद्देश्य है:

$J_{\text{ROSA+Max}}(\pi_\theta) = \mathbb{E}_{X \sim \mu, \mathbf{Y} \sim \pi_\theta} \left[ \mathbb{E}_{R \sim \rho} \left[ \max_{1 \le i \le n} R(X, Y_i) \right] \right]$

सहज रूप से, यह मानदंड प्रत्येक सैंपल किए गए रिवॉर्ड फंक्शन के लिए सैंपल किए गए एक्शन के सेट के भीतर प्राप्त प्रदर्शन को एकत्रित करता है। यह नीति को यह सुनिश्चित करने के लिए प्रोत्साहित करता है कि सेट में कम से कम एक क्रिया प्रत्येक संभावित रिवॉर्ड फंक्शन रियलाइजेशन के लिए अच्छा प्रदर्शन करे, न कि औसत रिवॉर्ड के लिए अनुकूलित हो।

ग्रेडिएंट एस्टीमेशन (Gradient Estimation)

लेखक इस उद्देश्य के लिए एक सिद्धांतवादी, निष्पक्ष और वेरिएंस-रिड्यूस्ड पॉलिसी ग्रेडिएंट एस्टीमेटर व्युत्पन्न करते हैं। $m$ सैंपल किए गए रिवॉर्ड फंक्शन और $n$ सैंपल किए गए एक्शन दिए जाने पर, ग्रेडिएंट एस्टीमेटर है:

$\hat{g}(\theta) = \frac{1}{m} \sum_{k=1}^m \left[ \sum_{i=1}^n \left( \max_{1 \le j \le n} R_k(X, Y_j) - \max_{1 \le j \le n, j \ne i} R_k(X, Y_j) \right) \nabla_\theta \log \pi_\theta(Y_i|X) \right]$

यह एस्टीमेटर प्रभावी रूप से क्रेडिट केवल उस क्रिया को असाइन करता है जो एक विशिष्ट रिवॉर्ड फंक्शन सैंपल के लिए अधिकतम रिवॉर्ड प्राप्त करती है, जिसमें दूसरा पद वेरिएंस रिडक्शन के लिए एक कंट्रोल वेरिएट के रूप में कार्य करता है।

सामान्यीकरण (Generalization)

यह ढांचा सेट फंक्शन $f$ के एक परिवार में सामान्यीकृत होता है। लेखक सिद्ध करते हैं कि बाइनरी रिवॉर्ड फंक्शन के लिए, कोई भी सेट फंक्शन $f$ जो रिवॉर्ड के योग के संबंध में स्ट्रिक्टली इंक्रीजिंग और स्ट्रिक्टली कॉन्केव (जैसे, Softmax) है, एक मैक्सिमली डाइवर्स ऑप्टिमल पॉलिसी प्रदान करता है।

मुख्य योगदान

ROSA फ्रेमवर्क: एक नए प्रकार के RL उद्देश्यों का परिचय जो रिवॉर्ड फंक्शनों के वितरण के माध्यम से कैलिब्रेटेड डायवर्सिटी कंट्रोल प्रदान करते हैं।
सैद्धांतिक विश्लेषण:
- इष्टतम नीति (Optimal Policy): सिद्ध किया गया कि बाइनरी रिवॉर्ड फंक्शनों के यूनिफॉर्म डिस्ट्रीब्यूशन के लिए, ROSA+Max की अद्वितीय इष्टतम नीति वह है जो सभी विशिष्ट इष्टतम क्रियाओं को समान प्रोबेबिलिटी मास असाइन करती है।
- नियंत्रणीय विविधता (Controllable Diversity): एक फॉर्मूला व्युत्पन्न किया गया जो दिखाता है कि नॉन-यूनिफॉर्म रिवॉर्ड फंक्शन डिस्ट्रीब्यूशन विशिष्ट, नियंत्रणीय स्टोकेस्टिक पॉलिसियों को कैसे प्रेरित करते हैं, जिससे रिवॉर्ड डिस्ट्रीब्यूशन वेट्स के माध्यम से विशिष्ट सही उत्तरों को सैंपल करने की संभावना को ट्यून किया जा सकता है।
- लैंडस्केप विश्लेषण (Landscape Analysis): प्रदर्शित किया गया कि ROSA+Max, एंट्रॉपी रेगुलराइजेशन के "फ्लैट" लैंडस्केप और डायवर्सिटी बोनस के "री-ऑर्डरिंग" मुद्दों से बचता है, जो एक ऐसा ग्रेडिएंट डायरेक्शन प्रदान करता है जो रिवॉर्ड और डायवर्सिटी दोनों को एक साथ बढ़ाता है।
अनुभवजन्य सत्यापन (Empirical Validation): टॉय डोमेन और बड़े पैमाने के सेटिंग्स (LLM पोस्ट-ट्रेनिंग सहित) में व्यापक प्रयोगों ने दिखाया कि ROSA, अपेक्षित रिवॉर्ड से समझौता किए बिना विविध व्यवहार उत्पन्न करता है, जो विरोधाभासी प्राथमिकताओं और अज्ञात ग्राउंड-ट्रुथ रिवॉर्ड्स वाले परिदृश्यों में स्टैंडर्ड पॉलिसी ग्रेडिएंट और डायवर्सिटी-बोनस बेसलाइन्स को पीछे छोड़ देता है।

प्रयोगात्मक परिणाम

पेपर तीन प्राथमिक परिदृश्यों में ROSA का मूल्यांकन करता है:

विरोधाभासी प्राथमिकताएं (Conflicting Preferences): दो विरोधाभासी रिवॉर्ड फंक्शनों (जैसे, पैरिटी बनाम एंटी-पैरिटी) वाले कार्य में, वेनिला पॉलिसी ग्रेडिएंट रिवॉर्ड कैंसिलेशन के कारण विफल हो जाता है। ROSA सफलतापूर्वक एक ऐसी नीति सीखने में सफल रहता है जो दोनों प्राथमिकताओं को संतुलित करती है, जिससे विविध वैध आउटपुट उत्पन्न होते हैं।
एकाधिक सही उत्तर (Multiple Correct Answers): गणितीय तर्क कार्यों में जहाँ कई उत्तर लंबाई वैध है, ROSA-प्रशिक्षित पॉलिसियाँ निर्दिष्ट लंबाई प्राथमिकताओं से सैंपल करती हैं, जबकि स्टैंडर्ड पॉलिसी ग्रेडिएंट एक एकल लंबाई रेंज में कोलैप्स हो जाता है।
अज्ञात ग्राउंड-ट्रुथ रिवॉर्ड्स (Unknown Ground-Truth Rewards): नॉइजी रिवॉर्ड मॉडल्स (विभिन्न सटीकता वाले जजों के एनसेम्बल द्वारा सिम्युलेटेड) वाले सेटिंग्स में, ROSA बेहतर मजबूती (robustness) प्रदर्शित करता है। यह रिवॉर्ड फंक्शन में अनिश्चितता को उनके वेट्स के अनुपात में रिवॉर्ड मोड्स में प्रोबेबिलिटी मास वितरित करके कैप्चर करता है, जबकि एंट्रॉपी-रेगुलराइज्ड PG या तो सबसे संभावित रिवॉर्ड के प्रति ओवरफिट हो जाता है या उप-इष्टतम क्रियाओं में बहुत अधिक एक्सप्लोर करता है।

आउट-ऑफ-डिस्ट्रीब्यूशन मूल्यांकन (AIME 2025) में, नॉइजी MATH डेटा पर ROSA के साथ प्रशिक्षित मॉडल मानक PG और पेसिमिस्टिक एनसेम्बल बेसलाइन्स की तुलना में उच्च pass@k दर प्राप्त करते हैं।

महत्व और दावे

पेपर का दावा है कि ROSA जटिल RL कार्यों के लिए एक मजबूत और सैद्धांतिक रूप से स्थापित विकल्प प्रदान करता है जहाँ पारंपरिक फॉर्मुलेशन वांछित व्यापकता (breadth) को प्रेरित करने में विफल रहते हैं। रिवॉर्ड अनिश्चितता के प्रति डायवर्सिटी को एक तर्कसंगत प्रतिक्रिया के रूप में पुनर्गठित करके, यह ढांचा रिवॉर्ड मैक्सिमाइजेशन और पॉलिसी एंट्रॉपी के बीच तनाव को हल करता है।

लेखक इस बात पर जोर देते हैं कि ROSA:

वेनिला पॉलिसी ग्रेडिएंट और हालिया एक्शन-सेट दृष्टिकोणों (जैसे, बेस्ट-ऑफ- $n$ ) को स्वाभाविक रूप से सामान्यीकृत करता है।
एंट्रॉपी कोएफिशिएंट्स के नाजुक हाइपरपैरामीटर ट्यूनिंग के बजाय रिवॉर्ड फंक्शन के वितरण के माध्यम से डायवर्सिटी को नियंत्रित करने के लिए एक तंत्र प्रदान करता है।
यह सुनिश्चित करता है कि इष्टतम समाधान एक स्टोकेस्टिक पॉलिसी है जो संभावित रिवॉर्ड फंक्शनों के वितरण को दर्शाती है, जिससे एक एकल नियतामक व्यवहार में कोलैप्स होने से रोका जा सके, भले ही रिवॉर्ड मॉडल अपूर्ण हो।

अंततः, यह कार्य उन एजेंटों के लिए स्टोकेस्टिक पॉलिसियों को प्रशिक्षित करने के लिए एक सिद्धांतवादी आधार प्रदान करता है जो उनके वातावरण जितने ही विविध और अनुकूलनीय हों, विशेष रूप से LLM फाइन-ट्यूनिंग और वैज्ञानिक खोज जैसे डोमेन में जहाँ कई वैध समाधान मौजूद होते हैं।