🤖 machine learning

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

यह शोध पत्र कलमन-गाइडेड प्रॉम्प्ट सिलेक्शन (KGPS) प्रस्तुत करता है, जो एक कुशल विधि है कि यह एक कलमन फ़िल्टर का उपयोग करके प्रॉम्प्ट की कठिनाई को एक गतिशील अवस्था अनुमान समस्या के रूप में मॉडल करती है ताकि RL फाइनट्यूनिंग के लिए इष्टतम प्रॉम्प्ट को अनुकूल रूप से चुना जा सके, जिससे बिना किसी अतिरिक्त रोलआउट की आवश्यकता के प्रशिक्षण दक्षता और अंतिम मॉडल प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

प्रकाशित 2026-07-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बुद्धिमान लेकिन थोड़े जिद्दी रोबोट को जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आपके पास पहेलियों का एक विशाल पुस्तकालय है, जिसमें "तस्वीर में बिल्ली खोजें" से लेकर "उस भौतिकी समस्या को हल करें जिसने आइंस्टीन को भी उलझा दिया था" तक सब कुछ शामिल है। यदि आप रोबोट को ऐसी पहेली देते हैं जिसे वह हज़ार बार पहले ही हल कर चुका है, तो वह ऊब जाता है और कुछ नया नहीं सीखता। यदि आप उसे इतनी कठिन पहेली थमा देते हैं जो असंभव रूप से कठिन हो, तो वह निराश हो जाता है और हार मान लेता है, जिससे वह भी कुछ नहीं सीख पाता। "स्वीट स्पॉट" (सही संतुलन) वह पहेली है जो रोबोट को सोचने के लिए पर्याप्त कठिन हो, लेकिन इतनी आसान भी हो कि वह अंततः उसे हल कर सके। यही 'लार्ज लैंग्वेज मॉडल्स' (LLMs) के लिए 'रीइन्फोर्समेंट लर्निंग' (RL) की मुख्य चुनौती है: रोबोट के वर्तमान कौशल स्तर के लिए "गोल्डिलॉक्स" (बिल्कुल सही) कठिनाई स्तर खोजना।

समस्या यह है कि रोबोट आपके सिखाते समय ही सीख रहा है। कल जो पहेली कठिन थी, वह आज आसान हो सकती है, और जो पहेली आज आसान थी, वह बहुत सरल हो सकती है। पहेलियाँ चुनने के पारंपरिक तरीके एक स्थिर मानचित्र (static map) का उपयोग करने जैसे हैं: या तो वे कठिनाई का एक बार अनुमान लगाते हैं और उसी पर टिके रहते हैं (जो जल्दी ही पुराना हो जाता है) या वे हर एक पहेली का परीक्षण करते हैं कि वह कितनी कठिन है (जिसमें बहुत समय बर्बाद होता है और समय लगता है)। यह शोध पत्र एक नया, स्मार्ट तरीका पेश करता है ताकि रोबोट को उसका एक भी सेकंड बर्बाद किए बिना व्यस्त रखा जा सके।

समस्या: एक चलता-फिरता लक्ष्य (The Moving Target)

एक AI को प्रशिक्षित करना एक सॉकर टीम को कोचिंग देने जैसा समझें। सीजन की शुरुआत में, आपके खिलाड़ी पेनल्टी किक मारने में बहुत खराब होते हैं। आप चाहते हैं कि अभ्यास के दौरान गोलपोस्ट पास में हों। लेकिन जैसे-जैसे वे बेहतर होते हैं, वे पास वाले गोलपोस्ट उनके लिए बहुत आसान हो जाते हैं। यदि आप उन्हें वहीं रखते हैं, तो वे सुधार करना बंद कर देते हैं। यदि आप अचानक गोलपोस्टों को मैदान के दूसरी ओर ले जाते हैं, तो वे हर शॉट मिस कर देते हैं और निराश हो जाते हैं।

कोच (शोधकर्ताओं) को एक ऐसा तरीका चाहिए जिससे वे टीम के प्रदर्शन के आधार पर गोलपोस्ट की दूरी को लगातार समायोजित कर सकें। कुछ कोच हर खिलाड़ी के कौशल को मापने के लिए हर खेल से पहले उनसे एक अभ्यास शॉट लेने की कोशिश करते हैं (इसे "मूल्यांकन-आधारित" चयन कहा जाता है)। यह सटीक है, लेकिन इसमें इतना समय लगता है कि टीम वास्तविक खेल खेलने के बजाय अभ्यास में ही उलझी रहती है। अन्य कोच केवल एक अंतर्ज्ञान या सरल सूत्र के आधार पर कौशल स्तर का अनुमान लगाते हैं (यह "अनुमान-आधारित" है)। यह तेज़ है, लेकिन उनके अनुमान अक्सर गलत हो जाते हैं क्योंकि वे यह मान लेते हैं कि खिलाड़ियों का कौशल स्थिर रहता है, जबकि खिलाड़ी वास्तव में हर दिन बेहतर हो रहे होते हैं।

समाधान: द कालमन कोच (The Kalman Coach)

हाओडोंग ज़ु और सहयोगियों के नेतृत्व में इस शोध पत्र के लेखकों ने एक नई विधि प्रस्तावित की है जिसे KGPS (कालमन-गाइडेड प्रॉम्प्ट सिलेक्शन) कहा जाता है। सब कुछ अनुमान लगाने या परीक्षण करने के बजाय, वे प्रत्येक पहेली की कठिनाई को एक चलते-फिरते लक्ष्य की तरह देखते हैं जो लगातार बदल रहा है।

वे एक गणितीय उपकरण का उपयोग करते हैं जिसे कालमन फ़िल्टर (Kalman Filter) कहा जाता है। इसे समझने के लिए, कल्पना करें कि आप एक धुंधले जंगल में उड़ते हुए एक पक्षी को ट्रैक करने की कोशिश कर रहे हैं। आप पक्षी को पूरी तरह से नहीं देख सकते, लेकिन आप जानते हैं कि वह आमतौर पर कितनी तेज़ उड़ता है और वह कितना मुड़ सकता है।

पूर्वानुबंध (The Prediction): पक्षी को देखने से पहले, आप अनुमान लगाते हैं कि वह एक क्षण पहले कहाँ था, उसके आधार पर वह अब कहाँ होगा।
अपडेट (The Update): जब आप अंततः पक्षी की एक झलक पाते हैं (एक "रोलआउट" या परीक्षण रन), तो आप अपने अनुमान को संशोधित करते हैं।
अनिश्चितता (The Uncertainty): यहाँ सबसे चतुर हिस्सा है। यदि पक्षी अचानक तेजी से झपट्टा मारता है (जो तब होता है जब AI का मस्तिष्क तेजी से बदलता है), तो आपका अनुमान कम निश्चित हो जाता है। आपको एहसास होता है, "वाह, पक्षी कुछ अप्रत्याशित कर रहा है!" इसलिए, आप अपने खोज क्षेत्र को विस्तृत कर देते हैं।

AI की दुनिया में, "पक्षी" किसी विशिष्ट प्रॉम्प्ट (प्रश्न या कार्य) की कठिनाई है। "झपट्टा" तब होता है जब AI मॉडल कुछ नया सीखता है और अपनी आंतरिक मस्तिष्क संरचना को बदलता है। KGPS यह समझता है कि जब AI बहुत अधिक बदलाव करता है, तो उस प्रश्न के बारेв हमारे पुराने अनुमान गलत हो सकते हैं। इसलिए, यह स्वचालित रूप से उस प्रश्न की स्मृति में "अनिश्चितता" जोड़ देता है।

व्यवहार में यह कैसे काम करता है

यह प्रणाली पुस्तकालय के प्रत्येक प्रश्न के बारे में एक "विश्वास" (belief) रखती है। यह विश्वास केवल एक संख्या (जैसे "यह 50% कठिन है") नहीं है; यह संभावनाओं का एक बादल (cloud) है।

यदि AI ने लंबे समय से किसी प्रश्न को नहीं देखा है: अनिश्चितता का बादल बड़ा हो जाता है। सिस्टम सोचता है, "मैंने काफी समय से इसे नहीं देखा है, और AI में बहुत बदलाव आया है। शायद यह प्रश्न अब AI के लिए एकदम सही है!" यह स्वाभाविक रूप से पुराने, भूले हुए प्रश्नों को फिर से प्रशिक्षण प्रक्रिया में वापस लाता है।
यदि AI ने अभी-अभी एक प्रश्न हल किया है: बादल छोटा हो जाता है। सिस्टम ठीक जानता है कि वर्तमान संस्करण के AI के लिए वह प्रश्न कितना कठिन है।
चयन (The Selection): सिस्टम उन प्रश्नों को चुनता है जहाँ "बादल" यह संकेत देता है कि AI कुछ नया सीखने की सबसे अधिक संभावना रखता है—आमतौर पर वे जो कठिनाई के मध्य स्तर पर होते हैं।

परिणाम: तेज़ और स्मार्ट

शोधकर्ताओं ने कुछ बहुत कठिन चुनौतियों पर इस पद्धति का परीक्षण किया, जिसमें गणित की समस्याएं, योजना बनाने के कार्य (जैसे संख्याओं को उलटा गिनना), और ज्यामिति की पहेलियाँ शामिल थीं। उन्होंने KGPS की तुलना "सब कुछ परीक्षण करने वाले" और "अनुमान लगाने वाले" कोचों से की।

परिणाम प्रभावशाली थे। DeepSeek-R1-Distill-7B नामक मॉडल का उपयोग करके एक विशिष्ट गणितीय बेंचमार्क पर, KGPS "सब कुछ परीक्षण करने वाले" तरीके के समान (या उससे थोड़ा बेहतर) अंतिम प्रदर्शन प्राप्त करने में सफल रहा, लेकिन इसने 83% कम रोलआउट्स का उपयोग किया। सरल शब्दों में, AI ने बहुत कम काम करके उतना ही अच्छा सीखा।

इसके अलावा, शोध पत्र दिखाता है कि KGPS पिछले "अनुमान लगाने वाले" तरीकों की तुलना में प्रश्नों की कठिनाई का अनुमान लगाने में बहुत बेहतर है। जबकि अन्य तरीकों ने अपने अनुमानों में बड़ी गलतियाँ कीं (लगभग 0.40 की त्रुटि दर के साथ), KGPS ने अपने अनुमानों को बहुत सटीक रखा (लगभग 0.15 की त्रुटि दर)। इसका मतलब है कि AI लगातार सही कठिनाई स्तर पर अभ्यास कर रहा था, न कि बहुत आसान या बहुत कठिन चीजों पर समय बर्बाद कर रहा था।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि हमें यह जानने के लिए भारी मात्रा में कंप्यूटर शक्ति बर्बाद करने की आवश्यकता नहीं है कि अगली बार AI को क्या सिखाना है। AI के कार्य की कठिनाई को AI के सीखने के साथ बदलने वाली एक गतिशील स्थिति मानकर, KGPS एक अत्यधिक कुशल कोच की तरह कार्य करता है। यह जानता है कि कब AI को आगे बढ़ाना है, कब पीछे हटना है, और कब पुराने विषयों पर वापस आना है, और यह सब बिना किसी अतिरिक्त परीक्षण के किया जाता है। यह AI प्रशिक्षण की अराजक प्रक्रिया को एक सहज, अनुकूलन योग्य यात्रा में बदल देता है, यह सिद्ध करता है कि थोड़ी सी स्मार्ट गणित AI को स्मार्ट, तेज़ और अधिक कुशल बनाने में बहुत काम आ सकती है।

तकनीकी सारांश: एडैप्टिव आरएल फाइनट्यूनिंग के लिए कलमन-गाइडेड प्रॉम्प्ट सिलेक्शन (KGPS)

1. समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) फाइनट्यूनिंग, लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को महत्वपूर्ण रूप से बढ़ाती है, लेकिन इसकी प्रभावकारिता वर्तमान पॉलिसी के लिए उपयुक्त कठिनाई वाले प्रशिक्षण प्रॉम्प्ट्स के चयन पर अत्यधिक निर्भर करती है। इस क्षेत्र में एक महत्वपूर्ण चुनौती नॉन-स्टेशनैरिटी (non-stationarity) है: जैसे-जैसे पॉलिसी में सुधार होता है, प्रॉम्प्ट्स की कठिनाई भी बदलती जाती है। जो प्रॉम्प्ट्स पहले सूचनात्मक थे, वे अब सरल हो सकते हैं, जबकि जो कभी बहुत कठिन थे, वे अब सीखने योग्य बन सकते हैं।

मौजूदा ऑनलाइन प्रॉम्प्ट सिलेक्शन विधियाँ एक ट्रेड-ऑफ का सामना करती हैं:

इवैल्यूएशन-आधार आधारित दृष्टिकोण (जैसे, डायनेमिक सैंपलिंग) सटीक हैं लेकिन गणनात्मक रूप से महंगे हैं, क्योंकि प्रॉम्प्ट सफलता दर का अनुमान लगाने के लिए भारी अतिरिक्त रोलआउट्स की आवश्यकता होती है, जिसके परिणामस्वरूप मानक प्रशिक्षण की तुलना में अक्सर 7 गुना अधिक इन्फरेंस ओवरहेड होता है।
प्रेडिक्शन-आधारित दृष्टिकोण (जैसे, MoPPS, GRESO) कुशल हैं लेकिन आमतौर पर प्रॉम्प्ट की कठिनाई को एक स्टेशनरी लेटेंट पैरामीटर के रूप में मॉडल करते हैं। वे नॉन-स्टेशनैरिटी को संभालने के लिए ह्यूरिस्टिक डिके फैक्टर (decay factors) पर निर्भर रहते हैं, जो निरंतर पॉलिसी अपडेट के कारण बदलते कठिनाई परिदृश्य को सटीक रूप से ट्रैक करने में विफल रहता है, जिससे लगातार उच्च अनुमान त्रुटियां होती हैं।

पेपर यह तर्क देता है कि अतिरिक्त इन्फरेंस लागत के बिना विकसित होती पॉलिसी के साथ संरेखण बनाए रखने के लिए, स्टैटिक पैरामीटर एस्टीमेशन से हटकर एक सिद्धांतपूर्ण डायनेमिक स्टेट एस्टीमेशन की ओर बदलाव आवश्यक है।

2. कार्यप्रणाली: कलमन-गाइडेड प्रॉम्प्ट सिलेक्शन (KGPS)

KGPS प्रॉम्प्ट सिलेक्शन को एक डायनेमिक स्टेट एस्टीमेशन समस्या के रूप में पुनर्गठित करता है। प्रॉम्प्ट की सफलता दर को एक स्थिर पैरामीटर मानने के बजाय, KGPS इसे एक लीनियर-गौसियन स्टेट-स्पेस मॉडल (SSM) के भीतर एक समय-परिवर्तनीय लेटेंट स्टेट के रूप में मॉडल करता है।

मुख्य घटक:

लॉगिट स्पेस में स्टेट-स्पेस फॉर्मूलेशन:
- प्रॉम्प्ट $\tau$ की स्टेप $t$ पर लेटेंट सफलता दर $\phi^t_\tau$ को लॉगिट स्पेस में रूपांतरित किया जाता है: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$ ।
- स्टेट इवोल्यूशन: लेटेंट स्टेट एक रैंडम वॉक के रूप में विकसित होता है: $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$ , जहाँ प्रोसेस नॉइज़ वेरिएंस $Q_t$ को स्पष्ट रूप से पॉलिसी अपडेट के परिमाण के साथ जोड़ा गया है: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$ । यह सुनिश्चित करता है कि जब पॉलिसी में बड़ा बदलाव होता है, तो अनिश्चितता बढ़ जाती है, जो प्रॉम्प्ट की कठिनाई में संभावित बदलाव को दर्शाता है।
- ऑब्जर्वेशन मॉडल: जब एक प्रॉम्प्ट चुना जाता है और उसे $k$ बार रोलआउट किया जाता है, तो एम्पिरिकल सफलता दर को डेल्टा मेथड के माध्यम से लॉगिट स्पेस में एक गौसियन ऑब्जर्वेशन के रूप में अनुमानित किया जाता है।
पोस्टीरियर मेंटेनेंस के लिए कलमन फ़िल्टर:
- KGPS पूल के प्रत्येक प्रॉम्प्ट के लिए एक गौसियन पोस्टीरियर $N(\hat{\psi}^t_\tau, P^t_\tau)$ बनाए रखने के लिए कलमन फ़िल्टर का उपयोग करता है।
- प्रेडिक्शन स्टेप: प्रत्येक ट्रेनिंग स्टेप पर, सभी प्रॉम्प्ट्स (चुने गए या नहीं) का वेरिएंस $Q_t$ द्वारा बढ़ाया जाता है। यह तंत्र उन प्रॉम्प्ट्स के लिए अनिश्चितता स्कोर को स्वाभाविक रूप से बढ़ा देता है जिनका हाल ही में मूल्यांकन नहीं किया गया है, जिससे उन्हें स्थायी रूप से अनदेखा होने से रोका जा सके।
- अपडेट स्टेप: पिछले स्टेप में चुने गए प्रॉम्प्ट्स के लिए, फ़िल्टर नए रोलआउट ऑब्जर्वेशन्स को शामिल करके मीन (mean) और वेरिएंस को अपडेट करता है।
पोस्टीरियर-एक्सपेक्टेड यूटिलिटी सिलेक्शन:
- कठिनाई के पॉइंट एस्टीमेट के आधार पर प्रॉम्प्ट चुनने के बजाय, KGPS एक पोस्टीरियर-एक्सपेक्टेड ट्रेनिंग यूटिलिटी को अधिकतम करके प्रॉम्प्ट चुनता है: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$ , जहाँ $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ मध्यवर्ती कठिनाई पर चरम पर होता है।
- यह एक्सपेक्टेशन पूर्ण पोस्टीरियर वितरण पर एकीकरण करता है। फलस्वरूप, उच्च अनिश्चितता (बड़ा $P^t_\tau$ ) वाले प्रॉम्प्ट्स को स्वाभाविक रूप से उच्च स्कोर मिलता है, जो अनिश्चित प्रॉम्प्ट्स के एक्सप्लोरेशन और वर्तमान अनुमानों के एक्सप्लॉइटेशन के बीच संतुलन बनाता है।
- एक्सपेक्टेशन को गौस-हर्मिट क्वाड्रचर (Gauss–Hermite quadrature) का उपयोग करके कुशलतापूर्वक कंप्यूट किया जाता है, जिसमें किसी स्टोकेस्टिक सैंपलिंग की आवश्यकता नहीं होती है।

प्रमुख दक्षता विशेषता: KGPS पूरी तरह से उन रोलआउट परिणामों पर काम करता है जो मानक पॉलिसी ट्रेनिंग के लिए पहले से ही उत्पन्न किए जा चुके हैं। यह चयन प्रक्रिया के लिए किसी भी अतिरिक्त रोलआउट या LLM इन्फरेंस की आवश्यकता नहीं रखता है।

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों की पहचान करता है:

डिफिकल्टी ट्रैकिंग का पुनर्गठन: लेखक प्रॉम्प्ट की कठिनाई को एक लीनियर-गौसियन SSM का उपयोग करके एक डायनेमिक स्टेट एस्टीमेशन समस्या के रूप में मॉडल करने का प्रस्ताव देते हैं, जहाँ प्रोसेस नॉइज़ को पॉलिसी अपडेट के परिमाण से जोड़ा गया है, न कि इसे एक स्टेशनरी पैरामीटर के रूप में माना गया है।
कलमन फ़िल्टर डेरिवेशन और यूटिलिटी स्कोर: उन्होंने ऑनलाइन डिफेकल्टी ट्रैकिंग के लिए एक कलमन फ़िल्टर व्युत्पन्न किया है और एक पोस्टीरियर-एक्सपेक्टेड यूटिलिटी स्कोर पेश किया है जो बिना किसी हैंड-ट्यून्ड डिके शेड्यूल के एक्सप्लोइटेशन और एक्सप्लोरेशन को संतुलित करता है।
प्रायोगिक सत्यापन: व्यापक प्रयोगों से पता चलता है कि KGPS गणित, प्लानिंग और ज्योमेट्री रीजनिंग कार्यों में अंतिम सटीकता और रोलआउट दक्षता दोनों में मौजूदा बेसलाइनों को लगातार पछाड़ता है, जिसमें नगण्य कंप्यूटेशनल ओवरहेड होता है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न मॉडल स्केल्स (Qwen3-0.6B से DeepSeek-R1-Distill-7B तक) और RL एल्गोरिदम (GRPO, PPO, Reinforce++) का उपयोग करके तीन रीजनिंग बेंचमार्क (मैथमेटिक्स, प्लानिंग/काउंटडाउन, विजुअल ज्योमेट्री) पर KGPS का मूल्यांकन किया।

परफॉरमेंस बनाम रोलआउट कॉस्ट: DeepSeek-R1-Distill-7B मॉडल पर, KGPS ने ऑरेकल (डायनेमिक सैंपलिंग) के तुलनीय या थोड़ा बेहतर प्रदर्शन हासिल किया, जबकि इसने 83% कम रोलआउट्स का उपयोग किया। प्रेडिक्शन-आधारित बेसलाइन MoPPS की तुलना में, KGPS ने समान रोलआउट बजट का उपयोग करते हुए छह मैथ बेंचमार्क में औसत प्रदर्शन में 0.12 अंक का सुधार किया।
सटीकता में वृद्धि: सभी मॉडल स्केल्स और कार्यों में, KGPS ने ऑनलाइन सिलेक्शन विधियों में लगातार उच्चतम टेस्ट सटीकता प्राप्त की, जो अक्सर उस ऑरेकल (DS) से भी बेहतर रही जिसमें भारी कंप्यूटेशनल लागत आती है।
एस्टिमेशन सटीकता: KGPS ने MoPPS (MAE ≈ 0.40) की तुलना में अनुमानित और एम्पिरिकल सफलता दरों के बीच काफी कम मीन एब्सोल्यूट एरर (MAE ≈ 0.15) बनाए रखा, जो नॉन-स्टेशनरी कठिनाई को ट्रैक करने में बेहतर प्रदर्शन को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies):
- पोस्टीरियर एक्सपेक्टेशन को हटाने (पॉइंट एस्टीमेट का उपयोग करने) से प्रदर्शन में ~1.09 अंकों की कमी आई।
- प्रोसेस नॉइज़ को पॉलिसी अपडेट मैग्नीट्यूड से अलग करने (फिक्स्ड नॉइज़ का उपयोग करने) से प्रदर्शन में ~1.21 अंकों की कमी आई, जो एडेप्टिव अनिश्चितता के महत्व की पुष्टि करता है।
- वॉर्मअप इनिशियलाइजेशन को हटाने से प्रदर्शन में मामूली गिरावट आई, जो स्थिर प्रारंभिक पोस्टीरियर्स की आवश्यकता को प्रमाणित करता है।

5. महत्व और दावे

पेपर का दावा है कि KGPS, RL फाइनट्यूनिंग में ऑनलाइन प्रॉम्प्ट सिलेक्शन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है। इसका महत्व दक्षता (efficiency) और अनुकूलनशीलता (adaptivity) के बीच के तनाव को हल करने में निहित है:

यह अपने कंप्यूटेशनल ओवरहेड के बिना, महंगे इवैल्यूएशन-आधारित तरीकों की सटीकता प्राप्त करता है।
यह स्टैटिक प्रेडिक्शन-आधारित विधियों की सीमाओं को पार करता है, जो RL ट्रेनिंग डायनेमिक्स की नॉन-स्टेशनरी प्रकृति को कठोरता से मॉडल करता है।
कठिनाई को एक स्टैटिक पैरामीटर के बजाय एक डायनेमिक स्टेट के रूप में मानकर, KGPS अनिश्चितता प्रबंधन के लिए एक सिद्धांतपूर्ण तंत्र प्रदान करता है जो उपेक्षित प्रॉम्प्ट्स को स्वाभाविक रूप से फिर से देखता है, जिससे यह सुनिश्चित होता है कि ट्रेनिंग करिकुलम मॉडल की विकसित होती क्षमता के साथ संरेखित रहे।

लेखक निष्कर्ष निकालते हैं कि एडैप्टिव आरएल फाइनट्यूनिंग के लिए डायनेमिक स्टेट एस्टीमेशन, स्टैटिक डिफेकल्टी एप्रोक्सिमेशन का एक व्यावहारिक और बेहतर विकल्प है।