LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

कल्पना कीजिए कि आप एक रोबोट को कहानियाँ लिखना, पहेलियाँ सुलझाना या जटिल निर्देशों का पालन करना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) कहा जाता है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: आप कुत्ते को एक आदेश देते हैं, वह उसे करने की कोशिश करता है, और यदि वह अच्छा काम करता है, तो आप उसे एक ट्रीट (इनाम) देते हैं। यदि वह बुरा काम करता है, तो कोई ट्रीट नहीं मिलता। समय के साथ, कुत्ता इनाम पाने के लिए सही काम करना सीख जाता है।

लेकिन यहाँ एक पेचीदा बात है: क्या होगा अगर आदेश कुछ ऐसा हो जैसे "अपने भतीजे के लिए जन्मदिन की शुभकामना लिखें जिसे डायनासोर पसंद हैं"? गणित या कोडिंग की तरह यहाँ कोई सही या गलत उत्तर नहीं है। आप कैसे जानेंगे कि रोबोट की कहानी "अच्छी" है? आमतौर पर, हम एक अन्य, अधिक बुद्धिमान AI को 'जज' (न्यायाधीश) के रूप में उपयोग करते हैं। यह जज कहानी को पढ़ता है और एक चेकलिस्ट (रुब्रिक) के आधार पर उसे स्कोर देता है। यदि कहानी में डायनासोर का उल्लेख है और वह खुशमिजाज लगती है, तो जज उसे उच्च स्कोर देता है।

समस्या यह है कि कभी-कभी रोबोट आसान कमांड्स में बहुत अधिक कुशल हो जाता है। यदि आप उससे "जन्मदिन की शुभकामना लिखने" के लिए कहते हैं, तो वह हर बार इसे पूरी तरह से कर सकता है। जज रोबोट के उत्तरों को देखता है और सोचता है, "वाह, वे सभी एकदम सही हैं!" लेकिन यदि हर उत्तर सही है, तो जज यह नहीं बता पाएगा कि कौन सा बेहतर है। यह एक कक्षा में जहाँ हर छात्र को 100% मिला है, वहाँ हर छात्र को "A+" देने वाले शिक्षक जैसा है। शिक्षक यह नहीं देख पाता कि किसे और सीखने की आवश्यकता है, और छात्र इसलिए सुधार करना बंद कर देते हैं क्योंकि उन्हें चुनौती नहीं दी जा रही है।

---

"ट्यूटर" जो चीजों को कठिन बनाता है

"LLM-as-a-Tutor" नामक एक नया शोध पत्र इस समस्या के समाधान के लिए एक चतुर उपाय सुझाता है। शोधकर्ताओं ने महसूस किया कि जब कोई AI किसी विशिष्ट प्रश्न के लिए बहुत कुशल हो जाता है, तो वह प्रश्न ही बहुत आसान होता है। केवल स्कोरिंग चेकलिस्ट को बदलने के बजाय (जो अन्य तरीकों ने करने की कोशिश की थी), उन्होंने प्रश्न को बदलने का निर्णय लिया।

उन्होंने एक विशेष AI "ट्यूटर" पेश किया। इस ट्यूटर के दो काम हैं:

1. परीक्षक (The Examiner): यह देखता है कि रोबोट एक प्रश्न का उत्तर देने की दो बार कोशिश करता है। यदि दोनों उत्तर मूल रूप से एक जैसे और पूर्ण हैं, तो ट्यूटर कहता है, "यह प्रश्न बहुत आसान है! रोबोट कुछ भी नया नहीं सीख रहा है।"
2. चुनौती-जनरेटर (The Challenge-Generator): यदि प्रश्न बहुत आसान है, तो ट्यूटर पूरे प्रश्न को फिर से नहीं लिखता है। इसके बजाय, वह प्रश्न के अंत में एक छोटा, विशिष्ट नियम जोड़ देता है।

इसे एक वीडियो गेम की तरह समझें। यदि आप डायनासोर वाले "ईजी" लेवल को बहुत जल्दी जीत जाते हैं, तो गेम आपको कोई बिल्कुल नया गेम नहीं देता। यह बस एक नया नियम जोड़ देता है: "अब, आपको खेलते समय एक लाल रत्न इकट्ठा करना होगा।" गेम अभी भी डायनासोर के बारे में है, लेकिन अब यह कठिन है। इनाम पाने के लिए रोबोट को अधिक प्रयास करना होगा।

यह वास्तविक जीवन में कैसे काम करता है

शोधकर्ताओं ने इस विचार का परीक्षण निर्देशों का पालन करने वाले एक रोबोट के साथ किया। उन्होंने "जन्मदिन की शुभकामना लिखें" जैसे सरल प्रॉम्प्ट्स के साथ शुरुआत की।

• पुराना तरीका: रोबोट एक शुभकामना लिखता, जज उसे एक स्कोर देता, और रोबोट को एक ट्रीट मिलता। लेकिन यदि रोबोट शुभकामनाएँ लिखने में पहले से ही बहुत अच्छा था, तो वह बस वही चीज़ करता रहता, और स्कोर कभी नहीं बदलता।
• ट्यूटर वाला तरीका: ट्यूटर देखता है कि रोब सहित साधारण शुभकामना लिखने में बहुत कुशल है। वह एक बाधा (constraint) जोड़ देता है: "अपने भतीजे के लिए जन्मदिन की शुभकामना लिखें जिसे डायनासोर पसंद हैं, और सुनिश्चित करें कि इसमें पार्टी हैट पहने हुए एक T-Rex का उल्लेख हो।"

अचानक, रोबोट को अधिक सोचने की आवश्यकता होती है। कुछ रोबोट टोपी भूल सकते हैं; अन्य डायनासोर को गलत कर सकते हैं। अब, जज अंतर देख सकता है! एक उत्तर दूसरे से बेहतर है। रोबोट को सुधार करने के लिए एक स्पष्ट संकेत मिलता है।

उन्होंने क्या पाया

शोध पत्र सुझाव देता है कि यह "ट्यूटर" विधि बहुत अच्छी तरह काम करती है। जब उन्होंने जटिल निर्देशों (जैसे ईमेल लिखना, तर्क पहेलियाँ सुलझाना और सख्त फॉर्मेटिंग नियमों का पालन करना) के तीन अलग-अलग सेटों पर इसका परीक्षण किया, तो ट्यूटर के साथ प्रशिक्षित रोबोट ने पुराने तरीकों से प्रशिक्षित रोबोट्स की तुलना में बेहतर स्कोर प्राप्त किया।

शोधकर्ताओं ने पाया कि:

• प्रतिबंध जोड़ना पुनर्गठन से बेहतर है: मूल प्रश्न को फेंककर एक नया, भ्रमित करने वाला प्रश्न लिखने के बजाय, उसमें एक छोटा, विशिष्ट नियम जोड़ना बेहतर है।
• यह स्केल होता है: जैसे-जैसे रोबोट स्मार्ट होता जाता है, ट्यूटर उसे चुनौती देने के लिए स्वचालित रूप से अधिक नियम जोड़ता जाता है।
• यह "बोरियत" की समस्या को ठीक करता है: मुख्य लक्ष्य रोबोट को उन आसान कार्यों पर अटकने से रोकना था जहाँ वह अब और नहीं सीख सकता। कार्यों को बस पर्याप्त कठिन बनाकर, रोबोट लगातार स्मार्ट होता रहता है।

यह क्यों मायने रखता है

यह केवल जन्मदिन की शुभकामनाओं या डायनासोरों के बारे में नहीं है। यह इस बारे में है कि हम AI को वास्तविक दुनिया में सहायक बनाने के लिए कैसे प्रशिक्षित करते हैं। यदि हम चाहते हैं कि AI जटिल निर्देशों का पालन करने में कुशल हो—जैसे डॉक्टर को रिपोर्ट लिखने में मदद करना या छात्र को नया विषय सीखने में मदद करना—तो हमें यह सुनिश्चित करने की आवश्यकता है कि AI को हमेशा इतना चुनौतीपूर्ण बनाया जाए कि वह सीख सके, लेकिन इतना भी नहीं कि वह हार मान ले।

शोध पत्र सुझाव देता है कि इन सूक्ष्म चुनौतियों को जोड़ने के लिए एक AI को "ट्यूटर" के रूप में कार्य करने देकर, हम एक स्व-सुधार प्रणाली बना सकते हैं। AI खुद को बेहतर बनाने के लिए खुद को सिखाता है, लगातार अपनी क्षमता की सीमा को ढूंढकर और उससे थोड़ा आगे बढ़कर। यह एक व्यक्तिगत ट्रेनर रखने जैसा है जो आपके वर्कआउट को देखता है और कहता है, "ठीक है, आपने दस पुशअप्स आसानी से किए? चलिए ग्यारह करते हैं, लेकिन इस बार, स्थिति को तीन सेकंड तक बनाए रखें।" वह अतिरिक्त प्रयास ही है जो आपको मजबूत बनाता है।