Automatic Hint Generation and Evaluation for Reasoning Questions

आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स जटिल पहेलियों को सुलझाने और कठिन प्रश्नों के उत्तर देने में उल्लेखनीय रूप से कुशल हो गए हैं। ये डिजिटल सिस्टम तर्क संबंधी समस्याओं को हल कर सकते हैं, गणना कर सकते हैं, और वैज्ञानिक अवधारणाओं की व्याख्या उस प्रवाह के साथ कर सकते हैं जो अक्सर मानव विशेषज्ञों के बराबर होता है। हालांकि, शैक्षिक परिवेश में या जब कोई नया कौशल सीखने की कोशिश कर रहा होता है, तो केवल अंतिम उत्तर हाथ में मिल जाना शायद ही कभी सहायक होता है। वास्तविक सीखना समाधान खोजने के संघर्ष में होता है, एक ऐसी प्रक्रिया जिसमें सीधे रहस्योद्घाटन के बजाय मार्गदर्शन की आवश्यकता होती है। यहीं पर "संकेत" (हिंट) की अवधारणा आवश्यक हो जाती है। एक अच्छा संकेत एक कोमल धक्के की तरह कार्य करता है, जो गंतव्य को बताए बिना उपयोगकर्ता को सही पथ की ओर निर्देशित करने के लिए पर्याप्त जानकारी प्रदान करता है। शोधकर्ताओं के लिए चुनौती मशीनों को स्वचालित रूप से ये संकेत उत्पन्न करना सिखाना है। मशीन को एक पतली रस्सी पर चलना होगा: इसे उपयोगी होने के लिए पर्याप्त सूचनात्मक, विषय पर बने रहने के लिए पर्याप्त प्रासंगिक, और सुरक्षित होने के लिए पर्याप्त सतर्क होना चाहिए ताकि यह सुनिश्चित हो सके कि वह गलती से उत्तर न उगल दे। यदि संकेत बहुत अस्पष्ट है, तो वह बेकार है; यदि वह बहुत विशिष्ट है, तो वह अभ्यास के उद्देश्य को ही विफल कर देता है।

इनब्रुक विश्वविद्यालय के एक शोधकर्ता ने आर्टिफिशियल इंटेलिजेंस मॉडल्स को तर्क संबंधी प्रश्नों के लिए बेहतर संकेत तैयार करना सिखाकर इस समस्या को हल करने का संकल्प लिया। उन्होंने पांच अलग-अलग स्रोतों से विविध प्रकार के कठिन प्रश्न एकत्र करके शुरुआत की, जिसमें बहु-चरणीय तर्क पहेलियों और रोजमर्रा के सामान्य ज्ञान से लेकर विज्ञान परीक्षा के प्रश्नों और गणितीय शब्द समस्याओं तक सब कुछ शामिल था। यह सुनिश्चित करने के लिए कि उनका अध्ययन प्रबंधनीय लेकिन प्रतिनिधि हो, उन्होंने 1,500 प्रश्नों का एक विविध सेट चुना जिसने इन क्षेत्रों में पाए जाने वाले सोचने के विभिन्न तरीकों की पूरी श्रृंखला को समाहित किया। इसके बाद उन्होंने तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स से चार अलग-अलग दृष्टिकोणों का उपयोग करके प्रत्येक प्रश्न के लिए संकेत उत्पन्न करने को कहा। कुछ दृष्टिकोणों ने मॉडल्स को संकेत लिखते समय सही उत्तर देखने की अनुमति दी, जबकि अन्य ने उन्हें केवल प्रश्न पर निर्भर रहते हुए अंधे होकर काम करने के लिए मजबूर किया। उन्होंने उन विधियों का भी परीक्षण किया जो जटिल प्रश्नों को संकेत उत्पन्न करने से पहले छोटे, सरल चरणों में तोड़ देती थीं।

इन उत्पन्न किए गए संकेतों की गुणवत्ता का आकलन करने के लिए, शोधकर्ता ने एक कठोर परीक्षण प्रणाली विकसित की जो चार प्रमुख गुणों को मापती थी। उन्होंने "अभिसरण" (कन्वर्जेंस) की जाँच की, जो यह निर्धारित करता है कि एक संकेत उपयोगकर्ता को सत्य की ओर ले जाने के लिए संभावित उत्तरों को कितनी अच्छी तरह से सीमित करता है। उन्होंने "उत्तर रिसाव" (आंसर लीकेज) को मापा ताकि यह सुनिश्चित किया जा सके कि संकेत सूक्ष्म तरीके से भी समाधान को प्रकट न कर दे। उन्होंने "परिचितता" का मूल्यांकन किया कि क्या संकेत ने उन अवधारणाओं का उपयोग किया जिन्हें एक सामान्य व्यक्ति समझ सकता है, न कि अस्पष्ट शब्दावली का। अंत में, उन्होंने "प्रासंगिकता" की जाँच की ताकि पुष्टि की जा सके कि संकेत पूछे गए विशिष्ट प्रश्न पर केंद्रित रहा। इन मापों का उपयोग करते हुए, शोधकर्ता ने एक स्कोरिंग प्रणाली बनाई जिसने उन संकेतों को प्राथमिकता दी जो सहायक और सुरक्षित थे, जबकि उन संकेतों को दंडित किया जिन्होंने उत्तर दे दिया। फिर उन्होंने इन उच्च-स्कोर वाले संकेतों का उपयोग मॉडल्स को 'फाइन-ट्यून' करने के लिए किया, जो एक ऐसी प्रक्रिया है जहाँ आर्टिफिशियल इंटेलिजेंस विशिष्ट उदाहरणों से सीखता है ताकि अपने व्यवहार में सुधार कर सके, ठीक वैसे ही जैसे एक छात्र किसी विषय में महारत हासिल करने के लिए अभ्यास समस्याओं के एक सेट का अध्ययन करता है।

परिणामों ने दिखाया कि मॉडल्स को सिखाने की यह विधि काम कर गई। जब शोधकर्ता ने मूल मॉडल्स की तुलना उन मॉडल्स से की जिन्हें क्यूरेटेड संकेतों पर फाइन-ट्यून किया गया था, तो उन्हें निरंतर सुधार मिले। फाइन-ट्यून किए गए मॉडल्स "उत्तर रिसाव" से बचने में काफी बेहतर हो गए, जिसका अर्थ है कि वे गलती से समाधान प्रकट करने की संभावना बहुत कम रखते थे। साथ ही, उनके द्वारा उत्पन्न संकेत उपयोगकर्ताओं के लिए अधिक परिचित और सुलभ हो गए, जिनमें ऐसी अवधारणाओं का उपयोग किया गया जो अधिक सहज महसूस होती थीं। महत्वपूर्ण रूप से, मॉडल्स ने प्रश्न के प्रति प्रासंगिक बने रहने या उपयोगकर्ता को सही उत्तर की ओर मार्गदर्शन करने की अपनी क्षमता नहीं खोई। अध्ययन सुझाव देता है कि प्रशिक्षण के लिए उपयोग किए जाने वाले डेटा को सावधानीपूर्वक चुनकर और उसे भार (वेटेज) देकर, आर्टिफिशियल इंटेलिजेंस को एक अधिक प्रभावी और सुरक्षित शिक्षण सहायक बनने के लिए आकार देना संभव है। शोधकर्ता ने उल्लेख किया कि हालांकि सुधार मामूली थे, लेकिन वे विभिन्न प्रकार के मॉडल्स और प्रश्न शैलियों में विश्वसनीय थे, जो सीखने के लिए आवश्यक प्रयास को कम किए बिना सीखने में सहायता करने वाले AI टूल्स बनाने के लिए एक व्यावहारिक मार्ग प्रदान करते हैं।