Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair

आर्टिफिशियल इंटेलिजेंस की दुनिया में, किसी मॉडल का मूल्यांकन अक्सर इस आधार पर किया जाता है कि वह कितनी अच्छी तरह बातचीत कर सकता है या कहानी लिख सकता है। लेकिन कई वास्तविक दुनिया के कार्यों में, लक्ष्य अच्छा सुनाई देना नहीं, बल्कि नियमों के एक सख्त समूह के अनुसार सही होना होता है। कल्पना कीजिए कि एक रोबोट को मेज पर ब्लॉक रखकर एक मीनार बनाने के लिए ब्लॉक हिलाने हैं। वह सही शब्द बोल सकता है, लेकिन यदि वह एक ऐसा ब्लॉक उठाने की कोशिश करता है जो पहले से ही किसी दूसरे को थामे हुए है, तो योजना विफल हो जाएगी। यह विफलता शैली का मामला नहीं है; यह एक यांत्रिक त्रुटि है जिसे कंप्यूटर तुरंत जांच सकता है। वर्षों तक, शोधकर्ताओं ने इन जांचों का उपयोग केवल खराब योजनाओं को खारिज करने और फिर से प्रयास करने के लिए किया है, जिससे समय और ऊर्जा बर्बाद हुई। एक नई जांच एक अलग प्रश्न पूछती है: यदि एक कंप्यूटर एक गलती को पहचान सकता है और एक सही समाधान ढूंढ सकता है, तो क्या वह सफलता के उस रिकॉर्ड का उपयोग मॉडल को पहली बार में ही सही करने के लिए सिखाने के लिए कर सकता है, ताकि अगली बार उसे इतनी मेहनत न करनी पड़े?

यह प्रश्न स्वतंत्र शोधकर्ता जीसस सालास के हालिया कार्य के केंद्र में है, जिन्होंने यह पता लगाया कि क्या किसी सफल कार्य का डिजिटल "पेपर ट्रेल" (कागजी प्रमाण) एक शिक्षक बन सकता है। यह अध्ययन एक विशिष्ट प्रकार की समस्या पर केंद्रित है जहाँ नियम स्पष्ट हैं और परिणाम को मशीन द्वारा सत्यापित किया जा सकता है। शोधकर्ता ने ब्लॉक हिलाने से जुड़े एक प्रसिद्ध परीक्षण वातावरण का उपयोग किया, जहाँ एक कंप्यूटर प्रोग्राम एक रेफरी के रूप में कार्य करता है ताकि यह तय किया जा सके कि कोई योजना काम करती है या नहीं। लक्ष्य यह देखना था कि क्या एक बड़ा, महंगा एआई मॉडल, जो कभी-कभी इन पहेलियों को हल कर सकता है, कुछ सही उत्तर उत्पन्न कर सकता है, और क्या उन विशिष्ट उत्तरों का उपयोग उसी मॉडल के छोटे, तेज़ संस्करण को उन्हें स्वयं विश्वसनीय रूप से हल करने के लिए प्रशिक्षित करने हेतु किया जा सकता है।

प्रयोग की शुरुआत एक बड़े एआई मॉडल के साथ हुई जो उत्तर देने से पहले "सोचने" की क्षमता के लिए जाना जाता है। इस मॉडल को ब्लॉक हिलाने वाली पहेलियों की एक श्रृंखला दी गई। इसने हर बार सही उत्तर नहीं दिया, लेकिन कुछ दर्जन प्रयासों में, इसने कुछ ऐसे प्लान बनाए जिन्हें रेफरी प्रोग्राम ने वैध माना। शोधकर्ता ने इन दुर्लभ, सफल योजनाओं को लिया और उन्हें एक प्रशिक्षण सेट के रूप में उपयोग किया। लक्ष्य उसी एआई मॉडल को सिखाना था, लेकिन इस बार एक ऐसे मोड में जहाँ वह सोचने या तर्क करने में समय खर्च नहीं करता है, ताकि वह तुरंत उन्हीं सही योजनाओं को उत्पन्न कर सके। मॉडल को उत्तर पहले से नहीं दिए गए थे; उसने केवल उन कुछ मौकों से सीखा जब वह स्वयं सही समाधान तक पहुँच गया था।

जब इस प्रशिक्षित मॉडल का परीक्षण अस्सी नई पहेलियों के एक नए सेट पर किया गया जिन्हें उसने पहले कभी नहीं देखा था, तो परिणाम चौंकाने वाले थे। बिना सोचे समझे पहेलियों को हल करने के लिए पूछे जाने पर, अप्राशिक्षित मॉडल केवल एक बार सफल हुआ। वह मॉडल जिसे "सोचने" से पहले उत्तर देने के लिए सिखाया गया था, तीस बार सफल हुआ। लेकिन वह मॉडल जिसे सोचने वाले संस्करण के कुछ सफल प्लान्स पर प्रशिक्षित किया गया था, सत्तावन बार सफल हुआ। वह केवल बेहतर नहीं हुआ; वह इस विशिष्ट परीक्षण पर काफी अधिक विश्वसनीय हो गया। इसके अलावा, प्रशिक्षित मॉडल ने समस्याओं को बहुत तेज़ी से हल किया और सोचने वाले संस्करण की तुलना में बहुत कम कंप्यूटर संसाधनों का उपयोग किया। यह 80 में से 57 मामलों में एक वैध योजना बनाने में सक्षम था, जबकि मूल सोचने वाला संस्करण 80 में से 30 मामलों में ऐसा करने में सक्षम था। हालांकि प्रशिक्षित मॉडल अत्यधिक कुशल था, अध्ययन ने नोट किया कि सोचने वाले मॉडल की तुलना में इंटरफ़ेस त्रुटियों को बेहतर ढंग से ठीक करने के सिद्ध करने का विशिष्ट लक्ष्य पूर्व-पंजीकृत परीक्षण में पूरा नहीं हुआ, भले ही प्रशिक्षित मॉडल सभी मामलों में अपने आउटपुट फॉर्मेट में वैध रहा।

यह सुनिश्चित करने के लिए कि यह सुधार उत्तरों की गुणवत्ता से आया है, न कि केवल अधिक उदाहरण होने से, शोधकर्ता ने दूसरा परीक्षण चलाया। उन्होंने मॉडल द्वारा उत्पन्न वैध योजनाओं के एक समूह को तीन समूहों में विभाजित किया। एक समूह को रेफरी प्रोग्राम द्वारा चुना गया, एक को मॉडल द्वारा अंधाधुंध चयन के रूप में, और एक को एक सरल नियम द्वारा चुना गया जिसने उपलब्ध विकल्पों में से पहला विकल्प चुना। रेफरी प्रोग्राम द्वारा चुनी गई योजनाओं पर प्रशिक्षित मॉडल, मॉडल द्वारा स्वयं चुनी गई योजनाओं वाले मॉडल की तुलना में काफी बेहतर प्रदर्शन कर रहा था। इससे सिद्ध हुआ कि रेफरी का निर्णय ही मुख्य कारक था। मॉडल केवल किसी भी सफलता से नहीं सीख रहा था; वह उस विशिष्ट प्रकार की सफलता से सीख रहा था जिसे एक स्वतंत्र चेकर ने वास्तव में सही होने के रूप में सत्यापित किया था।

अध्ययन ने यह भी पता लगाया कि क्या होता है जब एक बहुत अधिक स्मार्ट एआई मॉडल एक शिक्षक के रूप में कार्य करता है। इस परिदृश्य में, एक शक्तिशाली रीजनिंग मॉडल ने सही योजनाएं बनाईं, जिनका उपयोग एक छोटे, कम सक्षम मॉडल को प्रशिक्षित करने के लिए किया गया। छोटा मॉडल नाटकीय रूप से सुधरा, जो केवल दो पहेलियाँ हल करने से बढ़कर अस्सी में से इक्यावन पहेलियाँ हल करने तक पहुँच गया। हालाँकि, शोधकर्ता ने पहले प्रयोग से अंतर स्पष्ट करने में सावधानी बरती। पहले मामले में, मॉडल ने अपने स्वयं के दुर्लभ सफलताओं का उपयोग करके खुद को सिखाया। दूसरे में, उसने एक श्रेष्ठ शिक्षक से सीखा। दोनों तरीके काम कर गए, लेकिन पहले वाले ने दिखाया कि एक मॉडल बिना किसी स्मार्ट दोस्त की आवश्यकता के, जब तक कि उसके पास अपने काम को सत्यापित करने का तरीका हो, खुद को बेहतर बना सकता है।

शोध ने इस दृष्टिकोण की सीमाओं का भी पता लगाया। सुधार वास्तविक और मापने योग्य थे, लेकिन वे अनंत नहीं थे। जब शोधकर्ताओं ने मॉडल को उसके अपने नए सफलताओं पर बार-बार प्रशिक्षित करने की कोशिश की, तो लाभ अंततः रुक गए। मॉडल उस बिंदु पर पहुँच गया जहाँ वह उपलब्ध डेटा से और अधिक नहीं सीख सकता था, जो यह सुझाव देता है कि बिना नई जानकारी के एक मॉडल स्वयं कितना सुधार कर सकता है, इसकी एक सीमा होती है। अध्ययन ने यह भी नोट किया कि जबकि प्रशिक्षित मॉडल ब्लॉक पहेलियों के विशिष्ट नियमों का पालन करने में उत्कृष्ट था, वह सभी प्रकार की योजना बनाने में एक सामान्य विशेषज्ञ नहीं बना। वह उन विशिष्ट नियमों के लिए एक विशेषज्ञ बन गया जिन्हें उसे सिखाया गया था।

यह कार्य एआई सिस्टम बनाने का एक नया तरीका सुझाता है जो स्मार्ट और कुशल दोनों हों। एक विशाल, धीमे मॉडल पर हर समस्या के बारे में सोचने के लिए निर्भर रहने के बजाय, हम एक बड़े मॉडल का उपयोग कुछ सही समाधान खोजने, उन्हें सत्यापित करने और फिर एक छोटे, तेज़ मॉडल को उस सफलता को दोहराने के लिए प्रशिक्षित करने हेतु कर सकते हैं। छोटा मॉडल एक विशेषज्ञ बन जाता है जो नियमित कार्यों को तेज़ी से और सटीकता से संभाल सकता है, जबकि बड़ा मॉडल और रेफरी प्रोग्राम उन कठिन मामलों के लिए तैयार रहते हैं जिनमें गहन सोच की आवश्यकता होती है। शोध से पता चलता है कि सफल प्रयास का रिकॉर्ड केवल एक लॉग मात्र नहीं है; यह एक मूल्यवान संसाधन है जिसे एक शिक्षक में बदला जा सकता है, जिससे मशीनें अपनी कभी-कभार की प्रतिभा से सीख सकती हैं और इसे एक निरंतर आदत बना सकती हैं।