Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation

आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर मानव भाषा को पढ़ने और समझने में उल्लेखनीय रूप से कुशल होते जा रहे हैं। वे सवालों के जवाब दे सकते हैं, कहानियों का सारांश निकाल सकते हैं, और यहाँ तक कि यह भी जाँच सकते हैं कि किसी तथ्य का कथन सत्य है या नहीं। हालाँकि, इन प्रणालियों में अक्सर एक छिपी हुई कमजोरी होती है: वे भंगुर (brittle) होती हैं। जैसे एक बच्चा जो केवल फर के रंग से कुत्ते को पहचानना सीखता है, वैसे ही एक एआई किसी विशिष्ट शब्द को देखकर समस्या को हल करना सीख सकता है, बजाय इसके कि वह वास्तविक अर्थ को समझे। यदि आप उस शब्द को बदल देते हैं या वाक्य को थोड़ा घुमा देते हैं, तो कंप्यूटर पूरी तरह से विफल हो सकता है, भले ही अर्थ न बदला हो। यह नाजुकता विश्वसनीय तकनीक बनाने में एक बड़ी बाधा है। शोधकर्ताओं ने लंबे समय से कंप्यूटर को अधिक उदाहरण देकर इसे ठीक करने की कोशिश की है, लेकिन केवल अधिक डेटा जोड़ने से अक्सर वही बुरी आदतें सुदृढ़ हो जाती हैं। असली चुनौती केवल अधिक डेटा खोजने की नहीं है, बल्कि उन विशिष्ट प्रकार की गलतियों को खोजने की है जो कंप्यूटर को अधिक गहराई से सोचने के लिए सिखा सकें।

बेन गुरियन यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन प्रणालियों को उनकी विफलताओं पर ध्यान केंद्रित करके सिखाने का एक नया तरीका विकसित किया है। हजारों यादृच्छिक (random) उदाहरण उत्पन्न करने और यह उम्मीद करने के बजाय कि उनमें से कुछ उपयोगी होंगे, उनकी विधि एक स्मार्ट फिल्टर की तरह काम करती है जो यह सीखती है कि किस पर विफल होना है। उन्होंने एक ऐसी प्रणाली बनाई जो पहले कंप्यूटर मॉडल को धोखा देने के लिए डिज़ाइन किए गए कठिन वाक्य बनाती है। जब मॉडल इन वाक्यों को गलत समझता है, तो सिस्टम उन्हें केवल फेंक नहीं देता या सभी को रखता नहीं है। इसके बजाय, यह अपनी गलतियों को श्रेणियों में विभाजित करता है, जैसे कि भ्रमित करने वाले निषेध (negation), नामों को आपस में मिलाने, या तार्किक विरोधाभास को पहचानने में चूक होने के कारण होने वाली त्रुटियाँ। सिस्टम फिर एक सीखने की रणनीति का उपयोग यह तय करने के लिए करता है कि अध्ययन के लिए त्रुटियों की कौन सी श्रेणियां सबसे मूल्यवान हैं। यह इन गलतियों के चयन को एक खेल की तरह मानता है जहाँ लक्ष्य खिलाड़ी के स्कोर को सबसे अधिक सुधारने वाले चालों को चुनना है, जिसमें नई चीजें सीखने की आवश्यकता और जो वह पहले से जानता है उसे भूल जाने के जोखिम के बीच संतुलन बनाना शामिल है।

प्रक्रिया एक कंप्यूटर मॉडल के साथ शुरू होती है जो पहले से ही भाषा को समझने के लिए प्रशिक्षित है। शोधकर्ता एक शक्तिशाली भाषा जनरेटर (language generator) से वास्तविक उदाहरणों के समान नए वाक्य बनाने के लिए कहते हैं, जिन्हें कठिन बनाया गया हो। इन नए वाक्यों का परीक्षण फिर मॉडल के विरुद्ध किया जाता है। यदि मॉडल उन्हें सही समझता है, तो उन्हें हटा दिया जाता है। यदि मॉडल उन्हें गलत समझता है, तो सिस्टम उत्तर की जाँच अन्य एआई न्यायाधीशों के एक पैनल के साथ करता है ताकि यह सुनिश्चित किया जा सके कि गलती वास्तविक है और केवल एक तकनीकी खराबी (glitch) नहीं है। एक बार गलती की पुष्टि हो जाने के बाद, इसे विफलता के एक विशिष्ट प्रकार में वर्गीकृत किया जाता है। उदाहरण के लिए, एक समूह में वे सभी त्रुटियाँ हो सकती हैं जहाँ मॉडल ने "हाँ" को "नहीं" समझ लिया, जबकि दूसरे समूह में वे त्रुटियाँ हो सकती हैं जहाँ मॉडल यह पहचानने में विफल रहा कि दो लोग अलग-अलग हैं।

मुख्य नवाचार यह है कि सिस्टम अगली पढ़ाई के लिए समूहों का चयन कैसे करता है। यह यादृच्छिक रूप से नहीं चुनता, और न ही यह किसी निश्चित नियम का उपयोग करता है। इसके बजाय, यह एक लर्निंग पॉलिसी (learning policy) का उपयोग करता है जो प्रत्येक गलती समूह की विशेषताओं का अवलोकन करती है, जैसे कि समूह में कितनी त्रुटियाँ हैं, मॉडल कितना भ्रमित था, और पिछले समान त्रुटियों के अध्ययन के दौरान मॉडल में कितना सुधार हुआ था। सिस्टम फिर मॉडल को पुन: प्रशिक्षित करने के लिए इन समूहों का एक मिश्रण चुनता है। पुन: प्रशिक्षण के बाद, यह जाँचता है कि क्या मॉडल वास्तव में इन कठिन मामलों को संभालने में बेहतर हुआ है बिना आसान मामलों में खराब हुए। यह फीडबैक लूप (feedback loop) इस बात की अनुमति देता है कि सिस्टम यह सीख सके कि किन प्रकार की विफलताओं को ठीक करना सबसे उपयोगी है। यह एक स्व-सुधार चक्र है जहाँ डेटा क्यूरेटर, यानी वह हिस्सा जो उदाहरण चुनता है, स्वयं एक शिक्षार्थी बन जाता है, जो अपनी रणनीति को लगातार समायोजित करता है ताकि सबसे प्रभावशाली सबक मिल सकें।

जब शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण मानक भाषा समझ कार्यों पर किया, तो परिणाम महत्वपूर्ण थे। उन्होंने एक मॉडल के साथ शुरुआत की जो पहले से ही काफी अच्छा था, जिसका स्कोर SNLI नामक एक परीक्षण पर लगभग 88 प्रतिशत था। उनके तरीके को लागू करने के बाद, जिसमें विशिष्ट विफलता उदाहरणों को उत्पन्न करना और सावधानीपूर्वक चुनना शामिल था, मॉडल का स्कोर बढ़कर 92 प्रतिशत से अधिक हो गया। अन्य कठिन परीक्षणों पर, सुधार और भी नाटकीय थे, जहाँ एक बेंचमार्क लगभग 54 प्रतिशत से उछलकर लगभग 72 प्रतिशत तक पहुँच गया। ये लाभ बिना किसी मानव विशेषज्ञ द्वारा नए उदाहरण लिखने या नए डेटा को लेबल करने के प्राप्त किए गए। सिस्टम ने स्वयं उदाहरण उत्पन्न किए, उन्हें स्वचालित रूप से सत्यापित किया, और सीखा कि उनका उपयोग कैसे करना है। शोधकर्ताओं ने यह भी दिखाया कि यह तरीका तथ्यों को सत्यापित करने जैसे विभिन्न प्रकार के कार्यों पर भी काम करता है, जहाँ इसने एक बड़े मॉडल को 82 प्रतिशत से अधिक की सटीकता तक पहुँचने में मदद की।

यह अध्ययन स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि केवल भारी मात्रा में सिंथेटिक डेटा उत्पन्न करना एआई को बेहतर बनाने का सबसे अच्छा तरीका है। उन्होंने पाया कि अनियंत्रित डेटा, भले ही शक्तिशाली कंप्यूटरों द्वारा उत्पन्न किया गया हो, सीखने की प्रक्रिया को कमजोर कर देता है क्योंकि इसमें बहुत अधिक आसान या अप्रासंगिक उदाहरण शामिल होते हैं। उनकी विधि सिद्ध करती है कि मात्रा से अधिक गुणवत्ता मायने रखती है। मॉडल के विफल होने के विशिष्ट तरीकों पर ध्यान केंद्रित करके और उन विफलताओं को प्राथमिकता देना सीखकर, सिस्टम अधिक मजबूत हो जाता है। शोधकर्ताओं ने यह भी प्रदर्शित किया कि उनका दृष्टिकोण मॉडल को वह भूलने से रोकता है जो वह पहले से जानता था, जो कठिन नए डेटा पर प्रशिक्षण के दौरान एक सामान्य समस्या है। उन्होंने प्रशिक्षण प्रक्रिया के दौरान नए, कठिन उदाहरणों को मूल, आसान उदाहरणों के साथ सावधानीपूर्वक मिलाकर यह हासिल किया, जिससे नए कौशल सीखने और पुराने ज्ञान को बनाए रखने के बीच संतुलन सुनिश्चित हुआ।

यह कार्य आर्टिफिशियल इंटेलिजेंस को अधिक विश्वसनीय बनाने के लिए एक नया मार्ग सुझाता है। मानव विशेषज्ञों पर हर कठिन उदाहरण को मैन्युअल रूप से क्यूरेट करने के लिए निर्भर रहने के बजाय, सिस्टम अपनी कमजोरियों को पहचानने और उन विशिष्ट पाठों को खोजने के लिए खुद को सक्षम बना सकता है जिनकी उसे पार करने के लिए आवश्यकता है। शोधकर्ताओं ने पाया कि यह अनुकूलन योग्य दृष्टिकोण उन स्थिर विधियों की तुलना में अधिक प्रभावी है जो डेटा चुनने के लिए निश्चित नियमों का उपयोग करती हैं। हालांकि अध्ययन विशिष्ट भाषा कार्यों पर किया गया था, लेकिन विफलता मोड (failure modes) से सीखने का अंतर्नि는 सिद्धांत कई अन्य क्षेत्रों में भी लागू हो सकता है जहाँ मशीनों को मजबूत होने की आवश्यकता है। निष्कर्ष बताते हैं कि डेटा चयन प्रक्रिया को स्वयं एक लर्निंग एजेंट बनने देकर, हम ऐसे सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं, बल्कि अधिक अनुकूलन योग्य भी हैं और उन प्रकार की त्रुटियों के प्रति कम संवेदनशील हैं जो वर्तमान में उनकी उपयोगिता को सीमित करती हैं।