Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI

आर्टिफिशियल इंटेलिजेंस की दुनिया में, सिस्टम को भारी बनाए बिना उन्हें और अधिक स्मार्ट बनाने की एक बढ़ती हुई इच्छा है। कल्पना कीजिए कि एक डिजिटल सहायक जो एक वाक्य को पढ़ सकता है और यह तय कर सकता है कि वह सत्य है, असत्य है, या दूसरे वाक्य से असंबंधित है। यह कार्य, जिसे नेचुरल लैंग्वेज इन्फरेंस (natural language inference) कहा जाता है, इस बात का मानक परीक्षण है कि एक कंप्यूटर मानव तर्क को कितनी अच्छी तरह समझता है। वर्षों से, शोधकर्ताओं ने विशाल, शक्तिशाली मॉडल बनाए हैं जो इस कार्य को उच्च सटीकता के साथ संभाल सकते हैं, लेकिन उन्हें चलाने के लिए भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है। दुनिया के कई हिस्सों में, विशेष रूप से अफ्रीका की विविध भाषाओं में, इतने भारी कंप्यूटिंग संसाधन दुर्लभ हैं। इससे एक व्यावहारिक प्रश्न खड़ा हुआ है: क्या एक छोटा, सस्ता मॉडल एक वाक्य को देखकर हमें बता सकता है कि वह कब संघर्ष कर रहा है, ताकि हमें पता चल सके कि कब बिल्कुल आवश्यक होने पर ही महंगे, शक्तिशाली मॉडल पर स्विच करना है? यह विचार, जिसे एडेप्टिव इन्फरेंस (adaptive inference) कहा जाता है, आसान सवालों को छोटे मस्तिष्क को और कठिन सवालों को बड़े मस्तिष्क को भेजकर ऊर्जा और समय बचाने का वादा करता है।

एक शोधकर्ता ने विशेष रूप से अफ्रीकी भाषाओं के लिए इस विचार का परीक्षण करने के लिए एक प्रयोग किया, जिसमें पंद्रह अलग-अलग भाषाओं में कंप्यूटर द्वारा तर्क समझने की क्षमता को मापने के लिए डिज़ाइन किया गया एक डेटासेट का उपयोग किया गया। वे यह देखना चाहते थे कि क्या एक कंप्यूटर मॉडल के आंतरिक "विचार"—विशेष रूप से एक वाक्य को प्रोसेस करते समय उसके परतों के भीतर बनने वाले गणितीय पैटर्न—कठिनाई के एक विश्वसनीय संकेत के रूप में काम कर सकते हैं। यदि ये आंतरिक पैटर्न सटीक रूप से भविष्यवाणी कर सकते थे कि कौन से वाक्य कठिन हैं, तो डेवलपर्स एक ऐसा सिस्टम बना सकते थे जो केवल कठिन मामलों को अधिक शक्तिशाली प्रोसेसर तक स्वचालित रूप से भेज सके, जिससे आसान मामलों पर संसाधनों की बचत हो सके। शोधकर्ता ने इस समस्या के प्रति एक कठोर, चरण-दर-चरण जांच का दृष्टिकोण अपनाया, इस समस्या को पहेलियों की एक श्रृंखला की तरह माना जहाँ प्रत्येक टुकड़े को अगले पर जाने से पहले पूरी तरह से फिट होना आवश्यक था।

पहला पहेली जिसका उन्होंने सामना किया, वह स्वयं मॉडलों के बारे में नहीं था, बल्कि उस परीक्षण के बारे में था जिसका वे उपयोग कर रहे थे। जिस डेटासेट पर वे निर्भर थे, जिसमें अंग्रेजी, फ्रेंच और स्वाहिली के साथ-साथ अफ्रीकी भाषाओं के उदाहरण शामिल थे, वह एक पुराने, प्रसिद्ध अंग्रेजी परीक्षण का सीधा अनुवाद निकला। क्योंकि जिन कंप्यूटर मॉडलों का वे परीक्षण कर रहे थे, उन्हें उस पुराने अंग्रेजी परीक्षण पर पहले ही प्रशिक्षित किया जा चुका था, उन्होंने प्रभावी रूप से नए परीक्षण के अंग्रेजी, फ्रेंच और स्वाहिली संस्करणों के उत्तर याद कर लिए थे। जब शोधकर्ता ने परिणाम की जाँच की, तो उन्होंने पाया कि एक मॉडल ने अंग्रेजी के हर एक प्रश्न को सही बताया, जो समझ के किसी भी वास्तविक परीक्षण के लिए असंभव स्कोर था। इससे पता चला कि मानक परीक्षण दूषित था; यह मॉडलों द्वारा नए वाक्यों को समझने के बजाय पुराने डेटा को याद रखने की क्षमता को माप रहा था। फलस्वरूप, शोधकर्ता को अंग्रेजी, फ्रेंच और स्वाहिली के परिणामों को पूरी तरह से त्यागना पड़ा और केवल उन पंद्रह अफ्रीकी भाषाओं पर ध्यान केंद्रित करना पड़ा जहाँ मॉडलों ने उत्तर नहीं देखे थे।

एक स्वच्छ डेटासेट के साथ, शोधकर्ता दूसरी पहेली की ओर बढ़े: यह धारणा कि बड़े मॉडल हमेशा बेहतर होते हैं। एडेप्टिव इन्फरेंस की दुनिया में, सिस्टम आमतौर पर एक पदानुक्रम (hierarchy) पर निर्भर करता है जहाँ एक छोटा मॉडल "सस्ता" विकल्प होता है और एक बड़ा मॉडल "महंगा" विकल्प होता है जो आवश्यकता पड़ने पर कार्यभार संभाल लेता है। शोधकर्ता ने माना कि बड़ा मॉडल लगातार छोटे मॉडल से बेहतर प्रदर्शन करेगा। हालाँकि, जब उन्होंने पंद्रह अफ्रीकी भाषाओं में मॉडलों का परीक्षण किया, तो उन्हें एक आश्चर्यजनक वास्तविकता का पता चला। बड़ा मॉडल कुछ भाषाओं में वास्तव में बेहतर था, लेकिन कुछ अन्य भाषाओं में यह वास्तव में बदतर था। पंद्रह में से छह भाषाओं में, प्रदर्शन का अंतर इतना बड़ा था कि बड़ा मॉडल स्पष्ट रूप से निम्न स्तर का था। इसका अर्थ था कि "बड़ा बेहतर है" का सरल नियम यहाँ लागू नहीं होता। एक सिस्टम जो केवल आकार के आधार पर बड़े मॉडल पर स्विच करता है, वह उन कई भाषाओं के लिए स्थिति को वास्तव में खराब कर सकता है जिनकी वह मदद करने का प्रयास कर रहा है।

तीसरा और सबसे जटिल भाग शोध के उस हिस्से पर केंद्रित था जिसे वे निर्णय लेने के लिए आंतरिक संकेतों के रूप में उपयोग करने की आशा कर रहे थे। उन्होंने मॉडलों की आंतरिक अवस्थाओं से प्राप्त तीन अलग-अलग प्रकार के गणितीय सारांशों की जांच की, यह देखने के लिए कि क्या ये सारांश वाक्य की कठिनाई के साथ सह-संबंध रखते हैं। उन्होंने पाया कि इन संकेतों का व्यवहार पूरी तरह से इस बात पर निर्भर करता था कि उन्हें कैसे मापा जाता है। जब शोधकर्ता ने डेटा को एक एकल मिश्रित समूह के रूप में देखा, तो एक संकेत कठिनाई का एक मजबूत भविष्यवक्ता के रूप में दिखाई दिया। हालाँकि, जब उन्होंने डेटा को भाषा के आधार पर अलग किया, तो वह संकेत गायब हो गया। यह पता चला कि वह संकेत वाक्य की कठिनाई को नहीं माप रहा था; वह केवल यह माप रहा था कि वाक्य किस भाषा में लिखा गया है। क्योंकि भाषाओं की अपनी औसत कठिनाइयाँ अलग-अलग थीं, इसलिए वह संकेत उपयोगी लग रहा था क्योंकि वह वाक्य की विशिष्ट चुनौती के बजाय भाषा की पहचान को पकड़ रहा था। यह एक महत्वपूर्ण खोज थी: एक सांख्यिकी (statistic) बहुत महत्वपूर्ण और संरचित दिख सकती है जब आप सब कुछ मिला देते हैं, फिर भी व्यक्तिगत उदाहरणों के बारे में निर्णय लेने के लिए पूरी तरह से बेकार हो सकती है।

इस भाषाई भ्रम को ठीक करने के बाद भी, शोधकर्ता ने पाया कि शेष संकेत रूटिंग निर्णयों के लिए उपयोगी नहीं थे। उन्होंने पाया कि एक अधिक शक्तिशाली मॉडल का उपयोग करने से "लाभ" प्राप्त करने के दो अलग-अलग तरीके हैं। एक तरीका यह पूछना है कि क्या शक्तिशाली मॉडल सही उत्तर की संभावना (probability) को बदल देता है। दूसरा तरीका यह पूछना है कि क्या शक्तिशाली मॉडल वास्तव में अंतिम हाँ-या-ना के निर्णय को बदल देता है। शोधकर्ता ने पाया कि उनके द्वारा अध्ययन किए गए आंतरिक संकेत एक परिणाम की भविष्यवाणी करने में अच्छे थे लेकिन दूसरे की भविष्यवाणी करने में पूरी तरह विफल रहे। उदाहरण के लिए, एक विशिष्ट आंतरिक पैटर्न इस बात की भविष्यवाणी करने में उत्कृष्ट था कि कॉन्फिडेंस स्कोर (confidence score) में कितना सुधार होगा, लेकिन इसने उन्हें यह नहीं बताया कि क्या अंतिम उत्तर बदल जाएगा। चूंकि लक्ष्य केवल एक कॉन्फिडेंस स्कोर को बढ़ाना नहीं, बल्कि सही उत्तर प्राप्त करना है, इसलिए वह संकेत जो आशाजनक लग रहा था, वास्तव में अप्रासंगिक था।

अंत में, शोधकर्ता ने यह परीक्षण करने के लिए एक सिस्टम बनाया कि क्या ये संकेत वास्तव में वास्तविक दुनिया के परिदृश्य में प्रदर्शन में सुधार कर सकते हैं। उन्होंने उपलब्ध सर्वोत्तम संकेतों का उपयोग करके छोटे मॉडल से बड़े मॉडल पर स्विच करने का निर्णय लेने के लिए एक कंप्यूटर को प्रशिक्षित किया। परिणाम निराशाजनक थे। चाहे उन्होंने सिस्टम को कितना भी ट्यून किया, एडेप्टिव दृष्टिकोण कभी भी हर वाक्य पर महंगे, शक्तिशाली मॉडल को चलाने से बेहतर प्रदर्शन नहीं कर सका। सिस्टम ने सटीकता से समझौता किए बिना किसी भी कंप्यूटिंग शक्ति की बचत नहीं की। हालाँकि, कहानी पूरी तरह से विफलता के साथ समाप्त नहीं हुई। शोधकर्ता ने एक सैद्धांतिक "ओरेकल" (oracle) की गणना की—एक आदर्श प्रणाली जो बिल्कुल जानती है कि कौन से वाक्य कठिन हैं और कौन से आसान। यह आदर्श प्रणाली काफी कम कंप्यूटिंग शक्ति का उपयोग करते हुए बहुत अधिक सटीकता प्राप्त कर सकती थी। इसने सिद्ध किया कि संसाधनों को बचाने की क्षमता मौजूद है, लेकिन जो विशिष्ट संकेतों का शोधकर्ता ने परीक्षण किया था, वे इसे अनलॉक करने की सही चाबियाँ नहीं थे।

इस कार्य का केंद्रीय सबक यह है कि आर्टिफिशियल इंटेलिजेंस के जटिल परिदृश्य में, एक संकेत सांख्यिकीय रूप से मजबूत और गणितीय रूप से संरचित हो सकता है, फिर भी निर्णय लेने के लिए बेकार हो सकता है। शोधकर्ता ने दिखाया कि मॉडल के आंतरिक पैटर्न वाक्य की कठिनाई के बजाय बोली जाने वाली भाषा से गहराई से जुड़े हो सकते हैं, और एक संकेत "कठिनाई" की एक परिभाषा के लिए पूरी तरह सह-संबंधित हो सकता है जबकि दूसरी के लिए बेकार हो सकता है। उनके निष्कर्ष बताते हैं कि कम-संसाधन वाली भाषाओं के लिए स्मार्ट, एडेप्टive सिस्टम बनाने से पहले, हमें यह सुनिश्चित करना होगा कि हमारे परीक्षण स्वच्छ हों, हमारी धारणाओं की पुष्टि की गई हो, और सफलता की हमारी परिभाषाएँ हमारे वास्तविक लक्ष्यों के अनुरूप हों। जब तक ऐसा नहीं होता, सबसे विश्वसनीय रणनीति केवल शक्तिशाली मॉडल का हर चीज़ के लिए उपयोग करना ही बनी रहेगी, क्योंकि जो शॉर्टकट हम बनाने की कोशिश करते हैं, वे अक्सर हमें वापस उसी शुरुआती बिंदु पर ले आते हैं।