MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference
यह शोध पत्र MERGE को प्रस्तुत करता है, जो एक ऐसा परीक्षण है जो मौजूदा नेचुरल लैंग्वेज इन्फरेंस (Natural Language Inference) डेटासेट्स के न्यूनतम अभिव्यक्ति प्रतिस्थापन (minimal expression replacements) को स्वचालित रूप से उत्पन्न करने के लिए मास्क्ड लैंग्वेज मॉडल्स (Masked Language Models) का उपयोग करता है, जिससे यह प्रकट होता है कि वर्तमान अत्याधुनिक रीजनिंग मॉडल इन गैर-एडवर्सरियल वेरिएंट्स (non-adversarial variants) के प्रति मजबूती से सामान्यीकरण करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को ड्राइविंग टेस्ट के लिए सिखा रहे हैं। आप उन्हें एक लाल कार दिखाते हैं, और वे सही ढंग से कहते हैं, "वह एक कार है।" आप उन्हें एक नीली कार दिखाते हैं, और वे कहते हैं, "वह एक कार है।" वे शानदार अंकों के साथ टेस्ट पास कर लेते हैं।
लेकिन फिर, आप एक पेचीदा सवाल पूछते हैं: "अगर मैं आपके उत्तर में 'कार' शब्द को बदलकर 'ट्रक' कर दूँ, तो क्या यह अभी भी समझ में आएगा?" या, "अगर मैं विवरण में रंग को 'लाल' से बदलकर 'नीला' कर दूँ, तो क्या तर्क (logic) बना रहेगा?"
यह बिल्कुल वैसा ही है जैसा कि पेपर MERGE (Minimal Expression-Replacement GEneralization) के बारे में है। यह एक नया तरीका है यह परीक्षण करने का कि क्या AI मॉडल वास्तव में तर्क करने में "स्मार्ट" हैं, या वे केवल पैटर्न को याद कर रहे हैं जैसे कि एक छात्र जो केवल उन विशिष्ट अभ्यास प्रश्नों को जानता है जिनका उसने अध्ययन किया था।
यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर का विवरण दिया गया है:
1. समस्या: "रटने वाला" बनाम "सोचने वाला"
वर्तमान AI मॉडल नेचुरल लैंग्वेज इन्फरेंस (NLI) में बहुत अच्छे हैं। यह एक ऐसा कार्य है जहाँ आपके पास दो वाक्य होते हैं:
- आधार (Premise): "एक लड़की एक छोटी लड़की को लेकर चलती है।"
- परिकल्पना (Hypothesis): "वहाँ एक छोटी लड़की है।"
- कार्य: क्या पहला वाक्य दूसरे को सिद्ध करता है? (हाँ)।
मॉडल मानक परीक्षणों पर लगभग 100% अंक प्राप्त करते हैं। लेकिन लेखकों को संदेह है कि ये मॉडल उन छात्रों की तरह हैं जिन्होंने टेस्ट के सटीक शब्दों को रट लिया है। वे वास्तव में तर्क को नहीं समझ रहे हैं; वे बस यह देख रहे हैं कि "लड़की" दोनों वाक्यों में मौजूद है।
2. समाधान: "न्यूनतम बदलाव" परीक्षण (MERE)
लेखकों ने MERGE नामक एक नया परीक्षण बनाया है। AI को कोई पूरी तरह से नया, भ्रमित करने वाला प्रश्न देने के बजाय, वे एक ऐसा प्रश्न लेते हैं जिसे AI पहले से जानता है और उसमें बहुत छोटे, न्यूनतम बदलाव करते हैं।
इसे "अंतर पहचानो" (Spot the Difference) के खेल की तरह समझें जिसमें एक ट्विस्ट है:
- मूल: "एक लड़की एक छोटी लड़की को लेकर चलती है।"
- बदलाव (The Swap): AI को इसे संभालने के लिए कहा जाता है: "एक लड़का एक छोटे लड़के को लेकर चलता है।" या "एक लड़की एक खुश लड़की को लेकर चलती है।"
इस खेल के नियम (जिसे MERE generation कहा जाता है) सख्त हैं:
- तर्क बनाए रखें: यदि मूल वाक्य का अर्थ "हाँ" था, तो नया वाला भी "हाँ" होना चाहिए।
- संरचना बनाए रखें: व्याकरण या वाक्य की लंबाई को न बदलें।
- ओवरलैप बनाए रखें: जो शब्द मूल में साझा किए गए थे, वे नए वाले में भी साझा होने चाहिए।
वे एक "मास्क्ड लैंग्वेज मॉडल" (एक बहुत ही स्मार्ट शब्द-सुझाव इंजन की तरह, जैसे आपके फोन के कीबोर्ड में होता है) का उपयोग इन बदलावों को स्वचालित रूप से सुझाने के लिए करते हैं।
3. नया स्कोरिंग सिस्टम: "निरंतरता की जाँच" (Consistency Check)
एक सामान्य परीक्षण में, यदि आप 90% सही पाते हैं, तो आप पास हो जाते हैं। लेकिन MERGE परीक्षण में, स्कोरिंग अधिक सख्त है।
कल्प laइए कि आपके पास एक मूल प्रश्न (Seed) है और उसके 20 थोड़े अलग संस्करण (Variants) हैं।
- पुराना तरीका: यदि AI 20 में से 18 सही पाता है, तो इसे उच्च स्कोर मिलता है।
- MERGE तरीका: AI को उस मूल प्रश्न को "हल किया हुआ" मानने के लिए सभी (या लगभग सभी) 20 वेरिएंट्स को सही करना होगा।
यदि AI मूल प्रश्न को सही पाता है लेकिन "लड़का" वाले संस्करण में विफल रहता है, तो इसका मतलब है कि AI केवल "लड़की" शब्द को याद कर रहा था, न कि "किसी को ले जाने वाले व्यक्ति" की अवधारणा को समझ रहा था।
4. परिणाम: AI टूट जाता है
लेखकों ने कई अलग-अलग AI मॉडलों पर इसका परीक्षण किया, छोटे मॉडलों से लेकर विशाल "लार्ज लैंग्वेज मॉडल्स" (LLMs) तक, जिनका उपयोग आप आज चैट करने के लिए कर सकते हैं।
निष्कर्ष चौंकाने वाले थे:
- "रटने वाले" विफल रहे: जब AI को इन सूक्ष्म बदलावों को संभालना पड़ा, तो इसके प्रदर्शन में काफी गिरावट आई। यह मूल प्रश्नों को संभाल सकता था, लेकिन जैसे ही शब्द थोड़े से बदले, यह भ्रमित हो गया।
- "निरंतरता" का अंतर: यहाँ तक कि सबसे अच्छे मॉडल भी लगातार केवल लगभग 50% वेरिएंट्स को ही संभाल सके। यदि परीक्षण के लिए उन्हें 60% या उससे अधिक परिवर्तनों पर सुसंगत होने की आवश्यकता थी, तो उनके स्कोर तेजी से गिर गए।
- सबसे कठिन शब्द: अध्ययन में पाया गया कि क्रियाओं (actions) को बदलना AI के लिए सबसे कठिन था, उसके बाद संज्ञा (चीजें), और फिर विशेषण (विवरण) आए। ऐसा लगता है कि AI सबसे अधिक संघर्ष करता है जब क्रिया बदल जाती है।
- कोई "जादुई" स्रोत नहीं: उन्होंने यह भी सोचा कि क्या AI बेहतर प्रदर्शन करता है यदि शब्द सुझाव उसी प्रकार के AI से आते हैं जो परीक्षण दे रहा है। उन्होंने पाया कि कोई अंतर नहीं था। यह मायने नहीं रखता था कि नए शब्द कहाँ से आए हैं; AI अभी भी संघर्ष करता था।
5. निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि वर्तमान AI मॉडल नाजुक (brittle) हैं। वे उन विशिष्ट समस्याओं को हल करने में उत्कृष्ट हैं जिन पर उन्हें प्रशिक्षित किया गया है, लेकिन उनमें वास्तविक "सामान्यीकरण" (generalization) की कमी है। उन्होंने तर्क के गहरे नियमों को नहीं सीखा है; उन्होंने केवल विशिष्ट पैटर्न को पहचानना सीख लिया है।
जब आप पैटर्न को थोड़ा सा बदलते हैं (जैसे "लड़की" को "लड़का" से बदलना), तो AI का आत्मविश्वास और सटीकता टूट जाती है। लेखक इसे MERGE टेस्ट कहते हैं, और यह दिखाता है कि हमें अभी भी एक लंबा रास्ता तय करना है इससे पहले कि AI वास्तव में इंसान की तरह "तर्क" कर सके, बजाय इसके कि वह एक तोते की तरह केवल "पैटर्न मैच" करे।
संक्षेप में: AI स्क्रिप्ट बोलने में बहुत अच्छा है, लेकिन यदि आप इसे एक शब्द बदलने के साथ सुधार (improvise) करने के लिए कहते हैं, तो यह जम जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।