Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

भाषा मॉडल उन डिजिटल उपकरणों के पीछे के इंजन हैं जिनका हम आज उपयोग करते हैं, जो पाठ उत्पन्न करने, भाषाओं का अनुवाद करने और आश्चर्यजनक प्रवाह के साथ प्रश्नों के उत्तर देने में सक्षम हैं। यह समझने के लिए कि ये सिस्टम कैसे काम करते हैं, शोधकर्ता अक्सर यह देखते हैं कि वे मानवीय संचार के निर्माण खंडों, जैसे कि तीव्रता का वर्णन करने वाले विशेषणों को कैसे संभालते हैं। "गर्म" (warm), "तप्त" (hot) और "उबलता हुआ" (boiling) जैसे शब्द बढ़ती गर्मी के पैमाने पर मौजूद होते हैं, और मनुष्य स्वाभाविक रूप से समझते हैं कि यदि कोई चीज़ उबल रही है, तो वह कम से कम गर्म भी है। इस तार्किक संबंध को 'एंटेलमेंट' (entailment) या निहितार्थ कहा जाता है। हालाँकि, मानव भाषा ऐसे घुमावों से भरी है जहाँ हम एक कमजोर शब्द को केवल इसलिए नकारते नहीं हैं कि उसका विपरीत सत्य है, बल्कि इसलिए कि मजबूत शब्द ही सही है। जब कोई कहता है कि सूप "गर्म नहीं बल्कि उबलता हुआ" है, तो वे यह नहीं नकार रहे होते कि सूप में ऊष्मा है; बल्कि वे "गर्म" को एक कमतर वर्णन के रूप में अस्वीकार कर रहे होते हैं। इस प्रकार का विशिष्ट सुधार, जहाँ वक्ता एक कमजोर विवरण को एक मजबूत विवरण से बदल देता है, इस बात का सूक्ष्म परीक्षण है कि क्या कोई मशीन वास्तव में शब्दों के बीच के संबंध को समझती है या केवल पैटर्न मिला रही है।

शोधकर्ताओं की एक टीम ने यह देखने के लिए हाथ लगाया कि क्या आधुनिक भाषा मॉडल इस पेचीदा भाषाई क्षेत्र में नेविगेट कर सकते हैं। उन्होंने 'करेक्टिव नेगेशन बाय एクセस' (corrective negation by excess) नामक घटना पर ध्यान केंद्रित किया, जहाँ एक वाक्य एक मजबूत शब्द की पुष्टि करने के लिए एक कमजोर विशेषण को नकारता है। टीम ने अंग्रेजी, स्पेनिश और फ्रेंच के सैकड़ों विशेषणों के जोड़े एकत्र किए, जैसे कि "धुंधला" (dim) और "अंधेरा" (dark) या "अच्छा" (good) और "उत्कृष्ट" (excellent), जो तीव्रता के क्रम में व्यवस्थित हैं। इसके बाद उन्होंने पांच अलग-अलग भाषा मॉडलों से विभिन्न स्थितियों के तहत इन जोड़ों का निर्णय लेने के लिए कहा। सबसे पहले, उन्होंने पुष्टि की कि क्या मॉडल शब्दों के क्रम को जानते थे, यह पहचानते हुए कि "अंधेरा" (dark), "धुंधला" (dim) का एक मजबूत संस्करण है। इसके बाद, उन्होंने परीक्षण किया कि क्या मॉडल यह समझते थे कि यदि कोई चीज़ "अंधेरी" है, तो वह कम से कम "धुंधली" भी होनी चाहिए। अंत में, उन्होंने मॉडलों के सामने सुधारात्मक वाक्य प्रस्तुत किए, जैसे "यह धुंधला नहीं बल्कि अंधेरा है," और पूछा कि क्या वस्तु अभी भी कम से कम "धुंधली" है।

परिणामों ने इस बात को उजागर किया कि मॉडल क्या जानते हैं और वे उस ज्ञान को कैसे लागू करते हैं, इसके बीच एक महत्वपूर्ण अंतर है। उन इकाइयों पर जहाँ मॉडलों ने शब्दों के क्रम को सही ढंग से पहचाना और इस बुनियादी तर्क को स्वीकार किया कि "अंधेरा" शब्द "धुंधला" को समाहित करता है, वे सकारात्मक कथन को 93.4% बार समझने में सफल रहे। उन्होंने सरल निषेध (negation) वाले प्रश्नों का भी 99.2% बार सही उत्तर दिया, लेकिन यह उच्च सटीकता भ्रामक है: मॉडल आम तौर पर "नहीं" कहने की ओर झुके हुए थे (जिनमें "हाँ" की दर 34% से 44% के बीच थी), एक ऐसा पूर्वाग्रह जो उन प्रश्नों पर प्रदर्शन को कृत्रिम रूप से बढ़ा देता है जहाँ सही उत्तर "नहीं" होता है। जब उनके सामने सुधारात्मक वाक्य "यह धुंधला नहीं बल्कि अंधेरा है" आया, तो उनका प्रदर्शन तेजी से गिर गया। उन्हीं मदों पर जहाँ उन्होंने पहले शब्दों के बीच के संबंध को समझा था, वे 452 मामलों में सुधार को पहचानने में विफल रहे, जबकि केवल 6 मामलों में सफल रहे। यह समझने के बजाय कि सूप अभी भी गर्म है (बस अधिक गर्म है), मॉडलों ने अक्सर वाक्य को एक साधारण निषेध के रूप में माना, और यह निष्कर्ष निकाला कि वस्तु बिल्कुल भी धुंधली नहीं है।

यह विफलता शब्दों के बारे में उनके ज्ञान की कमी के कारण नहीं थी। जब शोधकर्ताओं ने उसी शब्द का उपयोग करके एक समान संरचना का परीक्षण किया, जैसे कि "यह धुंधला नहीं बल्कि बहुत धुंधला है," तो मॉडल उच्च सटीकता के साथ सफल रहे, उन्होंने इसे 94.4% बार सही पाया। यह सुझाव देता है कि मॉडल वाक्य की संरचना को तब संभाल सकते हैं जब शब्द समान हों, लेकिन वे तब लड़खड़ा जाते हैं जब उन्हें एक सुधारात्मक ढांचे के भीतर दो अलग-अलग शब्दों को जोड़ना पड़ता है। त्रुटि का पैटर्न परीक्षण किए गए सभी पांच मॉडलों और तीनों भाषाओं में सुसंगत था। कई उदाहरणों में, मॉडलों ने कमजोर शब्द के कम से कम होने के प्रश्न पर "नहीं" उत्तर दिया, जिससे उन्होंने वाक्य के दूसरे भाग को अनदेखा कर दिया जो सुधार प्रदान कर रहा था। यह इंगित करता है कि मॉडल इसलिए विफल नहीं हो रहे हैं क्योंकि वे विशेषणों को रैंक करने में असमर्थ हैं, बल्कि इसलिए क्योंकि वे उस अर्थ को ओवरराइड करने में संघर्ष करते हैं जब एक मजबूत विकल्प पेश किया जाता है।

अध्ययन ने यह भी पता लगाया कि क्या सुधार को अधिक स्पष्ट बनाना मदद कर सकता है। अंग्रेजी में, शोधकर्ताओं ने मानक "X नहीं बल्कि Y" (not X but Y) की तुलना "rather" शब्द वाले संस्करण से की, जिससे वाक्यांश "X नहीं बल्कि बल्कि Y" (not X but rather Y) बन गया। यह छोटा सा बदलाव, जो सुधार को अधिक स्पष्ट रूप से संकेत देता है, मॉडलों की सटीकता को 36.1% से बढ़ाकर 49.3% कर गया। हालांकि यह एक सुधार था, लेकिन यह पूर्ण समाधान नहीं था, क्योंकि मॉडल अभी भी आधे से अधिक मामलों में अर्थ को समझने में विफल रहे। शोधकर्ताओं ने उल्लेख किया कि स्पेनिश में, जहाँ सुधार के लिए एक विशिष्ट संयोजक (conjunction) का उपयोग किया जाता है, मॉडल अंग्रेजी या फ्रेंच की तुलना में थोड़ा बेहतर प्रदर्शन करते हैं, लेकिन मौलिक कठिनाई बनी हुई है। डेटा बताता है कि इन प्रणालियों के पास शब्दों के बीच के संबंधों का कच्चा ज्ञान है, लेकिन वे अक्सर उस ज्ञान का उपयोग करने में विफल रहते हैं जब वाक्य संरचना के लिए एक कमजोर विवरण को एक मजबूत विवरण के पक्ष में नकारना आवश्यक होता है।

इस निष्कर्ष के निहितार्थ अकादमिक जिज्ञासा से परे हैं। भाषा मॉडल का उपयोग समीक्षाओं का सारांश निकालने, फीडबैक का विश्लेषण करने और ग्राहकों की शिकायतों को संसाधित करने के लिए तेजी से किया जा रहा है। यदि कोई मॉडल ऐसी समीक्षा पढ़ता है जो कहती है कि उत्पाद "अच्छा नहीं बल्कि उत्कृष्ट" है, तो वह सुधारात्मक प्रकृति को समझने में विफल रहकर अत्यधिक प्रशंसा को एक नकारात्मक बयान के रूप में गलत समझ सकता है। शोधकर्ता निष्कर्ष निकालते हैं कि इन प्रणालियों के वर्तमान मूल्यांकन में इस विशिष्ट भाषाई चुनौती को शामिल करने की आवश्यकता है। यह जांचना पर्याप्त नहीं है कि क्या एक मॉडल जानता है कि "उत्कृष्ट" (outstanding), "अच्छा" (good) से अधिक है; मॉडल का परीक्षण इस बात पर भी किया जाना चाहिए कि क्या वह उस ज्ञान को लागू कर सकता है जब एक वाक्य एक कमजोर शब्द को नकार कर एक मजबूत शब्द की पुष्टि करता है। जब तक मॉडल इन सुधारों को विश्वसनीय रूप से नेविगेट नहीं कर सकते, तब तक वे मानवीय संचार के स्वर और इरादे को गलत समझने का जोखिम उठाते हैं, जिससे उच्च प्रशंसा आलोचना में बदल सकती है और उस सूक्ष्मता को खोया जा सकता है जो भाषा को इतना शक्तिशाली बनाती है।