Beg to Differ: Understanding Reasoning-Answer Misalignment Across Languages
यह शोधपत्र एक मानव-सत्यापित ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि लैटिन लिपियों की तुलना में गैर-लैटिन लिपियों में बड़े भाषा मॉडल (LLMs) काफी अधिक तर्क-निष्कर्ष विसंगति (reasoning-conclusion misalignment) प्रदर्शित करते हैं, जो उच्च कार्य सटीकता के बावजूद होता है, जिससे वर्तमान बहुभाषी मूल्यांकन प्रथाओं में महत्वपूर्ण कमियां उजागर होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को इतिहास की परीक्षा देने के लिए काम पर रख रहे हैं। आप उन्हें अंग्रेजी, स्पेनिश, हिंदी और कोरियाई में एक ही परीक्षा देते हैं।
जांच करने का पुराना तरीका:
अतीत में, यदि छात्र कोरियाई अनुभाग में सही उत्तर देता था, तो आप कहते थे, "बहुत बढ़िया! वे इतिहास समझते हैं।" आप केवल उत्तर पुस्तिका पर भरे गए अंतिम गोले (bubble) को देखते थे।
नई खोज:
यह शोध पत्र कहता है: "ठहरिए। आइए देखते हैं कि वे वहां कैसे पहुंचे।"
शोधकर्ताओं ने छात्र के "रफ कार्य" (उनके तर्क) को पढ़ने और यह जांचने के लिए एक प्रणाली बनाई कि क्या तर्क वास्तव में उत्तर की ओर ले जाता है। उन्होंने एक चौंकाने वाली कमी पाई: छात्र अक्सर गलत कारणों से सही उत्तर प्राप्त कर रहा होता है, खासकर तब जब परीक्षा ऐसी भाषा में हो जिसमें वह उतना कुशल नहीं है।
सरल उपमाओं का उपयोग करते हुए इसका विवरण यहाँ दिया गया है:
1. "भाग्यशाली अनुमान" बनाम "वास्तविक तर्क"
एक छात्र की गणित की परीक्षा की कल्पना करें।
- परिदृश्य A (अंग्रेजी): वे चरण लिखते हैं: "2 + 2 = 4. 4 + 4 = 8।" फिर वे 8 पर गोला लगाते हैं।
- निर्णय: उत्तम। तर्क उत्तर का समर्थन करता है।
- परिदृश्य B (कोरियाई): वे लिखते हैं: "मुझे लगता है कि उत्तर 8 है क्योंकि... उह... नंबर अच्छे होते हैं? साथ ही, 2+2 चार होता है।" फिर वे 8 पर गोला लगाते हैं।
- निर्णय: उत्तर सही है, लेकिन तर्क निरर्थक है। वे भाग्यशाली रहे।
शोधकर्ताओं ने पाया कि गैर-लैटिन लिपियों (जैसे कोरियाई, अरबी, हिंदी) के लिए, मॉडल के "परिदृश्य B" में होने की संभावना बहुत अधिक थी। वे सही उत्तर तो दे रहे थे लेकिन वे इसे इस तरह से समझा नहीं पा रहे थे कि वह समझ में आए।
2. "लिपि" की समस्या
शोधकर्ताओं ने अक्षरों के आकार के बारे में कुछ अजीब देखा।
- लैटिन लिपियाँ (अंग्रेजी, स्पेनिश): मॉडल एक विश्वसनीय जीपीएस (GPS) की तरह थे। वे गंतव्य तक पहुँचने के लिए सही मोड़-दर-मोड़ निर्देश देते थे।
- गैर-लैटिन लिपियाँ (कोरियाई, अरबी, हिंदी): मॉडल एक नशे में धुत दोस्त की तरह थे जो दिशा-निर्देश दे रहा है। वे शायद आपको सही इमारत तक पहुँचा दें (सही उत्तर), लेकिन उनके द्वारा बताया गया रास्ता गड्ढों, विरोधाभासों या मनगढ़ंत तथ्यों से भरा होता है।
वास्तव में, लैटिन भाषाओं की तुलना में गैर-लैटिन भाषाओं में "नशे में धुत दोस्त" वाला व्यवहार दोगुना आम था। ऐसा नहीं था कि मॉडल कम जानते थे; बल्कि यह था कि उनकी सोचने की प्रक्रिया अलग तरह से टूट जाती थी।
3. "मैजिक 8-बॉल" प्रभाव
यह शोध पत्र इसे रीज़निंग-आंसर मिसअलाइनमेंट (Reasoning-Answer Misalignment) कहता है।
AI को एक मैजिक 8-बॉल के रूप में सोचें।
- यदि आप इसे अंग्रेजी में हिलाते हैं, तो यह कहता है "Outlook good" (भविष्य उज्ज्वल है) और इसके पीछे का एक तार्किक कारण देता है।
- यदि आप इसे कोरियाई में हिलाते हैं, तो यह अभी भी "Outlook good" (सही उत्तर) कह सकता है, लेकिन यदि आप बॉल के अंदर देखते हैं, तो दिया गया कारण यह होगा कि "क्योंकि सितारे संरेखित थे" या "क्योंकि मुझे ऐसा लगता है।"
AI मूल रूप से उत्तर का अनुमान लगाने के बाद एक औचित्य की कल्पना (hallucinating a justification) कर रहा है। वह उत्तर तक पहुँचने के लिए सोच नहीं रहा है; वह पहले उत्तर का अनुमान लगाता है और फिर स्मार्ट दिखने के लिए एक कहानी गढ़ लेता है।
4. यह क्यों मायने रखता है?
आप पूछ सकते हैं, "यदि उत्तर सही है, तो इससे क्या फर्क पड़ता है कि वे वहां कैसे पहुंचे?"
शोध पत्र का तर्क है कि मुद्दा विश्वास (Trust) का है।
- यदि कोई डॉक्टर बीमारी का निदान करने के लिए AI का उपयोग करता है, और AI कहता है "आपको फ्लू है" (सही), लेकिन तर्क यह है कि "क्योंकि आप थके हुए दिख रहे हैं और मुझे फ्लू पसंद है," तो यह खतरनाक है।
- यदि AI का उपयोग विभिन्न भाषाओं में कानूनी या राजनीतिक निर्णयों के लिए किया जाता है, और वह उन भाषाओं में "अनुमान" लगा रहा है जबकि अंग्रेजी में "सोच" रहा है, तो हम एक ऐसा सिस्टम बना रहे हैं जो दुनिया के आधे हिस्से के लिए अनुचित और अविश्वसनीय है।
निष्कर्ष (The Takeaway)
शोधकर्ताओं ने AI के लिए एक नया "रिपोर्ट कार्ड" बनाया है। केवल अंतिम उत्तर (A, B, C, या D) को ग्रेड देने के बजाय, वे उस निबंध को ग्रेड देते हैं जिसे AI वहां तक पहुँचने के लिए लिखता है।
उनका मुख्य निष्कर्ष: वर्तमान AI मॉडल अंग्रेजी तर्क में बहुत अच्छे हैं, लेकिन जब वे अन्य भाषाओं में स्विच करते हैं, तो वे अक्सर "सोचना" बंद कर देते हैं और केवल "पैटर्न मिलान" (pattern matching) करने लगते हैं। वे भाग्य या रटने के माध्यम से सही उत्तर प्राप्त करते हैं, लेकिन उनका आंतरिक तर्क बिखर जाता है।
संक्षेप में: सिर्फ इसलिए कि AI आपको सही उत्तर दे रहा है, इसका मतलब यह नहीं है कि वह वास्तव में प्रश्न को समझता है। और अभी, वे दुनिया के बाकी हिस्सों की तुलना में अंग्रेजी को बहुत बेहतर समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।