Cross-Lingual Response Consistency in Large Language Models: An ILR-Informed Evaluation of Claude Across Six Languages
यह शोध पत्र छह भाषाओं में क्लॉड (Claude) की क्रॉस-लिंगुअल निरंतरता का आकलन करने के लिए ILR स्किल लेवल विवरणों का उपयोग करते हुए एक नवीन मूल्यांकन ढांचे को प्रस्तुत करता है, जो लंबाई, शैली और सांस्कृतिक अंशांकन में महत्वपूर्ण डोमेन-निर्भर विविधताओं को प्रकट करता है जो न्यायसंगत बहुभाषी एआई परिनियोजन के लिए स्वचालित मेट्रिक्स को विशेषज्ञ गुणात्मक निर्णय के साथ संयोजित करने की आवश्यकता को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास क्लॉड (Claude) नाम का एक बहुत ही बुद्धिमान, बहुभाषी रोबोट है। आप उससे छह अलग-अलग भाषाओं में बिल्कुल एक ही सवाल पूछते हैं: अंग्रेजी, फ्रेंच, जर्मन, स्पेनिश, इतालवी और रोमानियाई। आप उम्मीद कर सकते हैं कि रोबोट के उत्तर गुणवत्ता, लहजे और सांस्कृतिक स्वाद में समान होंगे, बस अनुवादित किए गए होंगे।
यह शोध पत्र कहता है: नहीं, ऐसा नहीं होता है।
लेखिका, कैमेलिया बालूटा (Camelia Baluta), एक "भाषा जासूस" की तरह हैं जिन्होंने यह जांचने के लिए कि क्लॉड कैसा व्यवहार करता है, नियमों का एक विशेष सेट (जिसे ILR फ्रेमवर्क कहा जाता है, जिसका उपयोग आमतौर पर मानव भाषा कौशल को ग्रेड देने के लिए किया जाता है) का उपयोग किया। उन्होंने रोबोट के साथ एक ऐसे छात्र की तरह व्यवहार किया जो छह अलग-अलग भाषाओं में परीक्षा दे रहा है, ताकि यह देखा जा सके कि क्या वह निष्पक्ष खेल खेल रहा है।
यहाँ उन्होंने जो पाया है, उसे कुछ रोजमर्रा के उपमाओं (analogies) के साथ समझाया गया है:
1. "लंबी फ्रेंच बनाम संक्षिप्त जर्मन" प्रभाव
निष्कर्ष: जब एक ही सवाल पूछा गया, तो रोबोट के फ्रेंच संस्करण ने जर्मन संस्करण की तुलना में 30% लंबे उत्तर लिखे।
उपमा: कल्पना कीजिए कि आप पेरिस में एक टूर गाइड और बर्लिन में एक टूर गाइड से पूछते हैं, "मुझे इस इमारत के बारे में बताओ।" पेरिस वाला गाइड आपको बहुत सारी विस्तृत जानकारी और इतिहास के साथ एक लंबी, घुमावदार कहानी सुना सकता है। बर्लिन वाला गाइड आपको तथ्य, तारीख और वास्तुकार बताकर रुक सकता है। दोनों सही हैं, लेकिन आपको कितनी जानकारी मिलेगी यह पूरी तरह से इस पर निर्भर करता है कि आप कौन सी भाषा बोलते हैं।
2. "रचनात्मक बनाम तकनीकी" विभाजन
निष्कर्ष: जब रोबोट को रचनात्मक होने (जैसे कहानी लिखना) या भावनात्मक होने के लिए कहा गया, तो उसके उत्तर सबसे अधिक भिन्न थे। जब तकनीकी तथ्यों या भाषा के नियमों के बारे में पूछा गया, तो वे सबसे अधिक समान थे।
उपमा: रोबोट को एक अभिनेता के रूप में सोचें।
- तकनीकी मोड: जब गणित की समस्या समझाने के लिए कहा जाता है, तो अभिनेता "वर्दी" पहन लेता है और हर भाषा में एक ही स्क्रिप्ट बोलता है। यह उबाऊ है लेकिन सुसंगत है।
- रचनात्मक मोड: जब बारिश के बारे में कविता लिखने के लिए कहा जाता है, तो अभिनेता वर्दी उतार देता है। रोमानियाई में, बारिश एक "सांस लेते हुए जीवित शहर" जैसी महसूस हो सकती है। अंग्रेजी में, यह सिर्फ "धूसर बादल" हो सकती है। रोबोट केवल अनुवाद नहीं कर रहा है; वह वास्तव में उस भाषा के आधार पर कहानी को अलग तरह से महसूस कर रहा है।
3. "अस्पष्टता का नृत्य" (The Ambiguity Dance)
निष्कर्ष: जब सवाल अस्पष्ट था (जैसे, "उन्होंने कहा कि हमें नहीं आना चाहिए। अब हम क्या करें?"), तो रोबोट ने सांस्कृतिक आदतों के आधार पर अलग-अलग प्रतिक्रिया दी।
उपमा: कल्पना कीजिए कि दोस्तों का एक समूह एक रहस्य सुलझाने की कोशिश कर रहा है।
- जर्मन दोस्त: कहता है, "मैं तब तक जवाब नहीं दे सकता जब तक आप मुझे ठीक से नहीं बताते कि 'वे' कौन हैं।" (उन्हें सटीकता चाहिए)।
- स्पेनिश/इतालवी दोस्त: कहता है, "खैर, मान लेते हैं कि उनका मतलब पड़ोसियों से है, तो आपको यह करना चाहिए..." (वे मददगार होने के लिए खाली जगहों को भर देते हैं)।
- फ्रेंच दोस्त: कहता है, "यह एक पेचीदा स्थिति है जिसमें कई संभावनाएं हैं, लेकिन यहाँ सोचने का एक तरीका है..." (वे अस्पष्टता का आनंद लेते हैं)।
रोबोट ने इन वास्तविक दुनिया के सांस्कृतिक अभ्यासों की नकल पूरी तरह से की।
4. "सांस्कृतिक अंध बिंदु" (The Cultural Blind Spot - सबसे बड़ा आश्चर्य)
निष्कर्ष: यह सबसे महत्वपूर्ण हिस्सा है। रोबोट कुछ सांस्कृतिक चीजों में बहुत अच्छा था लेकिन कुछ में बहुत खराब।
- जहाँ वह स्मार्ट था: जब रोमानियाई में कहानी लिखने के लिए कहा गया, तो उसने मशरूम और बारिश के बारे में एक विशिष्ट रोमानियाई लोक कहावत का उपयोग किया जो किसी अंग्रेजी पुस्तक में नहीं मिलेगी। जर्मन में मदद के लिए पूछे जाने पर, उसने एक विशिष्ट जर्मन संकट हेल्पलाइन नंबर दिया।
- जहाँ वह "सामान्य" था: जब किसी मृत परिवार के सदस्य को सम्मान देने के बारे में पूछा गया, तो उसने एक सामान्य, "पश्चिमी" उत्तर दिया। वह विशिष्ट रोमानियाई धार्मिक अनुष्ठानों (जैसे parastas या coliva) को भूल गया जो एक वास्तविक रोमानियाई व्यक्ति को पता होंगे।
उपमा: एक ऐसे शेफ की कल्पना करें जो एक उत्तम, प्रामाणिक इतालवी पिज्जा और एक उत्तम, प्रामाणिक जापानी सुशी बना सकता है। लेकिन जब आप उससे पारंपरिक रोमानियाई स्टू (stew) बनाने के लिए कहते हैं, तो वह एक सामान्य "सूप" बनाता है जिसका स्वाद कहीं से भी आ सकता है। रोबोट के पास "सांस्कृतिक पॉकेट" होते हैं—वह कुछ गहरे सांस्कृतिक रहस्यों को जानता है लेकिन दूसरों को चूक जाता है, जो विषय पर निर्भर करता है।
5. यह क्यों मायने रखता है ("दो-परत" परीक्षण)
निष्कर्ष: लेखिका ने इन उत्तरों को खोजने के लिए दो-चरणीय विधि का उपयोग किया।
- परत 1 (कैलकुलेटर): शब्दों को गिना और यह मापा कि टेक्स्ट कितना समान दिखता है। इसने उसे बताया, "हे, रोमानियाई कहानी अंग्रेजी वाली से बहुत अलग दिखती है।"
- परत 2 (विशेषज्ञ): एक मानव विशेषज्ञ (लेखिका) ने यह पूछने के लिए उत्तरों को पढ़ा कि, "क्या यह अंतर एक गलती है, या यह वास्तव में एक सुंदर सांस्कृतिक विकल्प है?"
उपमा: एक कैलकुलेटर आपको बता सकता है कि दो पेंटिंग्स के रंग अलग हैं। लेकिन केवल एक मानव कला समीक्षक ही बता सकता है कि क्या एक पेंटिंग "टूटी हुई" है या यह केवल एक अलग शैली की कला है। यह शोध पत्र तर्क देता है कि इन सूक्ष्मताओं को समझने के लिए हमें कैलकुलेटर और मानव विशेषज्ञ दोनों की आवश्यकता है।
निचोड़
शोध पत्र निष्कर्ष निकालता है कि क्लॉड जैसे AI मॉडल केवल "अनुवादक" नहीं हैं। वे सांस्कृतिक गिरगिट (cultural chameleons) हैं। वे जिस भाषा में बोल रहे होते हैं, उसके आधार पर अपना व्यक्तित्व, लंबाई और गहराई बदलते हैं। कभी-कभी यह एक सुंदर अनुकूलन होता है (जैसे रोमानियाई कहानी), और कभी-कभी यह एक कमी होती है (जैसे गायब रोमानियाई अंतिम संस्कार परंपराएं)।
लेखिका चेतावनी देती हैं कि यदि हम केवल "तथ्य-जांच" (fact-checking) स्कोर देखते हैं, तो हम इन सूक्ष्म लेकिन महत्वपूर्ण अंतरों को छोड़ देते हैं। सभी के लिए निष्पक्ष AI बनाने के लिए, हमें यह सुनने की आवश्यकता है कि रोबोट हर भाषा में कैसे बोलता है, न कि केवल यह जांचना कि उसने तथ्य सही प्राप्त किए या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।