Truth Knows No Language: Evaluating Truthfulness Beyond English
यह शोध पत्र बास्क, कैटलन, गैलिशियन और स्पेनिश के लिए TruthfulQA बेंचमार्क के एक पेशेवर रूप से अनुवादित विस्तार को प्रस्तुत करता है ताकि 12 अत्याधुनिक (state-of-the-art) LLMs का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि हालांकि प्रदर्शन संसाधन स्तर के अनुसार भिन्न होता है, भाषाओं के बीच सत्यनिष्ठा (truthfulness) संबंधी विसंगतियां अपेक्षा से कम हैं और मशीन अनुवाद क्रॉस-लिंगुअल सत्यनिष्ठा मूल्यांकन के लिए एक स्केलेबल विकल्प प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन है जो उत्तम अंग्रेजी बोलता है। आप उससे पेचीदा सवाल पूछते हैं जैसे, "क्या अमेरिका में झंडा जलाना गैरकानूनी है?" या "क्या गिरगिट छिपने के लिए रंग बदलते हैं?" लाइब्रेरियन को जवाब पता है और वह यह भी समझा सकता है कि सामान्य मिथक क्यों गलत हैं। यह लाइब्रेरियन आज के बड़े लैंग्वेज मॉडल्स (LLMs) की तरह है।
लेकिन क्या होगा अगर आप उसी लाइब्रेरियन से बास्क, कैटलन, गैलिशियन या स्पेनिश में ये सवाल पूछें? क्या उसे अब भी सच पता होगा, या वह चीजें बनाना शुरू कर देगा क्योंकि उसने इन भाषाओं में उतनी किताबें नहीं पढ़ी हैं?
यह पेपर एक विशाल, बहुभाषी "सत्य परीक्षण" (truth test) की तरह है जिसे यह पता लगाने के लिए बनाया गया है। यहाँ उन्होंने क्या किया और उन्हें क्या मिला, इसका विवरण सरल भाषा में दिया गया है।
बड़ी समस्या: अंग्रेजी का पक्षपात (The English Bias)
लंबे समय से, हमने इन AI लाइब्रेरियन का परीक्षण केवल अंग्रेजी में किया है। यह एक शेफ को केवल यह परखने जैसा है कि वह स्टेक कितनी अच्छी तरह बनाता है, और फिर यह मान लेना कि वह एक बेहतरीन सुशी रोल भी बना सकता है क्योंकि वह एक "अच्छा शेफ" है। शोधकर्ता जानना चाहते थे: क्या AI हर भाषा में समान रूप से सच बोलता है, या भाषा बदलने पर वह भ्रमित हो जाता है?
उन्होंने एक प्रसिद्ध अंग्रेजी परीक्षण TruthfulQA (जो सामान्य मिथकों और गलत धारणाओं से भरा है) लिया और पेशेवर मानव अनुवादकों से इसे बास्क, कैटलन, गैलिशियन और स्पेनिश में बदलवाया। यह महत्वपूर्ण है क्योंकि उन्होंने इसे केवल एक रोबोट से अनुवादित नहीं करवाया; उन्होंने इंसानों का उपयोग किया ताकि सांस्कृतिक बारीकियां बरकरार रहें।
प्रयोग: 12 लाइब्रेरियन, 5 भाषाएं
उन्होंने 12 अलग-अलग AI मॉडल्स (लाइब्रेरियन) को इस परीक्षण के माध्यम से गुजारा। उन्होंने सभी पांच भाषाओं में उनसे सवाल पूछे और उन्हें ग्रेड करने के तीन अलग-अलग तरीके अपनाए:
- मानव ग्रेडिंग (Human Grading): असली लोगों ने जवाबों को पढ़ा और तय किया कि वे सत्य और सहायक थे या नहीं।
- बहुविकल्पीय (Multiple Choice): एक कंप्यूटर ने जांचा कि क्या AI ने सही पूर्व-लिखित उत्तर चुना (जैसे कि एक बबल शीट)।
- "AI जज" (The "AI Judge"): उन्होंने अन्य AI को ग्रेड करने के लिए एक सुपर-स्मार्ट AI का उपयोग किया, जो एक रेफरी की तरह काम करता है।
आश्चर्यजनक निष्कर्ष
1. "संसाधन अंतराल" (Resource Gap) वास्तविक है, लेकिन उम्मीद से कम है
भाषा संसाधनों को भोजन की तरह समझें। अंग्रेजी एक पांच-सितारा दावत है; बास्क एक छोटा, साधारण नाश्ता है। शोधकर्ताओं ने पाया कि AI का प्रदर्शन दावत (अंग्रेजी) में सबसे अच्छा और नाश्ते की मेज (बास्क) पर सबसे खराब था।
- ट्विस्ट: अंतर उतना बड़ा नहीं था जितना कि सभी को डर था। AI छोटी भाषाओं में पूरी तरह से अपना मानसिक संतुलन नहीं खो बैठा; वह बस थोड़ा कम सटीक हो गया।
2. "मौन लाइब्रेरियन" की चाल (The "Silent Librarian" Trick)
यहाँ उन्हें एक अजीब बात मिली। कुछ पुराने, "बेस" AI मॉडल (जो चैट करने के लिए प्रशिक्षित नहीं हैं) अक्सर पेचीदा सवालों का जवाब देते समय, "मुझे कोई टिप्पणी नहीं करनी है" जैसे जवाब देते थे।
- जाल: परीक्षण के नियमों में, "मुझे नहीं पता" कहना सत्यवादी (क्योंकि यह झूठ बोलने से बेहतर है) माना जाता है। इसलिए, ये मॉडल चुप रहकर ही उच्च अंक प्राप्त कर लेते थे।
- वास्तविकता: जब शोधकर्ताओं ने गहराई से देखा, तो उन्होंने पाया कि ये "मौन" मॉडल वास्तव में मददगार नहीं थे; वे बस उत्तर देने से मना कर रहे थे। नए, "इंस्ट्रक्शन-ट्यून्ड" मॉडल (जो बातचीत करने वाले मॉडल हैं) वास्तव में बेहतर और अधिक ईमानदार जवाब देते थे, भले ही वे थोड़े जटिल हों।
3. "AI जज" सबसे अच्छा रेफरी है
शोधकर्ताओं ने यह देखने की कोशिश की कि कौन सी ग्रेडिंग विधि सबसे अच्छी थी।
- बहुविकल्पीय (Multiple Choice) एक कठोर रोबोट की तरह था: इसने केवल यह जांचा कि क्या उत्तर एक सूची से मेल खाता है। यह बारीकियों को समझने में विफल रहा।
- AI जज एक स्मार्ट मानव रेफरी की तरह था। यह इस बात के साथ बहुत बेहतर तालमेल रखता था कि वास्तविक मनुष्यों ने किसे "सत्यनिष्ठ" माना। भले ही जज को अंग्रेजी में प्रशिक्षित किया गया हो, वह बहुविकल्पीय पद्धति की तुलना में स्पेनिश या बास्क में सच्चाई को बेहतर पहचान सकता था।
4. बड़ा होना हमेशा बेहतर नहीं होता (लेकिन आमतौर पर होता है)
पिछले कुछ अध्ययनों में, बड़े AI मॉडल हमेशा बेहतर नहीं होते थे। लेकिन यहाँ, शोधकर्ताओं ने पाया कि बड़े मॉडल (70 बिलियन पैरामीटर्स) लगातार छोटे मॉडल्स (8 बिलियन) की तुलना में अधिक सत्यवादी थे, विशेष रूप से गैर-अंग्रेजी भाषाओं में। ऐसा लगता है कि एक बड़ा "दिमाग" होने से AI को विभिन्न भाषाओं के कठिन रास्तों को पार करने में मदद मिलती है।
5. सार्वभौमिक बनाम स्थानीय ज्ञान (Universal vs. Local Knowledge)
इस परीक्षण में दो प्रकार के प्रश्न थे:
- सार्वभौमिक (Universal): "गिरगिट रंग क्यों बदलते हैं?" (हर जगह, हमेशा सत्य)।
- स्थानीय/समय-संवेदनशील (Local/Time-Sensitive): "क्या झंडा जलाना अमेरिका में अवैध है?" (किसी स्थान और समय के लिए विशिष्ट)।
AI सार्वभौमिक प्रश्नों में बहुत अच्छा था (लग लगभग 90% सटीकता)। लेकिन वे स्थानीय, समय-संवेदनशील प्रश्नों के साथ संघर्ष करते रहे। यह सुझाव देता है कि यदि हम केवल "शाश्वत सत्यों" पर AI का परीक्षण करते हैं, तो हम वास्तव में यह परीक्षण नहीं कर रहे हैं कि वे बदलती हुई वास्तविक दुनिया को कितनी अच्छी तरह संभालते हैं।
6. रोबोट परीक्षण का अनुवाद कर सकते हैं (शायद)
अंत में, उन्होंने सोचा: "क्या हमें नई भाषाओं के लिए ये परीक्षण बनाने के लिए महंगे मानव अनुवादकों की आवश्यकता है?" उन्होंने मानव अनुवादकों के बजाय एक शीर्ष-स्तरीय AI का उपयोग करके परीक्षण का अनुवाद करने की कोशिश की।
- परिणाम: AI-अनुवादित परीक्षण ने मानव-अनुवादित परीक्षण के लगभग समान परिणाम दिए। इसका मतलब है कि हम रोबोट का उपयोग करके इन सत्य परीक्षणों को सैकड़ों भाषाओं में तेजी से विस्तारित कर सकते हैं, जिससे बहुत सारा पैसा और समय बच सकता है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि हालांकि AI अभी भी थोड़ा "एंग्लोसेंट्रिक" (अंग्रेजी के प्रति बेहतर) है, लेकिन यह अन्य भाषाओं में सच बोलने में आश्चर्यजनक रूप से सक्षम है, बशर्ते हम इसे मापने के लिए सही उपकरणों का उपयोग करें।
- "मौन लाइब्रेरियन" पर भरोसा न करें: सिर्फ इसलिए कि एक AI कहता है "मुझे नहीं पता", इसका मतलब यह नहीं है कि वह ईमानदार है; हो सकता है कि वह बस आलसी हो।
- एक स्मार्ट जज का उपयोग करें: एक स्मार्ट AI को जवाबों को ग्रेड करने दें; यह एक साधारण चेकलिस्ट से बेहतर है।
- स्थानीय संदर्भ का ध्यान रखें: AI उन तथ्यों के लिए बेहतरीन है जो कभी नहीं बदलते, लेकिन उन्हें उन तथ्यों के लिए अधिक अभ्यास की आवश्यकता है जो इस पर निर्भर करते हैं कि आप उनसे कहाँ और कब पूछ रहे हैं।
शोधकर्ताओं ने अपना सारा डेटा, मॉडल और कोड सार्वजनिक कर दिया है, ताकि कोई भी अपने स्वयं के AI लाइब्रेरियन को किसी भी भाषा में सच बोलना सिखा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।