Prompting language influences diagnostic reasoning and accuracy of large language models
यह अध्ययन प्रदर्शित करता है कि प्रॉम्पटिंग भाषा नैदानिक सेटिंग्स में अधिकांश बड़े भाषा मॉडलों के नैदानिक तर्क और सटीकता को महत्वपूर्ण रूप से प्रभावित करती है, जिसमें पांच में से चार मूल्यांकित मॉडलों में अंग्रेजी आम तौर पर फ्रांसीसी से बेहतर प्रदर्शन करती है, जो न्यायसंगत वैश्विक तैनाती के लिए एक महत्वपूर्ण बाधा को रेखांकित करती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास पाँच प्रतिभाशाली मेडिकल छात्रों की एक टीम है। वे अविश्वसनीय रूप से बुद्धिमान हैं, उन्होंने लाखों मेडिकल किताबें पढ़ी हैं और जटिल पहेलियों को हल कर सकते हैं। हालाँकि, इसमें एक पेच है: वे सभी अलग-अलग देशों में पढ़ाई कर चुके हैं, और उनकी सोचने की "मूल भाषा" अंग्रेजी है।
यह शोध पत्र इस बात का परीक्षण करता है कि ये छात्र अंग्रेजी बनाम फ्रेंच में मेडिकल केस हल करने के लिए पूछे जाने पर कैसा प्रदर्शन करते हैं। शोधकर्ता यह देखना चाहते थे कि क्या प्रश्न पूछने के लिए उपयोग की जाने वाली भाषा उत्तर की गुणवत्ता को बदल देती है।
यहाँ हमने जो पाया है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. सेटअप: "मेडिकल पहेली" परीक्षण
शोधकर्ताओं ने 180 मेडिकल पहेलियाँ (जिन्हें विनेट कहा जाता है) बनाईं। ये केवल बहुविकल्पीय प्रश्न नहीं थे; ये रोगियों के बारे में छोटी कहानियाँ थीं जिनमें लक्षण दिए गए थे, ठीक वैसे ही जैसे एक डॉक्टर वास्तविक क्लिनिक में देखता है।
- परीक्षण: उन्होंने ये पहेलियाँ पाँच अलग-अलग AI मॉडल (छात्रों) को दीं: o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1, और BioMistral।
- ट्विस्ट: उन्होंने प्रत्येक छात्र को एक ही पहेली दो बार दी: एक बार अंग्रेजी में और एक बार फ्रेंच में।
- ग्रेडर (ग्रेड देने वाले): दो वास्तविक डॉक्टरों ने शिक्षकों के रूप में कार्य किया। उन्होंने केवल यह नहीं देखा कि अंतिम उत्तर सही था या नहीं; उन्होंने पूरी विचार प्रक्रिया (तर्क) को 0 से 18 के पैमाने पर ग्रेड दिया। उन्होंने देखा कि:
- क्या छात्र ने सभी सुरागों पर ध्यान दिया?
- क्या तर्क सुदृढ़ था?
- क्या उन्होंने अन्य संभावनाओं पर विचार किया?
- क्या अंतिम निदान (diagnosis) सही था?
2. परिणाम: "अंग्रेजी का लाभ"
पाँच में से चार छात्रों के लिए, परिणाम स्पष्ट थे: वे अंग्रेजी बोलने में काफी बेहतर प्रदर्शन करते थे।
- अंतर: भले ही ये मॉडल फ्रेंच धाराप्रवाह बोल सकते हैं, लेकिन उनका "दिमाग" अंग्रेजी में बेहतर काम करता है। यह एक ऐसे संगीतकार की तरह है जो फ्रेंच में एक गाना बजा सकता है, लेकिन जब वह अंग्रेजी में बजाता है, तो उसकी उंगलियां अधिक तेजी से चलती हैं और उसकी लय अधिक सटीक होती है।
- स्कोर: औसतन, अंग्रेजी वाले उत्तर बेहतर थे, जो 18-पॉइंट स्केल पर एक उल्लेखनीय अंतर (0.37 और 0.91 के बीच) था।
- अंतर कहाँ हुआ: अंतर केवल अंतिम उत्तर तक सीमित नहीं था। जब उन्हें फ्रेंच में सोचने के लिए मजबूर किया गया, तो छात्रों ने अधिक तार्किक गलतियाँ कीं, अधिक सुराग छोड़े और उनका तर्क कमजोर रहा।
- उपमा: कल्पना कीजिए कि एक जासूस रहस्य सुलझा रहा है। अंग्रेजी में, वे सुरागों के निशान का पूरी तरह से पीछा करते हैं। फ्रेंच में, वे विचलित हो सकते हैं, कोई सुराग मिस कर सकते हैं, या किसी ऐसे निष्कर्ष पर कूद सकते हैं जो साक्ष्यों के साथ पूरी तरह फिट नहीं बैठता, भले ही वे अंततः सही नाम का अनुमान लगा लें।
3. अपवाद: "सुपर-स्टूडेंट"
एक मॉडल, o3, एकमात्र ऐसा था जिसमें अंग्रेजी और फ्रेंच के बीच कोई अंतर नहीं दिखा।
- क्यों? शोध पत्र सुझाव देता है कि इस मॉडल के पास एक विशेष "सुपरपावर" है जिसे उन्नत तर्क क्षमता (advanced reasoning capabilities) कहा जाता है। ऐसा लगता है कि जैसे-जैसे AI समस्याओं को चरण-दर-चरण सोचने (जैसे अपने दिमाग में जटिल गणित करना) में बेहतर होता जाता है, भाषा की बाधा समाप्त होने लगती है। यह उस छात्र की तरह है जिसने पहेली के तर्क में इतनी महारत हासिल कर ली है कि निर्देश किस भाषा में लिखे गए हैं, इससे कोई फर्क नहीं पड़ता।
4. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र का तर्क है कि भाषा केवल AI के लिए एक बाहरी आवरण नहीं है; यह उसके सोचने के तरीके का हिस्सा है।
- "ट्रेनिंग डाइट" की समस्या: इन सभी AI मॉडल्स को अंग्रेजी डेटा के विशाल ढेर पर प्रशिक्षित किया गया था (जैसे एक छात्र जिसने केवल अंग्रेजी की पाठ्यपुस्तकें पढ़ी हों)। भले ही वे फ्रेंच का अनुवाद कर सकते हों, लेकिन मेडिकल रीजनिंग के लिए उनकी "मसल मेमोरी" अंग्रेजी पैटर्न पर बनी है।
- जोखिम: यदि कोई डॉक्टर फ्रेंच भाषी अस्पताल में इन उपकरणों का उपयोग करता है, तो AI अंग्रेजी बोलने वाले डॉक्टर की तुलना में थोड़ा कम सटीक निदान या कम स्पष्ट व्याख्या दे सकता है।
- निष्कर्ष: शोध पत्र निष्कर्ष निकालता है कि AI को हर जगह वास्तव में निष्पक्ष और उपयोगी होने के लिए, हम केवल अंग्रेजी पर निर्भर नहीं रह सकते। हमें यह सुनिश्चित करना होगा कि ये मॉडल फ्रेंच (और अन्य भाषाओं) में भी उतने ही तेज हों जितने वे अंग्रेजी में हैं।
सारांश
इन AI मॉडल्स को बहुभाषी शेफ (रसोइयों) के रूप में समझें। यदि आप उन्हें अंग्रेजी में रेसिपी देते हैं, तो वे एक शानदार भोजन (निदान) बना सकते हैं। यदि आप उन्हें वही रेसिपी फ्रेंच में देते हैं, तो पाँच में से चार शेफ अभी भी एक अच्छा भोजन बनाएंगे, लेकिन उसमें मसाले थोड़े कम हो सकते हैं या उसकी प्रस्तुति थोड़ी बिगड़ सकती है। केवल एक शेफ (o3) रेसिपी की भाषा के बावजूद बिल्कुल वैसा ही परफेक्ट भोजन बनाता है।
शोध पत्र हमें चेतावनी देता है कि जब तक हम इस "भाषा पूर्वाग्रह" (language bias) को ठीक नहीं कर लेते, तब तक गैर-अंग्रेजी परिवेश में इन उपकरणों पर भरोसा करने का अर्थ थोड़ा कम गुणवत्ता वाला परिणाम प्राप्त करना हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।