TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs
यह शोध पत्र ट्रीप्रोब (TreeProbe) प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) में सांस्कृतिक पूर्वाग्रह का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो तिब्बती चिकित्सा के संरचित सैद्धांतिक ढांचे के प्रति उनके अनुपालन का परीक्षण करके यह प्रकट करता है कि वर्तमान मॉडल अक्सर प्रमुख बायोमेडिकल या पारंपरिक चीनी चिकित्सा प्रतिमानों की ओर व्यवस्थित ज्ञान संबंधी विचलन (epistemic drift) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-तकनीकी पुस्तकालय में प्रवेश कर रहे हैं जहाँ किताबें सुपर-स्मार्ट रोबोटों द्वारा लिखी गई हैं। ये रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, इंटरनेट पर लगभग सब कुछ पढ़ चुके हैं। वे सवाल पूछने, कहानियाँ लिखने और यहाँ तक कि डॉक्टर होने का नाटक करने में भी अद्भुत हैं। लेकिन इसमें एक पेंच है: उनके द्वारा पढ़ी गई अधिकांश किताबें अंग्रेजी में लिखी गई थीं और पश्चिमी विज्ञान पर आधारित थीं। इसलिए, जब आप उनसे किसी अलग संस्कृति की चिकित्सा पद्धति के बारे में पूछते हैं—जैसे कि तिब्बती चिकित्सा, जिसकी शरीर और बीमारी के बारे में अपनी अनूठी सोच है—तो वे भ्रमित हो जाते हैं। तिब्बती नियमों का उपयोग करने के बजाय, वे अनजाने में पश्चिमी नियमों या यहाँ तक कि चीनी चिकित्सा के नियमों को अपना लेते हैं, जैसे कि एक शेफ जिसे केवल पिज्जा बनाना आता है और वह अचानक पिज्जा डो का उपयोग करके सुशी बनाने की कोशिश करता है। यह शोध पत्र एक विशेष परीक्षण बनाने के बारे में है जिससे यह देखा जा सके कि ये रोबोट ठीक कैसे और क्यों यह गलती करते हैं, और वे सच्चाई से कितना "विचलित" होते हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व जिन झांग और चीन और तिब्बत के विश्वविद्यालयों की एक टीम ने किया है, TreeProbe नामक एक नया टूल बनाया है। तिब्बती चिकित्सा को एक विशाल, प्राचीन पेड़ के रूप में समझें जिसकी जड़ें बहुत गहरी हैं। यह शोध पत्र "ट्री ऑफ मेडिसिन" (चिकित्सा का वृक्ष) का उपयोग करता है, जो तिब्बती ग्रंथों से एक क्लासिक ढांचा है, ताकि 4,719 प्रश्नों वाला एक परीक्षण बनाया जा सके जो 467 विभिन्न बीमारियों को कवर करता है। उन्होंने रोबोटों से केवल साधारण सामान्य ज्ञान वाले सवाल नहीं पूछे; उन्होंने उनसे पूछा कि कोई बीमारी क्यों होती है, तिब्बती "तीन दोषों" (एक अवधारणा जो ऊर्जाओं को संतुलित करने के समान है) का उपयोग करके इसका निदान कैसे किया जाए, और विशिष्ट आहार या जड़ी-बूटियों के साथ इसका उपचार कैसे किया जाए।
टीम ने पाया कि आज के सबसे स्मार्ट रोबोट भी अभी भी संघर्ष कर रहे हैं। परीक्षण के दौरान, सर्वश्रेष्ठ मॉडल्स ने बहुविकल्पीय प्रश्नों के केवल लगभग 60% सही उत्तर दिए। लेकिन असली कहानी केवल यह नहीं है कि उन्होंने गलतियाँ कीं; बल्कि यह है कि उन्होंने कैसे गलतियाँ कीं। रोबनों ने केवल रैंडम अंदाज़े नहीं लगाए; वे लगातार अन्य चिकित्सा प्रणालियों की ओर विचलित हुए। कुछ मॉडल्स, जैसे कि एंथ्रोपिक (Claude) का मॉडल, पश्चिमी बायोमेडिकल सोच की ओर झुकते थे, जबकि अन्य, जैसे कि कुछ चीनी मॉडल्स, ट्रेडिशनल चाइनीज मेडिसिन (TCM) की ओर विचलित हुए। यह ऐसा है जैसे रोबोटों में एक "डिफ़ॉल्ट सेटिंग" है जो उस विशिष्ट तिब्बती ज्ञान को ओवरराइड कर देती है जिसे उन्हें उपयोग करना चाहिए।
शोधकर्ताओं ने यह भी पाया कि रोबोट भूमिका निभाने में कुशल हैं। वे धाराप्रवाह तिब्बती वाक्य लिख सकते हैं जो व्याकरण की दृष्टि से एकदम सही दिखते हैं, लेकिन उनके भीतर की चिकित्सा सलाह अक्सर गलत या अन्य प्रणालियों के साथ मिली-जुली होती है। यह एक ऐसे रोबोट की तरह है जो उत्तम फ्रेंच बोलता है लेकिन आपसे जर्मन व्यंजन की रेसिपी मांगता है जब आपने उससे फ्रेंच व्यंजन माँगा हो। अध्ययन का सुझाव है कि ऐसा इसलिए होता है क्योंकि रोबोट्स को ऐसे डेटा पर प्रशिक्षित किया गया था जहाँ पश्चिमी और चीनी चिकित्सा विचार तिब्बती विचारों की तुलना में बहुत अधिक सामान्य हैं। जब रोबोट फंस जाता है, तो वह उसी पर वापस लौट आता है जिसे वह सबसे अच्छी तरह जानता है, और अनजाने में तिब्बती चिकित्सा के अद्वितीय तर्क को मिटा देता है।
संक्षेप में, TreeProbe रोबोटों के लिए स्वयं एक डायग्नोस्टिक टूल के रूप में कार्य करता है। यह हमें दिखाता है कि AI को वास्तव में सभी के लिए निष्पक्ष और उपयोगी बनाने के लिए, हम केवल इसे अधिक डेटा नहीं दे सकते; हमें इसे दुनिया को जानने के विभिन्न तरीकों का सम्मान करना और समझना भी सिखाना होगा। यह शोध पत्र यह दावा नहीं करता कि इसने समस्या को अभी तक हल कर दिया है, लेकिन यह हमें एक स्पष्ट मानचित्र प्रदान करता है कि रोबोट कहाँ रास्ता भटक रहे हैं, जिससे डेवलपर्स को भविष्य में बेहतर, अधिक सांस्कृतिक रूप से जागरूक AI बनाने में मदद मिलेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।