How Good LLMs Are at Answering Bangla Medical Visual Questions? Dataset and Benchmarking
यह शोध पत्र BanglaMedVQA प्रस्तुत करता है, जो बांग्ला मेडिकल विजुअल क्वेश्चन अनस्वियरिंग के लिए पहला नैदानिक रूप से मान्य डेटासेट और बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक फाउंडेशन मॉडल, जिनमें जेमिनी (Gemini) और GPT-4.1 मिनी (GPT-4.1 mini) शामिल हैं, कम-संसाधन वाली भाषाओं और जटिल चिकित्सा तर्क में निहित चुनौतियों के कारण विशिष्ट नैदानिक कार्यों पर काफी खराब प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, विद्वान रोबोटों (जिन्हें AI मॉडल कहा जाता है) का एक समूह है जो चित्र देखने और उनके बारे में उत्तर देने में माहिर हैं। आपने उन्हें धाराप्रवाह अंग्रेजी बोलना सिखाया है, और वे एक टूटी हुई हड्डी या ट्यूमर के चित्र का बहुत अच्छी तरह से वर्णन भी कर सकते हैं।
लेकिन क्या होगा यदि आप उनसे बांग्ला में वही प्रश्न पूछें, जो लगभग 300 मिलियन लोगों द्वारा बोली जाने वाली भाषा है? यह शोध पत्र ठीक इसी बात की जांच करता है।
यहाँ उनके निष्कर्षों की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. गायब पहेली का टुकड़ा
लंबे समय से, वैज्ञानिक इन AI रोबोटों का अंग्रेजी में मेडिकल चित्रों पर परीक्षण कर रहे हैं। उनके पास अंग्रेजी के लिए बड़े, उच्च-गुणवत्ता वाले टेस्ट सेट मौजूद हैं। लेकिन बांग्ला के लिए? वहां लगभग कुछ भी नहीं था। एक पुराना डेटासेट था, लेकिन वह एक ऐसी पहेली की तरह था जिसके टुकड़े गायब थे और तस्वीरें धुंधली थीं—कोई नहीं जानता था कि उत्तर वास्तव में सही थे या किसी डॉक्टर ने उन्हें जांचा भी था या नहीं।
इस शोध पत्र के लेखकों ने एक बिल्कुल नया, उच्च-गुणवत्ता वाला टेस्ट सेट बनाने का निर्णय लिया जिसे BanglaMedVQA कहा जाता है।
- सामग्री: उन्होंने दो प्रसिद्ध, विश्वसनीय अंग्रेजी डेटाबेस से हजारों मेडिकल इमेज (जैसे एक्स-रे और सीटी स्कैन) लीं।
- विधि: उन्होंने चिकित्सा संबंधी प्रश्नों और उत्तरों को बांग्ला में अनुवाद करने के लिए उन्नत AI का उपयोग किया।
- गुणवत्ता नियंत्रण: यह सबसे महत्वपूर्ण हिस्सा है। उन्होंने केवल कंप्यूटर पर भरोसा नहीं किया। उन्होंने हर एक प्रश्न और उत्तर की जांच करने के लिए दो वास्तविक, प्रमाणित डॉक्टरों को काम पर रखा। यदि डॉक्टरों ने कहा, "नहीं, यह गलत है," तो उन्होंने उसे ठीक किया। परिणाम स्वरूप एक ऐसा डेटासेट प्राप्त हुआ जिसकी सटीकता दर 97% थी, जिसे मनुष्यों द्वारा सत्यापित किया गया था।
2. बड़ा परीक्षण: रोबोट कितने स्मार्ट हैं?
लेखकों ने शीर्ष AI रोबोटों (दोनों महंगे, क्लोज्ड-सोर्स जैसे गूगल का जेमिनी और ओपन-एआई का जीपीटी, और मुफ्त, ओपन-सोर्स वाले) को इस नए बांग्ला टेस्ट के माध्यम से परखा।
परिणाम आश्चर्यजनक और थोड़े डरावने थे:
- "सामान्य" प्रश्न: जब सरल चीजें पूछी गईं जैसे, "यह किस प्रकार का चित्र है?" (क्या यह एक्स-रे है या एमआरआई?) या "यह शरीर का कौन सा अंग है?" (क्या यह फेफड़ा है या मस्तिष्क?), तो रोबोटों ने ठीक-ठाक प्रदर्शन किया। उन्होंने लगभग 40% उत्तर सही दिए।
- "विशेषज्ञ" प्रश्न: जब प्रश्न कठिन हो गए—जैसे, "यह विशेष रूप से कौन सी बीमारी है?" या "फेफड़े में ट्यूमर ठीक कहाँ है?"—तो रोबोट पूरी तरह विफल हो गए।
- यहाँ तक कि सबसे अच्छे रोबोटों (जेमिनी और जीपीटी) ने इन कठिन प्रश्नों पर रैंडम अनुमान लगाने (random guessing) से भी खराब प्रदर्शन किया। ऐसा लग रहा था जैसे वे बस बोर्ड पर तीर चला रहे हों और उम्मीद कर रहे हों कि निशाना लग जाएगा।
- मुफ्त, ओपन-सोर्स रोबोटों का प्रदर्शन इससे भी बदतर था, जो अक्सर 10% से भी कम सही उत्तर दे पाते थे।
3. भाषाई बाधा
शोधकर्ताओं ने उन्हीं प्रश्नों का उपयोग करके अंग्रेजी में भी रोबोटों का परीक्षण किया।
- अंतर: रोबोट बांग्ला की तुलना में अंग्रेजी में काफी बेहतर थे। यह एक ऐसे छात्र की तरह है जो अंग्रेजी कक्षा में 'A+' प्राप्त करता है लेकिन उसी परीक्षा में फेल हो जाता है जब उसे ऐसी भाषा में अनुवादित किया जाता है जिसे वह मुश्किल से समझ पाता है।
- निष्कर्ष: रोबकों को बांग्ला में चिकित्सा ज्ञान पर पर्याप्त प्रशिक्षण नहीं मिला है। वे इस भाषा में "लो-रिसोर्स" (कम संसाधन वाले) शिक्षार्थी हैं।
4. क्या हम उन्हें बेहतर सोचने में मदद कर सकते हैं?
शोधकर्ताओं ने "चेन-ऑफ-थॉट" (Chain-of-Thought) नामक एक तकनीक आजमाई। सीधे उत्तर देने के बजाय, उन्होंने रोबोट को निर्देश दिया: "उत्तर देने से पहले कदम-दर-कदम सोचें।"
- क्या यह काम आया? हाँ, लेकिन केवल थोड़ा सा। इसने रोबोटों को थोड़ा अधिक तर्क करने में मदद की, विशेष रूप से मुफ्त वाले मॉडल्स को, लेकिन इसने मूल समस्या को हल नहीं किया। वे अभी भी सटीक रूप से यह बताने में संघर्ष कर रहे थे कि बीमारी कहाँ स्थित है या विशिष्ट स्थिति क्या है।
- रुकावट: शोध पत्र सुझाव देता है कि मुख्य समस्या केवल भाषा नहीं है; बल्कि यह है कि रोबोट चित्र में चिकित्सा विवरणों को बांग्ला में समझाने के लिए पर्याप्त रूप से "देख" नहीं पाते हैं।
5. निचोड़
यह शोध पत्र एक चेतावनी है।
- वर्तमान स्थिति: हमने बांग्ला मेडिकल AI के लिए एक उच्च-गुणवत्ता वाला, डॉक्टर-सत्यापित टेस्ट सेट बनाया है।
- वास्तविकता: आज के सबसे उन्नत AI मॉडल भी बांग्ला में जटिल चिकित्सा निदान (diagnosis) के भरोसे किए जाने के लिए तैयार नहीं हैं। वे चित्र का सामान्य रूप से वर्णन करने में अच्छे हैं, लेकिन मरीज का निदान करने के महत्वपूर्ण कार्य में वे विफल हो जाते हैं।
- भविष्य: इससे पहले कि हम वास्तव में किसी अस्पताल में इनका उपयोग कर सकें, हमें बेहतर मॉडल बनाने होंगे और उन्हें विशेष रूप से बांग्ला में चिकित्सा डेटा पर प्रशिक्षित करना होगा।
संक्षेप में: रोबोट उन मेडिकल छात्रों की तरह हैं जिन्होंने अंग्रेजी में एक पाठ्यपुस्तक रट ली है, लेकिन जब उनसे बांग्ला में मरीज का निदान करने के लिए पूछा जाता है, तो वे अपनी अंतिम परीक्षा में फेल हो रहे हैं। हमने यह साबित करने के लिए परीक्षा पत्र (डेटासेट) बनाया है, और स्कोर दिखाते हैं कि हमें अभी लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।