Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions

आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते परिदृश्य में, कंप्यूटर प्रोग्रामों की एक नई पीढ़ी उभरी है जो उल्लेखनीय प्रवाह के साथ मानव भाषा को समझ और उत्पन्न कर सकती है। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं, जिससे वे उन प्रश्नों के उत्तर देने, कहानियाँ लिखने और समस्याओं को हल करने में सक्षम होते हैं जिनके लिए कभी मानवीय विशेषज्ञता की आवश्यकता होती थी। हाल ही में, ये उपकरण शब्दों के साथ-साथ छवियों को भी देखने लगे हैं, जिससे टेक्स्ट के साथ चार्ट, आरेख और फोटोग्राफ की व्याख्या करने की क्षमता प्राप्त हुई है। यह मल्टीमॉडल क्षमता वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ जानकारी शायद ही कभी केवल टेक्स्ट के रूप में प्रस्तुत की जाती है। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये परिष्कृत सिस्टम फार्मेसी जैसे उच्च-दांव वाले पेशेवर क्षेत्रों में आवश्यक जटिल दृश्य और पाठ्य जानकारी को वास्तव में समझ सकते हैं? इसका उत्तर न केवल प्रौद्योगिकी उत्साही लोगों के लिए, बल्कि चिकित्सा शिक्षा और व्यावसायिक प्रमाणन के भविष्य के लिए भी महत्वपूर्ण है, जहाँ दवा के लेबल, रासायनिक संरचना या चिकित्सा छवि की सही व्याख्या करने की क्षमता का रोगी की सुरक्षा पर सीधा प्रभाव पड़ सकता है।

इसकी जांच करने के लिए, शंतौ विश्वविद्यालय और उससे जुड़े अस्पतालों के शोधकर्ताओं ने एक शक्तिशाली नए आर्टिफिशियल इंटेलिजेंस मॉडल, जिसे GPT-5.6 नाम दिया गया है, के तीन विशिष्ट संस्करणों का परीक्षण 2025 की चीनी लाइसेंस प्राप्त फार्मासिस्ट योग्यता परीक्षा के विरुद्ध करने का निर्णय लिया। यह एक कठोर राष्ट्रीय परीक्षा है जिसे चीन में कानूनी रूप से अभ्यास करने के लिए फार्मासिस्टों को पास करना होता है। परीक्षा चार अलग-अलग विषयों को कवर करती है, जो पेशेवर फार्मास्युटिकल ज्ञान से लेकर कानूनों और विनियमों तक विस्तृत है, और इसमें पास होने के लिए प्रत्येक खंड में कम से कम 60 प्रतिशत अंक प्राप्त करना आवश्यक है। शोधकर्ता विशेष रूप से इस बात में रुचि रखते थे कि मॉडल ने उन प्रश्नों को कैसे संभाला जिनमें चित्र शामिल थे, जो चिकित्सा परीक्षणों की एक सामान्य विशेषता है जिसे कई पिछले अध्ययनों ने अनदेखा कर दिया था। वे यह देखना चाहते थे कि क्या मॉडल परीक्षा पास कर सकते हैं, क्या एक ही मॉडल परिवार के विभिन्न संस्करण अलग-अलग प्रदर्शन करते हैं, और क्या कंप्यूटर को केवल यह बताने की तुलना में कि एक चित्र मौजूद है, वास्तविक इमेज फाइल प्रदान करने से उसके उत्तरों में सुधार होता है।

टीम ने 2025 की परीक्षा के लिए व्यापक रूप से उपयोग किए जाने वाले एक अध्ययन मार्गदर्शिका का उपयोग करके एक डेटासेट तैयार किया, जिसमें कुल 400 प्रश्न थे, जिनमें प्रत्येक चार विषयों से 100 प्रश्न थे। उन्होंने टेक्स्ट, सही उत्तर और छवियों को सावधानीपूर्वक निकाला, और उन्हें इस तरह व्यवस्थित किया कि आर्टिफिशियल इंटेलिजेंस का नियंत्रित परिस्थितियों में परीक्षण किया जा सके। अध्ययन ने GPT-5.6 मॉडल के तीन विशिष्ट वेरिएंट्स पर ध्यान केंद्रित किया, जिन्हें Sol, Terra और Luna नाम दिया गया है। इन मॉडलों को एक-एक करके परीक्षा के प्रश्न दिए गए, जिसमें वे एक वरिष्ठ फार्मासिस्ट की भूमिका निभा रहे थे जिसे विकल्पों की सूची में से सही उत्तर चुनना होता है। जिन प्रश्नों में चित्र शामिल थे, उन पर शोधकर्ताओं ने दो प्रकार के परीक्षण चलाए: एक जहाँ कंप्यूटर को टेक्स्ट के साथ वास्तविक इमेज फाइल प्राप्त हुई, और दूसरा जहाँ कंप्यूटर को केवल टेक्स्ट और एक प्लेसहोल्डर नोट प्राप्त हुआ जो संकेत देता था कि एक चित्र कहाँ होना चाहिए, बिना स्वयं विजुअल डेटा के। इससे शोधकर्ताओं को यह मापने में मदद मिली कि दृश्य जानकारी ने मॉडलों को समस्याओं को हल करने में कितनी सहायता की।

परिणामों ने दिखाया कि तीनों मॉडल पूरी परीक्षा पास करने में सक्षम थे, प्रत्येक विषय में लाइसेंस के लिए आवश्यक 60 प्रतिशत की सीमा से काफी ऊपर स्कोर किया। हालाँकि, सभी मॉडल समान रूप से प्रदर्शन नहीं कर पाए। GPT-5.6-Sol और GPT-5.6-Terra मॉडलों ने GPT-5.6-Luna मॉडल की तुलना में काफी बेहतर प्रदर्शन किया। Sol संस्करण ने 91.5 प्रतिशत की समग्र सटीकता प्राप्त की, जबकि Terra ने 89.0 प्रतिशत प्राप्त किया। इसके विपरीत, Luna ने 83.3 प्रतिशत प्राप्त किया। हालाँकि तीनों ने पास किया, लेकिन सांख्यिकीय विश्लेषण ने पुष्टि की कि शीर्ष दो प्रदर्शन करने वालों और Luna मॉडल के बीच का अंतर संयोगवश नहीं था। शोधकर्ताओं ने यह भी पाया कि मॉडल आमतौर पर केवल टेक्स्ट वाले प्रश्नों की तुलना में उन प्रश्नों पर बेहतर प्रदर्शन करते थे जिनमें चित्र शामिल थे। Sol मॉडल के लिए, टेक्स्ट-ओनली प्रश्नों से इमेज वाले प्रश्नों की ओर जाने पर सटीकता 15 प्रतिशत अंकों से अधिक गिर गई। यह सुझाव देता है कि हालांकि ये मॉडल अत्यधिक सक्षम हैं, दृश्य जानकारी की व्याख्या करना उनके लिए लिखित शब्दों को संसाधित करने की तुलना में एक अधिक चुनौतीपूर्ण कार्य बना हुआ है।

जब शोधकर्ताओं ने वास्तविक चित्र प्रदान करने बनाम केवल टेक्स्ट प्लेसहोल्डर देने के प्रभाव की जांच की, तो उन्होंने एक स्पष्ट रुझान देखा: मॉडल अधिक सही उत्तर देते थे जब वे वास्तव में चित्रों को देख सकते थे। Sol मॉडल के लिए, बिना चित्रों के 66.7 प्रतिशत से बढ़कर चित्रों के साथ सटीकता 81.0 प्रतिशत हो गई। Terra और Luna दोनों में भी इसी तरह के सुधार देखे गए, दोनों में विजुअल डेटा शामिल होने पर लगभग 19 प्रतिशत अंकों की वृद्धि हुई। हालाँकि, चूंकि परीक्षा में चित्र-आधारित प्रश्नों की संख्या अपेक्षाकृत कम थी, शोधकर्ताओं ने नोट किया कि ये विशिष्ट सुधार निश्चित रूप से इसे 'निश्चित प्रमाण' कहा जाने के लिए आवश्यक सख्त स्तर की सांख्यिकीय निश्चितता तक नहीं पहुँचे। अध्ययन ने उन चित्रों के बीच भी अंतर किया जो प्रश्न में स्वयं दिखाई देते थे और वे जो उत्तर विकल्पों में दिखाई देते थे। डेटा ने सुझाव दिया कि उत्तर विकल्पों में चित्र विशेष रूप से महत्वपूर्ण थे, क्योंकि जब ये दृश्य संकेत गायब थे तब मॉडल अधिक संघर्ष करते थे, हालांकि छोटे सैंपल साइज ने इस विशिष्ट बिंदु पर एक दृढ़ निष्कर्ष निकालने से रोका।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि इन उन्नत आर्टिफिशियल इंटेलिजेंस मॉडलों ने एक कठिन फार्मेसी परीक्षा को पास करने के स्तर की दक्षता प्राप्त कर ली है, फिर भी उनका प्रदर्शन सभी मॉडल वेरिएंट्स में एक समान नहीं है, और वे अभी भी विजुअल डेटा के साथ चुनौतियों का सामना करते हैं। शोधकर्ता इस बात पर जोर देते हैं कि मॉडलों की परीक्षा पास करने की क्षमता का अर्थ यह नहीं है कि वे मानव फार्मासिस्टों को बदलने के लिए तैयार हैं या बिना आगे के सत्यापन के चिकित्सा मूल्यांकन के एकमात्र उपकरण के रूप में उपयोग किए जा सकते हैं। इसके बजाय, निष्कर्ष एक ऐसे संभावित भविष्य का सुझाव देते हैं जहाँ ये उपकरण व्यक्तिगत प्रशिक्षण कार्यक्रम बनाने, ज्ञान के अंतराल की पहचान करने और प्रमाणन परीक्षाओं की तैयारी में सहायता करने में मानव पेशेवरों का समर्थन कर सकते हैं। अनुसंधान इस बात को रेखांकित करता है कि आर्टिफिशियल इंटेलिजेंस के लिए जटिल चिकित्सा क्षेत्रों में वास्तव में प्रभावी होने के लिए, इसे टेक्स्ट और विजुअल जानकारी दोनों को सहजता से एकीकृत करने में सक्षम होना चाहिए, एक ऐसी क्षमता जो सुधर रही है लेकिन अभी भी परिशोधन की आवश्यकता है।