🔬 physics

Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts

यह अध्ययन छात्रों के ग्रंथों में पाए जाने वाले भौतिकी-विशिष्ट प्रतीकात्मक अभिव्यक्तियों पर विभिन्न एनएलपी (NLP) एम्बेडिंग मॉडलों के प्रदर्शन का मूल्यांकन करता है, जिससे यह स्पष्ट होता है कि हालांकि OpenAI का GPT-text-embedding-3-large अन्य मॉडलों से बेहतर प्रदर्शन करता है, फिर भी शोधकर्ताओं को समीकरणों वाले विज्ञान-संबंधी भाषा का विश्लेषण करते समय पूर्वाग्रह से बचने और सटीकता सुनिश्चित करने के लिए मॉडलों का सावधानीपूर्वक चयन करना चाहिए।

मूल लेखक: Tom Bleckmann, Paul Tschisgale

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Bleckmann, Paul Tschisgale

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह समझने के लिए सिखाने की कोशिश कर रहे हैं कि छात्र क्या सोच रहे हैं। आप उसे निबंधों का एक ढेर थमाते हैं, लेकिन ये निबंध इतिहास या कहानियों के बारे में नहीं हैं; ये भौतिक विज्ञान (फिजिक्स) के बारे में हैं। भौतिक विज्ञान में, भाषा सामान्य शब्दों और प्रतीकों से बने एक गुप्त कोड का एक अजीब मिश्रण है, जैसे कि $E=mc^2$ या $F=ma$। ये प्रतीक इस व्यंजन के "मसाले" की तरह हैं; इनके बिना, वाक्य का अर्थ बिखर जाता है। यदि कोई छात्र लिखता है, "ऊर्जा संरक्षित रहती है" (The energy is conserved), तो यह ठीक है, लेकिन यदि वे लिखते हैं " $E = \text{const}$ ", तो यह सटीक वैज्ञानिक सत्य है।

रोबोट को ये निबंध पढ़ने में मदद करने के लिए, वैज्ञानिक विशेष डिजिटल उपकरणों का उपयोग करते हैं जिन्हें "एम्बेडिंग मॉडल" (embedding models) कहा जाता है। इन मॉडलों को एक विशाल, अदृश्य पुस्तकालय के रूप में समझें जहाँ प्रत्येक शब्द, वाक्य या प्रतीक को एक विशिष्ट आईडी कार्ड मिलता है। पेच यह है कि पुस्तकालय को इस तरह व्यवस्थित किया गया है कि समान अर्थ वाली चीजें बिल्कुल पास-पास बैठती हैं। यदि आपके पास "कुत्ता" (dog) का कार्ड है और "पिल्ला" (puppy) का कार्ड है, तो वे पड़ोसी हैं। यदि आपके पास "एप्पल पाई" (apple pie) का कार्ड है, तो वह दूसरी गली में बहुत दूर होगा। लक्ष्य यह देखना है कि क्या ये डिजिटल लाइब्रेरियन यह पता लगा सकते हैं कि एक भौतिकी सूत्र (physics formula) उस अवधारणा के ठीक बगल में बैठा है जिसका वह प्रतिनिधित्व करता है, भले ही वह सूत्र किसी ऐसे इंसान के लिए अक्षरों और गणितीय संकेतों का एक उलझा हुआ समूह जैसा दिखे जिसे वह कोड नहीं पता। यह इसलिए महत्वपूर्ण है क्योंकि यदि रोबोट गणितीय प्रतीकों से भ्रमित हो जाता है, तो वह यह सोच सकता है कि एक प्रतिभाशाली छात्र केवल अनुमान लगा रहा है, या वह एक मुख्य विचार को पूरी तरह से मिस कर सकता है।

द ग्रेट सिम्बोलिक शोडाउन (The Great Symbolic Showdown)

इस अध्ययन में, दो शोधकर्ताओं, टॉम और पॉल ने इन डिजिटल लाइब्रेरियन को परखने का निर्णय लिया। वे यह देखना चाहते थे कि कौन सा "एम्बेडिंग मॉडल" छात्र निबंधों के भीतर छिपे भौतिकी सूत्रों को समझने में सबसे अच्छा है। उन्होंने जर्मन छात्रों द्वारा लिखे गए प्रतीकों के 100 वास्तविक उदाहरण एकत्र किए—जैसे कि "m·g·h = 1/2·m·v²"—और छह अलग-अलग एआई (AI) मॉडलों से उनका अर्थ समझाने के लिए कहा।

मॉडलों का परीक्षण करने के लिए, उन्होंने एक मिलान खेल (matching game) खेला। उन्होंने मॉडलों को एक भौतिकी प्रतीक (जैसे ऊर्जा का सूत्र) दिया और फिर मॉडल से टेक्स्ट विकल्पों की एक सूची में उसका "सबसे अच्छा दोस्त" खोजने के लिए कहा। सूची में शामिल थे:

सही अनुवाद: एक साधारण अंग्रेजी वाक्य जो सूत्र की व्याख्या करता है।
गलत अनुवाद: एक वाक्य जो दिखने में समान है लेकिन अर्थ गलत बताता है।
सही अवधारणा: वास्तविक भौतिकी विचार जो वह सूत्र दर्शाता है (जैसे "ऊर्जा का संरक्षण")।
गलत अवधारणा: एक भौतिकी विचार जो संबंधित तो है लेकिन सही नहीं है (जैसे "संवेग का संरक्षण")।
वाइल्डकार्ड: "एप्पल पाई रेसिपी" के बारे में एक पूरी तरह से यादृच्छिक (random) वाक्य, यह देखने के लिए कि क्या मॉडल पूरी तरह से भ्रमित हो जाता है।

उन्होंने यह मापकर मॉडलों की सफलता जांची कि क्या "सही" मिलान "गलत" मिलानों की तुलना में डिजिटल लाइब्रेरी में अधिक करीब हैं। उन्होंने इन मॉडलों का उपयोग छात्रों के उत्तरों के एक बड़े ढेर (3,000 से अधिक) को ग्रेड देने के लिए भी किया, यह देखने के लिए कि क्या मॉडल के चुनाव से अंतिम ग्रेड बदल जाता है।

परिणाम: कौन जीता दौड़ में?

परिणाम स्पष्ट थे, हालांकि यह कोई बहुत बड़ी जीत नहीं थी। एक मॉडल, GPT-text-embedding-3-large (OpenAI का एक शक्तिशाली टूल), लगातार शीर्ष पर रहा। यह यह समझने में सबसे अच्छा था कि एक भौतिकी सूत्र और उसकी सही अंग्रेजी व्याख्या "सबसे अच्छे दोस्त" हैं। मिलान खेल में, जब सही बनाम गलत अनुवादों की तुलना की गई, तो इसने लगभग 91% बार सही उत्तर दिया और अवधारणाओं के लिए 83% बार।

हालाँकि, पेपर सावधानी से कहता है कि यह एक "निर्णायक" जीत नहीं थी। विजेता और अन्य मॉडलों के बीच का अंतर "मध्यम" था। कुछ अन्य मॉडल, जैसे कि जर्मन-विशिष्ट मॉडल, ठीक-ठाक प्रदर्शन कर रहे थे, लेकिन कुछ अन्य बुरी तरह संघर्ष कर रहे थे। उदाहरण के लिए, एक मॉडल जिसे विशेष रूप से विज्ञान शिक्षा के लिए प्रशिक्षित किया गया था, उसने कुछ परीक्षणों में रैंडम गेसिंग (random guessing) से भी खराब प्रदर्शन किया, जो यह सुझाव देता है कि केवल मॉडल को विज्ञान के शब्दों पर प्रशिक्षित करना पर्याप्त नहीं है यदि उसने स्वयं प्रतीकों को संभालने का तरीका नहीं सीखा है।

जब उन्होंने 3,322 छात्र उत्तरों को ग्रेड देने के बड़े कार्य पर इन मॉडलों का परीक्षण किया, तो विजेता ने अपना दबदबा बनाए रखा। सबसे अच्छे मॉडल ने सबसे खराब मॉडल की तुलना में ग्रेडिंग सटीकता में 0.16 अंक का सुधार किया। हालाँकि यह संख्या छोटी लग सकती है, लेकिन लेखक बताते हैं कि हजारों छात्रों वाले वास्तविक स्कूल में, यह मामूली अंतर 10,000 में से लगभग 1,600 अतिरिक्त उत्तरों को सही ढंग से ग्रेड देने में मदद कर सकता है। यह बहुत सारे छात्रों को सही फीडबैक मिलने जैसा है!

पेच और भविष्य

शोधकर्ताओं ने कुछ महत्वपूर्ण "लेकिन" (buts) भी बताए। पहला, जीतने वाला मॉडल एक "प्रोपराइटरी" (proprietary) टूल है, जिसका अर्थ है कि इसे उपयोग करने के लिए पैसे लगते हैं और यह एक कंपनी के सर्वर पर रहता है, न कि आपके अपने कंप्यूटर पर। यह स्कूलों के लिए लागत और गोपनीयता संबंधी प्रश्न उठाता है। दूसरा, अध्ययन में केवल भौतिकी को देखा गया। हमें नहीं पता कि क्या ये मॉडल रसायन विज्ञान के सूत्रों या जटिल गणितीय प्रतीकों को भी उतनी ही अच्छी तरह से संभाल पाएंगे।

अंत में, लेखक नोट करते हैं कि उनका परीक्षण वास्तव में एक "सबसे खराब स्थिति का परिदृश्य" (worst-case scenario) था। उन्होंने प्रतीकों का परीक्षण आसपास के वाक्यों के बिना किया। वास्तविक जीवन में, छात्र पूरे पैराग्राफ लिखते हैं, जो मॉडलों को अधिक संकेत देते हैं। इसलिए, मॉडल वास्तविक दुनिया में इस अध्ययन द्वारा दिखाए गए प्रदर्शन से भी बेहतर हो सकते हैं।

निष्कर्ष क्या है? यदि आप विज्ञान के निबंधों को ग्रेड देने के लिए एक सिस्टम बना रहे हैं, तो आप किसी भी साधारण टेक्स्ट टूल को नहीं चुन सकते। आपको एक ऐसा टूल चुनना होगा जो गणित को पढ़ना जानता हो, अन्यथा आप अनजाने में एक ऐसे छात्र को फेल कर सकते हैं जिसने वास्तव में पाठ को पूरी तरह से समझा है। अध्ययन बताता है कि जबकि वर्तमान सर्वोत्तम उपकरण अच्छे हैं, हमें अभी भी बेहतर, मुफ्त और खुले उपकरण बनाने की आवश्यकता है जो विज्ञान के गुप्त कोड को उतनी ही अच्छी तरह से संभाल सकें जितना वे शब्दों को संभालते हैं।

तकनीकी सारांश: विज्ञान-विशिष्ट प्रतीकात्मक अभिव्यक्तियों के लिए NLP एम्बेडिंग मॉडल का मूल्यांकन

समस्या विवरण
नेचुरल लैंग्वेज प्रोसेसिंग (NLP) एम्बेडिंग मॉडल शैक्षिक डेटा माइनिंग में छात्र पाठ को संख्यात्मक वेक्टर्स में बदलने के लिए मानक उपकरण बन गए हैं ताकि उनके अर्थ संबंधी विषयवस्तु (semantic content) को पकड़ा जा सके। हालाँकि, विज्ञान-संबंधी भाषा को संभालने में एक महत्वपूर्ण अंतर मौजूद है, जो अक्सर प्राकृतिक भाषा के साथ प्रतीकात्मक अभिव्यक्तियों (सूत्र, समीकरण, मानक अंकन) को एकीकृत करती है। वर्तमान एम्बेडिंग मॉडल, जो मुख्य रूप से सामान्य टेक्स्ट कॉर्पोरा पर प्रशिक्षित होते हैं, इन मिश्रित इनपुट्स को संसाधित करने में संघर्ष करते हैं। मौजूदा शोध अक्सर इस चुनौती को अनदेखा करता है या प्रतीकात्मक अभिव्यक्तियों को पूरी तरह से हटा देता है, जिससे पक्षपाती निष्कर्ष और स्वचालित मूल्यांकन में प्रदर्शन में कमी आने का जोखिम रहता है। विशेष रूप से, समकालीन एम्बेडिंग मॉडलों के बारे में यह समझने की कमी है कि वे भौतिकी-विशिष्ट प्रतीकात्मक अभिव्यक्तियों की व्याख्या करने में कैसे भिन्न होते हैं, जैसा कि वास्तविक, बिना क्यूरेट किए गए छात्र उत्तरों (अंकन के विविध रूपों सहित) में दिखाई देता है।

कार्यप्रणाली
यह अध्ययन छह NLP एम्बेडिंग मॉडलों (जिसमें जर्मन-विशिष्ट, बहुभाषी, ओपन-सोर्स और प्रोप्रायटरी मॉडल शामिल हैं) का मूल्यांकन करने के लिए दो पूरक दृष्टिकोणों का उपयोग करता है, जिसमें भौतिकी कार्यों (कॉन्सेप्ट मैपिंग और समस्या-समाधान) में जर्मन छात्रों के वास्तविक उत्तरों से निकाली गई $N=100$ प्रतीकात्मक अभिव्यक्तियों का एक कॉर्पस उपयोग किया गया है।

समानता-आधारित विश्लेषण (Similarity-Based Analysis):
- डेटा निर्माण: प्रत्येक प्रतीकात्मक अभिव्यक्ति ( $SE_i$ ) के लिए, टेक्स्ट युग्मों (text pairs) की पाँच श्रेणियाँ बनाई गईं: (1) सही शाब्दिक अनुवाद ($LT $), (2) गलत शाब्दिक अनुवाद ($ ILT $), (3) सही संबंधित अवधारणाएँ ($ RC $), (4) गलत संबंधित अवधारणाएँ ($ IRC $), और (5) विषय से बाहर के कथन ($ OT$)।
- मीट्रिक: प्रतीकात्मक अभिव्यक्ति के एम्बेडिंग और युग्मित टेक्स्ट श्रेणियों के एम्बेडिंग के बीच कोसाइन सिमिलरिटी (Cosine similarity) की गणना की गई।
- सांख्यिकीय मूल्यांकन:
  - ROC कर्व्स: सही और गलत युग्मों (जैसे, $LT $बनाम$ ILT$) के बीच अंतर करने की मॉडलों की क्षमता को मापने के लिए रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (ROC) कर्व्स और एरिया अंडर द कर्व (AUC) स्कोर की गणना की गई।
  - पेयरवाइज तुलना: यह निर्धारित करने के लिए कि क्या सही युग्मों के लिए समानता स्कोर गलत युग्मों की तुलना में काफी अधिक था, एक पेयर्ड वन-साइडेड विलकॉक्सन साइन्ड-रैंक टेस्ट (paired one-sided Wilcoxon signed-rank test) का उपयोग किया गया। प्रभाव आकार (Effect sizes) को मैच-पेयर्ड रैंक बिसिरियल कोरिलेशन कोएफिशिएंट का उपयोग करके मापा गया।
मशीन लर्निंग पाइपलाइन एकीकरण:
- कार्य: छात्र प्रपोज़िशन (अवधारणा A – लिंकिंग स्टेटमेंट – अवधारणा B) को चार गुणवत्ता स्तरों (गलत, सतही, सरल, विस्तृत) में वर्गीकृत करने के लिए एक सपोर्ट वेक्टर मशीन (SVM) का उपयोग करते हुए एक पर्यवेक्षित वर्गीकरण कार्य।
- चर (Variable): NLP एम्बेडिंग मॉडल को बदला गया जबकि क्लासिफायर (SVM) और डेटा (3,322 प्रपोज़िशन, जिनमें 17% में प्रतीकात्मक अभिव्यक्तियाँ थीं) स्थिर रहे।
- मीट्रिक: वर्गीकरण प्रदर्शन को कोहेन के $\kappa$ (Cohen's $\kappa$ ) का उपयोग करके मापा गया, जिसमें शुद्ध रूप से टेक्स्ट वाले उत्तरों बनाम प्रतीकात्मक अभिव्यक्तियों वाले उत्तरों की तुलना की गई।

प्रमुख परिणाम

मॉडल प्रदर्शन पदानुक्रम: OpenAI का GPT-text-embedding-3-large दोनों मूल्यांकन दृष्टिकोणों में अन्य सभी मॉडलों से लगातार बेहतर रहा।
- समानता-आधारित विश्लेषण में, इसने सही बनाम गलत शाब्दिक अनुवादों ($AUC = 0.73 $) और संबंधित अवधारणाओं ($ AUC = 0.74$) के बीच अंतर करने के लिए उच्चतम AUC स्कोर प्राप्त किया।
- इंस्टेंस-आधारित तुलना में, इसने $LT $बनाम$ ILT $के लिए 91% मामलों में और$ RC $बनाम$ IRC $के लिए 83% मामलों में सही युग्मों की उच्च समानता की पहचान की, जो उच्च सांख्यिकीय महत्व ($ p < 0.001$) दर्शाता है।
अन्य मॉडलों का प्रदर्शन:
- GPT-text-embedding-ada-002 और German Semantic STS V2 ने मध्यम प्रदर्शन दिखाया, जो कुछ तुलनाओं में रैंडम गेसिंग से काफी बेहतर था लेकिन शीर्ष मॉडल से कमतर था।
- G-SciEdBERT (विज्ञान शिक्षा के लिए फाइन-ट्यून किया गया) और Gbert-large का प्रदर्शन खराब रहा, जो अक्सर सही और गलत युग्मों के बीच रैंडम गेसिंग से बेहतर अंतर करने में विफल रहे। विशेष रूप से, विज्ञान-विशिष्ट फाइन-ट्यूनिंग ने प्रतीकात्मक अभिव्यक्तियों को बेहतर ढंग से संभालने में मदद नहीं की।
- कई ओपन-सोर्स मॉडल सही बनाम गलत संबंधित अवधारणाओं को पहचानने में रैंडम गेसिंग के करीब ( $AUC \approx 0.50$ ) रहे।
वर्गीकरण पर प्रभाव: मशीन लर्निंग पाइपलाइन में, GPT-text-embedding-3-large ने उच्चतम कोहेन $\kappa$ प्रदान किया। प्रदर्शन का अंतर प्रतीकात्मक अभिव्यक्तियों वाले उत्तरों के लिए सबसे अधिक स्पष्ट था, जहाँ शीर्ष मॉडल कमजोर मॉडल की तुलना में $\Delta\kappa = 0.16$ से बेहतर था। शुद्ध रूप से टेक्स्ट वाले उत्तरों के लिए, यह अंतर $\Delta\kappa = 0.22$ था।

महत्व और दावे
यह शोध दावा करता है कि हालांकि सर्वश्रेष्ठ मॉडल (GPT-text-embedding-3-large) का प्रदर्शन लाभ "निर्णायक के बजाय मध्यम" है, लेकिन यह बड़े पैमाने के शैक्षिक अनुप्रयोगों के लिए व्यावहारिक रूप से महत्वपूर्ण है। कोहेन के $\kappa$ में 0.16 का अंतर बड़े डेटासेट में सैकड़ों अतिरिक्त छात्र उत्तरों को सटीक रूप से वर्गीकृत करने में सक्षम हो सकता है, जो सीधे तौर पर स्वचालित फीडबैक की गुणवत्ता को प्रभावित करता है।

अध्ययन रेखांकित करता है कि:

चयन महत्वपूर्ण है: शोधकर्ताओं और चिकित्सकों को विज्ञान-संबंधी भाषा के साथ काम करते समय एम्बेडिंग मॉडल का सावधानीपूर्वक चयन करना चाहिए, क्योंकि मानक या यहाँ तक कि विज्ञान-फाइन-ट्यून्ड ओपन-सोर्स मॉडल भी प्रतीकात्मक अभिव्यक्तियों के अर्थ को पकड़ने में विफल हो सकते हैं।
समझौते (Trade-offs) मौजूद हैं: जबकि प्रोप्रायटरी मॉडल वर्तमान में बेहतर प्रदर्शन प्रदान करते हैं, उनके उपयोग में लागत, डेटा गोपनीयता और बाहरी प्रदाताओं पर निर्भरता जैसे समझौते शामिल हैं।
विशेषज्ञ मॉडलों की आवश्यकता: प्रतीकात्मक अभिव्यक्तियों को मजबूती से संभालने के लिए, केवल सामान्य भाषा की समझ पर निर्भर रहने के बजाय, वैज्ञानिक ग्रंथों पर विशेष रूप से प्रशिक्षित ओपन-सोर्स एम्बेडिंग मॉडलों की तत्काल आवश्यकता है।
लोअर-बाउंड अनुमान: रिपोर्ट किए गए प्रदर्शन मेट्रिक्स एक लोअर-बाउंड अनुमान हैं, क्योंकि इस अध्ययन ने स्वाभाविक क्षमताओं का परीक्षण करने के लिए संदर्भ संबंधी जानकारी को जानबूझकर छोड़ दिया; पूर्ण वाक्य संदर्भ के साथ वास्तविक दुनिया के अनुप्रयोगों में प्रदर्शन अधिक हो सकता है।

लेखक निष्कर्ष निकालते हैं कि प्रस्तावित मूल्यांकन ढांचा भविष्य के एम्बेडिंग मॉडलों (प्रमुख प्रदाताओं के आगामी संस्करणों सहित) के बेंचमार्किंग के लिए एक उपयुक्त आधार प्रदान करता है, और वैज्ञानिक भाषा से जुड़े डेटा माइनिंग संदर्भों में उनके अनुप्रयोग के मार्गदर्शन के लिए उपयोगी है।

द ग्रेट सिम्बोलिक शोडाउन (The Great Symbolic Showdown)

परिणाम: कौन जीता दौड़ में?

पेच और भविष्य

इसी तरह के और पेपर