OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

भौतिकी इस बात का अध्ययन है कि ब्रह्मांड कैसे काम करता है, एक पहाड़ी से नीचे लुढ़कती गेंद के तरीके से लेकर उन अदृश्य बलों तक जो एक तार के माध्यम से बिजली को निर्देशित करते हैं। सदियों से, मनुष्यों ने शब्दों को पढ़कर, आरेख (डायग्राम) देखकर और उन समस्याओं को हल करके इन नियमों को सीखा है जिनमें पाठ (टेक्स्ट) को चित्रों के साथ जोड़ने की आवश्यकता होती है। आज, कंप्यूटर टेक्स्ट पढ़ने और चित्रों को देखने में अविश्वसनीय रूप से कुशल हो गए हैं, जिन्हें अक्सर मल्टीमॉडल मॉडल कहा जाता है क्योंकि वे एक साथ दोनों प्रकार की जानकारी को संभाल सकते हैं। ये मशीनें कहानियाँ लिख सकती हैं, प्रश्नों के उत्तर दे सकती हैं, और यहाँ तक कि एक तस्वीर में क्या हो रहा है, इसका वर्णन भी कर सकती हैं। हालाँकि, जब बात भौतिकी की सख्त, तार्किक दुनिया की आती है, तो केवल एक छवि को पहचानना या एक वाक्य को पढ़ना पर्याप्त नहीं है। वास्तविक समझ के लिए यह आवश्यक है कि कंप्यूटर यह देख सके कि एक आरेख और एक विवरण मिलकर कैसे एक एकल, अटूट तर्क की श्रृंखला बनाते हैं। यदि कोई मशीन ऐसा नहीं कर सकती, तो वह केवल अनुमान लगा रही है, तर्क नहीं दे रही है।

ईस्ट चाइना नॉर्मल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए एक नया उपकरण बनाया है कि ये कंप्यूटर कितनी अच्छी तरह से भौतिकविदों की तरह सोच सकते हैं। उन्होंने 'ओम्नीफिज' (OmniPhys) नामक समस्याओं का एक विशाल संग्रह बनाया, जो माध्यमिक विद्यालय से लेकर विश्वविद्यालय तक के वास्तविक चीनी पाठ्यपुस्तकों और परीक्षाओं से लिया गया है। यह केवल प्रश्नों की एक सूची नहीं है; यह एक कठोर परीक्षण है जो कंप्यूटर को मजबूर करता है कि वे केवल एक सूची से सही उत्तर न चुनें। इस संग्रह में 15,000 से अधिक प्रश्न और लगभग 20,000 चित्र शामिल हैं, जो यांत्रिकी, बिजली, प्रकाश, ऊष्मा और ध्वनि को कवर करते हैं। शोधकर्ताओं ने इसे कठिन बनाया है, यह सुनिश्चित करते हुए कि इन समस्याओं के लिए कंप्यूटर को जटिल चित्रों और पाठ को एक साथ व्याख्या करने की आवश्यकता हो। महत्वपूर्ण रूप से, यह परीक्षण कंप्यूटरों को वह करने के लिए भी कहता है जो वे शायद ही कभी करते हैं: अपना स्वयं का आरेख बनाना। केवल एक चित्र चुनने के बजाय, कंप्यूटर को एक नया चित्र बनाना होगा जो सही ढंग से दिखाए कि प्रकाश कैसे परावर्तित होता है या बल कैसे कार्य करते हैं, और प्रकृति के सख्त नियमों का पालन करता हो।

जब शोधकर्ताओं ने अपने परीक्षण चलाए, तो उन्होंने पाया कि सबसे उन्नत कंप्यूटर, जिनमें जनता के लिए उपलब्ध सबसे शक्तिशाली मॉडल भी शामिल हैं, काफी संघर्ष करते हैं। सर्वश्रेष्ठ मॉडल लगभग 70 प्रतिशत समस्याओं को सही ढंग से हल कर सके, लेकिन जब शोधकर्ताओं ने इस बात पर बारीकी से नज़र डाली कि मॉडल उन उत्तरों तक कैसे पहुँचे, तो तस्वीर बदल गई। कई मॉडलों ने सही उत्तर संयोग से या पैटर्न को याद करके प्राप्त किया, न कि वास्तव में तर्क को समझकर। वे अक्सर अपने तर्क के प्रमुख चरणों को चूक गए या आरेख में दिए गए दृश्य संकेतों को पाठ के साथ जोड़ने में विफल रहे। चित्र बनाने के कार्य के लिए स्थिति और भी खराब थी। जब एक भौतिक आरेख बनाने के लिए कहा गया, तो कंप्यूटरों ने अक्सर ऐसे चित्र बनाए जो पहली नज़र में तो विश्वसनीय लगते थे लेकिन उनमें मौलिक त्रुटियाँ थीं। वे शायद एक प्रकाश किरण को गलत दिशा में मुड़ते हुए या एक बल को विपरीत दिशा में इंगित करते हुए बना सकते थे, जो उन प्राकृतिक नियमों का उल्लंघन करता है जिन्हें उन्हें प्रदर्शित करना था।

अध्ययन ने यह भी खुलासा किया कि जैसे-जैसे समस्याएँ कठिन होती जाती हैं, ये कंप्यूटर प्रगतिशील रूप से खराब होते जाते हैं। उन्होंने माध्यमिक विद्यालय के प्रश्नों पर उचित प्रदर्शन किया लेकिन जैसे ही उनके प्रश्न हाई स्कूल और विश्वविद्यालय स्तर पर पहुँचे, उनकी सटीकता तेजी से गिर गई। यह गिरावट बताती है कि जबकि ये मशीनें सरल कार्यों को संभालने में अच्छी हैं, उन्होंने अभी तक जटिल वैज्ञानिक सोच के लिए आवश्यक गहरे, स्तरित तर्क में महारत हासिल नहीं की है। शोधकर्ताओं ने यह भी पाया कि कंप्यूटर को समस्या का चित्र देने से उसे केवल पाठ होने की तुलना में बेहतर प्रदर्शन करने में मदद मिली, जिससे सिद्ध हुआ कि पहेलियों को हल करने के लिए दृश्य जानकारी आवश्यक है। हालाँकि, उन्होंने पाया कि कुछ मॉडल वास्तव में चित्र मिलने पर प्रदर्शन में खराब हो गए, जिससे पता चलता है कि कंप्यूटर कभी-कभी चित्र को सहायक जानकारी के बजाय भ्रमित करने वाला शोर समझता है।

शायद सबसे आश्चर्यजनक खोज यह थी कि काम को ग्रेड देने वाले कंप्यूटर अक्सर बहुत उदार थे। जब शोधकर्ताओं ने अन्य कंप्यूटरों द्वारा बनाए गए आरेखों को ग्रेड देने के लिए एक कृत्रिम बुद्धिमत्ता (AI) का उपयोग किया, तो ग्रेडर ने उन चित्रों को उच्च अंक दिए जिन्हें मानव विशेषज्ञों ने गलत माना था। स्वचालित ग्रेडर उन सूक्ष्म भौतिक त्रुटियों को पकड़ने में विफल रहा जिन्हें एक मानव तुरंत पकड़ लेगा। इसका अर्थ है कि वैज्ञानिक तर्क की गुणवत्ता का मूल्यांकन करने के लिए मशीनों पर भरोसा करना वर्तमान में अविश्वसनीय है। मानव विशेषज्ञों ने, जिन्होंने कार्य की सावधानीपूर्वक समीक्षा की, पाया कि कंप्यूटर भौतिकी की मूल अवधारणाओं को समझने में विफल रहे, भले ही अंतिम उत्तर सही निकला हो।

यह कार्य यह दावा नहीं करता है कि कंप्यूटर विज्ञान के लिए बेकार हैं, बल्कि यह दिखाता है कि उन्हें भौतिक दुनिया को वास्तव में समझने के लिए अभी लंबा रास्ता तय करना है। शोधकर्ताओं ने अपने प्रश्नों और चित्रों के संग्रह को सार्वजनिक रूप से उपलब्ध कराया है ताकि अन्य वैज्ञानिक बेहतर मॉडल बनाने के लिए इसका उपयोग कर सकें। यह पहचानकर कि ये मशीनें कहाँ विफल होती हैं—चाहे वह एक सही आरेख बनाने में हो, एक तार्किक श्रृंखला का पालन करने में हो, या एक जटिल दृश्य दृश्य को समझने में हो—यह अध्ययन भविष्य के सुधारों के लिए एक स्पष्ट मानचित्र प्रदान करता है। लक्ष्य केवल ऐसे कंप्यूटर बनाना नहीं है जो एक परीक्षा पास कर सकें, बल्कि ऐसी प्रणालियाँ बनाना है जो प्रकृति के नियमों के माध्यम से उसी कठोरता और सटीकता के साथ तर्क कर सकें जैसा कि एक मानव भौतिक विज्ञानी करता है। तब तक, इन मॉडलों के कहने और उनके वास्तव में समझने के बीच का अंतर बना रहेगा।