Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning
"Physics-R1" शोध पत्र मौजूदा मल्टीमॉडल भौतिकी मूल्यांकन पाइपलाइनों में महत्वपूर्ण दोषों—विशेष रूप से डेटा संदूषण (data contamination), अनुवाद विचलन (translation drift), और MCQ संतृप्ति (MCQ saturation)—की पहचान करता है और एक कठोरता से ऑडिट किए गए संग्रह तथा एक नए रीजनिंग मॉडल को जारी करके इनका समाधान करता है जो नवीन, ओपन-एंडेड ओलंपियाड बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता (cooking competition) की तरह है। लक्ष्य यह देखना है कि कौन से AI "शेफ" जटिल भौतिकी (physics) की समस्याओं को हल कर सकते हैं (जैसे कि यह पता लगाना कि रॉकेट कैसे उड़ता है या बिजली कैसे चलती है)। उन्हें जज करने के लिए, प्रतियोगिता के आयोजक उन्हें परीक्षण प्रश्नों का एक सेट देते हैं।
जिस पेपर को आप पढ़ रहे हैं, "Physics-R1," वास्तव में एक व्हिसलब्लोअर रिपोर्ट और एक नई रेसिपी बुक है। लेखक, शान यांग (Shan Yang), तर्क देते हैं कि वर्तमान कुकिंग प्रतियोगिता में धांधली है क्योंकि परीक्षण के प्रश्न दूषित (contaminated) हैं, और जज पक्षपाती हैं। यहाँ इसका सरल शब्दों में विवरण दिया गया है:
1. समस्या: परीक्षण के प्रश्न "लीक" हो गए हैं
कल्पना कीजिए कि एक छात्र गणित की परीक्षा की तैयारी कर रहा है। यदि वह गलती से उस अभ्यास पुस्तक (practice book) के सटीक उत्तर याद कर लेता है जिसका उपयोग शिक्षक भी फाइनल एग्जाम के लिए करते हैं, तो वह पूर्ण अंक प्राप्त कर लेगा, लेकिन इसका मतलब यह नहीं है कि वह वास्तव में गणित समझता है।
पेपर में पाया गया कि कई AI मॉडल बिल्कुल यही कर रहे हैं।
"लीक" (The Leak): लेखकों ने उन सार्वजनिक "प्रशिक्षण पूलों" (training pools) का ऑडिट किया (अभ्यास पुस्तकें) जिनका उपयोग इन AI को सिखाने के लिए किया जाता है। उन्होंने पाया कि जिन टेस्ट प्रश्नों पर AI को ग्रेड दिया जा रहा है, उनमें से कई उन अभ्यास पुस्तकों के अंदर छिपी हुई हैं जिनका उन्होंने अध्ययन किया था।
"पैराफ्रेज़" (Paraphrase) का तरीका: यह केवल सटीक प्रतियां नहीं हैं। कभी-कभी AI एक प्रश्न देखता है जैसे, "एक गेंद 10 मीटर की ऊंचाई से गिरती है," और टेस्ट पूछता है, "यदि एक गोला 10 मीटर की ऊंचाई से गिरता है..." पुराने कंप्यूटर प्रोग्राम जो नकल पकड़ने के लिए उपयोग किए जाते थे (समान शब्दों को खोजने के लिए), वे इन्हें पकड़ने में विफल रहे।
एक नया ऑडिट: लेखकों ने एक तीन-चरणीय सुरक्षा गार्ड बनाया:
- शब्द गणना करने वाला (The Word Counter): सटीक शब्द मिलान की जाँच करता है।
- अर्थ स्कैनर (The Meaning Scanner): जाँच करता है कि क्या वाक्यों का अर्थ एक ही है, भले ही शब्द अलग हों।
- इंसान जैसा जज (The Human-like Judge): एक सुपर-स्मार्ट AI जो अभ्यास प्रश्न और टेस्ट प्रश्न दोनों को पढ़ता है और तय करता है, "हाँ, ये दोनों एक ही समस्या हैं जो भेष बदलकर आई हैं।"
इसका उपयोग करके, उन्होंने हजारों ऐसे "चीटिंग" जोड़ों को खोज निकाला जिन्हें क्षेत्र (field) ने मिस कर दिया था। उन्होंने डेटा को साफ करके एक साफ प्रशिक्षण सेट (clean training set) (जिसे PHYSCORP-A कहा जाता है) बनाया जहाँ AI को वास्तव में सीखना होगा, न कि केवल रटना होगा।
2. अनुवाद का जाल: भाषा मायने रखती है
कल्पना कीजिए कि आप ड्राइविंग टेस्ट दे रहे हैं। आप आसानी से पास हो जाते हैं जब निर्देश आपकी मातृभाषा में होते हैं, लेकिन जब वही टेस्ट किसी विदेशी भाषा में अनुवादित किया जाता है, तो आप फेल हो जाते हैं क्योंकि व्याकरण भ्रमित करने वाला होता है या सड़क के संकेतों का वर्णन अलग तरीके से किया जाता है।
लेखकों ने इसे एस्टोनियाई (Estonian) (मूल भाषा) और अंग्रेजी (अनुवाद) में भौतिकी की समस्याओं के साथ परखा।
- परिणाम: एक शीर्ष-स्तरीय AI (Sonnet 4.5) मूल एस्टोनियाई समस्याओं पर 30.5% सही रहा, लेकिन अंग्रेजी अनुवादों पर केवल 13.6% सही रहा।
- सबक: जटिल विज्ञान संबंधी समस्याओं का अनुवाद करने से अक्सर सूक्ष्म विवरण खो जाते हैं। यदि हम केवल अंग्रेजी में AI का परीक्षण करते हैं, तो हमें लग सकता है कि वे भौतिकी में वास्तव में उतने खराब हैं जितना वे हैं, या हम उनके भौतिकी कौशल के बजाय उनके अनुवाद कौशल का परीक्षण कर रहे हैं।
3. फॉर्मेट का जाल: बहुविकल्पीय बनाम वास्तविक सोच
कल्पना कीजिए कि एक छात्र जो बहुविकल्पीय प्रश्न (A, B, C, या D) में अनुमान लगाने में बहुत अच्छा है, लेकिन जब उसे कागज के खाली टुकड़े पर समाधान लिखने के लिए कहा जाता है, तो वह जम जाता है।
पेपर ने पाया कि फॉर्मेट के आधार पर AI के प्रदर्शन में एक बड़ा अंतर है:
- बहुविकल्पीय (Multiple Choice - आसान मोड): AI ने एक बहुविकल्पीय टेस्ट पर 79.7% स्कोर किया।
- ओपन-एंडेड (Open-Ended - कठिन मोड): उसी AI ने एक टेस्ट पर केवल 33.4% स्कोर किया जहाँ उसे शून्य से उत्तर लिखना था।
- अंतर: यह 46 अंकों का अंतर है। पेपर का तर्क है कि क्षेत्र ने AI की बुद्धिमत्ता को बढ़ा-चढ़ाकर पेश किया है क्योंकि वे ज्यादातर "आसान मोड" (बहुविकल्पीय) पर परीक्षण कर रहे हैं जहाँ वे अनुमान लगा सकते हैं या पैटर्न पहचान सकते हैं, बजाय इसके कि उन्हें "कठिन मोड" (शून्य से हल करने) पर परखा जाए।
4. समाधान: एक नई रेसिपी (Physics-R1)
इन समस्याओं को ठीक करने के लिए, लेखकों ने केवल उंगली नहीं उठाई; उन्होंने एक नया किचन बनाया।
- साफ सामग्री (The Clean Ingredients): उन्होंने एक नया, ऑडिट किया गया डेटासेट (PHYSCORP-A) जारी किया जो गारंटी के साथ "लीक" हुए प्रश्नों से मुक्त है।
- नया टेस्ट: उन्होंने एक नया, कठिन एग्जाम बनाया जिसे PHYSOLYM-A कहा जाता है। इसमें मूल समस्याएं (ज्यादातर एस्टोनिया और अंतरराष्ट्रीय ओलंपियाड से) शामिल हैं जिन्हें AI ने पहले कभी नहीं देखा है।
- पकाने की विधि (The Cooking Method - Physics-R1): उन्होंने एक विशिष्ट "रेसिपी" (एक विधि जिसे GSPO+DAPO कहा जाता है) का उपयोग करके एक नया AI मॉडल प्रशिक्षित किया।
- AI को हर छोटे कदम के लिए एक जटिल, विस्तृत स्कोर देने के बजाय (जो AI को फैंसी दिखने वाले लेकिन गलत उत्तर लिखने के लिए धोखा दे सकता है), उन्होंने एक बाइनरी रिवॉर्ड (Binary Reward) का उपयोग किया।
- उपमा (Analogy): इसे एक खेल के रेफरी की तरह समझें। "अच्छे पोस्चर" या "सुंदर लिखावट" के लिए अंक देने के बजाय, रेफरी बस कहता है: "क्या आपको सही उत्तर मिला? हाँ = 1 अंक। नहीं = 0 अंक।"
- इस सरल नियम ने AI को फैंसी फॉर्मेटिंग के साथ "सिस्टम को गेम करने" के बजाय वास्तव में भौतिकी की समस्या को सही ढंग से हल करने पर ध्यान केंद्रित करने के लिए मजबूर किया।
परिणाम
जब उन्होंने अपने नए AI (Physics-R1) का परीक्षण उनके नए, साफ, कठिन एग्जाम पर किया:
- यह बेस मॉडल की तुलना में काफी सुधरा (8% स्कोर से 26% तक जाना)।
- इसने अन्य ओपन-सोर्स मॉडल्स को पीछे छोड़ दिया।
- यह अभी भी बहुत अच्छे क्लोज्ड-सोर्स "सुपर-AI" (Sonnet 4.5) से पीछे है, लेकिन यह साबित करता है कि साफ डेटा और सही प्रशिक्षण पद्धति के साथ, ओपन-सोर्स मॉडल वास्तविक भौतिकी तर्क सीख सकते हैं।
सारांश
यह पेपर AI समुदाय के लिए कार्रवाई का आह्वान है:
- चीटिंग बंद करें: अपने प्रशिक्षण डेटा को साफ करें ताकि मॉडल केवल टेस्ट के उत्तर याद न करें।
- भाषा पर ध्यान दें: यह न मानें कि अनुवाद एकदम सही हैं; मूल भाषा में परीक्षण करें।
- अनुमान लगाना बंद करें: मॉडल्स का परीक्षण ओपन-एंडेड समस्याओं पर करें, न कि केवल बहुविकल्पीय पर।
- सरल बनाए रखें: कभी-कभी, एक जटिल स्कोरिंग सिस्टम के बजाय एक सरल "सही/गलत" रिवॉर्ड AI को सोचने के लिए सिखाने में बेहतर होता है।
लेखकों ने अपने सभी "सामग्री" (डेटा), "रेसिपी" (कोड), और "परीक्षा प्रश्न" (बेंचमार्क) सभी के उपयोग और सत्यापन के लिए जारी कर दिए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।