📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

यह शोध पत्र डिस्कवरफिजिक्स (DiscoverPhysics) को प्रस्तुत करता है, जो एक संवादात्मक बेंचमार्क है जिसमें गैर-मानक भौतिकी वाले 22 सिम्युलेटेड संसार शामिल हैं ताकि प्रयोगों को डिजाइन करने और अंतर्निहित नियमों का अनुमान लगाने के माध्यम से लंबी अवधि के वैज्ञानिक तर्क में संलग्न होने की फ्रंटियर एलएलएम (LLM) की क्षमता का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि हालांकि शीर्ष मॉडल आशाजनक संकेत दिखाते हैं, वे अभी भी गुप्त संरचनाओं को उजागर करने में संघर्ष करते हैं और भविष्य कहनेवाला सटीकता वैचारिक समझ की गारंटी नहीं देती है।

मूल लेखक: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: क्या AI एक वास्तविक वैज्ञानिक बन सकता है?

कल्पना कीजिए कि आप एक स्मार्ट AI को एक ऐसे वीडियो गेम ब्रह्मांड में छोड़ देते हैं जहाँ भौतिकी (physics) के नियम पूरी तरह से मनगढ़ंत हैं। शायद गुरुत्वाकर्षण (gravity) आपसे दूर जाने पर कमजोर हो जाता है, या शायद कुछ अदृश्य "भूतिया" कण (ghost particles) चीजों को खींच रहे हैं जिन्हें आप देख नहीं सकते।

इस शोध पत्र के पीछे के शोधकर्ताओं जानना चाहते थे: क्या एक AI इस नकली ब्रह्मांड के नियमों को केवल उसके साथ खेलकर समझ सकता है?

उन्होंने DiscoverPhysics नामक एक बेंचमार्क बनाया। यह AI के लिए एक "फाइनल एग्जाम" की तरह है, लेकिन इसमें AI से किसी पाठ्यपुस्तक के तथ्यों को रटने के लिए नहीं कहा जाता (जैसे "न्यूटन का दूसरा नियम क्या है?"), बल्कि उनसे शून्य से नियम बनाने के लिए कहा जाता है।

यह परीक्षण कैसे काम करता है: "ब्लैक बॉक्स" गेम

AI को एक जासूस और ब्रह्मांड को एक रहस्यमय बंद कमरे के रूप में सोचें।

सेटअप: AI को एक सिम्युलेटेड दुनिया में छोड़ दिया जाता है। वह "सोर्स कोड" (वास्तविक गणितीय नियम) को नहीं देख सकता। वह केवल कणों (particles) को इधर-उधर घूमते हुए देख सकता है।
उपकरण: AI के पास एक "जादुई छड़ी" (एक N-body सिम्युलेटर) है। वह कह सकता है, "मैं यहाँ से इस गति के साथ एक कण लॉन्च करना चाहता हूँ," और सिम्युलेटर उसे बताता है कि वह कण कहाँ जाकर रुकेगा।
प्रक्रिया:
- AI कुछ कणों को लॉन्च करता है और उन्हें देखता है।
- वह एक अनुमान लगाता है: "शायद गुरुत्वाकर्षण $1/r^2$ की तरह काम करता है?"
- वह उस अनुमान का परीक्षण करता है। यदि कण उसी तरह से नहीं चलते जैसा कि अनुमान ने बताया था, तो AI को अपना विचार बदलना पड़ता है।
- वह इसे कई राउंड के लिए दोहराता है, और अधिक स्मार्ट प्रयोग डिजाइन करता है ताकि AI को चौंकाया जा सके।
फाइनल एग्जाम: AI को दो चीजें जमा करनी होती हैं:
- एक कहानी: एक साधारण अंग्रेजी स्पष्टीकरण कि दुनिया कैसे काम करती है।
- कोड: एक पायथन (Python) प्रोग्राम जो सटीक रूप से भविष्यवाणी कर सके कि कोई भी कण कहाँ जाएगा।

वे AI को दो तरीकों से ग्रेड करते थे

शोधकर्ताओं ने महसूस किया कि केवल गणित को सही करना ही काफी नहीं है। वास्तविक विज्ञान में, आपको यह समझने की आवश्यकता होती है कि चीजें क्यों होती हैं, न कि केवल यह कि वे क्या करती हैं। इसलिए, उन्होंने AI को दो चीजों पर ग्रेड किया:

"क्रिस्टल बॉल" स्कोर (अनुमानित सटीकता): क्या AI का कोड भविष्यवाणी करता है कि कण कहाँ गिरेंगे? यदि AI कहता है "गेंद यहाँ होगी," और वह वहाँ गिरती है, तो उसे अंक मिलते हैं।
"शिक्षक" स्कोर (वैचारिक समझ): एक विशेषज्ञ मानव (और एक दूसरा AI जो शिक्षक के रूप में कार्य करता है) AI की कहानी को पढ़ता है। क्या AI वास्तव में छिपे हुए नियमों को समझ गया था?
- उदाहरण: यदि दुनिया में अदृश्य "डार्क मैटर" है जो चीजों को खींच रहा है, लेकिन AI केवल यह कहता है कि "गुरुत्वाकर्षण सामान्य से अधिक मजबूत है," तो उसे कम स्कोर मिलता है। उसने गणित तो गलती से सही कर लिया, लेकिन वह अवधारणा (concept) को समझने में विफल रहा।

उन्होंने क्या पाया

उन्होंने उपलब्ध 11 सबसे स्मार्ट AI मॉडलों का परीक्षण किया (OpenAI, Anthropic और ओपन-सोर्स समुदायों के शीर्ष मॉडलों सहित)। यहाँ हुआ:

1. "सबसे स्मार्ट" AI अभी भी संघर्ष कर रहे हैं
सबसे अच्छे AI भी केवल लगभग 50% दुनियाओं को ही पास कर पाए। वे तथ्यों को याद रखने में माहिर हैं, लेकिन जब उन्हें नए नियमों की खोज करनी होती है, तो वे अटक जाते हैं।

2. "छिपी हुई जाल" की समस्या
AI अक्सर तब विफल हुआ जब ब्रह्मांड में छिपी हुई संरचनाएं (hidden structures) थीं।

सादृश्य (Analogy): कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि कार धीमी क्यों हो रही है। यदि आप केवल इंजन को देखते हैं, तो आप अनुमान लगा सकते हैं कि ब्रेक खराब हैं। लेकिन यदि सड़क के नीचे एक विशाल चुंबक (छिपा हुआ डार्क मैटर) है जो कार को पीछे खींच रहा है, तो आप चुंबक को देखे बिना उत्तर नहीं खोज पाएंगे।
AI बार-बार मानक नियमों (जैसे सामान्य गुरुत्वाकर्षण) के साथ हल करने की कोशिश करता रहा और यह मानने से इनकार करता रहा कि इसमें "भूतिया कणों" या अतिरिक्त आयामों (dimensions) की भूमिका है।

3. अच्छा गणित $\neq$ अच्छी समझ
एक मॉडल (GPT-5.5) कणों के गिरने की भविष्यवाणी करने में अद्भुत था (कम त्रुटि के साथ), लेकिन इसके द्वारा दिए गए "क्यों" के स्पष्टीकरण अक्सर गलत थे। यह उस छात्र की तरह था जिसने उत्तर कुंजी (answer key) रट ली है लेकिन पाठ को समझा नहीं है।
दूसरा मॉडल (Claude Opus) अवधारणाओं को समझने में बेहतर था (जैसे यह महसूस करना कि समय नियमों को बदल रहा है), भले ही उसके गणितीय अनुमान थोड़े कम सटीक हों।

4. "अनुमान लगाने" बनाम "प्रयोग करने" का अंतर
शोधकर्ताओं ने परीक्षण किया कि क्या AI वास्तव में अच्छे प्रयोग डिजाइन कर रहे हैं या केवल बोर्ड पर तीर चला रहे हैं।

निर्देशित मोड (Guided Mode): AI चुनता है कि कणों को कहाँ लॉन्च करना है।
रैंडम मोड (Random Mode): कंप्यूटर कणों को बेतरतीब ढंग से लॉन्च करता है, और AI बस उन्हें देखता है।
परिणाम: शीर्ष AI ने बहुत बेहतर प्रदर्शन किया जब वे अपने स्वयं के प्रयोग चुन सकते थे। उन्होंने सही सवाल पूछना सीख लिया। हालाँकि, कई ओपन-सोर्स मॉडल दोनों मोड में समान रूप से खराब प्रदर्शन करते रहे, जिससे पता चलता है कि वे वास्तव में अपने प्रयोगों के बारे में "सोच" नहीं रहे थे; वे केवल अनुमान लगा रहे थे।

निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि जबकि AI भौतिकी की समस्याओं को हल करने में बहुत अच्छा हो रहा है, वह अभी भी भौतिकी करने का तरीका सीख रहा है।

वर्तमान AI: एक प्रतिभाशाली छात्र की तरह है जो सूत्र (formula) मिलने पर गणित की समस्या हल कर सकता है, लेकिन अगर आप उनसे कुछ अव्यवस्थित टिप्पणियों के आधार पर सूत्र बनाने के लिए कहें, तो वे संघर्ष करता है।
भविष्य: एक सच्चा वैज्ञानिक साथी बनने के लिए, AI को "लॉन्ग-होरिजन रीजनिंग" (long-horizon reasoning) में बेहतर होना होगा—अर्थात, यह कहने की क्षमता कि, "मेरा वर्तमान सिद्धांत गलत है, मुझे छिपे हुए सत्य को खोजने के लिए पूरी तरह से अलग प्रकार का प्रयोग करने की आवश्यकता है।"

संक्षेप में: AI भविष्य की भविष्यवाणी कर सकता है, लेकिन उसे रहस्य के पीछे के "क्यों" को समझने के लिए अभी भी मदद की आवश्यकता है।

तकनीकी सारांश: DiscoverPhysics

समस्या विवरण

जबकि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) वैज्ञानिक ज्ञान (जैसे GPQA) और तर्क संबंधी कार्यों के स्थिर बेंचमार्क पर मजबूत प्रदर्शन प्रदर्शित करते हैं, उनकी वास्तविक वैज्ञानिक खोज करने की क्षमता अभी भी अपुष्ट है। मौजूदा मूल्यांकन अक्सर याद किए गए तथ्यों, फिक्स्ड डेटासेट्स पर सिम्बोलिक रिग्रेशन, या इंटरैक्टिव कार्यों पर निर्भर करते हैं जहाँ अंतर्निहित भौतिक नियम केवल शिफ्ट किए गए मापदंडों के साथ कैनोनिकल (मानक) होते हैं। ये दृष्टिकोण वैज्ञानिक खोज के मूल को परखने में विफल रहते हैं: यानी नए परिकल्पना (hypotheses) उत्पन्न करने, प्रतिस्पर्धी सिद्धांतों के बीच अंतर करने के लिए सूचनात्मक प्रयोगों को डिजाइन करने, और शोर वाले अवलोकनों के आधार पर वैचारिक मॉडलों को संशोधित करने की क्षमता। विशेष रूप से, वर्तमान बेंचमार्क यह जांचने में पर्याप्त नहीं हैं कि क्या एजेंट गुप्त संरचनाओं (जैसे छिपे हुए कण प्रजातियां या अतिरिक्त आयाम) को उजागर कर सकते हैं या गैर-कैनोनिकल भौतिक वातावरण में सिग्नल और शोर के बीच अंतर कर सकते हैं।

कार्यप्रणाली

लेखक DISCOVERPHYSICS पेश करते हैं, जो एक इंटरैक्टिव बेंचमार्क है जिसे उन सिम्युलेटेड दुनिया में भौतिक नियमों की खोज करने के लिए LLM एजेंटों का मूल्यांकन करने हेतु डिज़ाइन किया गया है जो जानबूझकर मानक पाठ्यपुस्तक भौतिकी से विचलित होती हैं।

बेंचमार्क संरचना

सिम्युलेटेड दुनिया: इस बेंचमार्क में 22 विशिष्ट दुनियाएँ (11 सार्वजनिक, 11 निजी) शामिल हैं जो गैर-कैनोनिकल बल नियमों द्वारा संचालित होती हैं। उदाहरणों में स्क्रीन्ड (यौकावा/Yukawa) और फ्रैक्शनल-पावर ग्रेविटी, मल्टी-स्पीशीज कपलिंग, हिडन डार्क-मैटर-लाइक पार्टिकल्स, नॉन-कोऑर्डिनेट-फ्री फिजिक्स, टाइम-वेरिंग इंटरैक्शन और एक्स्ट्रा डायमेंशन्स शामिल हैं।
एजेंट इंटरेक्शन: एक LLM एजेंट को एक विशिष्ट दुनिया के छिपे हुए नियम की खोज करने का कार्य दिया जाता है। एजेंट प्रयोग के राउंड के एक निश्चित बजट ( $n$ ) के भीतर कार्य करता है।
लूप (The Loop):
1. प्रयोग प्रस्ताव (Experiment Proposal): एजेंट प्रारंभिक स्थिति, वेग, आवेश और मापन समय द्वारा परिभाषित टेस्ट पार्टिकल्स का प्रस्ताव देता है।
2. सिमुलेशन: एक $N$ -बॉडी सिम्युलेटर (Yoshida4 या RK4 जैसे इंटीग्रेटर्स का उपयोग करके) छिपे हुए ग्राउंड-ट्रुथ कानून के आधार पर रॉ ट्रेजेक्टरी डेटा उत्पन्न करता है।
3. परिकल्पना शोधन (Hypothesis Refinement): एजेंट वापस प्राप्त ट्रेजेक्टरी डेटा का विश्लेषण करता है, संभावित कानूनों का प्रस्ताव करता है, और वैकल्पिक रूप से scipy.optimize के माध्यम से मापदंडों को फिट करने के लिए एक टूल का उपयोग करता है।
4. पुनरावृत्ति (Iteration): यह चक्र तब तक दोहराया जाता है जब तक कि बजट समाप्त न हो जाए।
अंतिम आउटपुट: एजेंट को दो चीजें जमा करनी होती हैं:
1. दुनिया के भौतिकी की एक प्राकृतिक भाषा में व्याख्या।
2. अनुमानित नियम का एक पायथन कार्यान्वयन (पार्टिकल्स को इवॉल्व करने के लिए एक फंक्शन)।

मूल्यांकन मेट्रिक्स

बेंचमार्क प्रेडिक्टिव सटीकता और वैचारिक समझ दोनों का आकलन करने के लिए एक ड्यूल-एक्सिस मूल्यांकन ढांचे का उपयोग करता है:

ट्रेजेक्टरी MSE: एजेंट के अनुमानित ट्रेजेक्टरीज और होल्ड-आउट टेस्ट पार्टिकल्स (शोर-मुक्त) के ग्राउंड-ट्रुथ ट्रेजेक्टरीज के बीच मीन स्क्वेर्ड यूक्लिडियन डिस्टेंस। यह प्रेडिक्टिव सटीकता को मापता है।
व्याख्या स्कोर (Explanation Score): एक LLM जज (Claude Opus 4) एजेंट की प्राकृतिक भाषा वाली व्याख्या का मानव-लिखित रूब्रिक के विरुद्ध मूल्यांकन करता है (0–10 स्कोर)। यह वैचारिक समझ और संरचनात्मक विशेषताओं (जैसे स्क्रीनिंग, हिडन स्पीशीज) को पहचानने की क्षमता को मापता है।
पास क्राइटेरिया: एक दुनिया को तब "पास" माना जाता है यदि नॉर्मलाइज्ड ट्रेजेक्टरी MSE 0.1 (10% त्रुटि) से कम हो और व्याख्या स्कोर $\ge 0.9$ हो।

प्रयोगात्मक सेटअप

लेखकों ने 11 फ्रंटियर और ओपन-सोर्स LLMs (जिसमें Claude Opus 4.7, GPT-5.5 जैसे प्रोप्रायटरी मॉडल और Qwen3.5 और Llama-3.3 जैसे ओपन मॉडल शामिल हैं) का मूल्यांकन किया। प्रयोग प्रत्येक मॉडल प्रति दुनिया 5 रैंडम सीड्स पर चलाए गए थे। अध्ययन में एजेंट-निर्देशित प्रयोग बनाम रैंडमाइज्ड प्रयोग और विभिन्न स्तरों के ऑब्जर्वेशनल नॉइज़ की तुलना करने वाले एब्लेशन अध्ययन भी शामिल थे।

मुख्य परिणाम

समग्र प्रदर्शन: यहाँ तक कि सबसे मजबूत फ्रंटियर एजेंट (Claude Opus 4.7 और GPT-5.5) भी पांच प्रयासों के भीतर केवल लगभग 50% दुनिया को पास कर पाते हैं। उन दुनियाओं पर प्रदर्शन काफी गिर जाता है जिनमें लेटेंट स्ट्रक्चर (जैसे हिडन डार्क मैटर, एक्स्ट्रा डायमेंशन्स) की पहचान आवश्यक होती है।
प्रेडिक्टिव सटीकता बनाम वैचारिक समझ: मेट्रिक्स अलग हो जाते हैं। GPT-5.5 सबसे कम ट्रेजेक्टरी MSE (उच्चतम प्रेडिक्टिव सटीकता) प्राप्त करता है लेकिन अक्सर Claude Opus 4.7 की तुलना में व्याख्या की गुणवत्ता पर कम स्कोर करता है। यह सुझाव देता है कि GPT-5.5 लचीले समीकरणों को जल्दी अपनाकर डेटा को अच्छी तरह से फिट करने की प्रवृत्ति रखता है लेकिन अपने वैचारिक चित्र को संशोधित करने में विफल रहता है, जबकि Claude Opus 4.7 प्रयोगों के माध्यम से बेहतर हाइपोथीसिस रिफाइनमेंट प्रदर्शित करता है।
प्रयोगात्मक डिजाइन: शीर्ष मॉडल्स के लिए गाइडेड और रैंडमाइज्ड एक्सपेरिमेंटेशन के बीच एक महत्वपूर्ण अंतर है। Claude Opus 4.7 पास रेट और एक्सप्लेनेशन स्कोर में मोनोटोनिक सुधार दिखाता है जैसे-जैसे प्रयोगात्मक राउंड की संख्या बढ़ती है, जो दर्शाता है कि यह नए डेटा से सीखता है और सूचनात्मक प्रयोग डिजाइन करता है। इसके विपरीत, ओपन-सोर्स मॉडल्स गाइडेड और रैंडम मोड के बीच बहुत कम अंतर दिखाते हैं, जो बताता है कि वे अपने प्रयोगात्मक बजट का प्रभावी ढंग से उपयोग नहीं कर पाते हैं।
ओपन बनाम प्रोप्रायटरी: ओपन-सोर्स मॉडल प्रयोग डिजाइन करने और निष्कर्ष निकालने, दोनों में कमर्शियल मॉडल्स से काफी पीछे हैं। सबसे अच्छा ओपन मॉडल (Qwen3.5) पांच प्रयासों में केवल ~10% दुनिया को हल करता है।
विफलता के मोड (Failure Modes): विफलता के मोड का विश्लेषण विशिष्ट कमजोरियों को प्रकट करता है:
- GPT-5.5: विफलताएं "सही प्रकार के कानून पर विचार करने" (लेटेंट स्ट्रक्चर को मिस करना) और ODE इंटीग्रेटर्स में न्यूमेरिकल सिंगुलैरिटी को संभालने पर केंद्रित हैं।
- Claude Opus 4.7: विफलताएं अधिक वितरित हैं: प्रयोगात्मक डिजाइन (हाइपोथीसिस के बीच अंतर करने में विफल होना), मौखिक तर्क को निष्ठापूर्वक लागू करने वाला कोड लिखने, सिग्नल को शोर से अलग करने, और यह जानने में कि प्रयोग कब रोकना है।

महत्व और दावे

पेपर का दावा है कि DISCOVERPHYSICS हाइपोथीसिस जनरेशन और रिफाइनमेंट के इल-डिफाइंड (अस्पष्ट), इटरेटिव रिसर्च प्रोसेस को करने की LLMs की क्षमता का सबसे मजबूत वर्तमान परीक्षण है।

मेमोराइजेशन से परे: बेंचमार्क यह प्रदर्शित करता है कि ज्ञान-आधारित बेंचमार्क पर उच्च प्रदर्शन, नवीन भौतिक नियमों की खोज करने की क्षमता की गारंटी नहीं देता है।
प्रयोग की आवश्यकता: परिणाम इस बात पर प्रकाश डालते हैं कि भौतिक विज्ञान में वैज्ञानिक खोज के लिए केवल स्टैटिक डेटा पर तर्क करने के बजाय, अंतर्दृष्टिपूर्ण प्रयोगों को डिजाइन करने की क्षमता महत्वपूर्ण है।
ड्यूल इवैल्यूएशन की आवश्यकता: पेपर का तर्क है कि वैज्ञानिक खोज के मूल्यांकन के लिए प्रेडिक्टिव सटीकता (MSE) अकेले पर्याप्त नहीं है; एक मॉडल डेटा को पूरी तरह से फिट कर सकता है बिना अंतर्निहित सिद्धांतों को समझे। ड्यूल इवैल्यूएशन फ्रेमवर्क यह कैप्चर करता है कि क्या एजेंट केवल डेटा का इंटरपोलेशन कर रहे हैं या जेनेरेटिव मैकेनिज्म की पहचान कर रहे हैं।
वर्तमान सीमाएं: लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि फ्रंटियर मॉडल्स एक महत्वपूर्ण सुधार का प्रतिनिधित्व करते हैं, वे अभी भी पूरी तरह से स्वायत्त वैज्ञानिक खोज करने में सक्षम नहीं हैं, विशेष रूप से उन गैर-कैनोनिकल भौतिकी के मामले में जिनमें हिडन डिग्री ऑफ फ्रीडम की पहचान आवश्यक होती है। बेंचमार्क इस विशिष्ट, उच्च-कठिनाई वाले डोमेन में प्रगति को मापने के लिए एक उपकरण के रूप में कार्य करता है।