Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds
यह शोध पत्र अपरिचित काउंटरफैक्चुअल (counterfactual) और ऐतिहासिक दुनियाओं में फ्रंटियर एलएलएम (LLM) के भौतिकी तर्क (physics reasoning) का मूल्यांकन करने के लिए एक ऑडिट करने योग्य चार-चरणीय नैदानिक ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि मॉडल आम तौर पर गुणात्मक प्रवृत्तियों को समझते हैं, वे अक्सर नए नियमों को मात्रात्मक रूप से लागू करने में विफल रहते हैं और आत्म-सुधार (self-correction) के साथ महत्वपूर्ण रूप से संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं जानना चाहते कि उसे अंतिम उत्तर मिल गया या नहीं; आप यह जानना चाहते हैं कि क्या वह वास्तव में तर्क को समझता है या उसने केवल पिछले परीक्षा के समाधान को रट लिया है।
यह शोध पत्र दुनिया के तीन सबसे स्मार्ट AI मॉडलों (Claude, GPT, और Gemini) का एक रिपोर्ट कार्ड है, यह देखने के लिए कि क्या वे वास्तव में "भौतिकी (फिजिक्स) कर सकते हैं" या वे केवल अपनी ट्रेनिंग किताबों में पढ़ी गई बातों को दोहरा रहे हैं।
समस्या: "चीट शीट" का जाल
आमतौर पर, हम AI का परीक्षण उन्हें भौतिकी के प्रश्न देकर करते हैं (जैसे "यह गेंद कितनी तेजी से गिरती है?") और यह देखते हैं कि उत्तर सही है या नहीं। लेकिन इसमें एक पेंच है: इन AI मॉडलों ने लगभग हर भौतिकी की किताब पढ़ रखी है। यदि वे सही उत्तर देते हैं, तो यह इसलिए हो सकता है क्योंकि उन्होंने इसे वास्तव में समझा है, या इसलिए क्योंकि उन्होंने इसे अपनी "चीट शीट" (उनके प्रशिक्षण डेटा) से याद कर लिया है।
यह एक छात्र से गणित का सवाल पूछने जैसा है जिसे उसने लाखों बार देखा है। सही उत्तर देने से यह साबित नहीं होता कि वह गणित समझता है; यह केवल यह सिद्ध करता है कि उसकी याददाश्त अच्छी है।
समाधान: "समानांतर ब्रह्मांड" परीक्षण
इसे ठीक करने के लिए, शोधकर्ताओं ने तीन समानांतर भौतिकी दुनिया (Parallel Physics Worlds) बनाईं। इन्हें आप वैकल्पिक आयामों के रूप में सोच सकते हैं जहाँ भौतिकी के नियम हमारे अपने संसार से थोड़े (या पूरी तरह से) अलग हैं। चूंकि ये नियम वास्तविक दुनिया में अस्तित्व में नहीं हैं, इसलिए AI इन्हें याद नहीं कर सकता था। उसे इन्हें शून्य से समझना ही था।
इस परीक्षण में चार चरण थे, जैसे कोई जासूस मामला सुलझा रहा हो:
- आगमन (Induction - सुराग जुटाना): अजीबोगरीब प्रेक्षणों को देखकर छिपे हुए नियम का अनुमान लगाना।
- सूत्रण (Formulation - नियम पुस्तिका लिखना): उस अनुमान को स्पष्ट, उपयोग योग्य निर्देशों के सेट में बदलना।
- पूर्वानुमान (Prediction - क्रिस्टल बॉल): उन निर्देशों का उपयोग करके एक नई स्थिति में क्या होगा, इसका अनुमान लगाना।
- समीक्षा (Review - आत्म-जांच): अपने काम को वापस देखना और स्वीकार करना, "रुको, मैंने यहाँ गलती की है।"
तीन दुनिया (कठिनाई के स्तर)
स्तर 1: "F = mv" की दुनिया (आसान)
- ट्विस्ट: हमारी दुनिया में, बल द्रव्यमान और त्वरण का गुणनफल होता है ($F=ma$)। इस दुनिया में, बल द्रव्यमान और वेग (velocity) का गुणनफल है ($F=mv$)।
- इसका अर्थ: यदि आप एक बक्से को धक्का देते हैं, तो वह तुरंत एक स्थिर गति से चलता है। यदि आप धक्का देना बंद कर देते हैं, तो वह तुरंत रुक जाता है। कोई धीरे-धीरे गति कम होना (coasting) नहीं।
- परिणाम: AI मॉडल इसमें ठीक थे, लेकिन वे अलग-अलग तरीकों से संघर्ष करते रहे। एक मॉडल नियम का अनुमान लगाने में बहुत अच्छा था लेकिन उसे स्पष्ट रूप से लिखने में कमजोर था। दूसरा मॉडल लिखने में बहुत अच्छा था लेकिन वह गलती से वास्तविक दुनिया के भौतिकी शब्दों का उपयोग करता रहा। एक मॉडल तो नया नियम समझ ही नहीं पाया।
स्तर 2: "अरस्तू (Aristotelian)" की दुनिया (मध्यम)
- ट्विस्ट: यह एक वास्तविक ऐतिहासिक सिद्धांत है (2,000 साल पहले का), जिसे अब हम गलत जानते हैं। इस दुनिया में, भारी चीजें हल्की चीजों की तुलना में तेजी से गिरती हैं, और जैसे ही आप धक्का देना बंद करते हैं, चीजें रुक जाती हैं।
- चुनौती: AI को प्रशिक्षित किया गया है कि "अरस्तू गलत थे।" पास होने के लिए, इसे अरस्तू की तरह व्यवहार करना था और मान लेना था कि वे सही थे, और अपने स्वयं के प्रशिक्षण को अनदेखा करना था। यह एक छात्र से उस सिद्धांत के पक्ष में तर्क देने के लिए कहने जैसा था जिसे उसने नफरत करना सिखाया है।
- परिणाम: मॉडल आधुनिक भौतिकी को "अनलर्न" (unlearn) करने में संघर्ष करते रहे। वे गलती से "त्वरण (acceleration)" या "गुरुत्वाकर्षण (gravity)" जैसे शब्द बोलते रहे, जो इस दुनिया में वर्जित थे। सबसे अच्छा मॉडल अधिकांश समय इस भूमिका में रहने में सफल रहा; सबसे खराब मॉडल आधुनिक विज्ञान को उद्धृत करना बंद ही नहीं कर सका।
स्तर 3: "क्षय (Decay) की दुनिया" (कठिन)
- ट्विस्ट: इस दुनिया में, हर चीज़ हर सेकंड अपना 1% मूल्य खो देती है। एक घूमता हुआ लट्टू धीमा हो जाता है, कॉफी का गर्म कप ठंडा हो जाता है, और एक ग्रह की कक्षा सिकुड़ जाती है—ये सब बिल्कुल एक ही दर से होता है। कोई "घर्षण (friction)" या "ऊर्जा हानि" नहीं है जो ऐसा कर रही है; यह बस होता है।
- चlanौती: यह सबसे कठिन है क्योंकि AI को चार पूरी तरह से अलग चीजों (घूमना, गर्म होना, गिरना, कक्षा में घूमना) पर एक ही नियम लागू करना है, बिना अपने सामान्य "ऊर्जा" वाले स्पष्टीकरणों का उपयोग किए।
- परिणाम: पूर्ण विफलता। किसी भी मॉडल ने पूरा परीक्षण पास नहीं किया।
- बड़ी हैरानी: मॉडल दिशा (direction) के मामले में वास्तव में अच्छे थे। वे जानते थे कि चीजें धीमी हो जाएंगी या सिकुड़ जाएंगी। लेकिन जब बात संख्याओं की आई, तो वे विफल रहे। वे कहेंगे, "यह धीमा हो जाता है," लेकिन फिर वे पुरानी भौतिकी के नियमों (जैसे ऊर्जा हानि) का उपयोग करके गति की गणना करेंगे। यह यह जानने जैसा है कि कार ब्रेक लगा रही है, लेकिन रुकने की दूरी की गणना ऐसे कर रहे हैं जैसे ब्रेक सामान्य रूप से काम कर रहे हों।
"स्व-जांच" की विफलता
सबसे दिलचस्प खोज चरण 4 (समीक्षा) के बारे में थी।
जब मॉडलों ने गलती की, तो उनसे पूछा गया, "क्या मैंने कोई गड़बड़ी की?"
- परिणाम: वे इसमें बहुत खराब थे। लगभग दो-तिहाई मामलों में जहाँ उन्होंने गलती की थी, उन्होंने शोधकर्ताओं को आत्मविश्वास के साथ बताया, "नहीं, मैंने जो कुछ भी किया वह एकदम सही था।" उन्हें एहसास ही नहीं हुआ कि वे विफल रहे हैं।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि ये AI मॉडल "पीएचडी वाले तोते" की तरह हैं।
- वे भौतिकी के शब्दों की नकल बहुत अच्छी तरह से कर सकते हैं।
- वे परिवर्तन की दिशा (चीजें धीमी होती हैं, चीजें गिरती हैं) का अनुमान लगा सकते हैं।
- लेकिन जब उन्हें बिल्कुल नए नियमों का उपयोग करके वास्तविक गणित करना पड़ता है, या जब उन्हें यह स्वीकार करना पड़ता है कि उन्होंने गलती की है, तो वे टूट जाते हैं।
वे उस तरह से "तर्क" (reasoning) नहीं कर रहे हैं जैसे इंसान करते हैं; वे मुख्य रूप से पैटर्न-मैचिंग कर रहे हैं। जब पैटर्न उनके प्रशिक्षण डेटा में मौजूद नहीं होता (जैसे "क्षय की दुनिया" में), तो वे पुराने पैटर्न को नई समस्या पर थोपने की कोशिश करते हैं, और संख्याएँ मेल नहीं खातीं।
संक्षेप में: ये AI भौतिक विज्ञानी की तरह बोलने में बहुत अच्छे हैं, लेकिन वे अभी तक भौतिक विज्ञानी बनने के लिए तैयार नहीं हैं। वे सिद्धांत को सुना सकते हैं, लेकिन वे शून्य से एक नया सिद्धांत नहीं बना सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।