🤖 AI

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

यह शोध पत्र यह प्रदर्शित करता है कि तीन न्यूनतम इंडक्टिव बायस (inductive biases)—स्थानिक सुगमता (spatial smoothness), स्थिरता (stability) और टेम्पोरल लोकैलिटी (temporal locality)—को पेश करके, जेनेरिक ट्रांसफॉर्मर्स केवल कर्व-फ़िटर्स (curve-fitters) से विकसित होकर न्यूटनियन बलों जैसे मौलिक भौतिक नियमों की खोज करने में सक्षम एजेंट बन सकते हैं, जिससे उच्च भविष्य कहने वाली सटीकता और वास्तविक कारण संबंधी समझ (causal understanding) के बीच के अंतर को पाटा जा सकता है।

मूल लेखक: Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias

प्रकाशित 2026-02-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट छात्र है। आप उसे सिखाना चाहते हैं कि ग्रह सूर्य के चारों ओर कैसे घूमते हैं। आप उसे ग्रहों के इतिहास की एक विशाल किताब देते हैं कि वे कहाँ रहे हैं, और उससे पूछते हैं कि वे आगे कहाँ होंगे इसका अनुमान लगाने को।

बड़ा सवाल जो यह शोध पत्र पूछता है, वह यह है: क्या यह रोबोट छात्र केवल रास्ते को रट सकता है, या क्या वह वास्तव में भौतिकी (physics) के उन नियमों को समझ सकता है जो इस गति का कारण बनते हैं?

लेखकों ने पाया कि बिना कुछ विशेष "प्रशिक्षण पहियों" (जिन्हें वे इंडक्टिव बायस/inductive biases कहते हैं) के, रोबोट एक शानदार रटने वाला तो है लेकिन एक बुरा भौतिक विज्ञानी है। वह पथ (path) को तो पूरी तरह से खींच लेता है, लेकिन उसे यह पता ही नहीं होता कि वह ग्रह उस तरह से क्यों घूम रहा है।

यहाँ बताया गया है कि उन्होंने रोबोट को कैसे सुधारा, जिसे तीन सरल पाठों में विभाजित किया गया है।

समस्या: रोबोट एक "कर्व-फिटर" (वक्र बनाने वाला) है, "भौतिक विज्ञानी" नहीं

रोबोट के मस्तिष्क को एक विशाल पुस्तकालय के रूप में सोचें।

केपलर दृष्टिकोण (जो रोबोट ने स्वाभाविक रूप से किया): रोबोट ग्रह की यात्रा के पिछले 1,000 बिंदुओं को देखता है। वह कहता है, "आहा! मुझे पैटर्न दिख गया। यह एक अंडाकार आकार है। मैं बस इसी अंडाकार को बनाना जारी रखूँगा।" यह एक बच्चे द्वारा चित्र ट्रेस करने जैसा है। वह चित्र को सही बनाता है, लेकिन यदि आप उससे पूछें, "यह अंडाकार क्यों है?" या "कौन सा बल इसे खींच रहा है?", तो रोबोट के पास कोई उत्तर नहीं होता। वह बस आकार को जानता है।
न्यूटन दृष्टिकोण (जो हम चाहते हैं): हम चाहते हैं कि रोबोट कहे, "सूर्य ग्रह को गुरुत्वाकर्षण के साथ खींच रहा है। यदि मुझे ग्रह की वर्तमान गति और स्थिति पता है, तो मैं खिंचाव की गणना कर सकता हूँ और अगले कदम की भविष्यवाणी कर सकता हूँ।" यह केवल प्रभाव को नहीं, बल्कि कारण को समझने के बारे में है।

शोध पत्र दिखाता है कि मानक AI मॉडल (ट्रांसफॉर्मर्स) स्वाभाविक रूप से "ट्रेसर" (केपलर) बन जाते हैं और "कैलकुलेटर" (न्यूटन) बनने में विफल रहते हैं। इसे ठीक करने के लिए, लेखकों ने तीन विशिष्ट "प्रशिक्षण पहिए" जोड़े।

पाठ 1: "पिक्सेलेटेड मैप" की समस्या (स्थानिक सहजता/Spatial Smoothness)

उपमा: कल्पना करें कि आप एक रोबोट को शहर में नेविगेट करना सिखा रहे हैं।

गलती: आप रोबोट को एक ऐसा नक्शा देते हैं जहाँ सड़क का हर कोना पूरी तरह से अलग, यादृच्छिक (random) रंग का है। "लाल" 1st और Main का कोना है। "नीला" 1st और 2nd का कोना है। भले ही ये कोने एक-दूसरे के ठीक बगल में हैं, रोबोट उन्हें पूरी तरह से असंबंधित देखता है। उसे हर बार "लाल" और "नीले" के बीच के संबंध को शून्य से सीखना पड़ता है।
सुधार: लेखकों ने महसूस किया कि जब उन्होंने ग्रह की स्थिति को छोटे "बिनों" (जैसे पिक्सल) में विभाजित किया, तो उन्होंने स्थान की प्राकृतिक सहजता को तोड़ दिया।
समाधान: उन्होंने "बिनों" को बड़ा बनाया (कम रंग) या बिनों का उपयोग करना ही बंद कर दिया और सीधे रोबोट को सटीक निर्देशांक (जैसे GPS) दिए। इससे रोबोट यह देख सका कि "बिंदु A" ठीक "बिंदु B" के बगल में है, जिससे उसे एक भ्रमित करने वाले यादृच्छिक कोड के बजाय स्थान का एक वास्तविक मानसिक मानचित्र बनाने में मदद मिली।

पाठ 2: "डोमिनो इफेक्ट" की समस्या (स्थानिक स्थिरता/Spatial Stability)

उपमा: कल्पना करें कि आप "टेलीफोन" का खेल खेल रहे हैं जहाँ आप अगले व्यक्ति को एक नंबर फुसफुसाते हैं।

गलती: यदि पहला व्यक्ति "50.1" फुसफुसाता है और दूसरा "50.2" सुनता है, तो तीसरा व्यक्ति "50.5" सुन सकता है, और अंत तक पहुँचते-पहुँचते वह नंबर "100" हो सकता है। भौतिकी में, यदि रोबोट ग्रह की स्थिति की भविष्यवाणी करने में एक छोटी सी गलती करता है, तो वह गलती हर कदम के साथ बढ़ती जाती है, जब तक कि ग्रह अंतरिक्ष में दूर न चला जाए या सूर्य से न टकरा जाए।
सुधार: लेखकों ने महसूस किया कि मानक AI प्रशिक्षण बहुत "परफेक्ट" है। यह केवल पूर्ण पिछले डेटा से सीखता है।
समाधान: उन्होंने जानबूझकर रोबोट के प्रशिक्षण डेटा को "खराब" करना शुरू किया। उन्होंने उस इतिहास में थोड़ा सा 'स्टैटिक नॉइज़' (जैसे रेडियो पर शोर) जोड़ा जिसे रोबोट पढ़ रहा था। इसने रोबोट को छोटी गलतियों से उबरना सीखने के लिए मजबूर किया, जिससे वह भविष्य की भविष्यवाणी करने के लिए पर्याप्त मजबूत बन गया, ताकि त्रुटियाँ जमा न हों।

पाठ 3: "लंबी स्मृति" बनाम "छोटी स्मृति" की समस्या (सामयिक स्थानीयता/Temporal Locality)

उपमा: यह सबसे महत्वपूर्ण हिस्सा है।

लंबी स्मृति (केपलर): कल्पना करें कि एक रोबोट जो पिछले एक घंटे में जो कुछ भी हुआ उसे याद रखता है। जब वह अगले कदम का अनुमान लगाने की कोशिश करता है, तो वह एक बड़ा वक्र (curve) बनाने के लिए एक घंटे के पूरे इतिहास को देखता है। यह एक रोलरकोस्टर ट्रैक को देखने जैसा है ताकि यह अनुमान लगाया जा सके कि गाड़ी आगे कहाँ जाएगी। यह वक्र के लिए तो काम करता है, लेकिन यह भौतिकी को नहीं समझता।
छोटी स्मृति (न्यूटन): अब, कल्पना करें कि एक रोबोट को केवल पिछले दो सेकंड को याद रखने की अनुमति है। वह पूरा ट्रैक नहीं देख सकता। उसे यह देखना ही होगा कि कार्ट अभी कहाँ है और वह अभी कितनी तेज़ चल रही है ताकि वह जान सके कि आगे कहाँ जाना है।
समाधान: लेखकों ने रोबोट की स्मृति को छोटा करने के लिए मजबूर किया। उन्होंने उससे कहा, "तुम केवल तत्काल अतीत को देख सकते हो।"
परिणाम: क्योंकि रोबोट अब "बड़ी तस्वीर" वाले वक्र पर निर्भर नहीं रह सका, इसलिए उसे खेल के नियमों को समझना पड़ा। उसे अगले कदम की भविष्यवाणी करने के लिए अभी ग्रह पर लगने वाले अदृश्य "खिंचाव" (गुरुत्वाकर्षण) की गणना करनी ही पड़ी। अचानक, रोबोट ने अंडाकार बनाना बंद कर दिया और बलों की गणना करने लगा। वह एक भौतिक विज्ञानी बन गया।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि आप AI के मस्तिष्क को कैसे डिज़ाइन करते हैं, यह निर्धारित करता है कि वह क्या सीखता है।

यदि आप इसे सब कुछ देखने देते हैं और एक पिक्सेलेटेड मैप का उपयोग करते हैं, तो यह एक कर्व-फिटर (केपलर) बन जाता है। यह सुंदर चित्र बनाता है लेकिन ब्रह्मांड को नहीं समझता।
यदि आप इसे एक स्मूथ मैप देते हैं, इसे गलतियों को संभालने के लिए सिखाते हैं, और इसे छोटी स्मृति रखने के लिए मजबूर करते हैं, तो यह एक भौतिक विज्ञानी (न्यूटन) बन जाता है। यह अपने आप गुरुत्वाकर्षण के नियमों की खोज कर लेता है।

लेखक दिखाते हैं कि आपको AI में भौतिकी के नियमों को प्रोग्राम करने की आवश्यकता नहीं है। आपको बस उसे सही "इंडक्टिव बायस" (सही प्रशिक्षण बाधाएं) देने की आवश्यकता है, और वह स्वयं नियमों की खोज कर लेगा।

तकनीकी सारांश: केप्लर से न्यूटन तक: इंडक्टिव बायस (Inductive Biases) ट्रांसफॉर्मर्स में सीखे गए वर्ल्ड मॉडल्स का मार्गदर्शन करते हैं

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सामान्य-उद्देश्य वाले फाउंडेशन मॉडल्स (ट्रांसफॉर्मर्स) की वैज्ञानिक खोज की क्षमताओं में एक महत्वपूर्ण अंतराल को संबोधित करता है। जबकि पिछले "AI फिजिसिस्ट" दृष्टिकोणों ने सफलतापूर्वक प्रतीकात्मक भौतिक नियमों (symbolic physical laws) को रिकवर किया है, वे अक्सर मजबूत, डोमेन-विशिष्ट प्रायर्स (priors) पर निर्भर करते हैं जो प्रभावी रूप से भौतिकी को पहले से ही "बना" (bake in) देते हैं। इसके विपरीत, वाफा एट अल. (2025) के हालिया कार्य ने प्रदर्शित किया कि जेनेरिक ट्रांसफॉर्मर्स, यहाँ तक कि GPT-2 स्केल पर भी, "वर्ल्ड मॉडल्स" (विश्व मॉडल)—अर्थात कारण संबंधी अमूर्तता (causal abstractions) जो यह समझाते हैं कि घटनाएँ क्यों होती हैं—प्राप्त करने में विफल रहते हैं। इसके बजाय, ये मॉडल उच्च भविष्यवाणात्मक सटीकता प्राप्त करने के लिए ज्यामितीय वक्र-फिटिंग (केप्लरियन मॉडल) सीखते हैं, बिना अंतर्निहित गतिशील नियमों (न्यूटनियन मैकेनिक्स) को समझे।

केंद्रीय अनुसंधान प्रश्न है: ट्रांसफॉर्मर्स ग्रहों की गति के लिए न्यूटनियन वर्ल्ड मॉडल सीखने में क्यों विफल होते हैं, और इसे कैसे ठीक किया जा सकता है? लेखक तर्क देते हैं कि यह विफलता किसी मौलिक संरचनात्मक सीमा के बजाय विशिष्ट, न्यूनतम इंडक्टिव बायस (inductive biases) की कमी के कारण है।

2. कार्यप्रणाली (Methodology)

लेखक एक नियंत्रित सेटिंग में ट्रांसफॉर्मर्स की विफलता के तरीकों की व्यवस्थित जांच करते हैं: एक केंद्रीय द्रव्यमान के चारों ओर 2D ग्रहीय गति की भविष्यवाणी करना। वे ज्यामितीय भविष्यवाणी और भौतिक कानून की खोज के बीच के अंतर को पाटने के लिए तीन न्यूनतम इंडक्टिव बायस पेश करते हैं।

समस्या सेटअप (Problem Setup)

कार्य में स्थितियों के इतिहास (history of positions) के आधार पर अगले $\vec{r}_{t+1}$ स्थान की भविष्यवाणी करना शामिल है, जिसे ऑटोरिग्रेसिव नेक्स्ट-टोकन प्रेडिक्शन (NTP) समस्या के रूप में तैयार किया गया है।

बेसलाइन: सेटअप वाफा एट अल. (2025) का अनुसरण करता है, जहाँ निरंतर निर्देशांकों (continuous coordinates) को टोकन (बिन्स) में विविक्त (discretize) किया जाता है और क्रॉस-एन्ट्रॉपी लॉस के माध्यम से भविष्यवाणी की जाती है।
प्रस्तावित संशोधन: लेखक विशिष्ट इंडक्टिव बायस को अलग करने के लिए टोकनाइजेशन, लॉस फंक्शन्स और अटेंशन मैकेनिज्म में विविधताओं का परीक्षण करते हैं।

तीन इंडक्टिव बायस (The Three Inductive Biases)

बायस 1: स्थानिक सहजता (Spatial Smoothness)

विफलता मोड: डिफ़ॉल्ट टोकनाइजेशन निरंतर स्थानिक निर्देशांकों को स्वतंत्र बिन्स में विभाजित करता है जिनमें रैंडमली इनिशियलाइज्ड एम्बेडिंग्स होती हैं। यह स्थानिक सहजता को तोड़ देता; भौतिक रूप से पास स्थित बिंदु लेकिन अलग बिन्स में होने पर असंबंधित माने जाते हैं। लेखक दिखाते हैं कि विशाल डेटा (20B टोकन) के साथ भी, सीखा गया एम्बेडिंग स्पेस एक सुसंगत स्थानिक मानचित्र बनाने में विफल रहता है (कम लीनियर डिकोडेबिलिटी, $R^2 \approx 0.86$ )।
समाधान:
1. अनुकूलित टोकनाइजेशन (Optimized Tokenization): वोकैबुलरी साइज ( $V$ ) को काफी कम करने से स्थानिक मानचित्र का उभरना बेहतर होता है। लेखक एक स्केलिंग लॉ प्राप्त करते हैं जो दिखाता है कि मानचित्र की गुणवत्ता बनाए रखने के लिए प्रशिक्षण डेटा का आकार ( $D$ ) वोकैबुलरी साइज ( $V$ ) की तुलना में कम से कम उतनी ही तेजी से बढ़ना चाहिए ( $1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$ )।
2. निरंतर निर्देशांक (Continuous Coordinates): वैकल्पिक रूप से, विविक्तीकरण (discretization) के बिना निरंतर निर्देशांकों का उपयोग स्वाभाविक रूप से स्थानिक सहजता प्रदान करता है, हालांकि यह स्थिरता की चुनौतियाँ पेश करता है।

बायस 2: स्थानिक स्थिरता (Spatial Stability)

विफलता मोड: ऑटोरिग्रेसिव मॉडल एरर संचय (error accumulation) से ग्रस्त होते हैं, जो निरंतर वेरिएबल्स (रिग्रेशन) की भविष्यवाणी करते समय डिस्क्रीट टोकन्स (क्लासिफिकेशन) की तुलना में अधिक बढ़ जाता है। शमन (mitigation) के बिना, छोटी प्रारंभिक त्रुटियाँ प्रक्षेपवक्र (trajectory) को विनाशकारी रूप से विचलित कर देती हैं (जैसे ग्रह अनंत की ओर उड़ जाना या सूर्य में गिर जाना)।
समाधान: नॉइजी कॉन्टेक्स्ट लर्निंग (Noisy Context Learning)। लेखक प्रशिक्षण के दौरान ऐतिहासिक कॉन्टेक्स्ट में गॉसियन नॉइज़ इंजेक्ट करते हैं। यह मॉडल को ऐसे मजबूत प्रतिनिधित्व सीखने के लिए मजबूर करता है जो पिछले पूर्ण अवस्थाओं (past states) पर निर्भर नहीं होते।
परिणाम: नॉइजी कॉन्टेक्स ट्रेनिंग के साथ, रिग्रेशन (निरंतर निर्देशांक और MSE लॉस का उपयोग करके) सभी डेटा स्केल्स पर क्लासिफिकेशन (डिस्क्रीट निर्देशांक और क्रॉस-एन्ट्रॉपी लॉस) की तुलना में लगातार बेहतर प्रदर्शन करता है।

बायस 3: टेम्पोरल लोकैलिटी (Temporal Locality)

विफलता मोड: मानक ट्रांसफॉर्मर्स लंबे कॉन्टेक्स्ट लेंथ (जैसे 1k+ टोकन) का उपयोग करते हैं, जिससे मॉडल को प्रक्षेपवक्र के पूरे इतिहास तक पहुँच प्राप्त होती है। यह मॉडल को सभी पिछले बिंदुओं के आधार पर वैश्विक ज्यामितीय आकृतियों (अण्डाकार/ellipses) को फिट करने के लिए प्रोत्साहित करता है—एक "केप्लरियन" दृष्टिकोण।
समाधान: प्रतिबंधित अटेंशन विंडो (Restricted Attention Window)। लेखक कॉन्टेक्स्ट लेंथ को तत्काल अतीत (जैसे केवल पिछले 2 स्टेट्स) तक सीमित कर देते हैं। यह इस भौतिक धारणा को लागू करता है कि भविष्य की स्थिति केवल स्थानीय स्थिति (स्थिति और वेग) पर निर्भर करती है, जो न्यूटन के दूसरे नियम (एक सेकंड-ऑर्डर डिफरेंशियल इक्वेशन) के अनुरूप है।
परिणाम: यह बाधा मॉडल को ग्लोबल कर्व-फिटिंग छोड़ने और इसके बजाय चरण-दर-चरण प्रक्षेपवक्र का अनुकरण करने के लिए स्थानीय गुरुत्वाकर्षण बलों ( $\vec{F} \propto 1/r^2$ ) का अनुमान लगाने के लिए मजबूर करती है—एक "न्यूटनियन" दृष्टिकोण।

3. मुख्य परिणाम (Key Results)

स्थानिक मानचित्र का उद्भव (Spatial Map Emergence): टोकनाइज्ड मॉडल्स में सीखा गया स्थानिक मानचित्र वोकैबुलरी साइज के प्रति अत्यधिक संवेदनशील है। बड़े वोकैबुलरी (जैसे $V=7000$ ) को एक सुसंगत मानचित्र सीखने के लिए अव्यावहारिक मात्रा में डेटा की आवश्यकता होती है। $V$ को कम करना या निरंतर निर्देशांकों का उपयोग करना इस समस्या को हल करता है।
रिग्रेशन बनाम क्लासिफिकेशन: वाफा एट अल. के निष्कर्षों के विपरीत, लेखक प्रदर्शित करते हैं कि रिग्रेशन (निरंतर निर्देशांक के साथ) क्लासिफिकेशन (डिस्क्रीट निर्देशांक के साथ) से बेहतर है, बशर्ते कि नॉइजी कॉन्टेक्स्ट लर्निंग का उपयोग इन्फरेंस को स्थिर करने के लिए किया जाए।
केप्लरियन बनाम न्यूटनियन मॉडल:
- लॉन्ग कॉन्टेक्स्ट (केप्लरियन): मॉडल सभी पिछले स्टेट्स का उपयोग करके वैश्विक अण्डाकार प्रक्षेपवक्र को फिट करना सीखता है। यह वक्र को जारी रखकर भविष्यवाणी करता है।
- शॉर्ट कॉन्टेक्स्ट (न्यूटनियन): जब स्थानीय स्टेट्स तक सीमित होता है, तो मॉडल अंतर्निहित बल नियम (force law) की खोज करता है। यह डिफरेंशियल इक्वेशन $F=ma$ का अनुकरण करके भविष्यवाणी करता है।
इंडक्टिव बायस पदानुक्रम (Inductive Bias Hierarchy): पेपर प्रदर्शित करता है कि सरल आर्किटेक्चरल विकल्प यह निर्धारित करते हैं कि AI एक "कर्व-फिटर" (केप्लर) के रूप में कार्य करेगा या एक "फिजिसिस्ट" (न्यूटन) के रूप में।

4. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सरल आर्किटेक्चरल विकल्प ही यह निर्धारित करने वाला कारक हैं कि एक सामान्य-उद्देश्य वाला AI भौतिक नियमों की खोज करेगा या केवल डेटा को फिट करेगा।

अंतराल को पाटना: यह कार्य "AI फिजिसिस्ट" मॉडल्स (जो मजबूत प्रायर्स का उपयोग करते हैं) और जेनेरिक ट्रांसफॉर्मर्स (जो भौतिकी सीखने में विफल रहते हैं) के बीच के विभाजन को पाटता है। यह दिखाता है कि जेनेरिक ट्रांसफॉर्मर्स कर सकते हैं यदि उन्हें न्यूनतम, डोमेन-अज्ञेय (domain-agnostic) इंडक्टिव बायस (स्मूथनेस, स्टेबिलिटी, लोकैलिटी) के साथ सुसज्जित किया जाए।
स्वचालित वैज्ञानिक खोज: परिणाम "AI साइंटिस्ट्स" के विजन के लिए एक "महत्वपूर्ण लिटमस टेस्ट" के रूप में कार्य करते हैं। यदि सामान्य-उद्देश्य वाले आर्किटेक्चर विशिष्ट इंजीनियरिंग के बिना शास्त्रीय यांत्रिकी के ज्ञात नियमों को रिकवर नहीं कर सकते, तो उन पर अज्ञात नियमों की खोज के लिए भरोसा नहीं किया जा सकता।
विफलता का तंत्र: पेपर स्पष्ट करता है कि पिछले बड़े पैमाने के मॉडल्स की विफलता उनकी क्षमता की कमी के कारण नहीं थी, बल्कि विशिष्ट इंडक्टिव बायस (विशेष रूप से टेम्पोरल लोकैलिटी और स्पेशियल स्टेबिलिटी) की अनुपस्थिति के कारण थी, जो ज्यामितीय सहसंबंधों (geometric correlations) के ऊपर कारण संबंधी अमूर्तता (causal abstractions) के उद्भव को मजबूर करने के लिए आवश्यक थे।

लेखक निष्कर्ष निकालते हैं कि व्यवस्थित रूप से इन बायस को पेश करके, ट्रांसफॉर्मर्स "क्या" होने वाला है इसकी भविष्यवाणी करने से बदलकर "क्यों" होता है इसे समझने की ओर बढ़ सकते हैं, जो स्वचालित वैज्ञानिक खोज की दिशा में एक कदम है।