🤖 AI

From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

تُثبت هذه الورقة أنه من خلال إدخال ثلاثة انحيازات استقرائية دنيا —وهي النعومة المكانية، والاستقرار، والمحلية الزمنية— يمكن لنماذج "ترانسفورمرز" العامة أن تتطور من مجرد أدوات لملاءمة المنحنيات إلى وكلاء قادرين على اكتشاف القوانين الفيزيائية الأساسية مثل قوى نيوتن، مما يجسّر الفجوة بين دقة التنبؤ العالية والفهم السببي الحقيقي.

المؤلفون الأصليون: Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً آلياً فائق الذكاء. تريد تعليمه كيف تتحرك الكواكب حول الشمس. تعطيه كتاب تاريخ ضخم يوضح أين كانت الكواكب في الماضي، وتطلب منه أن يتوقع أين ستكون في المرة القادة.

السؤال الكبير الذي يطرحه هذا البحث هو: هل يمكن لهذا الطالب الآلي مجرد حفظ المسار، أم أنه يستطيع حقاً فهم قوانين الفيزياء التي تسبب هذه الحركة؟

وجد المؤلفون أنه بدون بعض "عجلات التدريب" الخاصة (التي يسمونها الانحيازات الاستقرائية - inductive biases)، يصبح الروبوت حافظاً بارعاً ولكنه فيزيائي سيئ. فهو يتعلم رسم المسار بدقة، لكنه لا يملك أدنى فكرة عن سبب تحرك الكوكب بهذا الشكل.

إليك قصة كيفية إصلاح الروبوت، مقسمة إلى ثلاثة دروس بسيية.

المشكلة: الروبوت هو "مُطابق منحنيات"، وليس "فيزيائياً"

فكر في عقل الروبوت كأنه مكتبة ضخمة.

نهج كبلر (ما فعله الروبوت بشكل طبيعي): ينظر الروبوت إلى آخر 1,000 نقطة من رحلة الكوكب ويقول: "آها! لقد رأيت النمط. إنه شكل بيضاوي. سأستمر فقط في رسم الشكل البيضاوي". الأمر يشبه طفلاً يتتبع صورة؛ هو ينجح في رسم الصورة، ولكن إذا سألته: "لماذا هو بيضاوي؟" أو "ما هي القوة التي تسحبه؟"، فلن يملك الروبوت إجابة. هو يعرف الشكل فحسب.
نهج نيوتن (ما نريده): نريد من الروبوت أن يقول: "الشمس تسحب الكوكب بجاذبية. إذا عرفت سرعة الكوكب وموقعه الحالي، يمكنني حساب قوة السحب والتنبؤ بالخطوة التالية". هذا هو فهم السبب، وليس مجرد معرفة النتيجة.

يوضح البحث أن نماذج الذكاء الاصطناعي القياسية (المحولات - Transformers) تصبح بطبيعتها "متتبعين" (كبلر) وتفشل في أن تصبح "حاسبين" (نيوتن). ولإصلاح ذلك، أضاف المؤلفون ثلاث "عجلات تدريب" محددة.

الدرس الأول: مشكلة "الخريطة المنقطة" (النعومة المكانية)

التشبيه: تخيل أنك تحاول تعليم روبوت التنقل في مدينة.

الخطأ: تعطي الروبوت خريطة حيث كل زاوية شارع لها لون مختلف وعشوائي تماماً. "الأحمر" هو زاوية الشارع الأول والثاني. "الأزرق" هو زاوية الشارع الأول والثالث. على الرغم من أن هذه الزوايا متجاورة تماماً، إلا أن الروبوت يراها غير مرتبطة ببعضها البعض. عليه أن يعيد تعلم العلاقة بين "الأحمر" و"الأزرق" من الصفر في كل مرة.
الإصلاح: أدرك المؤلفون أنهم عندما قسموا موقع الكوكب إلى "صناديق" صغيرة (مثل البكسلات)، فقد كسروا النعومة الطبيعية للمكان.
الحل: جعلوا "الصناديق" أكبر (ألوان أقل) أو توقفوا عن استخدام الصناديق تماماً وقدموا للروبوت الإحداثيات الدقيقة (مثل نظام الـ GPS). سمح هذا للروبوت برؤية أن "النقطة أ" تقع بجوار "النقطة ب"، مما ساعده على بناء خريطة ذهنية حقيقية للمكان بدلاً من مجموعة مربكة من الأكواد العشوائية.

الدرس الثاني: مشكلة "تأثير الدومينو" (الاستقرار المكاني)

التشبيه: تخيل أنك تلعب لعبة "الهاتف المكسور" حيث تهمس برقم للشخص التالي.

الخطأ: إذا همس الشخص الأول بـ "50.1" وسمع الشخص الثاني "50.2"، فقد يسمع الشخص الثالث "50.5"، وبحلول وصول المعلومة إلى نهاية السلسلة، قد تصبح "100". في الفيزياء، إذا ارتكب الروبوت خطأً صغيراً في التنبؤ بموقع الكوكب، فإن هذا الخطأ يكبر ويكبر مع كل خطوة، حتى يطير الكوكب في الفضاء العميق أو يصطدم بالشمس.
الإصلاح: أدرك المؤلفون أن تدريب الذكاء الاصطناعي القياسي "مثالي" للغاية؛ فهو يتعلم فقط من البيانات الماضية المثالية.
الحل: بدأوا في "إفساد" بيانات تدريب الروبوت عن قصد. أضافوا القليل من الضجيج (مثل التشويش في الراديو) إلى التاريخ الذي يقرأه الروبوت. هذا أجبر الروبوت على تعلم كيفية التعافي من الأخطاء الصغيرة، مما جعله قوياً بما يكفي للتنبؤ بالمستقبل دون أن تتراكم الأخطاء.

الدرس الثالث: مشكلة "الذاكرة الطويلة" مقابل "الذاكرة القصيرة" (المحلية الزمنية)

التشبيه: هذا هو الجزء الأهم.

الذاكرة الطويلة (كبلر): تخيل روبوتاً يتذكر كل ما حدث في الساعة الماضية. عندما يحاول تخمين ما سيحدث بعد قليل، فإنه ينظر إلى ساعة كاملة من التاريخ ليرسم منحنى ضخماً. الأمر يشبه النظر إلى مسار كامل لقطار الملاهي لتخمين أين ستذهب العربة تالياً. هذا ينجح في رسم المنحنى، لكنه لا يفهم الفيزياء.
الذاكرة القصيرة (نيوتن): الآن، تخيل روبوتاً مسموحاً له فقط بتذكر آخر ثانيتين. لا يمكنه رؤية المسار الكامل. يجب عليه أن ينظر إلى مكان العربة الآن وإلى سرعتها الآن ليعرف أين ستذهب تالياً.
الحل: أجبر المؤلفون الروبوت على امتلاك ذاكرة قصيرة. أخبروه: "يمكنك فقط النظر إلى الماضي القريب".
النتيجة: لأن الروبوت لم يعد بإمكانه الاعتماد على "الصورة الكبيرة" للمنحنى، فقد أُجبر على اكتشاف قواعد اللعبة. كان عليه حساب "الجذب" الخفي (الجاذبية) الذي يؤثر على الكوكب في اللحظة الحالية للتنبؤ بالخطوة التالية. فجأة، توقف الروبوت عن رسم الأشكال البيضاوية وبدأ في حساب القوى. لقد أصبح فيزيائياً.

الخلاصة الكبرى

يخلص البحث إلى أن كيفية تصميم دماغ الذكاء الاصطناعي هي التي تحدد ما يتعلمه.

إذا تركته ينظر إلى كل شيء ويستخدم خريطة منقطة، فسيصبح مُطابق منحنيات (كبلر). سيرسم صوراً جميلة لكنه لن يفهم الكون.
إذا أعطيته خريطة سلسة، وعلمته كيفية التعامل مع الأخطاء، وأجبرته على امتلاك ذاكرة قصيرة، فسيصبح فيزيائياً (نيوتن). سيكتشف قوانين الجاذبية بنفسه.

يوضح المؤلفون أنك لست بحاجة إلى برمجة قوانين الفيزياء داخل الذكاء الاصطناعي. أنت فقط بحاجة إلى إعطائه "الانحيازات الاستقرائية" الصحيحة (القيود التدريبية الصحيحة)، وسوف يكتشف القوانين بنفسه.

ملخص تقني: من كبلر إلى نيوتن: التحيزات الاستقرائية توجه النماذج العالمية المتعلمة في المحولات (Transformers)

1. بيان المشكلة

تتناول الورقة فجوة حرجة في قدرات النماذج التأسيسية عامة الأغراض (المحولات/Transformers) فيما يتعلق بالاكتشاف العلمي. وبينما نجحت مقاربات "عالم الفيزياء بالذكاء الاصطناائي" (AI Physicist) السابقة في استعادة القوانين الفيزيائية الرمزية، إلا أنها غالبًا ما تعتمد على أولويات قوية ومحددة بالمجال تعمل فعليًا على "حقن" الفيزياء مسبقًا. وفي المقابل، أظهر عمل حديث لـ "vafa et al. (2025)" أن المحولات العامة، حتى بمقياس GPT-2، تفشل في اكتساب "نماذج عالمية" (world models)—وهي تجريدات سببية تفسر لماذا تحدث الظواهر. وبدلاً من ذلك، تحقق هذه النماذج دقة تنبؤ عالية من خلال تعلم ملاءمة المنحنيات الهندسية (نماذج كبلرية) دون استيعاب القوانين الديناميكية الكامنة (ميكانيكا نيوتن).

السؤال البحثي المركزي هو: لماذا تفشل المحولات في تعلم النموذج العالمي النيوتني لحركة الكواكب، وكيف يمكن إصلاح ذلك؟ يفترض المؤلفون أن الفشل ينبع من نقص في التحيزات الاستقرائية المحددة والأدنى، وليس من قصور جوهري في البنية المعمارية.

2. المنهجية

يتقصى المؤلفون بشكل منهجي أوضاع الفشل في المحولات ضمن إطار مضبوط: التنبؤ بحركة كوكب ثنائي الأبعاد حول كتلة مركزية. وقد قدموا ثلاثة تحيزات استقرائية دنيا لسد الفجوة بين التنبؤ الهندسي واكتشاف القانون الفيزيائي.

إعداد المشكلة

تتضمن المهمة التنبؤ بالموقع التالي $\vec{r}_{t+1}$ لكوكب ما بناءً على تاريخ من المواقع، مصاغة كمسألة تنبؤ بالرمز التالي (NTP) ذاتية الانحدار (autoregressive).

الخط المرجعي (Baseline): يتبع الإعداد منهجية Vafa et al. (2025)، حيث يتم تقسيم الإحداثيات المستمرة إلى رموز (bins) وتوقعها عبر خسارة الإنتروبيا المتقاطعة (cross-entropy loss).
التعديلات المقترحة: يختبر المؤلفون متغيرات في عملية الترميز (tokenization)، ودوال الخسارة، وآليات الانتباه لعزل تحيزات استقرائية محددة.

التحيزات الثلاثة

التحيز 1: النعومة المكانية (Spatial Smoothness)

وضع الفشل: يقوم الترميز الافتراضي بتقسيم الإحداثيات المكانية المستمرة إلى صناديق مستقلة مع تضمينات (embeddings) عشوائية التهيئة. هذا يكسر النعومة المكانية؛ حيث تُعامل النقاط القريبة فيزيائيًا ولكن في صناديق مختلفة كأنها غير مرتبطة. أظهر المؤلفون أنه حتى مع بيانات ضخمة (20 مليار رمز)، يفشل فضاء التضمين المتعلم في تكوين خريطة مكانية متماسكة (ضعف القدرة على فك التشفيد الخطي، $R^2 \approx 0.86$ ).
الحل:
1. الترميز الأمثل: يؤدي تقليل حجم المفردات ( $V$ ) بشكل كبير إلى تحسين ظهور الخريطة المكانية. اشتق المؤلفون قانون توسع (scaling law) يوضح أن حجم بيانات التدريب ( $D$ ) يجب أن يزداد على الأقل بنفس سرعة زيادة حجم المفردات ( $V$ ) للحفاظ على جودة الخريطة ( $1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$ ).
2. الإحداثيات المستمرة: بدلاً من ذلك، يوفر استخدام الإحداثيات المستمرة دون تقسيم بطبيعتها نعومة مكانية، رغم أن هذا يفرض تحديات تتعلق بالاستقرار.

التحيز 2: الاستقرار المكاني (Spatial Stability)

وضع الفشل: تعاني النماذج ذاتية الانحدار من تراكم الخطأ، وهو ما يتفاقم عند التنبؤ بمتغيرات مستمرة (الانحدار/regression) مقارنة بالرموز المنفصلة (التصنيف/classification). بدون تخفيف، تؤدي الأخطاء الأولية الصغيرة إلى انحراف المسار بشكل كارثي (مثل طيران الكوكب إلى اللانهاية أو نحو الشمس).
الحل: تعلم السياق المشوش (Noisy Context Learning). يقوم المؤلفون بحقن ضوضاء غاوسية (Gaussian noise) في السياق التاريخي أثناء التدريب. هذا يجبر النموذج على تعلم تمثيلات قوية لا تعتمد على الحالات الماضية المثالية.
النتيجة: مع تدريب السياق المشوش، يتفوق الانحدار (باستخدام الإحداثيات المستمرة وخسارة MSE) باستمرار على التصنيف (الإحداثيات المنفصلة مع خسارة cross-entropy) عبر جميع مقاييس البيانات.

التحيز 3: المحلية الزمنية (Temporal Locality)

وضع الفشل: تستخدم المحولات القياسية أطوال سياق طويلة (مثل 1k+ رمز)، مما يسمح للنموذج بالوصول إلى التاريخ الكامل للمسار. هذا يشجع النموذج على ملاءمة الأشكال الهندسية العالمية (القطع الناقص) بناءً على جميع النقاط الماضية—وهو نهج "كبلري".
الحل: نافذة انتباه مقيدة. يقيد المؤلفون طول السياق بالحالات الماضية المباشرة فقط (مثل آخر حالتين فقط). هذا يفرض الافتراض الفيزيائي بأن الحالة المستقبلية تعتمد فقط على الحالة المحلية (الموقع والسرعة)، وهو ما يتوافق مع قانون نيوتن الثاني (معادلة تفاضلية من الدرجة الثانية).
النتيجة: هذا القيد يجبر النموذج على التخلي عن الملاءمة الهندسية العالمية وتعلم تقدير القوى الجاذبية المحلية ( $\vec{F} \propto 1/r^2$ ) لمحاكاة المسار خطوة بخطوة—وهو نهج "نيوتني".

3. النتائج الرئيسية

ظهور الخريطة المكانية: تتأثر جودة الخريطة المكانية المتعلمة في النماذج المرمزة بشدة بحجم المفردات. تتطلب المفردات الكبيرة (مثل $V=7000$ ) كميات غير عملية من البيانات لتعلم خريطة متماسكة. تقليل $V$ أو استخدام الإحداثيات المستمرة يحل هذه المشكلة.
الانحدار مقابل التصنيف: خلافًا لنتائج Vafa et al.، يثبت المؤلفون أن الانحدار باستخدام الإحداثيات المستمرة يتفوق على التصنيف، بشرط استخدام تعلم السياق المشوش لاستقرار الاستدلال.
النماذج الكبلرية مقابل النيوتنية:
- السياق الطويل (الكبلري): يتعلم النموذج ملاءمة مسار القطع الناقص العالمي باستخدام جميع الحالات الماضية. يتنبأ من خلال متابعة المنحنى.
- السياق القصير (النيوتني): عند التقييد بالحالات المحلية، يكتشف النموذج قانون القوة الأساسي. يتنبأ من خلال محاكاة المعادلة التفاضلية $F=ma$.
تسلسل التحيزات الاستقرائية: توضح الورقة أن الاختيارات المعمارية البسيطة (استراتيجية الترميز، طول السياق) هي التي تحدد ما إذا كان الذكاء الاصطناعي سيعمل كـ "ملائم للمنحنيات" (كبلر) أو "فيزيائي" (نيوتن).

4. الأهمية والادعاءات

تدعي الورقة أن الاختيارات المعمارية البسيطة هي العامل المحدد في تحديد ما إذا كان الذكاء الاصطناعي العام سيكتشف القوانين الفيزيائية أم سيكتفي بملاءمة البيانات.

جسر الفجوة: يعمل هذا العمل على جسر الهوة بين نماذج "عالم الفيزياء بالذكاء الاصطناعي" (التي تستخدم أولويات قوية) والمحولات العامة (التي تفشل في تعلم الفيزياء). وتوضح الورقة أن المحولات العامة يمكنها تعلم النماذج العالمية إذا تم تزويدها بتحيزات استقرائية دنيا وغير مرتبطة بمجال محدد (النعومة، الاستقرار، المحلية).
الاكتشاف العلمي المؤتمت: تعمل النتائج بمثابة "اختبار حاسم" لرؤية "العلماء بالذكاء الاصطناعي". إذا لم تتمكن البنيات العامة من استعادة القوانين المعروفة للميكانيكا الكلاسيكية دون هندسة محددة، فلا يمكن الوثوق بها لاكتشاف قوانين غير معروفة.
آلية الفشل: توضح الورقة أن فشل النماذج واسعة النطاق السابقة لم يكن بسبب نقص في القدرة، بل بسبب غياب تحيزات استقرائية محددة (تحديدًا المحلية الزمنية والاستقرار المكاني) المطلوبة لفرض ظهور التجريدات السببية بدلاً من الارتباطات الهندسية.

يخلص المؤلفون إلى أنه من خلال إدخال هذه التحيزات بشكل منهجي، يمكن للمحولات الانتقال من التنبؤ بـ ماذا سيحدث بعد ذلك إلى فهم لماذا يحدث ذلك، مما يمثل خطوة نحو الاكتشاف العلمي المؤتمت.