Reinforcement Learning with World Models in the Era of Scale: From Online Imagination to World Action Models
تستعرض هذه الورقة تطور التعلم المعزز مع نماذج العالم من عام 2019 إلى عام 2026، مع تسليط الضوء على ثلاثة تحولات جوهرية في النماذج نحو النماذج التأسيسية التوليدية ذات النطاق الواسع عبر الإنترنت والبنى الموحدة، بينما تستقصي تطبيقاتها المتنوعة عبر الروبوتات، والقيادة الذاتية، والرعاية الصحية، والأنظمة متعددة الوكلاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عقلاً يمكنه استحضار المستقبل قبل وقوعه. لقرون مضت، جادل الفلاسفة وعلماء الأحياء بأن هذه القدرة على المحاكاة الذهنية لعواقب قرار ما هي حجر الزاوية في الذكاء. إنها الطريقة التي يقرر بها الإنسان عبور الشارع دون السير في طريق حركة المرور، أو كيف يخطط الطائر لمسار طيران عبر عاصفة. وفي عصر الذكاء الاصطناعي الحديث، يحاول الباحثون تعليم الآلات هذه المهارة ذاتها. وهم يسمون هذه المحاكاة الداخلية "نماذج العالم" (world models). فبدلاً من التعلم بمجرد التجربة والخطأ في العالم الحقيقي — وهي عملية بطيئة وخطيرة ومكلفة — يبني الوكيل الاصطناعي خريطة ذهنية لكيفية عمل بيئته. يستخدم هذه الخريطة لتخيل آلاف الاحتمالات المستقبلية، واختبار الأفعال في ذهنه ليرى ما يؤدي إلى النجاح وما يؤدي إلى الكارثة، كل ذلك دون أن يحرك عضلة جسدية واحدة. لقد انتقل هذا النهج من كونه مجرد فضول نظري إلى ركيزة مركزية في كيفية بناء الجيل القادم من الأنظمة الذكية.
تكشف مراجعة شاملة للأبحاث المنشورة بين عامي 2019 و2026 أن هذا المجال قد شهد تحولاً جذرياً. لم تعد القصة تتعلق فقط بجعل الروبوتات تتعلم بشكل أسرع؛ بل تتعلق بكيفية نمو هذه الأنظمة من مجرد محاكيات بسيطة إلى بنى تحتية أساسية ضخمة تشغل كل شيء، بدءاً من السيارات ذاتية القيادة وصولاً إلى العلاجات الطبية. يتتبع الباحثان، فويتشيك درابوفيتسكي وأندريج روسيكي، رحلة بدأت بجهود لتحسين الكفاءة في المهام البصرية وتوجت بأنظمة قادرة على التعلم من مليارات الإطارات من الفيديو، مما يجعلها تصيغ مهارات جديدة فعلياً قبل أن تلمس العالم المادي.
إن التحول الأكثر أهمية الذي حددته هذه المراجعة هو التغيير في كيفية تدريب هذه الأنظمة. في الأيام الأولى، كان الوكيل الاصطناعي يتعلم نموذج العالم ونموذج اتخاذ القرار الخاص به في آن واحد أثناء التفاعل مع البيئة الحقيقية. أما اليوم، فإن النهج السائد هو التدريب المسبق لنموذج العالم أولاً. يقوم الباحثون الآن بتغذية هذه الأنظمة بكميات هائلة من بيانات الفيديو غير المصنفة — تصل أحياناً إلى عشرات الآلاف من الساعات من النشاط البشري أو مقاطع الفيديو من نطاق الإنترنت — لتعليمها كيف يتحرك العالم وكيف يتغير. وبمجرد بناء هذا النموذج الذهني، يتعلم الوكيل مهامه المحددة بالكامل داخل هذا "الحلم" المحاكى. فهو لا يحتاج أبداً للتفاعل مع العالم الحقيقي لتعلم مهارة جديدة. وقد سمحت هذه الطريقة للأنظمة بإتقان مهام معقدة، مثل قيام ذراع روبوتية بالتقاط الأشياء، من خلال التعلم من فيديوهات بشرية وحدها، مما يتطلب فقط جزءاً ضئيلاً من البيانات التي كان يُعتقد سابقاً أنها ضرورية.
هناك تطور رئيسي آخر يتمثل في تلاشي الخط الفاصل بين الخريطة والمسافر. في الماضي، كان لدى الوكيل نموذج منفصل لفهم العالم وعقل منفصل لاتخاذ القرارات. أما الجيل الجديد من الأنظمة، والتي تُسمى غالباً "نماذج الفعل والعالم" (World Action Models)، فيدمج هاتين الوظيفتين. فالنموذج الذي يتنبأ بالمستقبل هو نفسه الذي يولد الأفعال اللازمة للوصول إليه. وفي بعض الحالات، تكون هذه النماذج الموحدة قوية جداً لدرجة أنها يمكن أن تعمل كصانع قرار نهائي دون أي تدريب إضافي. وقد أثبت هذا التكامل قوة خاصة في القيادة الذاتية، حيث يتم نشر هذه الأنظمة الآن في الإنتاج لتخيل سيناريوهات نادرة وخطيرة، مثل ركض طفل في الشارع، مما يسمح للمركبة بتعلم كيفية الاستجابة بأمان دون الحاجة أبداً لخوض تجربة حادث حقيقي.
كما تسلط المراجة الضوء على كيفية زيادة كفاءة هذه الأنظمة وتجريدها. حاولت النماذج المبكرة إعادة إنشاء كل بكسل من إطار الفيديو، وهو أمر ثقيل حسابياً وغالباً ما يشتت النظام بتفاصيل غير ذات صلة مثل ضجيج الخلفية. أما النهج الأحدث فقد تعلم تخطي إعادة بناء البكسل ببكسل، والتركيز بدلاً من ذلك على الديناميكيات والعلاقات الأساسية التي تهم المهمة. وقد نمت بعض هذه الأنظمة لتشمل أكثر من مليار معلمة (parameter)، وتدربت على أكثر من مليون ساعة من الفيديو، ومع ذلك لا تزال قادرة على القيام بالتخطيط الصفري (zero-shot planning)، مما يعني أنها تستطيع حل مهمة جديدة لم ترها من قبل بمجرد تطبيق ما تعلمته من بيانات تدريبها الضخمة.
وعلى الرغم من هذه القفزات، يشير المؤلفون إلى أن تحديات كبيرة لا تزال قائمة. ومن المشكلات المستمرة تراكم الأخطاء؛ فعندما يتخيل النظام تسلسلاً طويلاً من الأحداث، يمكن للأخطاء الصغيرة في التنبؤ بالخطوة التالية أن تتراكم، مما يؤدي إلى رؤية مشوهة للمستقبل. وهناك أيضاً مشكلة الدقة الفيزيائية؛ فبينما تتفوق هذه النماذج في التنبؤ بالأنماط البصرية، فإنها تعاني أحياناً مع الميكانيكا الدقيقة لكيفية اصطدام الأجسام أو كيفية حركة السوائل. علاوة على ذلك، يفتقر المجال إلى طريقة موحدة لقياس النجاح؛ فهناك العديد من المعايير المختلفة، ولكن لا يوجد أي منها يتنبأ بدقة بمدى قدرة نموذج العالم على مساعدة وكيل في أداء مهمة اتخاذ قرار في العالم الحقيقي.
تخلص الورقة البحثية إلى أنه بينما انتقلت هذه التكنولوجيا من التجارب الأكاديمية إلى البنية التحتية الصناعية، فإن الطريق أمامها يتطلب حل هذه القضايا الجوهرية. إن الرؤية واضحة: مستقبل يمكن فيه للذكاء الاصطناعي أن يتعلم من التاريخ الهائل للفيديو البشري، ويبني فهماً عميقاً للقوانين الفيزيائية، ويتنقل بأمان في البيئات المعقدة من خلال التفكير في عواقب أفعاله. إن الرحلة من مجرد التجربة والخطأ البسيطة إلى التعلم المتطور القائم على الخيال كانت سريعة، لكن الإمكانات الكاملة لنماذج العالم هذه بدأت للتو في التحقق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.