ReWorld: An Interactive World Model with Long-Horizon Memory
يُعد ReWorld نموذج عالم تفاعلي يحل التوتر الهيكلي بين التحكم قصير المدى والذاكرة طويلة المدى عبر الفصل بين هاتين القدرتين أثناء التدريب باستخدام آليات انتباه مختلطة، وتوحيدهما عند الاستدلال عبر نظام استرجاع معالم مفهرس بالوضعية، محققاً بذلك دقة فائقة في الأفعال، وجودة عالية في الفيديو، واتساقاً زمنياً يمتد لدقائق عبر مجالات بصرية متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً يمكنه مشاهدة فيديو ثم التنبؤ بما سيحدث بعد ذلك، إطاراً تلو الآخر، كما لو كان يعيش داخل المشهد. هذا هو الوعد الذي يقدمه "نموذج العالم" (world model)، وهو نوع من الذكاء الاصطناعي المصمم لمحاكاة البيئات حيث يمكن للوكيل أن يتحرك ويتفاعل. ولكي تشعر هذه الأنظمة بأنها حية حقاً، يجب أن تقوم بثلاث مهام صعبة في آن واحد: يجب أن تستجيب فوراً لأوامر المستخدم، ويجب أن تتذكر بدقة كيف بدا مكان ما عندما غادره المستخدم وعاد إليه، ويجب أن تستمر في توليد فيديو جديد في الوقت الفعلي دون أن تنفد ذاكرتها. لقد كان التحدي يكمل في أن هذه الأهداف غالباً ما تتعارض مع بعضها البعض؛ فلكي تستجيب بسرعة، يحتاج النظام إلى التركيز فقط على الماضي القريب، ولكن لكي يتذكر مكاناً بعيداً، يحتاج إلى التمسك بتاريخ واسع. وإذا حاول النظام القيام بكليهما باستخدام نفس النهج البسيط، فإنه عادة ما يفشل في أحدهما، إما بنسيان الماضي أو بالتعثر في الحاضر.
لقد بنى الباحثون الآن نظاماً يسمى "ReWorld" يحل هذا التوتر عبر تعليم الحاسوب التفكير بطريقتين مختلفتين في وقت واحد. قام الفريق، الذي يعمل مع مؤسسات في هونغ كونغ وعلي بابا، بإنشاء نموذج يمكنه تتبع حركات كاميرا المستخدم، وبث فيديو عالي الجودة لعوالم واقعية أو تشبه الألعاب، واستعادة مشاهد محددة من عدة دقائق مضت، حتى بعد أن تكون الكاميرا قد سافرت بعيداً وعادت. والاكتشاف الرئيسي هو أن النظام لا يحتاج إلى الاختيار بين الاستجابة قصيرة المدى والذاكرة طويلة المدى؛ بل يقوم بفصل هذه المهام أثناء عملية التعلم، ثم يديرها بعناية عند التشغيل الفعلي.
يكمن جوهر نجاح ReWorld في كيفية تنظيم انتباهه. في العديد من نماذج الذكاء الاصطناعي، ينظر النظام إلى كل المعلومات التي رآها حتى الآن ليقرر ما سيولده تالياً. يقوم ReWorld بتقسيم هذه المهمة بين أجزاء مختلفة من "دماغه". فهناك أجزاء مدربة على النظر فقط في الماضي القريب جداً، ربما الثواني القليلة الماضية، لضمان أن يؤدي الضغط على زر ما إلى حركة كاميرا فورية ودقيقة. وهناك أجزاء أخرى مدربة على النظر في التاريخ الكامل للفيديو، مما يسمح للنظام بإدراك أن تشكيلاً صخرياً معيناً أو مبنى رآه منذ فترة طويلة هو نفسه الذي يراه الآن. والأهم من ذلك، أن الباحثين لم يخصصوا هذه المهام لأجزاء ثابتة من النظام؛ بل قاموا بخلط الأدوار عشوائياً أثناء التدريب، مما يضمن أن كل جزء من النظام تعلم كيفية التعامل مع الاستجابات الفورية والذكريات البعيدة. وهذا يمنع النظام من الاعتماد على طريقة محددة للنظر إلى الماضي، وهو أمر حيوي لأن النظام، في العالم الحقيقي، لا يمكنه الاحتفاظ بتاريخه الكامل في الذاكرة إلى الأبد.
عندما يتم وضع النظام قيد العمل، فإنه يواجه حداً صارماً في كمية المعلومات التي يمكنه حيازتها في أي لحظة واحدة. وللتعامل مع هذا، يستخدم ReWorld نظام أرشفة ذكياً؛ فبينما يعمل الفيديو، يحتفظ بنافذة صغيرة ومحدثة باستمرار من الإطارات الأخيرة. وعندما تسقط الإطارات القديمة من هذه النافذة، لا يتم حذفها ببساال، بل يتحقق النظام مما إذا كانت الكاميرا قد تحركت بما يكفي لاستحقاق حفظ لقطة (snapshot) لذلك الموقع. إذا حدث ذلك، يقوم النظام بحفظ "معلم" (landmark) عالي الجودة لهذا المشهد. تُخزن هذه المعالم في بنك منفصل ومحدود. وعندما تلتف الكاميرا وتعود باتجاه مكان زارته سابقاً، يبحث النظام في هذا البنك عن المعلم الذي يطابق الرؤية الحالية ويستحضره إلى الذاكرة النشطة. وهذا يسمح للنظام بتذكر مشهد من دقيقة مضت دون الحاجة إلى تخزين كل إطار حدث في تلك الأثناء.
لجعل هذا العمل ممكناً، كان على الباحثين تعليم النموذج باستخدام نوع محدد جداً من البيانات. لقد جمعوا بين لقطات من فيديوهات واقعية، وألعاب فيديو، وبيئات مولدة بالحاسوب، لكنهم فعلوا شيئاً غير معتاد: تأكدوا من أن أمراً واحداً، مثل الضغط على مفتاح للتحرك للأمام، يحرك الكاميرا بالضبط نفس المسافة الفيزيائية في كل أنواع اللقطات. خلق هذا لغة موحدة للحركة. كما استخدموا تقنية تدريب خاصة حيث يقومون أحياناً بإخفاء أجزاء من تاريخ الفيديو عن النموذج، مما يجبره على تعلم كيفية إعادة بناء المشهد حتى عندما تكون ذاكرته غير مكتملة. وقد هيأ هذا النموذج لواقع بنك الذاكرة المحدود لديه، مما يضمن عدم ارتباكه عندما يضطر للاعتماد على معالم رئيسية قليلة بدلاً من تدفق مستمر من البيانات.
النتائج التي حققها هذا النهج مذهلة. في الاختبارات التي تحركت فيها الكاميرا بعيداً ثم عادت إلى نقطة البداية، تمكن ReWorld من إعادة توليد المنظر الأصلي بدقة ملحوكة، حتى بعد أن جالت الكاميرا لمدة دقيقة أو أكثر. أما الأنظمة الأخرى، التي تعتمد على الاحتفاظ بنافذة منزلقة بسيطة من الإطارات الأخيرة، فقد فشلت في تذكر نقطة البداية بمجرد خروجها من تلك النافذة. كما أثبت ReWorld تفوقه في اتباع الأوامر، حيث تتحرك الكاميرا تماماً كما هو مقصود دون الانحراف عن المسار. يمكن للنظام توليد فيديو بدقة 704 في 1280 بكسل، وبسرعة كافية لتكون تفاعلية، ويحافظ على هذه الجودة عبر أنماط مختلفة، من المناظر الطبيعية الواقعية إلى عوالم الألعاب المصممة بأسلوب فني.
وجد الباحثون أن طريقتهم تنجح لأنها تحترم الاحتياجات المختلفة للتحكم والذاكرة. فمن خلال تدريب النظام على التعامل مع الأوامر قصيرة المدى والاستدعاء طويل المدى بشكل منفصل، وباستخدام نظام استرجاع ذكي لجلب الذكريات القديمة عند الحاجة فقط، خلقوا نموذج عالم يشعر المستخدم بأنه مستجيب ومتسق. لا يحتاج النظام إلى أن يكون كياناً ضخماً كلي المعرفة ليتذكر الماضي؛ بل يحتاج فقط إلى معرفة كيفية العث soal الجزء الصحيح من الماضي عندما تبرز الحاجة إليه. يسمح هذا النهج للنموذج بالعمل على أجهزة حاسوب قياسية مع الحفاظ على شعور بالاستمرة كان مستحيلاً في السابق لتوليد الفيديو التفاعلي. ويشير هذا العمل إلى أن مستقبل الذكاء الاصطناعي التفاعلي لا يكمن فقط في جعل النماذج أكبر، بل في جعلها أكثر ذكاءً في كيفية تنظيم والوصول إلى المعلومات التي تعلمتها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.