Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction
تقدم هذه الورقة نموذج عالم مركزي بشري في الوقت الفعلي، يقوم بتخليق تفاعلات متماسكة للجزء العلوي من الجسم عبر الجمع بين تمثيل ضمني موحد متعدد المقاييس للحركة البشرية المستمرة مع حالات منفصلة مشفرة لغوياً للتحكم الدقيق في ملامسة الأشياء، محققاً سرعة استنتاج تبلغ 25 إطاراً في الثانية على وحدات معالجة الرسوميات H100.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً حيث يمكن للشخصية الرئيسية أن تمد يدها، وتمسك بكوب قهوة، وتأخذ رشفة، ثم تضعه جانباً، كل ذلك وهي تتحدث إليك. لفترة طويلة، برع علماء الكمبيوتر في جعل حركة جسد الشخصية واقعية، لكنهم غالباً ما واجهوا صعوبة في جزء "الإمساك". أحياناً، كانت اليد تمر عبر الكوب كأنها شبح، أو يتغير شكل الكوب سحرياً عند لمسه. هذا هو تحدي "التفاعل بين الإنسان والأشياء": تعليم الكمبيوتر ليس فقط كيفية تحرك الشخص، بل كيفية لمس العالم من حوله والتفاعل معه مادياً.
وللقيام بذلك، يعتمد الباحثون عادةً على أداتين رئيسيتين. الأولى هي توليد الفيديو، وهو يشبه فناناً رقمياً يمكنه رسم صور متحركة بناءً على وصف ما. والثانية هي نمذجة العالم، وهي طريقة متطورة تعني محاولة الكمبيوتر التنبؤ بكيفية تغير المشهد بمرور الوقت. السؤال الكبير كان: هل يمكننا الجمع بينهما لصنع شخصية لا تكتفي بالرقص في مكانها، بل تتفاعل بالفعل مع الأشياء في الوقت الفعلي، مثل شخصية في لعبة فيديو تبدو حقيقية بما يكفي للمسها؟
هذا هو بالضبط ما عمل عليه فريق من الباحثين من مختبر "تونغي" (Tongyi Lab). لقد بنوا نظاماً جديداً يعمل بمثابة "نموذج عالمي متمحور حول الإنسان في الوقت الفعلي". فكر في الأمر كأنه محرك دمى رقمي لا يتحكم فقط في أطراف الدمية، بل يقرر أيضاً ما إذا كانت الدمية تمسك بمطرقة أم أنها تلوح بيدها فقط في الهواء. كان هدفهم هو إنشاء نظام يمكنه أخذ فيديو مباشر لشخص، وصورة لشيء ما (مثل كوب)، وأمر بسيط (مثل "إمساك" أو "لا تلامس")، وتوليد فيديو فورياً تظهر فيه الشخصية وهي تتفاعل مع هذا الشيء بشكل مثالي.
وجد الفريق أنه من خلال تقسيم التحكم إلى جزأين متميزين، استطاعوا حل المشكلة بشكل أفضل من الطرق السابقة. الجزء الأول هو الحالة البشرية المستمرة، والتي تتعامل مع الحركات السلسة والانسيابية للجسم واليدين والوجه. تخيل هذا كيد محرك الدمى التي توجه عضلات الدمية. أما الجزء الثاني فهو حالة التفاعل المنفصلة، وهي تشبه مفتاحاً بسيطاً يخبر النظام: "هل تلمس اليد الشيء الآن؟" أو "هل هي ممسكة به؟". ومن خلال استخدام أمر قصير ومحدد لهذا المفتاح (مثل كلمتي "إمساك" أو "لا تلامس") بدلاً من جملة طويلة ومعقدة، يمكن للكمبيوتر التبديل بين هذه الحالات فوراً وبدقة.
النتيجة هي نظام يمكنه توليد هذه التفاعلات بسرعة 25 إطاراً في الثانية مع تأخير قدره حوالي 1000 مللي ثانية فقط. وهذا يعني أنه سريع بما يكفي ليشعر المرء وكأنه محادثة مباشرة أو لعبة فيديو في الوقت الفعلي. أظهر الباحثون أن طريقتهم تنتج حركات يد أكثر واقعية وتلامساً أفضل مع الأشياء مقارنة بالأنظمة القديمة، التي كانت تنتج غالباً أخطاء غريبة مثل الأجسام العائمة أو الأيدي التي لا تنغلق تماماً حول ما يُفترض بها الإمساك به. كما أنشأوا مجموعة بيانات خاصة تضم أكثر من 30,000 مثال لتعليم نظامهم كيف ينبغي أن تبدو هذه التفاعلات. ورغم أنهم لم يدّعوا أن هذا يحل كل مشكلة في الكون، إلا أن تجاربهم تشير إلى أن هذا النهج "المستمر-المنفصل" يمثل خطوة كبيرة للأمام في جعل البشر الرقميين قادرين حقاً على التفاعل مع عالمهم في الوقت الفعلي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.