← أحدث الأبحاث
💻 computer science

GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting

يُعد GHOST إطار عمل سريعاً ومستقلاً عن الفئات، يستخدم تقنية التغطية الغاوسية ثنائية الأبعاد (2D Gaussian Splatting) وخسائر هندسية ومحاذاة مبتكرة لإعادة بناء تفاعلات اليد مع الأشياء بشكل متسق فيزيائياً وقابل للتحريك من فيديوهات RGB أحادية، محققاً دقة وكفاءة تبلغ أحدث المعاياي في هذا المجال مقارنة بالطرق السابقة.

المؤلفون الأصليون: Ahmed Tawfik Aboukhadra, Marcel Rogge, Nadia Robertini, Abdalla Arafa, Jameel Malik, Ahmed Elhayek, Didier Stricker

نُشر 2026-03-20
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ahmed Tawfik Aboukhadra, Marcel Rogge, Nadia Robertini, Abdalla Arafa, Jameel Malik, Ahmed Elhayek, Didier Stricker

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إعادة إنشاء مشهد لشخص يمسك كوب قهوة، لكن ليس لديك سوى تسجيل فيديو مسطح لهذا المشهد. المشكلة هي أن يد الشخص تغطي نصف الكوب، ومع حركته، يختفي الكوب خلف أصابعه.

لفترة طويلة، عانت الحواسيب مع هذه المشكلة. فإما كانت تحتاج إلى نموذج ثلاثي الأبعاد جاهز لذلك الكوب بالتحديد (وهو أمر مستحيل إذا كان الشيء غريبًا أو جديدًا)، أو كانت تستغرق ساعات لحساب نسخة ثلاثية الأبعاد ضبابية ومشوشة لا تبدو جيدة تمامًا.

هنا يأتي دور GHOST.

لا تفكر في GHOST كطابعة ثلاثية الأبعاد صلبة، بل كـ سرب من ذرات الغبار المتوهجة وغير المرئية. إليك كيف يعمل، مقسمًا إلى خطوات بسيطة:

١. "السرب" بدلاً من النموذج الصلب

النماذج ثلاثية الأبعاد التقليدية تشبه المنحوتات الطينية—صلبة وثابتة. يستخدم GHOST ما يسمى بـ Gaussian Splatting (التنقيط الغاوسي). تخيل أن الجسم واليد مصنوعان من الملايين من كرات الضوء الصغيرة والضبابية (Gaussians).

  • هذه الكرات يمكنها التمدد، الانكماش، والطفو.
  • عندما تنظر إليها من الأمام، تندمج معًا لتبدو ككوب صلب.
  • عندما تتحرك حولها، تتغير لتظهر الجزء الخلفي من الكوب.
  • ولأنها "ضبابية" ومرنة، فهي أسرع بكثير في الحساب من الطين الصلب.

٢. خطوة "شرلوك هولمز" (إيجاد الشيء)

بما أن اليد غالبًا ما تخفي الشيء، فإن الكمبيوتر لا يعرف كيف يبدو الجزء المخفي.

  • الحيلة: يعمل GHOST كالمحقق. يأخذ نظرة سريعة على الفيديو، ويسأل ذكاءً اصطناعيًا ذكيًا: "ما نوع هذا الشيء؟" (مثلاً: "إنه كوب أحمر").
  • المكتبة: بعد ذلك، يركض إلى مكتبة رقمية ضخمة (تسمى Objaverse) ويجد نموذجًا ثلاثي الأبعاد لكوب أحمر يشبهه.
  • المخطط: هو لا ينسخ الكوب فحسب؛ بل يستخدم ذلك النموذج من المكتبة كـ مخطط توجيهي. حتى لو كانت اليد تغطي المقبض في الفيديو، فإن الكمبيوتر يعرف: "بناءً على مخططي، يجب أن يكون المقبض موجودًا هنا"، لذا يقوم بملء الفراغات المفقودة باستخدام ذرات الغبار المتوهجة الخاصة به.

٣. فحص "المصافحة" (الوعي بالإمساك)

أحيانًا ترتبك الحواسيب وتظن أن اليد تمر عبر الشيء، مثل الشبح.

  • لدى GHOST قاعدة خاصة: "إذا كانت اليد تحرك الشيء، فلا بد أن يكونا متلامسين."
  • هو يتحقق باستمرار من الفيديو. إذا تحرك الشيء، فإنه يجبر اليد على التحرك معه ويضمن أن "الكرات الضبابية" لليد و"الكرات الضبابية" للشيء تتلامس فعليًا، ولا تمر عبر بعضها البعض. هذا يجعل التفاعل يبدو واقعيًا.

٤. "الممحاة الذكية" (التعامل مع الحجب)

في الماضي، إذا غطت يدٌ جزءًا من شيء ما، كان الكمبيوتر يرتبك ويظن: "أوه، هذا الجزء ليس موجودًا، سأقوم بحذفه". وهذا كان يترك ثقوبًا في النموذج ثلاثي الأبعاد.

  • يستخدم GHOST ما يسمى بـ Hand-Aware Background Loss (فقدان الخلفية المدرك لليد). فكر في هذا كـ ممحاة ذكية تعرف الفرق بين "الخلفية" (الجدار خلف الطاولة) وبين "الشيء المخفي" (جزء الكوب خلف اليد).
  • هي ترفض حذف الأجزاء المخفية. بدلاً من ذلك، تحافظ عليها آمنة حتى تبتعد اليد، مما يضمن بقاء الشيء كاملًا.

لماذا يعد هذا أمرًا بالغ الأهمية؟

  • السرعة: الطرق السابقة كانت تشبه خبز كعكة من الصفر في كل مرة (تستغرق ساعات). أما GHOST فهو مثل استخدام الميكروويف (يستغرق دقائق). إنه أسرع بـ ١٣ مرة من أفضل الطرق السابقة.
  • تعدد الاستخدامات: لا يهتم بنوع الشيء. سواء كان لعبة غريبة الشكل، أو كوب قهوة، أو مثقابًا، يمكن لـ GHOST فهم الأمر دون الحاجة إلى نموذج ثلاثي الأبعاد جاهز.
  • الواقعية: إنه ينشئ نسخة يمكنك التجول حولها في الواقع الافتراضي (VR) ورؤيتها من أي زاوية، مع تفاعل طبيعي بين اليد والشيء.

باختًا: GHOST هو نظام فائق السرعة والذكاء، يستخدم سربًا من "كرات الضوء" الرقمية ومكتبة من الأشكال ثلاثية الأبعاد لإعادة بناء تفاعلات اليد والشيء بشكل واقعي من مجرد فيديو بسيط. إنه يحول فيديو مسطحًا ومربكًا إلى عالم ثلاثي الأبعاد صلب وقابل للاستكشاف في ثوانٍ معدودة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →