← أحدث الأبحاث
💻 computer science

PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing

تقدم الورقة البحثية PhyEdit، وهو إطار عمل يعزز معالجة الأجسام في العالم الحقيقي في تحرير الصور من خلال الاستفيد من محاكاة هندسية ثلاثية الأبعاد صريحة وإشراف مشترك ثنائي وثلاثي الأبعاد، مدعوماً بمجموعة بيانات جديدة (RealManip-40K) ومعيار تقييم (ManipEval) لتحقيق دقة فيزيائية وتناسق مكاني متفوقين مقارنة بالنماذج الحالية.

المؤلفون الأصليون: Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

نُشر 2026-08-11
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب ببرنامج تحرير صور رقمي، من النوع الذي يسمح لك بسحب قطة من الجانب الأيسر لصورة ما إلى الجانب الأيمن. تعمل معظم هذه الأدوات مثل الملصق المسطح: فهي تقوم فقط بتحريك الصورة ذهابًا وإيابًا على شاشة ثنائية الأبعاد. لكن العالم الحقيقي ليس مسطحًا؛ إنه عميق. إذا حركت سيارة لعبة لتصبح أقرب إليك في الواقع، فهي لا تنزلق جانبًا فحسب، بل تصبح أكبر، وتزداد تفاصيلها حدة، وقد تحجب الرؤية عن الأشياء التي خلفها. هذا هو الجزء الصعب في "التلاعب ثلاثي الأبعاد" في علوم الحاسوب. يحاول العلماء تعليم الحواسيب فهم هذا العمق، والمنظور، وقوانين الفيزياء، بحيث عندما تقوم الحواسيب بتحرير صورة، تتصرف الأشياء كأشياء حقيقية، وليس مجرد ملصقات مسطحة. هذا أمر بالغ الأهمية لأنه إذا أردنا من الحواسيب مساعدة الروبوتات في تحريك الأشياء أو بناء "نماذج عالمية" تحاكي الواقع، فيجب على الحاسوب أن يعرف أن الشيء لا يمكنه ببساطة الطفو عبر جدار أو تغيير حجمه دون سبب.

إليك PhyEdit، وهي أداة جديدة طورها باحثون في جامعة تشجيانغ تحاول حل مشكلة "الملصق المسطح" هذه. فكر في PhyEdit كمنحوت رقمي لا يكتفي بالرسم على لوحة، بل يبني أولاً نموذجًا ثلاثي الأبعاد للمشهد في ذهنه. عندما تطلب من PhyEdit "تحريك هذه الموزة إلى اليسار"، فهي لا تقوم فقط بتمرير البكسلات. بدلاً من ذلك، تستخدم "نموذج أساسي ثلاثي الأبعاد" لتخمين مدى عمق الموزة، وترفعها من الصورة المسطحة إلى مساحة افتراضية ثلاثية الأبعاد، وتحركها تمامًا إلى حيث تريد، ثم تعيد إسقاطها للأسفل. والأهم من ذلك، أنها تتحقق من عملها باستخدام نظام "إشراف مشترك"، وهو يشبه معلمًا يصحح الرسم النهائي (الصورة ثنائية الأبعاد) والمخطط ثلاثي الأبعاد (خريطة العمق) معًا للتأكد من أن الشيء لم ينكمش أو يتمدد بشكل غريب بطريقة سحرية.

وجد الباحثون أنه بينما غالبًا ما تخطئ الأدوات الحالية في حجم أو موضع الأشياء عند محاولة تحريكها في فضاء ثلاثي الأبعاد، فإن PhyEdit أفضل بكert في الحفاظ على الدقة الفيزيائية. ولإثبات ذلك، لم يكتفوا بالتخمين؛ بل بنوا مجموعة بيانات ضخمة جديدة تسمى RealManip-40K، والتي تحتوي على 40,000 زوج من الصور الواقعية التي تُظهر أشياء يتم تحريكها في مساحة ثلاثية الأبعاد، كاملة مع قياسات العمق. كما أنشأوا اختبارًا يسمى ManipEval لتقييم مدى براعة نماذج الذكاء الاصطناعي المختلفة في التعامل مع هذه التحركات. وعندما أجروا الاختبارات، تفوقت PhyEdit على العديد من الطرق الأخرى، بما في ذلك بعض النماذج التجارية القوية التي تتطلب دفع رسوم لاستخدامها. على سبيل المثال، في اختبار محدد يقيس مدى قرب موضع الشيء الجديد من الهدف، سجلت PhyEdit درجة 65.33 (على مقياس من 0 إلى 100)، بينما سجل النموذج التجاري التالي، Nano Banana Pro، درجة 59.97. ومن حيث دقة الشكل ثلاثي الأبعاد (مسافة Chamfer)، حققت PhyEdit درجة 18.93، وهي أقل بكثير (وهذا أمر أفضل) من درجة النموذج التجاري البالغة 25.33.

تشير الورقة البحثية إلى أن هذا النهج يعمل لأنه يجمع بين دليل ثلاثي الأبعاد "جاهز للاستخدام" وطريقة تدريب تنظر إلى الصورة ثنائية الأبعاد والعمق ثلاثي الأبعاد في وقت واحد. ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس عصا سحرية مثالية بعد؛ فلا يزال النظام يعاني إذا كانت الخريطة ثلاثية الأبعاد التي يبنيها خاطئة (مثل إذا ارتبك مستشعر العمق بسبب جسم لامع) أو إذا كان الطلب مبالغًا فيه، مثل تحريك جسم ليكون قريبًا جدًا من الكاميرا لدرجة تجعله يختفي خلف العدسة. كما وجدوا أنه بينما تعد PhyEdit ممتازة في تحريك الأشياء، إلا أنها ليست بالضرورة أفضل في تغيير لون الشيء أو ملمسه ما لم تعطها تعليمات محددة للغاية. في النهاية، تشير الورقة إلى أنه من خلال ربط تحرير الصور بالفيزياء الحقيقية والهندسة ثلاثية الأبعاد، فإننا نتخذ خطوة كبيرة نحو إنشاء ذكاء اصطناعي يمكنه حقًا فهم العالم والتحكم فيه، بدلاً من مجرد إعادة ترتيب البكسلات على شاشة مسطحة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →