InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement
تقدم الورقة البحثية InHabit، وهو إطار عمل آلي بالكامل وقابل للتوسع يستفيد من النماذج التأسيسية للصور ثنائية الأبعاد لإنشاء مجموعة بيانات ضخمة وتفاعلية بين الإنسان والمشهد ثلاثية الأبعاد وواقعية للغاية، مما يعالج ندرة البيانات في العالم الحقيقي ويحسن بشكل كبير مهام إعادة البناء البشري ثلاثي الأبعاد وتقدير التلامس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يعيش في منزل. يمكنك أن تريه المخططات الهندسية للمنزل (الهندسة ثلاثية الأبعاد)، ويمكنك أن تريه فيديوهات لأشخاص يرقصون في استوديو (التقاط الحركة). لكن لديك مشكلة ضخمة: ليس لديك فيديوهات كافية لأشخاص يعيشون بالفعل في ذلك المنزل المحدد.
ليس لديك لقطات لشخص يتكئ على طاولة المطبخ، أو يجلس على الأريكة لمشاهدة التلفاز، أو ينحني لالتقاط لعبة في الردهة. التصوير الواقعي مكلف، بطيء، ويصعب القيام به في كل غرفة ممكنة.
إليك InHabit. فكر فيه كأنه مصمم ديكور ومخرج آلي سحري يمكنه ملء أي منزل فارغ بأشخاص واقعيين يقومون بالأفعال الصحيحة فوراً، دون الحاجة إلى ممثل بشري واحد أو طاقم تصوير.
إليك كيف يعمل، مقسماً إلى ثلاث خطوات بسيطة:
1. "العقل" (نموذج الرؤية واللغة)
أولاً، ينظر النظام إلى نموذج ثلاثي الأبعاد لغرفة فارغة (مثل توأم رقمي لمنزل). يسأل "عقلاً" ذكياً (نموذج رؤية ولغة) سؤالاً بسيطاً: "ما الذي قد يفعله إنسان بشكل طبيعي في هذه الغرفة؟"
- الطريقة القديمة: قد تخبر الكمبيوتر، "ضع شخصاً هنا". سيقوم الكمبيوتر فقط بوضع شخص واقف في منتصف الغرفة، بشكل يبدو غريباً.
- طريقة InHabit: ينظر "عقل" الذكاء الاصطناعي إلى الغرفة ويفكر: "أوه، هذا مطبخ به موقد. من المحتمل أن يقوم شخص ما بالطهي. هل هذه أريكة أمام تلفاز؟ شخص ما سيشاهد برنامجاً." إنه يستخدم معرفته بالعالم الحقيقي ليضع سيناريو للمشهد.
2. "الفنان" (نموذج تحرير الصور)
بمجرد أن يقرر "العقل" نوع الإجراء الذي سيتم اتخاذه (على سبيل المثال، "الطهي")، فإنه يمرر الأمر إلى "فنان" ذكاء اصطناعي (نموذج تحرير صور). هذا الفنان يشبه رساماً ماهراً شاهد ملايين الصور لأشخاص يطبخون.
لا يقوم الفنان بمجرد لصق "ملصق" لشخص على الصورة. بدلاً من ذلك، هو يرسم شخصاً جديداً مباشرة داخل المشهد. يتأكد من أن الشخص يمسك بملعقة، ويميل نحو الموقد، وينظر إلى القدر. الوضعية مثالية لأن الفنان قد "رأى" هذا الفعل مليون مرة في صور على الإنترنت.
3. "المهندس المعماري" (الرفع ثلاثي الأبعاد)
الآن، لدينا صورة ثنائية الأبعاد جميلة بها شخص، لكننا نحتاج لأن يكون موجوداً في العالم ثلاثي الأبعاد حتى يتمكن الروبوت من التفاعل معه. هذا هو الجزء الصعب.
تخيل أنك تأخذ رسماً مسطحاً لشخص وتحاول تحويله إلى تمثال ثلاثي الأبعاد يناسب تماماً أثاث الغرفة. يستخدم InHabit "مهندساً معمارياً" رياضياً للقيام بذلك. يأخذ اللوحة ثنائية الأبعاد وينحت جسداً ثلاثي الأبعاد (باستخدام شكل بشري قياسي يسمى SMPL-X) يناسب تماماً المكان الذي وضعه فيه الرسم.
إنه يتحقق من قوانين الفيزياء:
- هل الشخص يطفو؟ (لا، القدمان على الأرض).
- هل يمشي عبر الجدار؟ (لا، الجسم يتوقف عند الجدار).
- هل الحجم مناسب؟ (نعم، ليس عملاقاً ولا شخصاً ضئيلاً).
لماذا يعد هذا أمراً مهماً؟
1. إنه "آلة نسخ ولصق" للواقع
قبل هذا، إذا أردت تدريب روبوت على فهم كيفية تفاعل البشر مع الأشياء، كنت بحاجة إلى بدلات التقاط حركة باهظة الثمن وممثلين. يمكن لـ InHabit توليد 78,000 سيناريو مختلف عبر 800 منزل افتراضي مختلف تلقائياً. إنه يشبه امتلاك مصنع يطبع "السلوك البشري" بدلاً من الألعاب البلاستيكية.
2. إنه يفهم "المنطق السليم"
كانت الطرق القديمة تشبه روبوتاً يعرف الهندسة فقط: "إذا كان هناك سطح مستوٍ، ضع شخصاً عليه". هذا يؤدي إلى نتائج غريبة، مثل شخص يقف على السقف أو يجلس على مصباح متدلي. InHabit يفهم السياق. هو يعرف أنك تجلس على كرسي، وليس تحته، وأنك تطبخ عند الموقد، وليس داخل الثلاجة.
3. إنه يجعل الروبوتات أكثر ذكاءً
اختبر المؤلفون هذه البيانات الجديدة بتعليم الروبوتات التعرف على الأماكن التي يلمس فيها البشر الأشياء. عندما تم تدريب الروبوتات على بيانات InHabit، أصبحت أفضل بكثير في تخمين السلوك البشري مقارنة بتدريبها على البيانات القديمة. في الواقع، في اختبار حيث صوت البشر حول أي سلوك روبوت بدا أكثر واقعية، فضل 78% من الناس ابتكارات InHabit على أفضل الطرق الموجودة حالياً.
الخلا الخلاصة
InHabit هو أداة تأخذ معرفة "المنطق السليم" من الصور ثنائية الأبعاد على الإنترنت وتحولها إلى واقع ثلاثي الأبعاد. إنه يحل مشكلة "نقص البيانات" من خلال التوليد التلقائي لملايين السيناريوهات الواقعية حيث يتفاعل البشر مع بيئتهم، مما يساعدنا على بناء روبوتات أفضل وذكاء اصطناعي يمكنه حقاً فهم كيفية عيشنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.