Human-in-the-Loop Atlas-Based 3D Asset Segmentation for Interactive Content Workflows
تقدم هذه الورقة البحثية مسار عمل يعتمد على وجود العنصر البشري في الحلقة (human-in-the-loop) يقوم بتوليد أطلس ثنائي الأبعاد مُعلم (parameterized) ومجزأ من نماذج ثلاثية الأبعاد عبر الجمع بين الاختيار الجشع للمشاهد (greedy view selection)، والتجزئة التفاعلية باستخدام SAM 2 وLabel Studio، والإسقاط الخلفي (back-projection)، مما يتيح مهاماً لاحقة فعالة مثل تعيين المواد ونقل الأنماط لسير عمل المحتوى التفاعلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول طلاء منحوتة ضخمة ومعقدة، ولكن بدلاً من الإمساك بفرشاة، يتعين عليك لف المنحوتة بأكملها بقطعة ضخمة ومسطحة من الورق التي تناسب كل منحنى ونتوء بشكل مثالي. هذا هو عالم تقسيم الأصول ثلاثية الأبعاد (3D asset segmentation)، وهو ركن من أركان رسومات الكمبيوتر حيث يحاول الفنانون والمهندسون تقطيع النماذج الرقمية إلى قطع ذات معنى حتى يمكن تلوينها أو إكساؤها بالخامات أو تحريكها. فكر في النموذج ثلاثي الأبعاد مثل قلعة "ليجو" معقدة؛ لتغيير لون النوافذ أو السقف فقط، يجب أن تعرف بالضبط أي قطع الليجو تنتمي للنوافذ وأيها تنتمي للسقف. لفترة طويلة، عانت أجهزة الكمبيوتر في القيام بذلك تلقائياً، وغالباً ما كانت ترتبك بسبب الأشكال الغريبة أو الأسطح الملساء التي تبدو متشابهة في كل مكان. وبينما أصبحت البرامج الذكية (التي تسمى النماذج التأسيسية) جيدة جداً في رصد الأشياء في الصور ثنائية الأبعاد المسطحة، إلا أنها لا تزال تتعثر عندما يُطلب منها تحديد كيفية تقسيم جسم ثلاثي الأبعاد بطريقة منطقية لتجربة لعبة فيديو معينة أو تجربة واقع افتراضي. لهذا السبب يبحث الباحثون عن طريقة أفضل: طريقة تسمح للإنسان بتوجيه الكمبيوتر، حيث تجمع بين سرعة الذكاء الاصطناعي والعين الدقيقة للخبير البشري.
تقدم هذه الورقة البحثية مسار عمل جديداً وذكياً يعمل كفريق تقني عالي المستوى يتكون من روبوت وفنان بشري لحل هذا اللغز. فقد ابتكر الباحثون، الذين يعملون في معهد "فراونهوفر آي جي دي" (Fraunhofer IGD)، نظاماً يحدد أولاً مجموعة زوايا الكاميرا المثالية لالتقاط صور لجسم ثلاثي الأبعاد من جميع الجوانب الممكنة، مما يضمن عدم ترك أي بقعة في الظلام. ويطلقون على هذا "استراتيجية غطاء المجموعة الجشعة" (greedy set cover strategy)، وهي طريقة منمقة لقول إن الكمبيوتر يلعب لعبة "كم عدد الصور القليلة التي يمكنني التقاطها لرؤية الشيء بأكمله؟". وبمجرد حصوله على هذه الصور، يستخدم أداة ذكاء اصطناعي قوية تسمى "SAM 2" لتخمين أماكن الأجزاء المختلفة من الجسم. ولكن إليك المفاجأة: الكمبيوتر لا يفعل ذلك بمفرده، بل يتدخل الإنسان للتحقق من عمل الذكاء الاصطناعي، وتصحيح الأخطاء ورسم الخطوط حيث ارتبك الذكاء الاصطناعي. أخيراً، يأخذ الكمبيوتر كل هذه الرسومات ثنائية الأبعاد المصححة ويلفها مرة أخرى حول النموذج ثلاثي الأبعاد مثل ورقة ملصقات مصممة خصيصاً، لإنشاء "أطلس مجزأ" (segmented atlas). هذا الأطلس عبارة عن خريطة مسطحة حيث يعرف كل مربع صغير تماماً الجزء الذي ينتمي إليه من الجسم ثلاثي الأبعاد، ليكون جاهزاً للخطوة التالية في صنع لعبة فيديو أو فيلم.
اختبر الفريق هذه الطريقة على ثمانية أجسام مختلفة من التراث الثقافي، تراوحت بين رأس رخامي لتمثال "ديفيد" لميكيل أنجيلو، وكرسي من العصر الفيكتوي، وسيف من العصور الوسطى. ووجدوا أن النظام يعمل بشكل جيد جداً للمساحات الكبيرة والواضحة، لكنه لا يزال يحتاج إلى يد بشرية في المواضع الصعبة مثل التفاصيل الدقيقة، أو الثقوب العميقة، أو الأجزاء التي تبدو متطابقة تماماً مع جيرانها. على سبيل المثال، في تمثال "ديفيد"، استطاع الذكاء الاصطناعي بسهولة تمييز الشعر والرقبة، لكن العينين والأذنين الصغيرتين احتاجتا إلى تدخل بشري لرسمهما يدوياً لأن الرخام كان ناعماً جداً ويفتقر إلى التباين. وبالمثل، في كرسي ذي قاعدة مجوفة، واجهت الكاميرات صعوبة في رؤية الزوايا المظلمة، مما تطلب عملاً يدوياً إضافياً. وعبر جميع النماذج، استغرقت العملية ما بين 15 إلى 35 دقيقة لكل جسم، حيث استغرقت التماثيل الأكثر تعقيداً وقتاً أطول. وأظهرت النتائج أنه بينما يعد الذكاء الاصطناعي مساعدة كبيرة، إلا أنه ليس مثالياً بعد؛ فالنتائج الأفضل تأتي من نهج "الإنسان في الحلقة" (human-in-the-loop) حيث يقوم الكمبيوتر بالعمل الشاق ويقوم الإنسان بالضبط الدقيق. ويشير المؤلفون إلى أن هذه الطريقة هي خطوة عملية صلبة نحو إنشاء محتوى تفاعلي، رغم اعترافهم بأنها ليست عصا سحرية تحل كل المشكلات تلقائياً. وهم يخططون لاختبارها مع المزيد من الأشخاص في المستقبل لمعرفة مدى صمودها في البيئات المهنية الواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.