Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
تقدم هذه الورقة البحثية Drones2BodyLanguage، وهي مجموعة بيانات مبتكرة تم إنشاؤها عبر وضع نماذج ثلاثية الأبعاد (avatars) ذات نوايا تواصلية بشكل قوي داخل لقطات طائرات بدون طيار حقيقية باستخدام نموذج عالم هندسي خفيف الوزن، مما يحسن بشكل كبير من قدرة الروبوتات الجوية على تعلم وفهم لغة جسد الإنسان ونواياه من فيديوهات الطائرات بدون طيار بعيدة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طائرة بدون طيار (درون) تحلق عالياً فوق مدينة صاخبة أو ريف هادئ. أنت روبوت "ذكي اجتماعياً"، مما يعني أنك تريد فهم ما يحاول البشر الصغار في الأسفل إخبارك به. ربما يلوح متنزّه للمساعدة، أو تشير مجموعة من الناس إلى اتجاه معين. في عالم العلوم، يسمى هذا فهم "لغة الجسد" أو "القصد التواصلي". عادةً، تكون الحواسيب بارعة في قراءة هذه الإشارات عندما تكون قريبة، مثل صورة "سيلفي". ولكن عندما تبتعد المسافة لتصل إلى 50 أو 100 متر، يصبح الشخص مجرد بضع بكسلات على الشاشة. تصبح حركاتهم ضبابية، ويصاب الحاسوب بالارتباك. الأمر يشبه محاولة قراءة كتاب من عبر ملعب كرة قدم؛ الحروف موجودة، لكنها صغيرة جداً لدرجة تجعل فهمها مستحيلاً.
لتعليم الحاسوب كيفية قراءة هذه الإشارات البعيدة والصغيرة، يحتاج العلماء عادةً إلى آلاف الأمثلة. ولكن هنا تكمن المشكلة: لا أحد قام بتصوير آلاف الفيديوهات لأشخاص يلوحون للطائرات بدون طيار من مسافة 100 متر؛ فمن الصعب جداً تصوير ذلك، وقد يكون الناس بعيدين جداً بحيث لا يمكن رؤيتهم بوضوح. لذا، يواجه العلماء خيارين سيئين: إما محاولة تصوير أشخاص حقيقيين (وهو أمر شبه مستحيل للقيام به بما يكفي)، أو إنشاء أشخاص وهميين مولدين بالحاسوب في عالم وهمي تماماً (وهذا يبدو مثالياً للغاية ولا يتطابق مع الواقع الفوضوي للفيديو الحقيقي). تحاول هذه الورقة البحثية إيجاد حل وسط ذكي. وهي تسأل: "ماذا لو احتفظنا بفيديو العالم الحقيقي، ولكننا قمنا بسحر لصق أشخاص يبدون حقيقيين فيه، بحيث يمكن للحاسوب تعلم قراءة إشاراتهم من مسافة بعيدة؟"
الباحثون وراء هذه الدراسة، دراغوش كوستيا وفريقه، قاموا ببناء أداة جديدة تسمى Drones2BodyLanguage. فكر فيها كآلة "قص ولصق" عالية التقنية للفيديو، ولكن مع لمسة خاصة جداً. عادةً، إذا لصقت صورة شخص في فيديو، سيبدو كملصق مسطح ينزلق بشكل غريب. إذا تحركت الكاميرا، فلن يتحرك الشخص مع الأرض؛ بل سيبدو وكأنه يطفو فقط. وهذا لا يفيد في التعلم. كان ابتكار الفريق الكبير هو طريقة لوضع هؤلاء الأشخاص الرقميين بحيث يقفون بثبات على الأرض، ويبقون في مكانهم الصحيح أثناء طيران الطائرة بدون طيار، بل وحتى يوجهون أجسادهم للاتجاه الصحيح، تماماً كما يفعل الشخص الحقيقي.
إليك كيف يعمل هذا "السحر". أولاً، يأخذون فيديو حقيقياً بدقة 4K من طائرة بدون طيار. ثم يستخدمون نظاماً ذكياً لإيجاد "نقاط ارتكاز" — وهي نقاط ثابتة على الأرض مثل زاوية مبنى أو شجرة. ورغم أن الأرض قد تبدو كإسفلت عادي ممل بلا أنماط، إلا أن نظامهم يستخدم مستشعراً خاصاً للعمق لتخمين مدى ارتفاع هذه النقاط في الفضاء ثلاثي الأبعاد. بعد ذلك، يحسبون "النقطة المثالية" لوضع شخصية رقمية (أفاتار). السر يكمن في خدعة رياضية: هم لا يتتبعون أقدام الشخص مباشرة (لأن الأقدام ستختفي في الطريق الناعم)، بل يتتبعون نقاط الارتكاز المستقرة حول الشخص ويستخدمون معادلة للتنبؤ بمكان أقدام الشخص بدقة، بغض النظر عن حركة الطائرة بدون طيار. كما يستنتجون الاتجاه الذي تميل إليه الأرض حتى لا يبدو الشخص وكأنه يميل جانباً.
بمجرد وضع الشخص بشكل مثالي، يضيف الفريق هؤلاء الأشخاص إلى الفيديو بثلاث طرق مختلفة لإنشاء مكتبة ضخمة من بيانات التدريب:
- حقيقي: يأخذون فيديوهات فعلية لممثلين، ويقصونهم، ثم يلصقونهم في الفيديو.
- إعادة الاستهداف (Retargeted): يأخذون حركات ممثلين حقيقيين ويضعونها على شخصيات ثلاثية الأبعاد واقعية.
- مولّد (Generated): يستخدمون الذكاء الاصطناعي لابتكار حركات جديدة تماماً لم يتم تصويرها من قبل.
لقما بإنشاء مجموعة بيانات تضم أكثر من 3,500 مقطع فيديو "موضوعة"، تظهر أشخاصاً يقومون بعشر إشارات تواصل مختلفة (مثل التلويح، أو الإشارة، أو إشارة "التوقف") من مسافات تتراوح بين 33 و98 متراً.
قام الفريق بعد ذلك باختبار ما إذا كانت هذه البيانات "المزيفة" يمكنها حقاً تعليم الحواسيب فهم البشر. أخذوا اثني عشر نموذجاً مختلفاً من نماذج "أدمغة الحواسيب" (البنى الهيكلية) وقاموا بتدريبها على هذه المجموعة الجديدة من البيانات. وكانت النتائج واعدة؛ فعندما دربوا الحواسيب على الفيديوهات التي تم فيها "لصق" الأشخاص، أصبحت النماذج أفضل بكثير في تخمين ما يحاول الأشخاص البعيدون قوله. في الواقع، ارتفقت الدقة بشكل كبير مقارنة بالنماذج التي لم تشهد هذا النوع من البيانات.
ومن المثير للاهتمام، وجدوا أن نوع الحركة كان أهم من مظهر الشخص. فالنماذج التي تدربت على الحركات "المولدة" (الوهمية تماماً) واجهت الصعوبة الأكبر، بينما تلك التي تدربت على الحركات "المعاد استهدافها" (حركات بشرية حقيقية على أجساد وهمية) حققت نتائج جيدة جداً. وهذا يشير إلى أن الحاسوب يحتاج لتعلم إيقاع وشكل الحركة البشرية الحقيقية، وليس مجرد مظهر الشخصية ثلاثية الأبعاد.
كما اختبروا نظامهم على فيديوهين جديدين تماماً من العالم الحقيقي لم يروهما من قبل — أحدهما في الريف والآخر في منتجع سياحي. ورغم أن الحاسوب لم يرَ هذه المشاهد المحددة من قبل، إلا أن النماذج التي تدربت على مجموعتهم المختلطة (باستخدام كل من البيانات الحقيقية والمعاد استهدافها) حققت أفضل أداء. وهذا يشير إلى أن طريقتهم في "وضع" الأشخاص داخل فيديوهات حقيقية هي وسيلة قوية لتعليم الروبوتات كيفية فهم الإشارات البشرية من السماء.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً مثالياً لكل المواقف بعد. فطريتهم تعمل بشكل أفضل على الأرض المسطحة والصلبة وتعتمد على كون الأرض صلبة نوعاً ما. كما أن الأشخاص "الحقيقيين" الذين يتم قصهم من الفيديوهات لا يمكن تغييرهم أو إعادة تحريكهم بسهولة دون إعادة العملية برمتها. ولكن بشكل عام، تظهر هذه الورقة البحثية طريقة قوية جديدة لتعليم الطائرات بدون طيار كيف تكون أفضل في قراءة لغة جسدنا، باستخدام مزيج من الفيديو الحقيقي والوضع الرقمي الذكي، مما يسد الفجوة بين ما يمكننا تصويره وما يحتاجه الحاسوب ليتعلم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.