Recognizing Co-Speech Gestures in-the-Wild
تقدم هذه الورقة البحثية GRW، وهي أول مجموعة بيانات واسعة النطاق تضم 156,688 مقطع فيديو تم تعليمه يدويًا لربط الإيماءات المصاحبة للكلام غير المقيدة بكلمات محددة، وذلك للتغلب على ندرة البيانات وتمكين تدريب واختبار النماذج متعددة الوسائط لتصنيف الإيماءات الدلالية، والتعرف عليها، وتحديد موقعها الزمني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد صديقاً يروي قصة. هو لا يستخدم الكلمات فحسب؛ بل تتحرك يداه راقصة، أو تقطع الهواء، أو ترسم دوائر للتأكيد على ما يقوله. أحياناً، تتطابق حركة اليد تماماً مع كلمة محددة (مثل فتح اليدين على اتساعهما عند قول كلمة "ضخم"). وفي أحيان أخرى، يكون مجرد النقر بأصابعه على إيقاع صوته، وهو ما لا يعني شيئاً محدداً.
هذه الورقة البحثية تدور حول تعليم الحواسيب التمييز بين هذين النوعين من حركات اليد، والأهم من ذلك، معرفة أي كلمة بالضبط تصفها حركة اليد.
إليك تفصيل لعمل الورقة البحثية باستخدام تشبيهات بسيطة:
١. المشكلة: "الإبرة في كومة القش"
حالياً، الحواسيب جيدة في التعرف على الأفعال الكبيرة والواضحة (مثل "التلويح بالتحية" أو "التصفيق"). لكنها سيئة جداً في رصد الإيماءات الدقيقة والمحددة التي تحدث أثناء حديث الشخص.
- كومة القش: ساعات من الفيديو حيث يتحدث الناس ويحركون أيديهم بشكل عشوائي (مثل التململ أو النقر على إيقاع ما).
- الإبرة: اللحظات النادرة التي تعني فيها حركة اليد شيئاً محدداً، مثل رسم مربع في الهواء أثناء قول كلمة "صندوق".
- المشكلة: لتعليم الحاسوب كيفية العثور على هذه الإبر، تحتاج إلى مجموعة ضخمة من مقاطع الفيديو التي حدد فيها البشر هذه اللحظات بالفعل. وحتى الآن، لم يقم أحد ببناء "خريطة" كبيرة لهذه الإبر.
٢. الحل: مجموعة بيانات "GRW"
أنشأ المؤلفون قاعدة بيانات جديدة تسمى GRW (التعرف على الإيماءات في الواقع الحر). فكر في هذا كأنه مكتبة ضخمة ومنظمة بدقة لمقاطع الفيديو.
- الحجم: تحتوي على أكثر من ١٥٦,٠٠٠ مقطع فيديو.
- المحتوى: تغطي ١٥٠ كلمة محددة (مثل "كبير"، "دائرة"، "دفع"، "وداعاً").
- اللمسة السحرية: لكل مقطع، قام البشر بتحديد ما يلي بعناية:
- هل توجد إيماءة ذات معنى؟ (نعم/لا)
- لأي كلمة هي؟ (مثلاً: "حلزوني")
- متى تحدث بالضبط؟ (إلى الإطار الزمني المحدد، حتى لو تحركت اليد قبل نطق الكلمة).
لماذا هذا مميز؟
معظم قواعد البيانات السابقة كانت تشبه حصة رقص حيث يتدرب الناس على حركات محددة في استوديو. أما GRW فهي تشبه تسجيل أشخاص في حفلة صاخبة. الإضاءة غريبة، زوايا الكاميرا غير منتظمة، والناس يتحركون بشكل طبيعي. هذا يجعل البيانات أصعب في التعلم، لكنها أكثر فائدة في الحياة الواقعية.
٣. ما اكتشفوه (أسرار "الأيدي المتحدثة")
من خلال النظر في كل هذه البيانات، وجد المؤلفون بعض الأنماط المفاجئة:
- ليست كل الكلمات تحصل على رقصة: بعض الكلمات، مثل "وداعاً"، تحصل دائماً تقريباً على تلويحة باليد (٦٦٪ من الوقت). وكلمات أخرى، مثل "انظر"، نادراً ما تحصل على إيماءة (أقل من ١٪ من الوقت).
- تأثير "الغلاف": حركة اليد لا تبدأ عادةً عند نطق الكلمة تماماً. إنها تشبه فقاعة واقية حول الكلمة؛ فاليد غالباً ما تبدأ في التحرك قبل أن ينطق الشخص الكلمة وتستمر في الحركة بعد انتهائه من قولها.
- طرق عديدة لقول الشيء نفسه: قد يرسم شخص ما شكلاً حلزونياً بيد واحدة، بينما يستخدم آخر كلتا يديه. يجب على الحاسوب أن يتعلم أن هذه الرقصات المختلفة تعني جميعها "حلزوني".
٤. "الدماغ" الجديد (النماذج)
بنى المؤلفون نموذجين من الذكاء الاصطناي لاستخدامهما مع هذه المكتبة الجديدة:
النموذج أ: "المحقق"
- المهمة: ينظر إلى مقطع فيديو قصير ويتساءل: "هل هناك إيماءة ذات معنى هنا، أم أن الشخص يقوم فقط بالتململ؟"
- الحيلة: هو لا ينظر فقط إلى الـ ٤ ثوانٍ الخاصة بالإيماءة؛ بل ينظر إلى الـ ١٠ ثوانٍ المحيطة بها. هذا يساعده على فهم "إيقام الطبيعي" حتى يتمكن من رصد المرة الوحيدة التي يكسر فيها هذا الإيقام ليقدم نقطة محددة.
النموذج ب: "المترجم"
- المهمة: إذا قال المحقق "نعم، هناك إيماءة"، يحاول هذا النموذج تخمين أي كلمة هي ومتى تحدث بالضبط.
- الحيلة: قاموا بتدريب هذا النموذج في خطوتين. أولاً، تركوه يتدرب على كومة ضخمة من "المسودات الأولية" (مقاطع فيديو خمنوا أن الإيماءة موجودة فيها لكنهم لم يكونوا متأكدين بنسبة ١٠٠٪). ثم قاموا بصقله على الفيديوهات "المثالية" التي راجع البشر إجاباتها بدقة. هذا جعل النموذج أكثر ذكاءً بكثير.
٥. النتائج
عندما اختبروا نماذجهم الجديدة مقابل النماذج الموجودة (وحتى ضد ذكاء اصطناعي متطور جداً مثل Gemini)، فازت نماذجهم.
- كانوا أفضل في رصد الإيماءات ذات المعنى.
- كانوا أفضل في تخمين الكلمة.
- كانوا أفضل في تحديد وقت البداية والنهاية الدقيق للحركة.
الملخص
تقول الورقة البحثية باختصار: "لقنا بناء أكبر وأكثر مكتبة واقعية وفوضوية لمقاطع فيديو الأيدي المتحدثة على الإطلاق. استخدمناها لتدريب حاسوب ليفهم أخيراً أن عندما يبسط شخص ما يديه أثناء قول 'كبير'، فهو لا يتحرك عشوائياً فحسب، بل يعرّف الكلمة بصرياً بكلمة 'كبير'. وأظهرنا أن النظر إلى السياق حول الحركة يساعد الحاسوب على الفهم بشكل أفضل بكثير".
ملاحظة: تركز الورقة البحثية حصرياً على بناء هذه المجموعة من البيانات والنماذج للتعرف على هذه الإيماءات. وهي لا تدعي أن هذه النماذج تُستخدم حالياً في العلاج أو التعليم أو التطبيقات الأخرى في العالم الحقيقي؛ إنها مجرد بحث وأدوات تم ابتكارها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.