A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
تقدم هذه الورقة مجموعة بيانات ضخمة مستندة إلى نظام HamNoSys، تضم 144,000 صورة RGB من 15 مشاركاً لـ 160 فئة من أشكال اليد، وتضع أداءً مرجعياً باستخدام نماذج متنوعة من التعلم العميق والتعلم الآلي تحت بروتوكولات تقييم تعتمد على الموضوع (subject-dependent) وبروتوكول استبعاد المشارك الواحد (leave-one-subject-out) للنهوض بالتعرف الدقيق على لغة الإشارة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد لغات الإشارة لغات كاملة ومعقدة، لها قواعدها وبنيتها الخاصة، ويستخدمها الملايين من الناس حول العالم. وكما تُبنى اللغات المنطوقة من الأصوات، تُبنى لغات الإشارة من الحركات الجسدية لليدين والوجه والجسم. وأحد أهم اللبنات الأساسية هو شكل اليد؛ إذ يمكن لثنية طفيفة في إصبع أو وضعية مختلفة للإبهام أن تغير معنى الإشارة تماماً، تماماً كما يمكن لتغيير حرف واحد أن يحول كلمة إلى أخرى. ولكي تتمكن الحواسيب من فهم أو ترجمة هذه اللغات، يجب عليها أولاً أن تتعلم التعرف على أشكال اليد المحددة هذه بدقة عالية. ومع ذلك، فإن إنشاء نظام حاسوبي يمكنه القيام بذلك أمر صعب لأن الأيدي البشرية تختلف اختلافاً كبيراً من شخص لآخر، كما أن الاختلافات بين أشكال اليد المتشابهة قد تكون دقيقة للغاية.
لطال old الباحثون عن وسيلة لوصف أشكال اليد هذه بلغة عالمية لا تنتمي لبلد أو ثقافة بعينها. أحد هذه الأنظمة، المعروف باسم "نظام هامبورغ للترميز" (Hamburg Notation System)، يعمل كخريطة تفصيلية لتكوينات اليد، حيث يفككها إلى أجزاء محددة مثل اختيار الأصابع ووضعية الإبهام. وبينما يوفر هذا النظام تعريفاً واضحاً لما يجب أن يكون عليه شكل اليد، إلا أنه كان هناك نقص في البيانات الواقعية لتعليم الحواسيب كيفية التعرف على هذه الأشكال عندما يؤديها أشخاص حقيقيون. فبدون مجموعة كبيرة من الصور الحقيقية التي تعرض هذه الأشكال المحددة، تعاني البرامج الحاسوبية في التعميم، وغالباً ما تفشل عند مواجهة شخص جديد أو زاوية مختلفة قليلاً.
ولمعالجة هذه الفجوة، أنشأ فريق من الباحثين مجموعة بيانات ضخمة وجديدة مصممة لتعليم الحواسيب كيفية التعرف على 160 شكلاً مختلفاً لليد. لم يعتمدوا على صور منشأة حاسوبياً أو رسومات بسيطة، بل سجلوا أشخاصاً حقيقيين. طُلب من خمسة عشر متطوعاً، جميعهم من طلاب الجامعات، تشكيل كل شكل من أشكال اليد الـ 160 المحددة في الجدول الرسمي. أعد الباحثون بيئة محكومة بخلفية بيضاء سادة وكاميرا عالية الدقة. قام كل مشارك بتثبيت يده في الشكل المطلوب وتدويرها ببطء، مما سمح للكاميرا بالتقاط الحركة من زوايا مختلفة. أنتجت هذه العملية 144,000 صورة ملونة فردية، مما خلق مكتبة غنية حيث يتم تصنيف كل صورة بدقة بالشكل المحدد الذي تمثله.
ثم اختبر الباحثون مدى قدرة النماذج الحاسوبية المختلفة على التعلم من هذه المكتبة الجديدة. جربوا نهجين رئيسيين؛ نظر النهج الأول إلى الصور ككل، تماماً كما يفعل البشر، من خلال التركيز على المظهر العام لليد ولون البشرة والإضاءة. أما النهج الثاني، فقد تجاهل الصورة تماماً وركز فقط على الإحداثيات الرياضية لواحد وعشرين نقطة محددة على اليد، مثل أطراف الأصابع والمفاصل. واختبروا هذه النماذج بطريقتين مختلفتين: في الاختبار الأول، عُرضت على الحاسوب صور لأشخاص رآهم بالفعل أثناء التدريب، مما يحاكي سيناريو يعرف فيه النظام المستخدم. وفي الاختبار الثاني، وهو الأكثر صعوبة، عُرضت على الحاسوب صور لأشخاص لم يقابلهم من قبل، مما أجبره على الاعتماد على ما تعلمه عن الأشكال نفسها بدلاً من الشخص المحدد الذي يقوم بها.
وكشفت النتلائج عن تمييز واضح بين معرفة الشخص ومعرفة الشكل. فعندما تم اختبار الحاسوب على أشخاص رآهم بالفعل أثناء التدريب، حقق أداءً جيداً جداً، حيث تعرف بشكل صحيح على شكل اليد في أكثر من 86 بالمائة من الحالات باستخدام أفضل نموذج يعتمد على الصور. ومع ذلك، عندما واجه الحاسوب شخصاً جديداً لم يسبق له مقابلته، انخفضت دقته بشكل كبير، لتصل إلى حوالي 45 بالمائة. هذا الانخفاض الحاد يوضح أنه بينما تجيد الحواسيب التعرف على الأنماط في الوجوه المألوفة، فإنها لا تزال تواجه صعوبة في الفصل بين الشكل العالمي للإشارة وبين الطريقة الفريدة التي يؤديها بها فرد معين. كما وجدت الدراسة أن النماذج ترتكب أكبر قدر من الأخطاء مع أشكال اليد التي تبدو متطابقة تقريباً، والتي تختلف فقط في تفصيل صغير مثل ثنية إصبع واحد أو وضعية الإبهام.
يوفر هذا العمل أساساً متيناً للتكنولوجيا المستقبلية. فمن خلال تقديم مجموعة ضخمة ومتوازنة من الصور الحقيقية واختبار كيفية تعامل الحواسيب مع مستخدمين جدد، أنشأ الباحثون أداة معيارية لهذا المجال. تسمح مجموعة البيانات هذه للعلماء ببناء أنظمة أفضل يمكنها في النهاية ترجمة لغة الإشارة إلى نص أو كلام لمن لا يستطيعون السمع، أو مساعدة الصم على التواصل بسهولة أكبر مع السامعين. ورغم أن النماذج الحالية لا تزال تجد صعوبة في التعرف على الإشارات من الغرباء، إلا أن المورد الجديد يمنح الباحثين مساراً واضحاً للمضي قدماً لتحسين هذه الأنظمة، لضمان أن التكنولوجيا المستقبلية ستفهم التعقيد الدقيق والجميل للأيدي البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.