💻 computer science

A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language

تقدم هذه الورقة مجموعة بيانات مرجعية واسعة النطاق موجهة بنظام HamNoSys، تتكون من 144,000 صورة RGB من 15 مشاركاً لـ 160 فئة من أشكال اليد، مما يؤسس لخطوط أساس تعتمد على المشارك وتترك مشاركاً واحداً خارج الاختبار باستخدام نماذج تعلم عميق متنوعة لتطوير التعرف الدقيق على أشكال اليد المنفردة وتكنولوجيا لغة الإشارة.

المؤلفون الأصليون: Ushnish Sarkar, Suvajit Patra, Bhaswar Chattopadhyay, Pranab Singha Roy, Tapas Samanta

نُشر 2026-08-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ushnish Sarkar, Suvajit Patra, Bhaswar Chattopadhyay, Pranab Singha Roy, Tapas Samanta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم لغة الإشارة البشرية. الأمر لا يقتصر فقط على مراقبة شخص يلوح بيديه؛ بل يتعلق بفك تشفير مفردات صامتة ومعقدة حيث يمكن لشكل اليد، أو زاوية الإبهام، أو انثناء الإصبع أن يغير كلمة بأكملها. فكر في الأمر كفرق بين "علامة الإبهب للأعلى" و"علامة الإبهب للأسفل"؛ بالنسبة للإنسان، الأمر واضح، ولكن بالنسبة للكمبيوتر، هاتان الإشارتان مجرد مجموعة من البكسلات التي تبدو متشابهة بشكل مريب. هذا هو عالم "التعرف الدقيق على أشكال اليد"، وهو مجال يحاول فيه العلماء بناء قواميس رقمية يمكنها قراءة الاختلافات الطفقة والدقيقة في كيفية تشكيل الناس للإشارات. الهدف هو إنشاء أدوات يمكنها ترجمة لغة الإشارة إلى نص أو كلام، مما يساعد في سد فجوة التواصل لملايين الأشخاص الصم أو ضعاف السمع. ولكن لتعليم الكمبيوتر هذه المهارة، تحتاج إلى مكتبة ضخمة من الأمثلة، وحتى الآن، كانت هذه المكتبة تفتقر إلى قسم حيوي ومنظم.

هنا تبرز دراسة جديدة تعمل بمثابة "أمين مكتبة ماهر" للغة الإشارة. فقد بنى الباحثون ألبوماً صورياً ضخماً ومنظماً بعناية يحتوي على 144,00_0 صورة للأيدي، التقطت جميعها لـ 15 شخصاً مختلفاً. لم يكتفوا بالتقاط صور عشوائية؛ بل استخدموا "كتاب قواعد" خاصاً يسمى "هامنو سيس" (HamNoSys - نظام التدوين هامبورغ)، وهو يشبه أبجدية عالمية لأشكال اليد يستخدمها علماء اللغويات لوصف الإشارات دون أن تكون مرتبطة بلغة منطوقة معينة. وقد طلبوا من المشاركين وضع أيديهم لتطابق 160 شكلاً محدداً من كتاب القواعد هذا، ملتقطين كل التواء، ودوران، وانثناء إصبع.

قام الفريق بعد ذلك باختبار أربعة أنواع مختلفة من أجهزة الكمبيوتر "الطالبة" لمعرفة مدى قدرتها على التعلم من هذا الألبوم. نظر "طالبان" إلى الصور الفعلية (مثل إنسان ينظر إلى صورة)، بينما نظر الآخران فقط إلى خريطة هيكلية لمفاصل اليد (مثل رسم توضيحي لرجل العصا). وأجروا نوعين مختلفين من الاختبارات: أحدهما حيث درس الطلاب واختبروا على نفس الأشخاص (اختبار ودي وسهل)، والآخر حيث كان عليهم التعرف على أيدٍ لأشخاص لم يروهم من قبل (اختبار أصعب بكثير ويمثل الواقع).

إليكم ما وجدوه: عندما سُمح لأجهزة الكمبيوتر بدراسة نفس الأشخاص الذين يتم اختبارهم، حقق الطلاب الذين يقرؤون الصور أداءً جيداً جداً، حيث حصل النموذج الأكثر تقدماً (نموذج يسمى ViT-B/16) على حوالي 86% من الإجابات الصحيحة. ومع ذلك، عندما تحول الاختبار إلى "أشخاص غير مرئيين"، انخفضت الدرجات بشكل كبير، حيث حصلت أفضل النماذج على حوالي 45% فقط من الإجابات الصحيحة. يشير هذا إلى أنه بينما تصبح أجهزة الكمبيوتر جيدة في التعرف على أشكال اليد بشكل عام، إلا أنها لا تزال تعاني في التعميم عندما يظهر شخص جديد بحجم يد أو أسلوب مختلف. كما سلطت الدراسة الضوء على أن بعض أشكال اليد متشابهة بصرياً للغاية - بحيث تختلف فقط بانثناء طفيف في الإصبع - لدرجة أن أفضل النماذح ترتبك، وتخلط بينها مثل التوائم في حشد من الناس.

في النهاية، لا تدعي هذه الورقة البحثية أنها حلت مشكلة التعرف على لغة الإشارة. بدلاً من ذلك، فهي توفر أساساً متيناً وقابلاً للتكرار - مجموعة بيانات جديدة عالية الجودة ومجموعة من درجات القياس الأساسية - يمكن للباحثين الآخرين استخدامها لبناء أدوات أفضل. إنها توضح لنا بالضبط أين تقف التكنولوجيا الحالية، وتشير إلى أن التحدي الكبير التالي هو تعليم أجهزة الكمبيوتر التعرف على هذه الأشكال الدقيقة لليد بغض النظر عن الشخص الذي يقوم بها.

أبحاث مشابهة