🤖 AI

Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation

تقدم هذه الورقة نظاماً للتعرف على إيماءات لغة الإشارة البرازيلية (LIBRAS) في الوقت الفعلي لأتمتة المنازل، يجمع بين استخراج معالم اليد باستخدام MediaPipe ومصنف شبكة عصبية تلافيفية (CNN) يعمل على مصفوفة زمانية-مكانية، محققاً دقة تصل إلى 95% عبر 11 فئة من الإيماءات دون الاعتماد على الشبكات العصبية المتكررة.

المؤلفون الأصليون: Jasmine Moreira

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jasmine Moreira

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد التحكم في أضواء منزلك، أو ستائره، أو مكيف الهواء بمجرد التلويح بيديك، تماماً مثل ساحر يؤدي تعاويذ سحرية. ولكن بدلاً من السحر، أنت تستخدم لغة الإشارة البرازيلية (LIBRAS). تكمن المشكلة في أن الحواسيب ليست بارعة بطبيعتها في فهم الرقصة الانسيابية والمتحركة للأيدي البشرية؛ فهي غالباً ما ترتبك بسبب سرعة حركتك أو شكل يدك تحت ظروف الإضاءة المختلفة.

تصف هذه الورقة البحثية "خدعة سحرية" ذكية (برنامج حاسوبي) تحل هذه المشكلة. وإليك كيف تعمل، مقسمة إلى خطوات بسيطة:

1. المفتاح الهيكلي (MediaPipe)

أولاً، يحتاج الكمبيوتر إلى رؤية يدك، ولكن ليس جزء "اللحم والجلد". تخيل أنك تنظر إلى يد وترى فقط "الهيكل العظمي" الذي يشبه رسم الشخصيات الكرتونية تحتها.

الأداة: يستخدم الباحثون أداة تسمى MediaPipe. فكر فيها كأنها رؤية أشعة سينية فائقة الدقة تجد فوراً 21 "مفصلاً" محدداً في يدك (أطراف الأصباع، المفاصل، المعصم).
النتيجة: بدلاً من صورة ضبابية، يحصل الكمبيوتر على قائمة نظيفة من الإحداثيات: "الإبهام هنا، والسبابة هناك". هذا يجعل النظام يتجاهل سوء الإضاءة أو لون البشرة ويركز فقط على شكل اليد.

2. "شريط الفيلم" (المصفوفة المكانية الزمانية - Spatiotemporal Matrix)

الإيماءات الثابتة (إمساك اليد دون حركة) سهلة. لكن الإيماءات الديناميكية (تحريك اليدك لرسم حرف في الهواء) صعبة لأنها تحدث عبر الزمن.

التشبيه: تخيل أنك تلتقط فيلماً لحركة يدك. بدلاً من تخزين 30 إطاراً منفصلاً من الفيديو، يقوم الكمبيوتر بتكديسها فوق بعضها البعض لإنشاء صورة واحدة، طويلة ونحيفة.
كيف يعمل: يأخذون 30 إطاراً لحركة يدك. يقومون برص إحداثيات X و Y و Z لجميع المفاصل الـ 21 من تلك الإطارات الـ 30.
- إذا ظلت يدك ثابتة، ستبدو الصورة كخطوط مستقيمة وصلبة.
- إذا تحركت يدك (مثل رسم حرف "J")، ستبدو الصورة كخربشة ملونة ومتموجة.
السحر: يعامل الكمبيوتر هذا "الشريط السينمائي" تماماً مثل أي صورة عادية. فهو لا يحتاج إلى رياضيات معقدة للسفر عبر الزمن (الشبكات المتكررة)؛ بل ينظر فقط إلى نمط الخطوط.

3. "النافذة المنزلقة" (البث المستمر)

في الحياة الواقعية، أنت لا تتوقف وتنتظر الكمبيوتر ليقول لك "حسناً، لقد رأيت ذلك". أنت تستمر في الحركة.

المشكلة: إذا كان الكمبيوتر يتحقق فقط من قطعة معينة من الفيديو كل 30 إطاراً، فقد يلتقط الإيماءة في منتصفها ويفشل في فهمها بالكامل.
الحل: يستخدم الباحثون تقنية "النافذة المنزلقة" (Sliding Window). تخيل حزاماً ناقلاً يحمل حركات يدك.
- في كل مرة يصل فيها إطار جديد، لا يكتفي الكمبيوتر بالنظر إليه مرة واحدة فقط، بل يقوم بمضاعفته ثلاث مرات (يضع ثلاث نسخ في الذاكرة المؤقتة).
- هذا يخلق تأثيراً يشبه "العرض البطيء" للكمبيوتر، مما يمنحه وقتاً أطول لتحليل الحركة دون الحاجة إلى معالج فائق السرعة.
- ومع وصول إطارات جديدة، تنزلق الإطارات الأقدم من الخلف، مما يحافظ على استمرارية المشهد.

4. "الدماغ" (الشبكة العصبية الالتفافية - CNN)

بمجرد أن يصبح "شريط الفيلم" جاهزاً، يتم تغذيته في شبكة عصبية التفافية (CNN).

التشبيه: فكر في هذا كأنه محقق صغير وذكي جداً. لقد تدرب هذا المحقق على آلاف من هذه "الأشرطة السينمائية".
التدريب: تعلم المحقق أن الخط العمودي المستقيم يعني "الحرف A" (تشغيل المكيف)، بينما الحلقة المتموجة تعني "الحرف J" (فتح النافذة).
الحجم: هذا المحقق صغير وفعال للغاية (يحتوي على حوالي 25,000 "فكرة" أو معلمة فقط)، مما يعني أنه يمكنه العمل على جهاز كمبيوتر محمول عادي دون الحاجة إلى حاسوب خارق ضخم.

النتائج: ما مدى جودة عمله؟

اختبر الفريق هذا النظام في بيئة منزلية مع 11 أمراً مختلفاً (مثل تشغيل/إطفاء الأضواء أو تغيير الألوان).

في الظلام: نجح في تنفيذ الأمر بنسبة 95% من المرات.
في الإضاءة العادية: نجح في تنفيذ الأمر بنسبة 92% من المرات.
العائق: تم اختبار النظام بشكل أساسي من قبل شخص واحد. وبينما يعمل بشكل رائع بالنسبة له، يقر المؤلفون بأنه يحتاج إلى الاختبار على العديد من الأشخاص المختلفين (أحجام أيدٍ مختلفة، سرعات مختلفة) للتأكد من أنه يعمل للجميع.

الملخص

تقدم هذه الورقة البحثية طريقة ذكية وخفيفة الوزن لتحويل إيماءات اليد إلى أوامر للتحكم في المنزل. إنها تحول اليد المتحركة إلى صورة ثابتة للحركة، وتستخدم دماغاً صغيراً وفعالاً لقراءة تلك الصورة، وتستخدم النافذة المنزلقة للحفاظ على تدفق المحادثة في الوقت الفعلي. إنها خطوة نحو جعل منازلنا تستجيب لمجرد التلويح باليد، تماماً كما نرى في الأفلام.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعرف الديناميكي على إيماءات لغة الإشارة البرازيلية (LIBRAS) عبر مصفوفة تمثيل مكاني-زماني باستخدام الشبكات العصبية الالتفافية (CNN)."

1. بيان المشكلة

تتناول الورقة البحثية تحدي التعرف على إيماءات اليد الديناميكية لواجهات التفاعل بين الإنسان والآلة (HMI)، وتحديداً للتحكم في أجهزة الأتمتة المنزلية باستخدام لغة الإشارة البرازيلية (LIBRAS).

الصعوبة الجوهرية: تتضمن الإيماءات الديناميكية حركة عبر الزمن، مما يجعل التعرف عليها أصعب من الوضعيات الثابتة. كما أن الاختلافات في تشريح المستخدم، وإيقاع التعبير، ووضعية الأصابع تخلق تحديات كبيرة في التعميم.
محدودية النهج الحالية:
- نهج البكسلات الخام (Raw Pixels): أبعاد عالية وحساسية شديدة للإضاءة ولون البشرة.
- الشبكات العصبية المتكررة (RNNs/LSTMs): رغم فعاليتها في البيانات الزمنية، إلا أنها غالباً ما تزيد من التعقيد الحسابي وصعوبة التدريب.
- التعميم: تحقق العديد من النماذج الحالية أداءً جيداً في مجموعات البيانات الخاضعة للرقابة، لكنها تعاني في مواجهة المستخدمين المتنوعين وظروف الإضاءة الواقعية.

2. المنهجية

النظام المقترح هو خط معالجة يتكون من مرحلتين، يقوم بتحويل مدخلات الفيديو إلى مهمة تصنيف باستخدام شبكة عصبية تلاففية ثنائية الأبعاد (2D CNN) خفيفة الوزن.

أ. الحصول على البيانات والمعالجة المسبقة

استخراج النقاط الرئيسية (Keypoint Extraction): يستخدم النظام أداة MediaPipe Hand Landmarker لاستخراج 21 نقطة هيكلية رئيسية (أطراف الأصابع، المفاصل، مركز الكف) من إطارات الفيديو. يعمل هذا على تجريد اليد إلى إحداثيات هندسية $(x, y, z)$ ، مما يقلل الأبعاد ويزيد من المتانة تجاه تغيرات الإضاءة.
تمثيل المصفوفة المكانية-الزمانية:
- بدلاً من معالجة الفيديو الخام أو استخدام الشبكات المتكررة (RNNs)، قام المؤلفون بتنظيم البيانات في مصفوفة $90 \times 21$ .
- الهيكل:
  - 21 عموداً: تمثل الـ 21 نقطة رئيسية لليد.
  - 90 صفاً: تمثل التطور الزماني. بالنسبة لإيماءة تم التقاطها عبر 30 إطاراً، يتم دمج الإحداثيات للمحاور $x$ و $y$ و $z$ رأسياً (الصفوف 1–30: قيم $x$ ؛ الصفوف 31–60: قيم $y$ ؛ الصفوف 61–90: قيم $z$ ).
- التطبيع (Normalization): يتم تطبيع المصفوفات عبر مقياس الحد الأدنى والأقصى (min-max scaling) إلى النطاق $[0, 255]$ وتحويلها إلى صور رمادية (grayscale). يسمح هذا للشبكة الالتفافية (CNN) بمعاملة التسلسل الزمني كنمط صورة مكانية، مما يجعل النموذج غير متأثر بحجم اليد أو مسافتها.

ب. بنية النموذج

المصنف: شبكة 2D CNN مخصصة مصممة لتصنيف "صور الحركة" ذات الحجم $90 \times 21$ .
التكوين:
- الطبقات: 3 طبقات تلاففية (بعدد مرشحات 33، 64، و64 على التوالي) تليها طبقتان كثيفتان (Dense layers).
- المعلمات (Parameters): حوالي 25,000 معلمة، تم تحسينها لتقليل التكلفة الحسابية.
- التنظيم (Regularization): تم تطبيق تنظيم L1 بقيمة ( $\lambda=0.0001$ ) لمنع الإفراط في التخصيص (overfitting).
- المحسن (Optimizer): خوارزمية Adam بمعدل تعلم قدره $0.000001$.
بيانات التدريب: 1,254 إيماءة (كل منها 30 إطاراً) موزعة على 11 فئة (مثل: تكييف الهواء، الستائر، تبديل التشغيل/الإيقاف، تغيير ألوان الإضاءة، وفئة "محايدة" لمنع الإشارات الخاطئة).

ج. استراتيجية الاستدلال: النافذة المنزلقة مع تكرار الإطارات

لتمكين التعرف المستمر في الوقت الفعلي دون استخدام الشبكات المتكررة (RNNs)، طبق المؤلفون استراتيجية تخزين مؤقت محددة:

التخزين المؤقت (Buffering): يتم الحفاظ على نافذة منزلقة مكونة من 30 مدخلاً.
التكرار الزماني للإطارات (Temporal Triplication): يتم إدراج كل إطار حقيقي جديد يتم التقاطه 3 مرات ( $n=3$ ) في المخزن المؤقت. يعمل هذا فعلياً على إبطاء الدقة الزمنية، مما يسمح للنظام بالتقاط الإيماءات الديناميكية حتى لو تحرك المستخدم بسرعة.
التداخل (Overlap): مع دخول إطارات جديدة، يتم حذف أقدم 3 إطارات، مما يضمن تداخلاً مستمراً.
عتبة الثقة: لا يتم قبول التوقعات إلا إذا تجاوزت ثقة النموذج 98%.
إدارة الحالة: يتم مسح المخزن المؤقت عند تنفيذ الإيماءة بنجاح أو عند خروج اليد من المشهد لمنع التكرار غير المرغوب فيه.

3. المساهمات الرئيسية

تمثيل المصفوفة المكانية-الزمانية: طريقة مبتكرة لترميز النقاط الهيكلية في مصفوفة $90 \times 21$ ، مما يسمح للشبكات الالتفافية ثنائية الأبعاد (2D CNNs) بتصنيف الإيماءات الديناميكية عبر معاملة الزمن كبُعد مكاني.
الاستدلال في الوقت الفعلي بدون شبكات متكررة (RNN-Free): استخدام النافذة المنزلقة مع تكرار الإطارات الزماني يتيح التعرف المستمر القوي على الأجهزة العامة دون تعقيد الشبكات المتكررة (LSTMs/GRUs).
بنية خفيفة الوزن: نموذج عالي الكفاءة (~25 ألف معلمة) قادر على العمل على المعالجات القياسية (Intel Core i7) بزمن انتقال منخفض، مما يجعله مناسباً للأنظمة المدمجة أو الأتمتة المنزلية.
التحقق في الأتمتة المنزلية: التطبيق الناجح في سيناريو واقعي للتحكم في 11 إجراءً مختلفاً للأجهزة عبر إيماءات LIBRAS.

4. النتائج التجريبية

الدقة:
- في ظروف الإضاءة المنخفضة: دقة 95% (95/100 صحيح).
- في الإضاءة العادية: دقة 92% (92/100 صحيح).
الأداء: حقق النظام هذه النتائج على جهاز كمبيوتر قياسي دون الحاجة إلى وحدة معالجة رسومات (GPU) مخصصة.
تحليل الخطأ:
- كان الخطأ الأكثر شيوعاً هو الخلط بين حرف "C" ووضعيات اليد المسترخية/المحايدة.
- تم التعرف بفعالية على الإيماءات الديناميكية مثل حرف "J" (الذي يتضمن دوراناً)، رغم وجود ملاحظة حول محدودية حيث يمكن لمجموعات فرعية من الحركات (مثل "I" داخل "J") أن تؤدي إلى التعرف المبكر.
المقارنة: النتائج قابلة للمقارنة مع الأساليب الحديثة (مثل 93% في مجموعة بيانات MINDS-Libras باستخدام الصور الهيكلية، و92.57% في التحكم بالأتمتة المنزلية)، على الرغم من استخدام بنية أبسط.

5. الأهمية والعمل المستقبلي

الأهمية: تثبت هذه الورقة أن التعرف المعقد على الإيماءات الزمنية يمكن تحقيقه باستخدام شبكات CNN ثنائية الأبعاد بسيطة وهيكلة ذكية للبيانات، مما يلغي الاعتماد على الشبكات المتكررة الثقيلة. وهذا يجعل هذه التكنولوجيا متاحة للأتمتة المنزلية منخفضة التكلفة وفي الوقت الفعلي.
المحدودية:
- التعميم: تم تدريب النموذج واختباره على مستخدم واحد فقط. وبينما حقق دقة عالية، تقر الورقة بأن التنوع التشريحي (اختلاف أحجام اليد، ألوان البشرة، وأنماط التعبير) يعد عاملاً حاسماً للنشر في العالم الحقيقي.
- حجم مجموعة البيانات: مجموعة البيانات صغيرة نسبياً مقارنة بمجموعات البيانات الضخمة المرجعية.
الاتجاهات المستقبلية:
- توسيع مجموعة البيانات لتشمل مستخدمين متعددين بخصائص تشريحية متنوعة.
- دمج ظروف الإضاءة المتغيرة بشكل صريح في عملية التدريب.
- نقل النظام إلى أجهزة مدمجة منخفضة التكلفة (مثل Raspberry Pi أو الأجهزة المحمولة).
- توسيع مفردات الإيماءات بما يتجاوز مجموعة LIBRAS الحالية.

في الختام، يقدم هذا العمل حلاً فعالاً وخفيف الوزن للتعرف الديناميكي على لغة الإشارة، مما يسد الفجوة بين نماذج التعلم العميق الأكاديمية وتطبيقات الأتمتة المنزلية العملية في الوقت الفعلي.