Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition

بالنسبة لملايين الأشخاص حول العالم، لا تُعد القدرة على التواصل أمراً مفروغاً منه. فعندما يخلق فقدان السمع حاجزاً، تصبح لغة الإشارة هي الجسر الحيوي؛ وهي لغة بصرية-مكانية تُبنى فيها المعاني من أشكال اليدين، وحركات الجسد، وتعبيرات الوجه. لعقود من الزمن، حاول الباحثون بناء حواسيب يمكنها فهم هذه اللغة، آملين في خلق ترجمة سلسة بين مجتمعي الصم والسامعين. ويكمكم التحدي في تعقيد البيانات: فالإشارة ليست مجرد صورة ثابتة ليد، بل هي تسلسل انسيابي من الحركات التي تشمل الجزء العلوي من الجسم بأكمله. اعتمدت المحاولات المبكرة لتعليم الآلات هذه اللغة على الكاميرات لالتقاط الفيديو، لكن النهج الأكثر واعدية في الآونة الأخيرة ركز على الهيكل العظمي نفسه — الخريطة غير المرئية للمفاصل والعظام التي تحدد حركة الإنسان. ومن خلال تجريد المشهد من الخلفية والتركيز فقط على هندسة الجسم، أمَل العلماء في إنشاء أنظمة قوية ضد تغيرات الإضاءة والمخاوف المتعلقة بالخصوصية. ومع ذلك، فإن الأدوات المستخدمة لتفسير هذه الخرائط الهيكلية قد اصطدمت بحائط مسدود؛ فقد اعتمدت تقليدياً على قواعد ثابتة حول كيفية اتصال أجزاء الجسم، بافتراض أن اليد ترتبط فقط بالرسغ، والرسغ بالمرفق. هذا الهيكل الجامد يعمل جيداً في الحركات البسيطة، لكنه يعاني عندما تتطلب الإشارة تفاعل اليدين مع الرأس أو عندما يتحرك الجسم بأك entero بطريقة منسقة ومعقدة.

اقترح فريق من الباحثين من جامعة آيزو في اليابان، بالتعاون مع زملاء من كوريا الجنوبية وبنغلاديش، طريقة جديدة لحل هذه المشكلة. فبدلاً من إجبار الكمبيوتر على اتباع خريطة مرسومة مسبقاً لكيفية اتصال الجسم، قاموا ببناء نظام يتعلم رؤية الصورة الكاملة دفعة واحدة. وقد أطلقوا على ابتكارهم اسم "شبكة الانتباه المكاني-الزماني المتراكمة" (Stacked Spatio-Temporal Attention Network). تخيل نظاماً لا يكتفي بالنظر إلى إطار واحد من الفيديو، بل يشاهد تسلسل الحركة بأكمله بينما يأخذ في الاعتبار في الوقت ذاته كيف يرتبط كل مفصل بكل مفصل آخر، بغض النظر عن مدى بعدهما عن بعضهما البعض في الجسم. يتخلى هذا النهج عن القواعد القديمة الجامدة لصالح طريقة مرنة تحسب العلاقات بشكل ديناميكي. اختبر الباحثون هذه البنية الجديدة على ثلاث مجموعات متميزة من البيانات: مجموعة كبيرة من كلمات لغة الإشارة الأمريكية، ومجموعتين أصغر مخصصتين لتهجئة الأصابع — وهي أبجدية الإشارات المستخدمة في اللغتين اليابانية والكورية. كانت النتائج مذهلة؛ ففي اختبارات تهجئة الأصابع اليابانية والكورية، حقق النموذج الجديد دقة تقترب من المثالية، حيث حدد الإشارات بشكل صحيح في كل مرة تقريباً. والأهم من ذلك، أنه في مجموعة بيانات لغة الإشارة الأمريكية الكبيرة، تفوق النموذج على جميع الأساليب الأخرى التي تستخدم البيانات الهيكلية فقط، بما في ذلك تلك التي تم تدريبها باستخدام تقنيات تدريب مسبق ضخمة ومعقدة.

يكمن سر هذا النجاح في كيفية معالجة النموذج للمعلومات. غالباً ما تعامل الأنظمة التقليدية الجسم كأنه سلسلة، حيث تنتقل المعلومات من مفصل إلى آخر، مما يتطلب خطوات عديدة لربط اليد بالرأس. أما النموذج الجديد، فيستخدم آلية تسمح له بالنظر إلى جميع المفاصل في وقت واحد وفهم أي منها يعمل معاً بشكل فوري. وهو يفعل ذلك عبر خطوتين لكل لحظة زمنية: أولاً، يحلل العلاقات المكانية بين المفاصل ضمن إطار واحد، لفهم شكل الوضعية؛ ثم يحلل العلاقات الزمانية، ليربط تلك الوضعية بالأشكال التي سبقتها وأتبعتها. وهذا يسمح للكمبيوتر باستيعاب الديناميكيات الدقيقة والمنسقة للإشارة دون الحاجة إلى خريطة ثابتة لتوجيهه. لقد درب الباحثون هذا النظام من الصفر، مما يعني أنهم لم يغذوه بملايين الصور أو الفيديوهات الأخرى لتعلم مفاهيم عامة أولاً؛ بل عرضوا عليه بيانات لغة الإشارة فحسب، وتعلم النموذج الأنماط من تلقاء نفسه. وهذا فرق جوهري، إذ يشير إلى أن النموذج عالي الكفاءة، وقادر على تعلم مهام معقدة دون التكلفة الحسابية الهائلة للتدريب المسبق الضخم.

كانت الدراسة دقيقة وصارمة، حيث اختبرت النظام على أكثر من 21,000 فيديو من مجموعة بيانات لغة الإشارة الأمريكية ومئات الفيديوهات من المجموعات اليابانية والكورية. حرص الباحثون على ضمان أن النموذج لا يقوم بمجرد حفظ الأشخاص المحددين في فيديوهات التدريب؛ حيث قاموا بتقسيم البيانات بحيث يتم اختبار النموذج على أشخاص لم يسبق له رؤيتهم. وفي اختبارات تهجئة الأصابع اليابانية، وصل النموذج إلى ذروة دقة بلغت 99.34%، وفي الاختبارات الكورية، وصل إلى 9ce 95.16%. وفي مجموعة بيانات لغة الإشارة الأمريكية الأكبر، حقق دقة قصوى بلغت 82.95% لأكثر 100 إشارة شيوعاً، متفوقاً على الأرقام القياسية السابقة التي سجلتها أنظمة اعتمدت على طرق تدريب أكثر تعقيداً. وأشار الباحثون إلى أنه بينما تتطلب الأنظمة الأخرى غالباً آلاف الساعات من التدريب المسبق على بيانات غير ذات صلة للوصول إلى مستويات مماثلة من الأداء، فقد حقق نموذجهم هذه النتائج من خلال التعلم مباشرة من بيانات لغة الإشارة نفسها. وهذا يشير إلى أن البنية البرمجية ملائمة طبيعياً لهذه المهمة، حيث تلتقط الرقصة المعقدة لحركة الإنسان بوضوح لافت.

بالطبع، هناك حدود لما أنجزته هذه الدراسة. فقد ركز الباحثون حصرياً على البيانات الهيكلية، مما يعني أن النظام لا ينظر إلى لون البشرة، أو الملابس، أو الخلفية. كان هذا خياراً متعمداً لحماية الخصوصية وضمان عمل النظام في بيئات متنوعة، ولكنه يعني أيضاً أن النموذج قد لا يلتقط التفاصيل الدقيقة التي قد يراها مراقب بشري في فيديو كامل. علاوة على ذلك، ركزت الدراسة على الإشارات المنعزلة — أي الكلمات أو الحروف الفردية — بدلاً من تدفق المحادثات المستمر. وبينما أثبت النموذج قدرته على التعرف على هذه الوحدات الفردية بدقة عالية، فإن الانتقال إلى فهم محادثة كاملة وانسيابية يظل تحدياً مستقبلياً. كما أقر المؤلفون بأنه بالنسبة للإشارات الثابتة تماماً، حيث لا تتحرك اليد، فإن نظاماً أبسط ينظر إلى إطار واحد قد يكون أسرع، رغم أن نموذجهم نجح أيضاً في التفوق على تلك الأساليب الأبسط من حيث الدقة.

إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد تحسين معدلات التعرف. فمن خلال إثبات أن نظاماً مرناً قائماً على "الانتباه" يمكنه التفوق على النماذج القائمة على الرسوم البيانية الجامدة دون الحاجة إلى تدريب مسبق ضخم، فتح الباحثون مساراً جديداً لكيفية فهم الآلات للحركة البشرية. وهذا يشير إلى أن المفتاح لفهم الأفعال الديناميكية المعقدة ليس في إجبارها على اتباع هيكل ثابت، بل في السماح للنظام باكتشاف الروابط من تلقاء نفسه. ومع تقدم هذا المجال، ستتضمن الخطوات التالية على الأرجلة دمج هذا النهج القائم على الهيكل العظمي عالي الكفاءة مع مصادر بيانات أخرى، مثل الفيديو، لإنشاء أدوات أكثر قوة للتواصل. وفي الوقت الحالي، يقف هذا العمل كدليل مهم على أنه عندما نترك الآلات تنظر إلى الصورة الكاملة، يمكنها تعلم فهم لغة الأيدي بوضوح كان بعيد المنال في السابق.