Attention-Enhanced Temporal Convolutional Network for Continuous Word-Level Indian Sign Language Recognition
تقترح هذه الورقة إطار عمل لشبكة تلافيفية زمنية (TCN) معززة بالانتباه للتعرف المستمر على مستوى الكلمات للغة الإشارة الهندية، والتي تستفيد من Mediapipe لاستخراج المعالم والالتفافات المتسعة لالتقاط الميزات المكانية والزمانية بفعالية، مما يظهر أداءً متفوقاً مقارنة بنماذج BiGRU وBiLSTM والنماذج الهجينة على مجموعة بيانات متخصصة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد التواصل حاجة إنسانية أساسية، ومع ذلك، بالنسبة لملايين الأشخاص الصم أو ضعاف السمع، غالبًا ما يكون الجسر المؤدي إلى العالم الأوسع مسدودًا بسبب قيود اللغة المنطوقة. تقدم لغة الإشارة حلاً بصريًا غنيًا، باستخدام حركة اليدين، ووضعية الجسم، وتعبيرات الوجه لنقل الأفكار المعقدة. ومع ذلك، فإن تعليم الكمبيوتر فهم هذه الإيماءات يمثل تحديًا هائلًا. فخلافًا للصورة الواحدة الثابتة، تعد لغة الإشارة تدفقًا مستمرًا من الحركة حيث يعتمد معنى الإيماءة بشكل كبير على ما سبقها وما سيتبعها. وهذا ما يُعرف بالتعرف المستمر، وهو يتطلب نظامًا لا يمكنه فقط رؤية الأشكال التي يتم تشكيلها، بل يمكنه أيضًا فهم التوقيت والانتقالات بينها. لسنوات، حاول الباحثون حل هذه المشكلة من خلال تعليم الحواسيب التعرف على الإشارات الفردية بشكل منعزل، لكن المحادثة في العالم الحقيقي لا تتوقف بين الكلمات. لبناء أداة مفيدة حقًا للحياة اليومية، يجب على التكنولوجيا أن تتعلم قراءة التدفق المستمر للتعبير البشري.
في دراسة حديثة، تناول الباحثان أسواني سيفان وإي. شاندرا إيسواران من جامعة بهاراتيار في الهند هذه المشكلة من خلال إنشاء نظام جديد مصمم خصيصًا للتعرف على لغة الإشارة الهندية المستمرة. يركز عملهما على مهمة صعبة: أخذ فيديو لشخص يوقع جملة وتحديد كل كلمة داخل ذلك التدفق بشكل صحيح دون توقف. طور الفريق إطار عمل للتعلم العميق، وهو نوع من البرامج الحاسوبية التي تتعلم من الأمثلة، ليعمل بمثابة "دماغ" النظام. وبدلاً من محاولة تحليل كل بكسل في إطار الفيديو، والذي قد يغمره ضجيج الخلفية أو تغيرات الإضاءة، يقوم نهجه أولاً باستخراج الهيكل العظمي الأساسي للحركة. باستخدام أداة برمجية متخصصة، يحدد النظام نقاطًا رئيسية في جسم الموقع، مثل أطراف الأصابع، ومفاصل المرفقين، ومعالم الوجه. ثم يتم تحويل هذه النقاط إلى سلسلة من الإحداثيات التي تصف الحركة، مما يجرد العملية من الفوضى البصرية للخلفية للتركيز فقط على الإيماءة نفسها.
يكمن الابتكار الجوهري في هذا البحث في كيفية معالجة الكمبيوتر لتسلسل هذه الحركات عبر الزمن. قارن الباحثون بين عدة مقاربات معمارية مختلفة لمعرفة أي منها يمكنه فهم تدفق لغة الإشارة بشكل أفضل. اختبروا نماذج تعالج البيانات بطريقة خطوة بخوة، تشبه الطريقة التي قد يقرأ بها الشخص جملة كلمة بكلمة، وكذلك نماذج هجينة تجمع بين أنواع مختلفة من التحليل. ومع ذلك، وجد الفريق أن هذه الأساليب التقليدية واجهت صعوبة في التعامل مع الروابط طويلة المدى المطلوبة لفهم جملة كاملة. وللتغلب على ذلك، قدموا نظامًا مبنيًا على شبكة تلافيفية زمنية (Temporal Convolutional Network)، وهي بنية مصممة للنظر في تسلسلات البيانات بشكل متوازٍ بدلاً من اتباع ترتيب صارم واحد تلو الآخر. وهذا يسمح للنظام برؤية السياق الكامل لتسلسل الإيماءة دفعة واحدة. والأهم من ذلك، أنهم أضافوا "آلية انتباه" إلى هذه الشبكة. وفي سياق لغة الإشارة، ليست كل لحظة في الفيديو متساوية في الأهمية؛ فبعض الإطارات تلتقط ذروة الحركة بينما تكون أخرى مجرد انتقالات. تعمل آلية الانتباه كمرشح، حيث تعلم الكمبيوتر التركيز طاقته على الأجزاء الأكثر أهمية في تسلسل الإيماءة وتجاهل اللحظات الأقل صلة.
لاختبار نظامهم، جمع الباحثون مجموعة بيانات تضم ما يقرب من 2500 مقطع فيديو تحتوي على 317 كلمة إشارية مختلفة، تم استقاؤها من قواميس لغة الإشارة الهندية المعتمدة والبوابات التقنية. تم تقسيم كل فيديو إلى 25 إطارًا لالتقاط الحركة بالتفصيل. وعندما أجروا تجاربهم، كانت النتائج واضحة. حقق النظام الجديد، الذي يجمع بين الشبكة الزمنية وآلية الانتباه، دقة بلغت 94.29 في المائة في تحديد الكلمات. كان هذا الأداء أعلى بكثير من النماذج الأخرى التي اختبروها، والتي وصلت مستويات دقتها إلى ما بين 78 و85 في المائة. وأظهرت البيانات أن النهج الجديد لم يكن أكثر دقة فحسب، بل كان أكثر استقرارًا أيضًا، مما يعني أنه يمكنه التعميم جيدًا على أمثلة جديدة لم يسبق له رؤيتها. وقد أثبت النظام فعالية خاصة في التمييز بين الإشارات التي تبدو متشابهة، وهو أمر شائع في التعرف على لغة الإشارة، من خلال تعلم الاختلافات الدقيقة في كيفية تطور الحركات بمرور الوقت.
كما بحثت الدراسة في المواضع التي لا يزال النظام يواجه فيها تحديات. وبينما أدى النموذج أداءً عالي الثقة في معظم الإيماءات، فقد واجه أحيانًا صعوبة في الإشارات التي لها حركات أو توقيت متشابه جدًا، وهو قصور متأصل في التشابه البصري للإيماءات نفسها. وأشار الباحثون إلى أن مجموعة البيانات الخاصة بهم، رغم تنوعها، قد لا تستوعب بعد كل التباينات الممكنة في سرعة التوقيع أو الأسلوب عبر المناطق المختلفة. وبالرغم من هذه العقبات الطفيفة، تشير النتائج إلى أن هذا الجمع المحدد من التقنيات يوفر مسارًا قويًا للمضي قدمًا. فمن خلال التركيز على العلاقات الزمنية للحركة واستخدام مرشح قائم على الانتباه لتسليط الضوء على اللحظات الأكثر أهمية، نجح النظام في سد الفجوة بين الفيديو الخام واللغة ذات المعنى. ويمثل هذا العمل خطوة ملموسة نحو جعل التواصل أكثر سهولة، حيث يقدم إطار عمل يمكن دمجه في النهاية في الأجهزة المساعدة في الحياة الواقعية للمساعدة في ترجمة التدفق المستمر للغة الإشارة إلى نص أو كلام للجمهور من السامعين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.