JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
تقدم هذه الورقة البحثية JSL-DC، وهي أكبر مجموعة بيانات للغة الإشارة اليابانية المتمحورة حول الصم وتضم 36.7 ألف فيديو وأوصافاً مستمدة من لغويين للإشارات المتشابهة، مما يُمكّن نموذجاً جديداً من التفوق على أساليب التعرف الرائدة بنسبة 9.8% في مجموعات فرعية صعبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
بالنسبة للعديد من الأطفال الصم، تحدث السنوات الأكثر حرجاً لتطور اللغة قبل دخولهم إلى الفصل الدراسي بوقت طويل. خلال هذه الفترة، يعتمد هؤلاء الأطفال على والديهم لتعليمهم كيفية التواصل. ومع ذلك، تشير الإحصائيات إلى أن خمسة وتسعين بالمائة من الأطفال الصم ولدوا لأبوين مسموعين لا يعرفان لغة الإشارة. وهذا يخلق فجوة صامتة في المنزل، حيث يكافح الآباء للتواصل مع أطفالهم بسبب افتقارهم إلى المفردات اللازمة للتعبير عن الاحتياجات الأساسية أو العواطف أو المفاهيم. وبينما توجد مقاطع فيديو عبر الإنترنت للمساعدة في تعلم الآباء، فإن الطلاقة الحقيقية غالباً ما تتطلب ممارسة عملية، وهي وسيلة ثبت صعوبة توسيع نطاقها دون الأدوات المناسبة. ولبناء أدوات تعليمية فعالة، يحتاج علماء الحاسوب إلى مكتبات ضخمة من بيانات الفيديو التي تظهر كيفية أداء أشخاص مختلفين لكلمات لغة الإشارة. ومع ذلك، كانت مثل هذه البيانات شحيحة بالنسبة للغة الإشارة اليابانية، حيث اقتصرت غالباً على شخص واحد أو مجموعة صغيرة من الكلمات، مما جعل من المستحيل تدريب الحواسيب على التعرف على اللغة من مستخدم جديد.
لقد قام فريق من الباحثين الآن بسد هذا الفراغ بإنشاء JSL-DC، وهو أكبر مجموعة من فيديوهات لغة الإشارة اليابانية تم تجميعها على الإطلاق. كان المشروع مدفوعاً بإدراك بسيط ولكنه عميق: لتعليم الحاسوب فهم لغة الإشارة، يجب أن تأتي البيانات من الأشخاص الذين يستخدمونها كل يوم. وبدلاً من استئجار ممثلين أو طلاب لتقليد الإشارات، استعان الباحثون بتسعة عشر شخصاً بالغاً من الصم يستخدمون لغة الإشارة اليابانية كوسيلة أساسية للتواصل. سجل هؤلاء المشاركون أنفسهم وهم يؤدون 270 كلمة محددة، اختيرت خصيصاً لمساعدة الآباء المسموعين في التواصل مع أطفالهم الصغار. وتتضمن مجموعة البيانات الناتجة أكثر من 36,000 فيديو، وهو حجم يزيد بثلاثة أضعاف عن أي مجموعة سابقة للغة الإشارة اليابانية.
إن الابتكار الحقيقي في هذا العمل لا يكمن فقط في حجم البيانات، بل في كيفية تنسيقها. فقد عمل الباحثون عن كثب مع لغويين صم لاختيار الكلمات الأكثر فائدة للتواصل في مرحلة الطفولة المبكرة، مع إعطاء الأولوية للأفعال والصفات على الأسماء، كونها اللبنات الأساسية للجمل المبكرة. والأهم من ذلك، حدد الفريق أزواجاً من الإشارات التي تبدو متطابقة تقرياً للعين غير المدربة ولكنها تحمل معاني مختلفة. وفي كثير من الحالات، تختلف هذه الإشارات فقط في حركات الوجه الدقيقة أو أشكال الفم، وهي إشارات غالباً ما تغفلها نماذج الرؤية الحاسوبية القياسية. ولحل هذه المشكلة، قدم اللغويون أوصافاً مكتوبة تشرح بالضبط كيفية التمييز بين هذه الأزواج المربكة. وقد لاحظوا، على سبيل المثال، أن إشارة "المرارة" وإشارة "الحرارة/التوابل" تستخدمان نفس حركات اليد ولكن تتطلبان أشكال فم مختلفة للتمييز بينهما.
بعد ذلك، اختبر الباحثون ما إذا كان بإمكان هذه الأوصاف البشرية تحسين قدرة الحاسوب على التعرف على الإشارات. فقد بنوا نظاماً يحدد الإشارة أولاً باستخدام تحليل الفيديو القياسي، ثم، إذا كانت الإشارة واحدة من الأزواج المربكة، يقوم بفحص حركات الفم تحديداً لاتخاذ القرار النهائي. وقد أدى هذا النهج، المستوحى مباشرة من ملاحظات اللغويين، إلى تحسين دقة الحاسوب في الإشارات الصعبة بشكل كبير. فقد حدد النظام الكلمات المربكة بشكل صحيح أكثر بنسبة عشرة بالمائة تقريباً من أفضل الأساليب الموجودة. وهذا يثبت أن دمج المعرفة اللغوية البشرية في نماذج تعلم الآلة يمكن أن يسد الفجوة حيث تفشل البيانات المرئية البحتة.
كما أظهر الفريق كيف يمكن تطبيق هذه التكنولوجيا في العالم الحقيقي من خلال تكييف لعبة أركيد شهيرة لتصبح أداة تعليمية. في هذه النسخة، يقوم اللاعبون بعمل إشارة لكلمة ما لإطلاق كرة ملونة في حقل من الكرات الأخرى. إذا تعرف الحاسوب على الإشارة بشكل صحيح، تطابق الكرة اللون وتزيل الشاشة؛ وإذا كانت الإشارة خاطئة، يكون لون الكرة خاطئاً. تسمح هذه اللعبة التفاعلية للآباء المسموعين بممارسة الإشارة في بيئة منخفضة الضغط، مع تلقي ملاحظات فورية على أدائهم. ويتم إصدار مجموعة البيانات بأكملها، إلى جانب الأوصاف اللغوية وبرنامج اللعبة، للجمهور لتسريع المزيد من البحث والتطوير.
ومن خلال وضع المجتمع الأصم في قلب المشروع، بدءاً من اختيار الكلمات وصولاً إلى المراجعة النهائية لكل فيديو، ضمن الباحثون أن تكون البيانات أصلية وموثوقة. فقد تم فحص كل فيديو مرتين من قبل خبراء صم لضمان أداء الإشارات بشكل صحيح وعدم التقاط أي معلومات شخصية في الخلفية عن طريق الخطأ. وقد قامت هذه العملية الصارمة بتصفية ما يقرب من عشرة بالمائة من التسجيلات الأولية، مما ترك مورداً نظيفاً وعالي الجودة. ويشير العمل إلى أن مستقبل تكنولوجيا لغة الإشارة يكمن في التعاون بين اللغويين والمهندسين، باستخدام البصيرة البشرية لتوجيه الآلات. ومع تحسن هذه الأدوات، فإنها تقدم مساراً ملموساً نحو سد فجوة التواصل في المنازل في جميع أنحاء اليابان، مما يسمح للآباء أخيراً بالتحدث بلغة أطفالهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.