Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

تُعد اللغة الأداة الأساسية التي يستخدمها البشر لمشاركة الأفكار، وسرد القصص، ونقل التاريخ. وبالنسبة لمعظم سكان العالم، يحدث هذا من خلال الصوت والنطق. ولكن بالنسبة لملايين الأشخاص الصم، تكون اللغة بصرية، تتشكل من خلال حركة اليدين، وتعبيرات الو face، ووضعية الجسد. هذه هي لغات الإشارة، وهي أنظمة متميزة ومعقدة لها قواعدها وثقافتها الخاصة. ومع ذلك، في العصر الرقمي، تخلفت هذه اللغات عن الركب. فبينما يمكن للحواسيب البحث بسهولة في النصوص المكتوبة أو فهم الكلمات المنطوقة، فإنها تجد صعوبة في "قراءة" لغة الإشارة. لقد كان بناء التكنولوجيا اللازمة للعثور على إشارة محددة داخل فيديو طويل، أو لربط إشارة بجملة مكتوبة، أمراً صعباً نظراً لعدم وجود بيانات كافية ببساطة. إن معظم مجموعات فيديوهات لغة الإشارة الموجودة حالياً إما صغيرة جداً، أو مغلقة خلف جدران دفع، أو مقيدة بحقوق الطبع والنشر، مما يترك الباحثين دون المواد الخام اللازمة لتعليم الآلات كيفية فهم العالم البصري لمستخدمي لغة الإشارة.

قام فريق من الباحثين الآن بإصدار مورد جديد ضخم مصمم لإحداث تغيير في هذا الصدد: مجموعة بيانات "Open Sign Bibles". تجمع هذه المجموعة أكثر من 700 ساعة من فيديوهات الكتاب المقدس المترجمة باحترافية بـ 20 لغة إشارة مختلفة. وخلافاً لمجموعات البيانات السابقة التي كانت متناثرة عبر الإنترنت أو تتطلب إذناً خاصاً لاستخدامها، فإن هذه المكتبة بأكملها متاحة مجاناً لأي شخص لتحميلها ودراستها. يربط المشروع هذه الفيديوهات بنصوص الكتاب المقدس بأكثر من 800 لغة منطوقة، مما يخلق جسراً بين المرئي والمكتوب. ومن خلال مطابقة فيديو لمستخدم للغة الإشارة الأمريكية، على سبيل المثال، مع القصة نفسها المكتوبة بالإنجليزية أو الإسبانية أو الهندية، أنشأ الباحثون أداة قوية لتدريب الحواسيب على فهم العلاقة بين الإشارة ومعناها.

تتكون مجموعة البيانات من مصدرين رئيسيين. يأتي الأول من مكتبة الكتاب المقدس الرقمية (Digital Bible Library)، والتي قدمت آلاف الفيديوهات التي تضم مستخدمي لغة الإشارة من خلفيات متنوعة، وغالباً ما تكون مصحوبة برسومات أو نصوص على الشاشة. أما المصدر الثاني فهو مجموعة من التسجيلات الاستوديو الخام من الهند، والتي تُظهر مستخدماً واحداً للغة الإشارة أمام خلفية بسيطة. وفي المجمل، تضم المجموعة أكثر من 8,000 مقطع فيديو فردي. ولجعل هذه البيانات مفيدة للحواسيب، لم يقم الفريق بمجرد رفع الفيديوهات على الإنترنت؛ بل قاموا بتنظيمها بعناية. فقد ربطوا كل فيديو بآيات محددة من الكتاب المقدس، مما يسمح للحاسوب بمعرفة القصة التي يتم سردها بدقة. وبالنسبة لجزء أصغر من الفيديوهات، ذهبوا إلى أبعد من ذلك، حيث قاموا يدوياً بتحديد اللحظات الدقيقة التي تظهر فيها إشارات معينة، مثل "الله" أو "يوم". هذا المستوى من التفصيل يحول أرشيف الفيديو البسيط إلى أداة تعلم مهيكلة.

استخدم الباحثون مجموعة البيانات الجديدة هذه لاختبار مدى قدرة التكنولوجيا الحالية على إيجاد إشارات محددة داخل هذه الفيديوهات الطويلة، وهي مهمة تُعرف باسم "رصد الإشارة" (sign spotting). وقد جربوا نهجين مختلفين. اعتمدت الطريقة الأولى على قياس المسافة الفيزيائية بين يدي المستخدم وجسده في الفيديو، ومقارنتها بأمثلة معروفة. لم تنجح هذه الطريقة بشكل جيد؛ إذ ارتبك الحاسوب بسبب التدفق المستمر للحركة ولم يستطع تمييز الإشارات الفردية بشكل موثوق. أما الطريقة الثانية فقد استخدمت نظاماً أكثر تقدماً تعلم فهم المعنى وراء الحركات، بشكل يشبه كيف يتعرف الإنسان على مفهوم ما بدلاً من مجرد شكل. أظهر هذا النهج نتائج واعدة؛ فقد نجح في تحديد إشارات معينة، مثل "يوم" أو "ناس"، بدقة عالية. ومع ذلك، لا يزال النظام يعاني مع إشارات أخرى. فقد خلط أحياناً بين إشارات تبدو متشابهة، مثل "رجل" و"إله"، رغم اختلاف معانيهما تماماً. كما فشل في التعرف على الإشارات التي يتم أداؤها بشكل مختلف عن الأمثلة التي رآها، مثل مستخدم للغة الإشارة يستخدم يده اليسرى، أو إشارة تُستخدم في سياق ثقافي يختلف عن التعريف القياسي في القاموس.

تسلط النتائج الضوء على الإمكانات والحدود الحالية لهذه التكنولوجيا. فقد عمل النظام بشكل أفضل عندما كان الفيديو الذي يحلله يشبه إلى حد كبير الأمثلة التي تدرب عليها. وعندما تحرك المستخدم بسرعة، أو استخدم يداً مختلفة، أو أدى إشارة بمعني فريد، كان الحاسوب غالباً ما يخطئ الهدف. ووجد الباحثون أنه بينما يمكن للتكنولوجيا رصد بعض الإشارات الشائعة بشكل موثوق، إلا أنها ليست جاهزة بعد لفهم التعقيد الكامل للمحادثة المستمرة. ومع ذلك، فإن مجموعة البيانات نفسها تعد خطوة كبيرة للأمام. فمن خلال توفير مجموعة كبيرة ومفتوحة وواضحة قانونياً من فيديوهات لغة الإشارة متعددة اللغات، منح الباحثون المجتمع العلمي أساساً متيناً للبناء عليه. لقد أظهروا أنه مع البيانات الصحيحة، يمكن للحواسيب أن تبدأ في تعلم اللغة البصرية لذوي الإعاقة السمعية، لكنهم أوضحوا أيضاً أن هناك حاجة لمزيد من العمل للتعامل مع الفروق الدقيقة في التعبير البشري. ويتضمن المسار المستقبلي جمع أمثلة أكثر تنوعاً وصقل الأدوات لفهم الاختلافات الدقيقة بين الإشارات التي تتشابه في الشكل ولكنها تختلف في المعنى.