Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation
تقدم هذه الورقة أول نظام لتوليد وضعيات لغة الإشارة من الصوت والنص للغة التاميلية ذات الموارد المنخفضة، وذلك عبر الجمع بين توليد الرموز (gloss) بمساعدة النماذج اللغوية الكبيرة من خلال الضبط الدقيق باستخدام تقنية LoRA، والتعلم بنقل المعرفة عبر اللغات من لغة الإشارة الألمانية، محققةً أداءً هو الأفضل في فئتها من خلال مسار عمل يقوم بنسخ الكلام، وتوليد الرموز، وتخليق الوضعيات التي تم التحقق من صحتها عبر الترجمة العكسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد التواصل حاجة إنسانية أساسية، ومع ذلك، بالنسبة لملايين الأشخاص الصم أو ضعاف السمع، غالبًا ما تظل الجسر بين اللغة المنطوقة ولغتهم الإشارية الأصلية مكسورًا. وبينما أصبحت الحواسيب جيدة بشكل ملحوظ في قراءة النصوص أو فهم الكلام، فإن تعليمها توليد الحركات الانسيابية والمستمرة للغة الإشارة قد أثبت صعوبته، خاصة بالنسبة للغات التي تفتقر إلى مكتبات رقمية ضخمة من الأمثلة المسجلة. هذا التحدي يظهر بوضوح شديد في حالة لغة التاميل الإشارية، المستخدمة من قبل عدد كبير من السكان في الهند، والتي تفتقر إلى مجموعات البيانات الموسومة الضخمة التي يعتمد عليها الباحثون عادةً لتدريب الذكاء الاصطناعي. وبدون هذه الموارد، فإن بناء نظام يمكنه تلقائيًا ترجمة جملة منطوقة إلى تسلسل من حركات اليد والجسم يشبه محاولة تعليم طالب مهارة معقدة دون وجود كتب مدرسية كافية أو شركاء للتدريب.
يكمن جوهر هذه المشكلة في طبيعة لغة الإشارة نفسها. فهي ليست مجرد سلسلة من إيماءات اليد الثابتة، بل هي تدفق ديناميكي للحركة يتضمن اليدين والذراعين والوجه والجسم، وكلها تتحرك بإيقاع محدد. ولتعليم الكمبيوتر هذا الأمر، يحتاج الباحثون عادةً إلى آلاف الساعات من الفيديو التي تظهر لغة الإشارة الأصلية وهي تؤدي جملًا محددة. وعندما تكون مثل هذه البيانات نادرة، كما هو الحال في لغة التاميل، تفشل الأساليب القياسية. ويتطلب الحل نهجًا مختلفًا: نهجًا يستعير المعرفة من مجالات أخرى ويكيفها بعناية لتلبية الاحتياجات المحددة للغة ذات الموارد المحدودة. وهنا يأتي دور عمل "راميا كافيري دي" و"د. جوزيفين أوشا إل"، اللذين يقدمان طريقة جديدة لبناء جسر بين لغة التاميل المنطوقة واللغة البصرية للإشارة.
لقد سعى الباحثون لإنشاء أول نظام قادر على أخذ لغة التاميل المنطوقة أو المكتوبة وتحويلها مباشرة إلى تسلسل من وضعيات الجسم التي تمثل أداء لغة الإشارة. لم يكن هدفهم مجرد ترجمة الكلمات، بل توليد الحركات الجسدية الفعلية التي سيقوم بها الشخص. ولتحقيق ذلك، كان عليهم التغلب على عقبتين رئيسيتين: نقص مجموعة بيانات لغة التاميل الإشارية الكبيرة، وصعوبة تعليم الكمبيوتر التحرك بشكل طبيعي دون أن يتعثر بسبب البيانات المحدودة المتاحة لديهم. لقد عالجوا هذه القضايا من خلال تقسيم المشكلة إلى خطوتين متميزتين واستخدام استراتيجية ذكية تتمثل في استعارة المعرفة من لغة مختلفة تمامًا.
أولاً، عالى الفريق مسألة الترجمة من الكلمات إلى الإشارات. في لغويات لغة الإشارة، يوجد مفهوم يسمى "الجلوس" (gloss)، والذي يعمل كتمثيل رمزي مبسط للإشارة، يشبه كيف يلخص القاموس تعريفًا للكلمة. وبدلاً من محاولة الانتقال مباشرة من جملة منطوقة إلى حركة ثلاثية الأبعاد معقدة، استخدم الباحثون خطوة وسيطة: تحويل جملة التاميل إلى تسلسل رمزي من "الجلوس". وللتعامل مع ندرة البيانات، وظفوا نموذج لغة ضخمًا، وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من النصوص، وقاموا بتكييفه خصيصًا لهذه المهمة باستخدام تقنية تسمح له بالتعلم من أمثلة قليلة جدًا دون أن ينسى ما يعرفه بالفعل. أخذ هذا النموذج الجملة المدخلة وولد التسلسل الصحيح من الرموز، ليعمل فعليًا كمترجم لغوي يفهم بنية إشارات التاميل حتى مع التدريب المحدود.
بمجرد حصول النظام على تسلسل الرموز، برز التحدي الثاني وهو تحويل تلك الرموز إلى حركة فعلية. وهنا طبق الباحثون استراتيجية تُعرف باسم "التعلم بنقل المعرفة عبر اللغات". لقد أدركوا أنه بينما تختلف كلمات وقواعد لغة الإشارة الألمانية عن لغة التاميل الإشارية، فإن فيزياء الحركة البشرية عالمية. فاليد التي تتحرك من الصدر إلى الرأس تتبع نفس القواعد الفيزيائية بغض النظر عن اللغة التي يتم التعبير عنها بالإشارة. وللاستفادة من ذلك، أخذوا نموذجًا حاسوبيًا قويًا تم تدريبه بالفعل على آلاف الساعات من فيديوهات لغة الإشارة الألمانية. كان هذا النموذج قد تعلم الأنماط العامة لكيفية تحرك الأجسام البشرية عند الإشارة. ثم أخذ الباحثون هذا النموذج المدرب مسبقًا وقاموا بضبطه بدقة باستخدام مجموعة بياناتهم الصغيرة والمخصصة من فيديوهات لغة التاميل الإشارية. سمح هذا للنظام بأن يبدأ بفهم قوي للحركة البشرية ثم يقوم فقط بتعديل معرفته لتناسب الأسلوب والإيقاع الخاص بمستخدمي لغة التاميل الإشارية.
تم بناء البيانات المستخدمة لهذا التدريب بعناية لضمان قدرة النظام على العمل لأي شخص، وليس فقط للأشخاص الذين سجلوا الفيديوهات. سجل الفريق خمسة من مستخدمي لغة الإشارة الأصليين، حيث قام كل منهم بأداء ثلاثمائة جملة مختلفة، مما نتج عنه ألف وخمسمائة مقطع فيديو. ولاختبار ما إذا كان النظام يفهم اللغة حقًا ويمكنه التعميم على أشخاص جدد، استخدموا طريقة اختبار صارمة حيث دربوا النموذج على أربعة من المستخدمين واختبروه على الخامس، مكررين هذه العملية حتى أصبح كل مستخدم هو موضوع الاختبار. ضمن هذا أن النظام يتعلم اللغة نفسها، وليس مجرد حفظ الحركات الخاصة بفرد واحد.
كانت نتائج هذا النهج واعدة. فعندما ولد النظام تسلسلًا من الوضعيات، قيم الباحثون جودته من خلال تشغيل الحركات المولدة عبر نظام تمييز مستقل ومنفصل لمعرفة ما إذا كان بإمكانه "قراءة" الإشارات وإعادتها إلى جملة التاميل الأصلية. أظهرت عملية الترجمة العكسية هذه أن النظام نجح في التقاط معنى الكلام الأصلي. كانت الإشارات المولدة أكثر دقة وانسيابية بشكل ملحوظ من المحاولات السابقة، حيث نجح النظام في إعادة بناء معاني الجمل بطريقة تجاوزت المعايير المرجعية الحالية لإنتاج لغة التاميل الإشارية. وقد ثبت أن استخدام نموذج الحركة المدرب مسبقًا من مجموعة البيانات الألمانية كان أمرًا حاسمًا، حيث وفر الأساس اللازم للحركة السلسة التي لم يكن بإمكان مجموعة بيانات التاميل الصغيرة وحدها تعليمها.
ومع ذلك، يحرص الباحثون على توضيح حدود عملهم. فالنظام يمثل خطوة كبيرة للأمام للغات ذات الموارد المحدودة، لكنه ليس مثاليًا بعد. فمجموعة البيانات، رغم تنسيقها بعناية، لا تزال صغيرة مقارنة بالمكتبات الضخمة المستخدمة للغات عالية الموارد. كما أن الحركات المولدة، رغم دقتها الرياضية، تُعرض حاليًا بمعدل إطارات أقل مما يُوصى به عادةً لتبدو لغة الإشارة طبيعية، ولا يلتقط النظام بعد تعبيرات الوجه الدقيقة أو أشكال اليد التفصيلية التي تعد حيوية للمعنى اللغوي الكامل. علاوة على ذلك، يعتمد توليد الرموز على تفسير الكمبيوتر، مما يعني أن أي أخطاء في خطوة الترجمة الأولية ستؤثر على الحركة النهائية.
على الرغم من هذه القيود، تظهر الدراسة مسارًا قابلاً للتطبيق للمضي قدمًا في اللغات التي تخلفت عن الثورة الرقمية. فمن خلال الجمع بين نموذج لغوي متخصص للتعامل مع الكلمات ونموذج حركة مستعار للتعامل مع الحركة، أظهر الباحثون أنه من الممكن بناء أنظمة فعالة للغة الإشارة دون الحاجة إلى ملايين الساعات من البيانات. ويشير هذا العمل إلى أنه بالنسبة للعديد من لغات الإشارة غير الممثلة بشكل كافٍ، فإن مفتاح التقدم لا يكمن في انتظار ظهور مجموعات بيانات ضخمة، بل في تكييف الأدوات الموجودة بذكاء مع سياقات جديدة. يقدم هذا النهج أملًا واقعيًا في إمكانية تضييق الفجوة بين اللغات المنطوقة والمشار إليها، مما يجعل التواصل أكثر سهولة لملايين الأشخاص الذين يعتمدون على لغة الإشارة كل يوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.