A Modular AI-Driven Multimodal Framework for Real-Time Classroom Interpretation for Deaf Students
تقدم هذه الورقة إطار عمل متعدد الوسائط، معتمدًا على الذكاء الاصطناعي وذا بنية نمطية، يدمج التعرف التلقائي على الكلام، والنماذج اللغوية الكبيرة، وتوليد شخصية رمزية للغة الإشارة الهندية لتوفير ترجمة فورية وسياقية داخل الفصول الدراسية للطلاب الصم، مما يعالج أوجه القصور في التقنيات المساعدة الحالية في تعليم مجالات العلوم والتكنولوجيا والهندسة والرياضيات (STEM).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الفصول الدراسية حول العالم، غالباً ما يحدث التعلم من خلال تدفق مستمر من الكلمات المنطوقة. يشرح المعلم فكرة معقدة، ويطرح طالب سؤالاً، وتتقدم المجموعة معاً. بالنسبة لطالب لا يستطيع السمع، ينقطع هذا التدفق للمعلومات. قد يرى الطالب حركة شفاه المعلم أو يقرأ تسميات توضيحية على الشاشة، لكن هذه الأساليب غالباً ما تفتقر إلى الدقة، والسرعة، والطبيعة البصرية لكيفية مشاركة المعلومات حقاً. وبينما حققت التكنولوجيا خطوات كبيرة في مساعدة الأشخاص الذين يعانون من فقدان السمع، فإن العديد من الأدوات الموجودة تشبه الطريق ذو الاتجاه الواحد: فهي تحول الكلام إلى نص، لكنها لا تترجم المعنى الكامل إلى اللغة البصرية التي يستخدمها الكثير من الصم للتفكير والتواصل. هذه اللغة البصرية، المعروفة باسم لغة الإشارة الهندية في الهند، تعتمد على أشكال اليدين، وتعبيرات الوجه، وحركات الجسد لنقل القواعد والمشاعر، مما يجعلها طريقة متميزة وكاملة للتحدث تختلف تماماً عن الكلمات المكتوبة.
يصبح التحدي أكثر صعوبة في مواد مثل الهندسة أو العلوم، حيث يستخدم المعلمون كلمات متخصصة وشروحات سريعة لا تستطيع أدوات الترجمة القياسية التعامل معها غالباً. إذا لم يتمكن النظام من العثور على إشارة لمصطلح تقني جديد، فقد يتوقف ببساء أو يعطي إجابة خاطئة، مما يترك الطالب خلف الركب. يعمل الباحثون الآن على بناء جسر لا يترجم الكلمات فحسب، بل يفهم الدرس نفسه. إنهم يبتكرون أنظمة يمكنها الاستماع إلى محاضرة، وفهم ما يتم تدريسه، ثم عرض ذلك الدرس بطريقة طبيعية وفورية للطالب الأصم. هذا النهج يتجاوز مجرد وضع التسميات التوضيحية لخلق محادثة حقيقية بين المعلم والطالب، باستخدام القوة الكاملة للحوسبة الحديثة لجعل التعليم شاملاً للجميع.
في دراسة حديثة، اقترح باحثون من كلية AWH للهندسة في كوزيكود بالهند، طريقة جديدة لحل هذه المشكلة. لقد صمموا نظاماً مرناً يعمل كمترجم فوري للطلاب الصم في فصول التعليم العالي. قام الفريق، بقيادة الدكتور شاهير ڤ. ك. وفاتيما هيسا، بإنشاء إطار عمل يجمع بين عدة أدوات مختلفة للذكاء الاصطناعي في عملية واحدة سلسة. وبدلاً من الاعتماد على برنامج واحد جامد يحاول القيام بكل شيء في آن واحد، بنوا نظاماً نموذجياً تعمل فيه أجزاء مختلفة معاً مثل فريق منسق جيداً. الهدف هو أخذ الكلمات المنطوقة من المعلم، وفهم سياق الدرس، وعرض المعنى فوراً باستخدام صورة رمزية رقمية (أفاتار) تترجم بلغة الإشارة الهندية، مع عرض صور مفيدة ونصوص مبسطة أيضاً.
يبدأ النظام بالاستماع إلى المعلم عبر ميكروفون لاسلكي يقوم بتصفية الضوضاء المحيطة. يتم تحويل هذا الصوت إلى نص، لكن العملية لا تتوقف عند هذا الحد. فقد أدرك الباحثون أن مجرد تحويل الكلام إلى نص ليس كافياً لطالب أصم لفهم محاضرة علمية معقدة. يجب تحليل النص لمعرفة ما إذا كانت الكلمات لها مقابل مباشر في لغة الإشارة. إذا استخدم المعلم كلمة شائعة مثل "ماء" أو "جهد كهربائي"، يتحقق النظام من قاعدة بيانات للإشارات المعروفة ويعرض فوراً إيماءة اليد الصحيحة على شاشة الطالب. هذا الجزء من العملية سريع وفعال لأنه يستخدم معرفة موجودة دون الحاجة إلى تفكير عميق.
ومع ذلك، فإن الابتكار الحقيقي يحدث عندما يستخدم المعلم مصطلحاً تقنياً ليس له إشارة قياسية في قاعدة البيانات بعد. في الماضي، كانت الأنظمة قد تفشل هنا أو تكتفي بتهجئة الكلمة حرفاً بحرف دون أي سياق. يتعامل إطار العمل الجديد هذا مع هذا الموقف بشكل مختلف. فعندما يواجه كلمة لا يعرفها، فإنه يستخدم نموذج لغة قوياً للمساعدة. يعمل هذا النموذج كمساعد ذكي يفهم الدرس؛ فهو ينظر إلى الجملة التي قالها المعلم للتو، ويفهم معنى الكلمة غير المعروفة في هذا السياق المحدد، ثم يقرر كيفية عرضها. بدلاً من مجرد تهجئة الكلمة، قد يعرض النظام الحروف التي يتم الإشارة إليها مع عرض صورة للمفهوم أو شرح بسيط وقصير في نفس الوقت. على سبيل المثال، إذا ذكر معلم عملية هندسية معقدة، يمكن للشاشة أن تعرض تهجئة اسم العملية بالأصابع جنباً إلى جنب مع مخطط توضيحي يبين كيفية عملها.
صُمم هذا النهج ليكون مرناً وجاهزاً للواقع. بنى الباحثون النظام بحيث يمكن تحسين أو استبدال كل جزء دون تعطل الآلة بأكملها. إذا تم اختراع أداة أفضل للتعرف على الكلام في المستقبل، يمكن استبدالها دون تغيير بقية النظام. يتم تطوير المشروع بأكامل تحت تمويل من المجلس الهندي لتدريب الهندسة (AICTE)، بميزانية قدرها 34.5 لتر روبية، كجزء من مبادرة "من المختبر إلى السوق". وهذا يعني أن الباحثين لا يختبرون مجرد أفكار في المختبر، بل يبنون أداة يمكن استخدامها بالفعل في الفصول الدراسية. تم تصميم النظام ليعمل على أجهزة الكمبيوتر القياسية ويعرض النتائج على جهاز لوحي أو متصفح ويب، مما يجعله متاحاً دون الحاجة إلى أجهزة متخصصة باهظة الثمن.
قام الباحثون بتحليل تصميمهم من خلال محاكاة كيفية تعامل النظام مع سيناريوهات الفصل الدراسي المختلفة. وقد توصلوا إلى أنه من خلال استخدام استراتيجية ذكية لتحديد متى يتم استخدام نموذج اللغة المتقدم ومتى يتم البحث عن إشارة معروفة فقط، يمكن للنظام أن يعمل بشكل أسرع وأكثر كفاءة. فإذا حاول النظام استخدام نموذج اللغة الثقيل لكل كلمة، فسيكون بطيئاً جداً بالنسبة لمحاضرة مباشرة. ومن خلال استخدامه فقط للكلمات الصعبة وغير المعروفة، يظل النظام سريعاً بما يكفي لمواكبة المحاضرة في الوقت الفعلي. والنتيجة هي تجربة سلسة حيث يرى الطالب إشارات المعلم، والمصطلحات التقنية المتهجأة، والوسائل البصرية المساعدة جميعها في آن واحد، مما يسمح لهم بمتابعة الدرس دون تفويت أي لحظة.
يمثل هذا العمل خطوة كبيرة للأمام نحو جعل التعليم متاحاً للجميع. يرى الباحثون أن الأدوات الحالية غالباً ما تعامل ترجمة لغة الإشارة كعملية استبدال بسيطة كلمة بكلمة، وهو ما يفشل في التقاط عمق المناقشة الصفية. ويشير إطار عملهم إلى أن الوصول الحقيقي يتطلب فهم المعنى وراء الكلمات. ومن خلال الجمع بين التعرف على الكلام، وتحليل اللغة الذكي، والصور الرمزية البصرية، نجحوا في إنشاء نظام يحترم تعقيد كل من المادة العلمية ولغة الطلاب. وبينما لا يزال النموذج الأولي قيد التطوير، فإن التصميم يظهر مساراً واضحاً نحو مستقبل يمكن للطلاب الصم فيه المشاركة الكاملة في تعليم الهندسة والعلوم، وفهم كل مفهوم كما يتم تدريسه. ويخطط الباحثون لمواصلة تحسين النظام، وإضافة المزيد من الإشارات إلى قاعدة البيانات، واختباره مع طلاب ومعلمين حقيقيين لضمان عمله تماماً كما هو مقصود في بيئة الفصل الدراسي المزدحمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.