Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering
تقدم هذه الورقة نظاماً نموذجياً قائماً على الخدمات يدمج بين الرؤية الحاسوبية، والتعلم العميق، وتصيير الشخصيات ثلاثية الأبعاد (3D avatar rendering) لتمكين التواصل الثنائي الفعال وشبه الفوري بين الصم والسامعين باستخدام لغة الإشارة البرتغالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على مدى قرون، ظل الحاجز الأساسي بين الصم والسامعين يتمثل في مجرد عدم تطابق في الحواس: إحدى المجموعتين تتواصل من خلال لغة بصرية تعتمد على اليدين والوجه، بينما تعتمد الأخرى على أصوات الكلمات. وبينما سمحت التكنولوجيا لفترة طويلة بترجمة الكلمات المنطوقة إلى نص للأصم، والنص إلى كلام للسامع، إلا أن سد الفجوة في المحادثات المباشرة ظل أمراً صعباً للغاية. لا يكمن التحدي في تحويل لغة إلى أخرى فحسب، بل في إدارة طريقتين مختلفتين تماماً لتجربة العالم. يستخدم الصم لغة الإشارة، وهي نظام معقد حيث تُنقل المعاني من خلال شكل اليد، وحركة الذراع، ووضعية الجسم، وتعبيرات الوجه. وفي المقابل، يتحدث السمعيون عبر أصوات تنتقل عبر الهواء. فعندما يقوم شخص أصم بتمثيل جملة بالإشارة، يجب على الكمبيوتر مراقبة الفيديو، وفهم الحركات المحددة، وتحويلها إلى كلمات. وعندما يتحدث شخص سامع، يجب على الكمبيوتر أخذ تلك الكلمات، وتفكيكها إلى التسلسل الصحيح من الإشارات، ثم عرضها للشخص الأصم. إن القيام بكلتا العمليتين بشكل فوري، دون تأخير يقطع تدفق المحادثة، يتطلب نظاماً يتسم بالسرعة الفائقة والذكاء الشديد.
قام فريق من الباحثين في البرتغال ببناء نظام جديد مصمم لحل هذه المشكلة تحديداً، مما يخلق جسراً رقمياً يسمح للصم والسامعين بالتحدث مع بعضهم البعض بأكثر طريقة طبيعية ممكنة. أطلقوا على ابتكارهم اسم SLaDIS، وهو منصة نموذجية تعمل كمترجم عالمي للمحادثات ثنائية الاتجاه. وبدلاً من محاولة حشر كل شيء في برنامج واحد ضخم، قام الباحثون بتقسيم النظام إلى ثلاثة أجزاء متميزة تعمل معاً مثل سباق تتابع منظم جيداً. الجزء الأول يراقب يدي ووجه الشخص الأصم، والجزء الثاني يستمع إلى كلمات الشخص السمعي ويحولها إلى إشارات، والجزء الثالث هو الشاشة حيث تحدث المحادثة بالفعل. ومن خلال إبقاء هذه الأجزاء منفصلة ولكن متصلة، يمكن للنظام التعامل مع المهام الثقيلة للرؤية الحاسوبية والذكاء الاصطناعي دون إبطاء وتيرة المحادثة.
تبدأ الرحلة عندما يريد شخص أصم التحدث؛ حيث يقوم بالإشارة برسالته إلى كاميرا موجودة في هاتف محمول أو كمبيوتر. لا يحاول النظام حفظ كل بكسل من الفيديو، لأن ذلك سيكون بطيئاً جداً ويتطلب الكثير من البيانات. بدلاً من ذلك، يستخدم أداة متخصصة للعثور على النقاط الرئيسية في جسم الشخص — مفاصل الأصابع، والمرفقين، والكتفين، وزوايا الفم. يتتبع النظام هذه النقاط أثناء حركتها، مما ينشئ خريطة مبسطة للإيماءة. ثم يتم تغذية هذه الخريطة في نموذج تعلم عميق، وهو نوع من الذكاء الاصطناعي المدرب على آلاف الأمثلة من لغة الإشارة البرتغالية. ينظر النموذج إلى تسلسل الحركات ويحدد الإشارات المحددة التي يتم تنفيذها، محولاً الحركة البصرية إلى قائمة من الكلمات. ولأن لغة الإشارة غالباً ما تستغني عن الكلمات الصغيرة الرابطة أو تستخدم بنية جمل مختلفة عن اللغة المنطوقة، يقوم النظام بعد ذلك بتمرير قائمة الكلمات هذه إلى نموذج لغوي كبير. يعمل هذا الطبقة الثانية من الذكاء بمثابة محرر متعاون، حيث يعيد ترتيب الكلمات، ويضيف القواعد النحوية اللازمة، وينعم الجملة بحيث تصبح مفهومة تماماً للشخص السمعي. والنتي نتيجة لذلك هي جملة واضحة وطبيعية تظهر على الشاشة ليقرأها المشارك السمعي أو يسمعها.
وتعمل العملية بشكل عكسي عندما يريد الشخص السمعي الرد؛ حيث يكتب رسالته أو ينطقها، ويقوم النظام فوراً بترجمتها إلى "الجلوسات" (glosses) المحددة، أو اللبنات الأساسية للغة الإشارة البرتغالية. هذه ليست مجرد عملية استبدال كلمة بكلمة؛ فالنظام يدرك أن لغة الإشارة لها قواعدها الخاصة في ترتيب الكلمات والقواعد النحوية. وبمجرد تحويل الجملة إلى التسلسل الصحيح من الإشارات، يستعد النظام لعرضها للمستخدم الأصم. وبدلاً من إرسال فيديو مسجل مسبقاً لمؤدٍ بشري، والذي قد يستغرق وقتاً للتحميل وقد لا يتطابق مع الكلمات الدقيقة، يستخدم النظام "أفاتار" رقمياً ثلاثي الأبعاد. هذا الأفاتار هو إنسان افتراضي يعيش داخل التطبيق. يسحب النظام حركة كل إشارة من مكتبة خاصة ويجمعها معاً، مما يخلق أداءً انسيابياً ومستمراً. يتحرك الأفاتار بيديه وذراعيه ووجهه ليحاكي مؤدياً حقيقياً، عارضاً الرسالة مباشرة على شاشة المستخدم الأصم.
اختبر الباحثون هذا النظام بشكل مكثف لمعرفة ما إذا كان بإمكانه مواكبة سرعة المحادثة الحقيقية. ووجدوا أن الجزء من النظام الذي يتعرف على الإشارات كان دقيقاً للغاية، حيث حدد الإشارات التي تم اختبارها بدقة بلغت 95.6 بالمائة. وعندما حول النظام تلك الإشارات إلى جمل كاملة، طابقت المعاني الرسالة المقصودة بدرجة عالية من التشابه، حيث سجل 0.81 على مقي scale حيث يمثل 1.0 المطابقة التامة. وكانت سرعة النظام مثيرة للإعجاب بنفس القدر؛ إذ استغرق الوقت اللازم للتعرف على الإشارة وتحويلها إلى جملة أقل من عُشر الثانية، بينما استغرق الوقت اللازم لبدء حركة الأفاتار بعد إرسال الشخص السمعي لرسالته ما يزيد قليلاً عن ثانية واحدة. هذه السرعات كافية لجعل التجربة تبدو كمحادثة طبيعية متدفقة بدلاً من كونها تبادلاً متقطعاً للرسائل.
ولضمان فائدة النظام، استعان الباحثون بخبراء من الجمعية البرتغالية للصم لتقييم الأفاتار. شاهد مقيّمان مستقلان الأفاتار وهو يؤدي الإشارات وقاما بتقييم مدى قدرتهم على فهم الرسالة. فهم أحد الخبراء 90 بالمائة من الإشارات، بينما فهم الآخر 78 بالمائة. وأشارت الدراسة إلى أنه عندما كانت جودة الرسوم المتحركة عالية، كان الفهم تاماً، مما يشير إلى أن وضوح الحركة لا يقل أهمية عن دقة الكلمات. كما أثبت النظام مرونته، حيث استطاع التعامل مع محادثات في بيئات مختلفة مثل التسوق، والسياحة، والرعاية الصحية، مما أظهر قدرته على التكيف مع المفردات المتنوعة المطلوبة في الحياة اليومية.
إن الابتكار الحقيقي لهذا العمل يكمن في كيفية ترابط الأجزاء معاً. فمن خلال تصميم النظام كمجموعة من الخدمات المستقلة التي تتواصل فيما بينها، أنشأ الباحثون منصة يمكن أن تنمو. فإذا تم تطوير نماذج ذكاء اصطناعي أفضل في المستقبل، يمكن استبدالها دون إعادة بناء النظام بأكمله. وإذا دعت الحاجة لإضافة المزيد من الإشارات إلى المكتبة، فيمكن تسجيلها وإضافتها دون تعطيل عملية الترجمة. ويعني هذا النهج أن النظام ليس مجرد تجربة لمرة واحدة، بل هو أساس لأداة يمكن أن تتطور. ويقر الباحثون بأن المفردات لا تزال محدودة مقارنة بالثراء الكامل للغة، وأن الترجمة من النص إلى الإشارة يمكن أن تكون أكثر سلاسة مع مزيد من بيانات التدريب. ومع ذلك، فإن النتائج تثبت أن بناء جسر ثنائي الاتجاه يعمل بكامل طاقته بين عالم الصم والسامعين ليس مجرد إمكانية نظرية، بل هو واقع ملموس يعمل بالسرعة والموثوقية اللازمتين للتواصل الإنساني الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.