تُعد لغة الإشارة محادثة بصرية غنية تعتمد على الحركة الدقيقة لليدين، وشكل الأصابع، واتجاه الجسد. ولكي تتمكن الحواسيب من فهم هذه اللغة، يجب أن تعمل كزوج ثانٍ من العيون، تراقب الشخص وهو يوقع، وتترجم تلك الإيماءات إلى كلمات. لسنوات طويلة، حاول الباحثون تعليم الآلات هذه المهارة باستخدام كاميرات الفيديو القياسية. تلتقط هذه الكاميرات المشهد البصري، لكنها تواجه صعوبات عندما تكون الرؤية غير مثالية؛ فإذا تحركت اليد بسرعة كبيرة، تظهر مشوشة، وإذا مرت أمام جسم آخر، تختفي، وإذا تغيرت الإضاءة أو كانت الخلفية مزدحمة، يفقد الكمبيوتر القدرة على تتبع التفاصيل المهمة. وهذا يجعل من الصعب على الآلة التمييز بين إشارتين تبدوان متشابهتين ولكن لهما معانٍ مختلفة.

ولحل هذه المعضلة، بحث العلماء أيضاً في أجهزة الاستشعار القابلة للارتداء، وهي أجهزة صغيرة تُرتدى على الجسم وتقيس الحركة بشكل مباشر. يمكن لهذه المستشعرات أن تشعر بانحناء الإصبع أو دوران المعصم، مما يوفر سجلاً واضحاً للحركة حتى عندما لا تستطيع الكاميرا رؤيتها بوضوح. ومع ذلك، فإن المستشعرات وحدها تفتقر إلى السياق البصري، مثل أين تشير اليد بالنسبة لجسد الموقع. وقد تمثل التحدي في دمج هاتين الطريقتين في الرؤية — العين البصرية للكاميرا والحس الفيزيائي للمستشعر — في نظام واحد يكون أكثر موثوقية من أي منهما بمفرده. وقد نجح فريق من الباحثين من جامعة تيانجين للتكنولوجيا وجامعة هيبي للتكنولوجيا في بناء مثل هذا النظام، حيث ابتكروا طريقة تدمج بيانات الفيديو والبيانات القابلة للارتداء للتعرف على كلمات لغة الإشارة المنفردة بدقة مذهلة، حتى عندما تكون جودة الفيديو ضعيفة.

بدأ الباحثون ببناء مجموعة بيانات جديدة صُممت خصيصاً لاختبار مدى قدرة الكمبيوتر على التعرف على الإشارات عندما تكون الظروف البصرية صعبة. فقد استعانوا بخمسة متطوعين وطلبوا منهم أداء مائة إشارة مختلفة، مثل الكلمات المفردة أو العبارات القصيرة. كرر كل متطوع كل إشارة عشر مرات، مما أنتج إجمالي خمسة آلاف عينة. وأثناء التسجيل، ارتدى المتطوعون تجهيزات خاصة تضمنت مستشعرات صغيرة على الجزء العلوي من الذراع، والساعد، واليد. وقاست هذه المستشعرات الحركة العطالية للأطراف وانحناء الأصابع. وفي الوقت نفسه، سجلت كاميرا USB قياسية الفيديو. وضمن الفريق أن تكون بيانات الفيديو والمستشعرات متزامنة تماماً، مما يعني أن كل إطار فيديو يتطابق تماماً مع اللحظة المقابلة من بيانات المستشعر. كما تم إعداد بيئة التسجيل لتشمل المشكلات البصرية الشائعة، مثل تغير الضوء، وتشوش الحركة، واختفاء أجزاء من اليد، لمحاكاة تحديات العالم الحقيقي.

ولتعليم الكمبيوتر كيفية فهم هذه البيانات، طور الباحثون نظاماً يتكون من "عقلين" منفصلين يعملان معاً. ركز العقل الأول بالكامل على الفيديو؛ حيث استخدم نموذجاً بصرياً متطوراً للنظر في اثنين وثلاثين إطاراً من الفيديو لكل إشارة، وتحليل كيفية تحرك الأيدي في الفضاء وكيفية تغير وضعية الجسم. صُمم هذا النموذج لاستخراج القصة البصرية للإشارة، والبحث عن الأنماط في الحركة والشكل. أما العقل الثاني، فقد ركز بالكامل على المستشعرات القابلة للارتداء؛ حيث عالج البيانات الخام من مستشعرات الانثناء وتتبعات الحركة، التي سجلت بدقة كيفية انحناء الأصابع وتحرك الأذرع. ولمساعدة هذا العقل على فهم تدفق الوقت، قام النظام بحساب الفرق بين لحظة حركة والتي تليها، مما سمح له باستشعار سرعة واتجاه الإيماءة. بُني فرع المستشعرات هذا ليكون خفيف الوزن وفعالاً، وقادراً على تعلم الأنماط المعقدة للحركة البشرية من الأرقام الخام.

بمجرد أن يقدم كلا العقلين تخميناً خاصاً به حول الإشارة التي يتم أداؤها، كان على النظام أن يقرر أي التخمينات يثق به. وجد الباحثون أن المصدرين غالباً ما يختلفان؛ فأحياناً ترى الكاميرا إشارة بوضوح، لكن المستشعرات ترتبك بسبب حركة مشابهة. وفي أحيان أخرى، تعرف المستشعرات بدقة ما يحدث لأن الحركة كانت متميزة، حتى لو كان الفيديو مشوشاً أو كانت اليد مخفية جزئياً. وللتعامل مع ذلك، أنشأ الفريق طريقة لدمج التخمينين؛ فلم يكتفوا بمجرد حساب متوسط الإجابتين، بل قاموا بتعديل ثقة كل تخمين بناءً على مدى تأكد النظام من نوع معين من البيانات. ثم قاموا بدمج الاحتمالات المعدلة باستخدام وزن محدد تم اختياره لتحقيق أفضل نتيجة ممكنة. سمحت هذه العملية للنظام النهائي بالاعتماد بشكل أكبر على بيانات المستشعرات عندما يكون الفيديو غير واضح، والاعتماد بشكل أكبر على الفيديو عندما تكون بيانات الحركة غامضة.

كانت نتائج هذا النهج مذهلة. فعندما اختبر الباحثون النظام على أشخاص جدد لم يشاركوا في مجموعة التدريب، نجح نظام الفيديو وحده في تقديم الإجابة الصحيحة بنسبة ستة وستين بالمائة تقريباً. أما نظام المستشعرات وحده، فقد كان أداؤه أفضل بكثير، حيث أصاب الإجابة بنسبة خمسة وتسعين بالمائة تقريباً. وهذا أكد أن المستشعرات القابلة للارتداء توفر إشارة أكثر استقراراً للتعرف على هذه الإشارات المحددة من الفيديو، خاصة في ظل الظروف البصرية الصعبة التي أوجدها الفريق. ومع ذلك، فإن النظام المدمج، الذي جمع بين كلا المصدرين، قدم أداءً أفضل؛ حيث حقق دقة بلغت سبعة وتسعين بالمائة، مما يعني التعرف على الإشارة في كل حالة تقريباً. هذا التحسن يعني أن النظام ارتكب أخطاءً أقل بكثير من نسخة المستشعرات وحدها، حيث صحح الأخطاء التي لم تستطع المستشعرات وحدها حلها.

كما درس الفريق بدقة الأخطاء التي لا يزال النظام المدمج يرتكبها. ووجدوا أن الأخطاء المتبقية تحدث غالباً بين أزواج الإشارات المتشابهة طبيعياً، مثل الإشارات التي تستخدم نفس شكل اليد ولكن تشير إلى اتجاهات مختلفة قليلاً، أو الإشارات التي تعتمد على فروق دقيقة في انحناء الأصابع. وهذه هي الأنواع من التمايزات التي يصعب على أي إنسان تمييزها دون انتباه شديد، ناهيك عن الآلة. وأظهر التحليل أنه عندما يتفق الفيديو والمستشعرات، يكون النظام صحيحاً دائماً تقريباً. وعندما يختلفان، تنجح طريقة الدمج في استخدام المصدر الأكثر موثوقية لتصحيح الخطأ. وقد أثبت هذا أن نوعي البيانات متكاملان حقاً: فالمستشعرات توفر أساساً قوياً للحركة، بينما يضيف الفيديو التفاصيل البصرية الضرورية للتمييز بين أكثر الإشارات تشابهاً.

يشير هذا العمل إلى أن مستقبل التعرف على لغة الإشارة قد لا يعتمد على نوع واحد من التكنولوجيا. بدلاً من ذلك، فإن الجمع بين المنظور البصري للكاميرا والقياسات الفيزيائية المباشرة للمستشعرات القابلة للارتداء يخلق نظاماً مرناً تجاه عيوب التسجيل في العالم الحقيقي. ورغم أن الدراسة الحالية كانت محدودة بمجموعة صغيرة من المتطوعين ومجموعة محددة من الإشارات، إلا أن الطريقة أثبتت أنه من الممكن بناء أداة تعرّف تعمل بشكل جيد حتى عندما تكون تغذية الفيديو متدهورة. وقد أشار الباحثون إلى أنه لكي تكون هذه التكنولوجيا مفيدة للجميع، سيتطلب العمل المستقبلي تضمين المزيد من الأشخاص ذوي أساليب الإشارة المختلفة واختبار النظام في مجموعة متنوعة من البيئات. أما الآن، فإن الدراسة توفر مساراً واضحاً للمضي قدماً، وتظهر أنه عندما تُمنح الآلات كلاً من العينين وحس اللمس، يمكنها فهم التواصل البشري بمستوى من الدقة لا يمكن لأي منهما تحقيقه بمفرده.