← أحدث الأبحاث
💻 computer science

SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting

تقترح الورقة البحثية إطار عمل SMART، وهو إطار موحد يستفيد من أوصاف الحركة المولدة بواسطة نماذج اللغات الكبيرة متعددة الوسائط (MLLM) ومهايئ زمني متعدد المقاييس لتعزيز التعرف المستمر على لغة الإشارة وتحديد مواضعها من خلال محاذاة فعالة بين الفيديو والنص في دفعات صغيرة وتحديد المواقع الزمنية المشتركة.

المؤلفون الأصليون: Eunjee Choi, JungHoon Sung, Seongwhan Cho, Chu Xin, Younggeun Choi

نُشر 2026-08-27
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Eunjee Choi, JungHoon Sung, Seongwhan Cho, Chu Xin, Younggeun Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

بالنسبة لملايين الأشخاص الصم أو ضعاف السمع، لا تعد لغة الإشارة مجرد مجموعة من إيماءات اليد، بل هي لغة كاملة ومنسابة لها قواعدها وإيقاعها وفوارقها الدقيقة الخاصة. وكما تندمج الكلمات المنطوقة معاً في جملة دون توقف، فإن الإشارات في تدفق مستمر غالباً ما تندمج في بعضها البعض، مما يجعل من الصعب على الحواسيب تحديد أين تنتهي إشارة معينة وأين تبدأ التالية. لعقود من الزمن، حاول الباحثون تعليم الآلات فهم هذه الفيديوهات، لكنهم واجهوا عقبة عنيدة: فالبيانات المتاحة لتدريب هذه الأنظمة عادة ما توفر الجملة النهائية فقط، مثل نص مكتوب، دون إخبار الكمبيوتر بالضبط أي لحظة في الفيديو تتوافق مع كل كلمة محددة. هذا النقص في التوقيت الدقيق يجبر الحواسيب على التخمين، مما يؤدي غالباً إلى فهم متعرج وغير متساوٍ حيث قد يتعرف الجهاز على الكلمة ولكنه يفشل في معرفة مدتها أو متى بدأت. وبدون هذه المعرفة الدقيقة، يظل بناء مترجم سلس حقاً للغة الإشارة بعيد المنال.

لقد اقترح فريق من الباحثين في جامعة دانكوك في كوريا الآن نهجاً جديداً لسد هذه الفجوة، حيث قدموا نظاماً أطلقوا عليه اسم SMART. يعالج عملهم التحديين المتمثلين في التعرف على الإشارات التي يتم تنفيذها وتحديد وقت حدوثها بدقة في الفيديو. وبدلاً من الاعتماد على الطريقة القديمة المتمثلة في تخمين حدود الكلمات بناءً على طول الجملة وحدها، بنى الباحثون إطار عمل يستخدم نوعاً قوياً من الذكاء الاصطناعي يُعرف بالنموذج اللغوي الكبير متعدد الوسائط. وقبل أن يبدأ النظام في التعلم، يعمل هذا الذكاء الاصطناعي كمراقب دقيق، حيث يشاهد فيديوهات لغة الإشارة ويدون أوصافاً تفصيلية لحركات اليد وتعبيرات الوجه التي تحدث في كل لحظة. تعمل هذه الأوصاف كدليل دلالي غني، لتعليم الكمبيوتر ربط الحركة المرئية بمفاه امتصاح لغوية محددة، تماماً مثل معلم يشرح معنى إيماءة أثناء الإشارة إليها.

بعد ذلك، صمم الباحثون محركاً متخصصاً لمعالجة هذه الفيديوهات، وهو محرك يولي اهتماماً كبيراً لكيفية تغير الحركات بمرور الوقت. وبينما تحلل أدوات تحليل الفيديو القياسية الإطارات بشكل منعزل، فإن هذا النظام الجديد مصمم لفهم تدفق الحركة عبر مقاييس متعددة، حيث يلتقط الحركات السريعة والحادة والإيماءات الأكثر بطئاً وتأنياً. ومن خلال الجمع بين هذا الوعي الزمني وهذه الأوصاف النصية التفصيلية التي تم إنشاؤها سابقاً، يتعلم النظام مواءمة الفيديو المرئي مع المعنى اللغوي بطريقة مستقرة وفعالة، حتى عندما يعالج الكمبيوتر عدداً قليلاً فقط من الفيديوهات في المرة الواحدة. وهذا يسمح للنموذج ببناء صورة أوضح لديناميكيات لغة الإشارة بشكل أكبر مما كان ممكناً في السابق.

ولعل الابتكار الأكثر أهمية في هذا العمل هو كيفية تعامل النظام مع مهمتي التعرف والتوقيت في آن واحد. فقد أنشأ الباحثون هيكلاً موحداً حيث يغذي الجزء من النظام الذي يحدد الكلمات المعرفة مباشرة في الجزء الذي يحدد المواقع والحدود. وفي المحاولات السابقة، كانت هاتان المهمتان تُعاملان غالباً بشكل منفصل، أو كانت معلومات التوقيت شحيحة جداً بحيث لا تكون مفيدة. أما هنا، فيستخدم النظام مستوى الثقة الذي يمتلكه في التعرف على إشارة معينة لصقل حواف تلك الإشارة في الزمن، ليخبر الكمبيوتر فعلياً: "أنا متأكد من أن هذه هي كلمة 'توقف'، فلنحدد بالضبط متى تبدأ ومتى تنتهي". وهذا يخلق حلقة تغذية راجعة حيث تعزز القدرة على التعرف على الكلمات القدرة على إيجاد حدودها، كما يساعد التوقيت الدقيق لتلك الحدود النظام على التعرف على الكلمات بدقة أكبر.

اختبر الفريق إطار العمل الجديد هذا على أربع مجموعات بيانات مختلفة من لغة الإشارة، بما في ذلك فيديوهات باللغات الألمانية والصينية ومجموعتين مختلفتين من لغة الإشارة الكورية. وأظهرت النتائج أن طريقتهم تفوقت على جميع الأنظمة الحالية المتطورة في كل من التعرف على تسلسل الإشارات وتحديد مواقعها بدقة داخل الفيديو. وفي إحدى مجموعات البيانات الكبيرة، خفض النظام معدل الخطأ في التعرف على الإشارات إلى أقل من واحد بالمائة، وهو تحسن كبير مقارنة بالطرق السابقة. علاوة على ذلك، عندما طُلب منه تحديد أوقات البداية والنهاية الدقيقة للإشارات، حقق النظام مستوى من الدقة فاق الطرق التقليدية بكثير، مما يثبت أن المهمتين متكاملتان بالفعل. ووجد الباحثون أنه من خلال استخدام الأوصاف اللغوية كدليل وجعل مهام التعرف والرصد يدعمان بعضهما البعض، استطاعوا التغلب على قيود الإشراف الضعيف التي لطالما عانت منها هذه المجالات.

يشير هذا العمل إلى أن الطريق نحو فهم سلس للغة الإشارة لا يكمن فقط في كاميرات أفضل أو معالجات أسرع، بل في تعليم الآلات فهم الثراء الدلالي للحركة البشرية. ومن خلال توليد أوصاف تفصيلية للحركة واستخدامها لتوجيه عملية التعلم، يثبت إطار عمل SMART أن الحواسيب يمكنها تعلم رؤية لغة الإشارة بمستوى من التفاصيل يقترب من الإدراك البشري. وتشير النتائج إلى أن الجمع بين الفهم الواسع للنماذج اللغوية والدقة الزمنية لتحليل الفيديو يخلق تآزراً قوياً، مما يقدم اتجاهاً واعداً لبناء أدوات يمكنها أخيراً كسر حواجز التواصل للمجتمع الأصم وضعيف السمع.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →