💬 NLP

FEA-SLT: A Gloss-Free End-to-End Framework for Facial-Expression-Aware Sign Language Translation

تقترح الورقة البحثية إطار عمل FEA-SLT، وهو إطار عمل شامل (end-to-end) خالٍ من الإشارات اليدوية (gloss-free) يستفيد من ديناميكيات الوجه كمرتكزات دلالية لحل الغموض اليدوي وتحسين دقة الترجمة، محققاً أداءً هو الأفضل حالياً (state-of-the-art) في مجموعتي بيانات PHOENIX14T وCSL-Daily.

المؤلفون الأصليون: Guobin Tu, Di Weng

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guobin Tu, Di Weng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ترجمة محادثة مُشار إليها إلى كلمات منطوقة. في لغة الإشارة، لا تُروى القصة باليدين فحًاسب؛ بل تُروى أيضًا بالوجه. فرفع الحاجب يمكن أن يحول الجملة الخبرية إلى سؤال، وتجعد الجبهة يمكن أن يغير معنى كلمة بالكامل.

لفترة طويلة، كانت البرامج الحاسوبية التي تحاول ترجمة لغة الإشارة (ترجمة لغة الإشارة - SLT) تشبه المترجمين الذين يستمعون لليدين فقط ويتجاهلون الوجه. إنها بارعة في رؤية ما تفعله الأيدي، لكنها غالبًا ما تفقد كيف يشعر الموقر أو قواعد اللغة التي يشير إليها الوجه. يؤدي هذا إلى أخطاء، مثل ترجمة "أنا سعيد" بينما كان الموقر يقصد في الواقع "أنا غاضب"، لأن حركات اليد بدت متشابهة، لكن تعبيرات الوجه كانت مختلفة.

يقدم البحث نظامًا جديدًا يسمى FEA-SLT (ترجمة لغة الإشارة المدركة للتعبيرات الوجهية) لإصلاح ذلك. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: المترجم "المعتمد على اليد فقط"

تخيل لغة الإشارة كأغنية تُعزف على بيانو (الأيدي) مع صوت مغنٍ (الوجه).

الطرق القديمة كانت تشبه محاولة فهم الأغنية من خلال النظر إلى مفاتيح البيانو فقط. كان بإمكانهم رؤية النوتات التي تُضغط، لكنهم افتقدوا العاطفة، والجهارة، والأسلوب في الغناء.
النتيجة: إذا استخدمت أغنيتان مختلفتان نفس نوتات البيانو ولكن بأساليب غناء مختلفة، فإن المترجم القديم سيصاب بالارتباك ويختار الأغنية الخاطئة.

2. الحل: المحقق "المهتم بالوجه أولاً"

بنى المؤلفون FEA-SLT ليعمل كمحقق ينتبه لكل من البيانو والمغني.

عدسة الوجه المتخصصة: بدلًا من استخدام كاميرا عامة ترى مجرد "وجه"، يستخدم النظام عدسة خاصة مدربة خصيصًا لرصد حركات عضلية دقيقة (مثل رفع الحاجب أو شد الفك). لقد استعاروا أداة تُستخدم عادةً للتعرف على المشاعر (مثل "سعيد" أو "متفاجئ") وأعادوا توظيفها لفهم قواعد اللغة.
- تشبيه: تخيل مترجمًا خبيرًا في قراءة لغة الجسد. حتى لو كانت الأيدي تتحرك بسرعة، فإن هذا الخبير يعرف أن رفع حاجب معين يعني "هذا سؤال"، وليس مجرد حركة عشوائية.
الحوار ثنائي الاتجاه (الدمج): لا ينظر النظام إلى الأيدي والوجه بشكل منفصل فحسب، بل يجبرهما على التحدث معًا.
- تشبيه: تخيل ثنائي رقص. الأيدي هي الراقص الرئيسي، والوجه هو الشريك. في FEA-SLT، يخبر الشريك (الوجه) القائد (الأيدي): "مهلًا، أبطئ، هذه قصة حزينة"، ويخبر القائد (الأيدي) الشريك: "أنا أتحرك بسرعة لأن هذا جزء مثير". إنهما يعدلان بعضهما البعض باستمرار ليرويا القصة الصحيحة. وهذا ما يسمى "التعديل ثنائي الاتجاه" (bidirectional modulation).

3. كيف يعمل في الممارسة العملية

يعالج النظام الفيديو في ثلاث خطوات:

تقسيم الرؤية: يفصل الفيديو إلى ثلاثة مسارات: شكل الأيدي (المكاني)، وكيفية حركة الأيدي (الحركي)، والتعبيرات الوجهية.
"فحص الوجه": يستخدم تلك العدسة المتخصصة المدربة على المشاعر لاستخراج تفاصيل الوجه.
الخلط: يجمع بين المسارات الثلاثة باستخدام "وحدة دمج". تضمن هذه الوحدة أنه إذا قالت الأيدي "اذهب" ولكن الوجه بدا قلقًا، فإن النظام يفهم القلق ويترجمه بشكل صحيح، بدلاً من مجرد قول "اذهب".

4. النتائج

اختبر المؤلفون هذا النظام على مجموعتين رئيسيتين من بيانات لغة الإشارة (إحداهما بالألمانية والأخرى بالصينية).

الدرجة: حقق FEA-SLT أعلى الدرجات المسجلة على الإطلاق للترجمة "الخالية من الرموز" (أي الترجمة مباشرة من الفيديو إلى النص دون الحاجة إلى تسمية كل إشارة من قبل البشر أولًا).
الدليل: عندما اختبروه على جمل يعتمد معناها بشدة على التعبيرات الوجهية (مثل الأسئلة أو العبارات العاطفية)، كان FEA-SLT أفضل بكثير من النماذج السابقة.
- مثال: في أحد الاختبارات، قال شخص "أنا خائف" بوجه خائف. ترجمت النماذج القديمة الجملة بأنها "الجو هادئ" أو "الجو مظلم" لأنها نظرت إلى الأيدي فقط. أما FEA-SLT فقد ترجم "أنا خائف" بشكل صحيح لأنه رأى الخوف في العينين.

ملخص

FEA-SLT هو طريقة جديدة لتعليم الحواسيب ترجمة لغة الإشارة من خلال تعليمهم أخيرًا قراءة الوجه. ومن خلال التعامل مع التعبيرات الوجهية ليس كمجرد زينة خلفية، بل كقواعد ومعانٍ أساسية، يمكن للنظام فهم لغة الإشارة بدقة أكبر بكثير، خاصة عندما تكون حركات اليد غامضة.

ما لا يدعي به البحث:

لا يدعي أنه يعمل لجميع لغات الإشارة في العالم بعد (تم اختباره على الألمانية والصينية).
لا يدعي أنه يحل محل المترجمين البشريين في الإعدادات الطبية أو القانونية.
لا يدعي أنه يعمل بشكل مثالي في الإضاءة السيئة أو إذا قام الموقر بتغطية وجهه (يعترف البحث بأن هذه هي القيود الحالية).

ملخص تقني: FEA-SLT

بيان المشكلة

تعد ترجمة لغة الإشارة (SLT) مهمة عابرة للنماذج (cross-modal) تتطلب نمذجة مشتركة للإشارات اليدوية (MS) والإشارات غير اليدوية (NMS). وبينما تنجح طرق ترجمة لغة الإشارة الحالية الخالية من الرموز (gloss-free) في التقاط الديناميكيات الإيمائية، إلا أنها غالباً ما لا تستغل التعبيرات الوجهية بشكل كافٍ. ففي لغات الإشارة، تؤدي التعبيرات الوجهية أدواراً قواعدية وتوضيحية حاسمة (على سبيل المثال، التمييز بين الجمل الاستفهامية والتقريرية، أو حل الغموض الدلالي بين إشارات ذات حركات يدوية متطابقة، مثل "الانتقام" مقابل "المعاملة بالمثل").

غالباً ما تتعامل النهج الحالية مع الإشارات الوجهية كإطار سياقي بصري مساعد بدلاً من كونها مكونات قواعدية جوهرية. ويؤدي هذا إلى تدهور دلالي عندما تشترك مفاهيم متميزة في تكوينات يدوية متشابهة. علاوة على ذلك، فإن أجهزة الترميز الرؤية العامة المدربة مسبقاً على مهام واسعة النطاق غالباً ما تفشل في التقاط ديناميكيات العضلات الدقيقة التي تشكل العلامات الوجهية القواعدية. كما تعاني البنى متعددة المسارات الحالية ومجموعات البيانات المدركة للعواطف من قيود، بما في ذلك الافتقار إلى آليات استخراج التعبيرات الوجهية الصريحة، وتعقيد التوسيم المرهق، وعدم كفاية النطاق.

المنهجية

يقترح المؤلفون FEA-SLT (ترجمة لغة الإشارة المدركة للتعبيرات الوجهية)، وهو إطار عمل شامل (end-to-end) خالٍ من الرموز مصمم لاستخدام الديناميكيات الوجهية كمرتكزات دلالية لحل الغموض اليدوي. يتكون الإطار من ثلاث مراحل متتالية:

1. استخراج الميزات متعدد الوسائط

يستخدم FEA-SLT بنية متعددة المسارات ومنفصلة لمعالجة التكوينات المكانية، وديناميكيات الحركة، والتعبيرات الوجهية بشكل منفصل:

الميزات المكانية: يتم ترميزها باستخدام استراتيجية متعددة المقاييس (سياق عالمي وتفاصيل محلية دقيقة) عبر محول رؤية (ViT) لالتقاط أشكال اليد ووضعيات الجسم.
ميزات الحركة: يتم استخراجها باستخدام مشفر فيديو مدرب مسبقاً (VideoMAE) على مقاطع فيديو متداخلة لالتقاط الديناميكيات الزمنية.
ميزات التعبير الوجهي (FE): يستخدم مسار وجهي مخصص محول رؤية (ViT) مدرب مسبقاً على مجموعة بيانات FER2013. وبدلاً من العمل كمصنف فئوي، يُعامل هذا المشفر كأداة استخراج ميزات منقولة النطاق؛ حيث يتعلم تمثيلات كامنة حساسة للتعبيرات تحافظ على التباينات الزمنية الدقيقة في ديناميكيات عضلات الوجه. ويرى المؤلفون أن العناصر الحركية الأساسية للتعبيرات العاطفية (مثل رفع الحاجبين عند المفاجأة) تتداخل مع العناصر الحركية لـ NMS القواعدية (مثل رفع الحاجبين في الاستفهامات)، مما يسمح بنقل معرفي فعال دون الحاجة إلى تسميات وجهية خاصة بلغة الإشارة.

2. الدمج المدرك للتعبيرات الوجهية (FEAF)

لنمذجة الاعتماد اللغوي المتبادل بين القنوات اليدوية والوجهية، يدمج الإطار الميزات المستخرجة عبر وحدة التعديل المدرك للتعبيرات الوجهية (FEAM).

التعديل ثنائي الاتجاه: على عكس النهج أحادية الاتجاه، يستخدم FEAM استراتيجية تعديل نبري ثنائية الاتجاه. فهو يعمل على تكييف المسارات المكانية والحركية بناءً على السياق الوجهي (FE $\to$ MS) وفي الوقت نفسه يقوم بتحسين الميزات الوجهية بناءً على الديناميكيات المكانية والحركية (MS $\to$ FE).
آلية التعديل (Modulator): يستخدم المكون الأساسي آلية الانتباه المتقاطع (cross-attention) لمحاذاة ميزات الشرط مع الميزات المستهدفة، يتبعها رؤوس إسقاط متوازية تتنبأ بالإزاحات الأفينية لكل قناة وكثافة البوابة على مستوى الإطار. وهذا يسمح بتحويل تكيفي للميزات بأسلوب FiLM.
النمذجة الزمنية: تتم معالجة التسلسل المدمج بواسطة شبكة تلافيفية زمنية أحادية البعد (1D TCN) وطبقة MLP لإنتاج تمثيل موحد لنموذج اللغة.

3. توليد الترجمة

يقوم الإطار بتكييف نموذج لغة ضخم (LLM) بناءً على التمثيلات متعددة الوسائط المدمجة لتوليد النص المستهدف.

هدف التدريب: يتبنى FEA-SLT نموذجاً أحادي المرحلة، حيث يتم تحسين خسارة توليد الإنتروبيا المتقاطعة (مع تنعيم الملصقات) وخسارة المحاذاة التباينية ثنائية الاتجاه (المحاذاة متعددة الوسائط) بين التمثيلات البصرية العالمية والنص المستهدف بشكل مشترك.
الكفاءة: يستخدم الإطار تقنية التكيف منخفض الرتبة (LoRA) للضبط الدقيق الفعال للمعلمات لنموذج LLM، مع إبقاء أوزان المشفرات المدربة مسبقاً ثابتة.

المساهمات الرئيسية

بنية متعددة المسارات ومنفصلة: تقديم مسار وجهي مخصص يستفيد من تمثيلات FER المنقولة النطاق لالتقاط الديناميكيات الحساسة للتعبيرات الضرورية لفك الغموض الدلالي، بشكل مستقل عن التمثيلات المكانية-الحركية اليدوية.
الدمج المدرك للتعبيرات الوجهية (FEAF): وحدة مبتكرة تدرك صراحةً التنسيق النبري بين القنوات اليدوية والوجهية عبر التعديل ثنائي الاتجاه، مما يحافظ على الإشارات الوجهية التي قد لا تستغلها النهج أحادية المسار أو أحادية الاتجاه بشكل كافٍ.
أداء رائد (State-of-the-Art): أظهرت التقييمات المكثفة أن FEA-SLT يحقق أداءً فائقاً بين الطرق الخالية من الرموز في المعايير القياسية، مع تحسينات محددة في ترجمة العبارات الحساسة للوجه.

النتائج التجريبية

تم تقييم الإطار على مجموعتي بيانات: PHOENIX14T (لغة الإشارة الألمانية) و CSL-Daily (لغة الإشارة الصينية).

الأداء الكمي: حقق FEA-SLT أفضل النتائج (SOTA) بين الطرق الخالية من الرموز في كلتا المجموعتين.
- في PHOENIX14T، تفوق على أفضل طريقة سابقة خالية من الرموز (SpaMo) بمقدار +2.79 في BLEU-1، وتفوق على MMSLT في BLEU-2 و -3 و -4.
- في CSL-Daily، حقق نتائج رائدة جديدة عبر جميع المقاييس المسجلة، متفوقاً على MMSLT بمقدار +1.83 في BLEU-4 و +1.48 في ROUGE-L.
- الجودة الدلالية: في تقييمات BLEURT (التي تقيس الكفاية الدلالية)، تفوق FEA-SLT على النماذج السابقة بمقدار +1.9 و +1.4 نقطة في المجموعتين المعنيتين.
دراسات الاستئصال (Ablation Studies):
- أدى حذف المسار الوجهي (FE) إلى انخفاض في الأداء، مما أكد أن الميزات الوجهية المنقولة النطاق توفر إشارات تمييزية غائبة في التمثيلات اليدوية فقط.
- أدى تقييد وحدة FEAM إلى التعديل أحادي الاتجاه إلى نتائج أقل جودة مقارم بالوضع ثنائي الاتجاه، مما يؤكد فعالية التحسين المتبادل.
- استخدام ViT متكيف مع FER حقق نتائج أفضل من المشفرات البصرية العامة (مثل DINOv2)، مما يشير إلى أن الفائدة تنبع من نقل الميزات الحساسة للتعبيرات وليس مجرد قدرة النموذج.
التحليل المستهدف:
- فك غموض الاستفهامات: في مجموعة فرعية من الجمل الاستفهامية، أظهر FEA-SLT تحسناً كبيراً في التنبؤ بعلامات الترقيم (F1 score)، مما يثبت قدرته على حل الغموض النحوي الذي يعتمد على NMS.
- المجموعة الفرعية الحساسة للوجه: في مجموعة فرعية مختارة تضم 84 حالة تتضمن دلالات عاطفية أو استفهامية، أظهر FEA-SLT مكاسب أكبر بكثير (+5.65 BLEU-4) مقارنة بالمجموعة الكاملة، مما يؤكد فائدته المحددة للعبارات المعتمدة على الوجه.

الأهمية والادعاءات

يدعي البحث أن FEA-SLT ينجح في رفع التعبيرات الوجهية من مجرد سياق بصري سلبي إلى إشارات دلالية صريحة للعلامات القواعدية وتخفيف الغموض في ترجمة لغة الإشارة الخالية من الرموز. ومن خلال الاستفيد من أولويات FER المنقولة النطاق، يلتقط الإطار الديناميكيات الوجهية المستمرة التي تغفلها نماذج الرؤية العامة، دون الحاجة إلى تسميات وجهية مكلفة خاصة بلغة الإشارة.

يؤكد المؤلفون أن نتائجهم تسلط الضوء على أهمية الإشارات غير اليدوية (NMS) في ترجمة لغة الإشارة الخالية من الرموز. ويرون أن نمذجة التعبيرات الوجهية القائمة على الأسس اللغوية هي اتجاه واعد للأبحاث المستقبلية، لا سيما لتحسين ترجمة العبارات التي تتضمن دلالات عاطفية أو استفهامية حيث تكون الإشارات اليدوية وحدها غير كافية.

الاعتراف بالقصور:
يشير المؤلفون إلى أن الإطار الحالي ينحصر حصرياً في الديناميكيات الوجهية، مستبعدً بذلك مكونات أخرى لـ NMS مثل حركة الفم، وحركات الرأس، ووضعية الجسم. بالإضافة إلى ذلك، تظل عملية استخراج الميزات الوجهية حساسة للتدهور البصري في البيئات غير المقيدة (مثل الحجب الذاتي، أو وضعيات الرأس المتطرفة). ويُقترح في العمل المستقبلي توسيع آلية التعديل ثنائي الاتجاه لتشمل تمثيلات NMS الشمولية.