💻 computer science

SSL-SLR: Self-Supervised Representation Learning for Sign Language Recognition

تقترح هذه الورقة البحثية إطار SSL-SLR، وهو إطار تعلم ذاتي التوجيه للتعرف على لغة الإشارة يعالج أوجه القصور في الطرق التباينية القياسية من خلال إدخال أزواج سلبية حرة وتقنية جديدة لتعزيز البيانات للتعامل بشكل أفضل مع تكرار الفيديو والحركات المشتركة، مما يحقق تحسينات كبيرة في الدقة عبر مختلف إعدادات التقييم.

المؤلفون الأصليون: Ariel Basso Madjoukeng, Jérôme Fink, Pierre Poitier, Edith Belise Kenmogne, Benoit Frenay

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ariel Basso Madjoukeng, Jérôme Fink, Pierre Poitier, Edith Belise Kenmogne, Benoit Frenay

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم لغة الإشارة. يشاهد الروبوت مقاطع فيديو لأشخاص يوقعون، ولكن هناك مشكلة ضخمة: البيانات المشروحة (المصنفة) نادرة.

فكر في البيانات المشروحة كمعلم يحمل قلماً أحمر. لتعليم الروبوت، يجب على خبير بشري مشاهدة كل فيديو وكتابة ما تعنيه كل إشارة بدقة. هذا أمر صعب للغاية، بطيء، ومكلف. يستغاً-رق الأمر حوالي 100 ساعة من العمل البشري لتشفير ساعة واحدة فقط من الفيديو. وبسبب ذلك، لا نملك ما يكفي من أزواج "المعلم والطالب" لتدريب الروبوت بشكل صحيح.

لذلك، لجأ الباحثون إلى التعلم الخاضع للإشراف الذاتي (Self-Supervised Learning). بدلاً من وجود معلم، يحاول الروبوت التعلم من خلال لعب لعبة مع نفسه. يشاهد فيديو، ثم ينشئ نسخة "مشوهة" منه (مثل جعلها ضبابية أو قلبها)، ويحاول اكتشاف أن الفيديو الأصلي والنسخة المشوهة هما في الواقع نفس الإشارة.

ومع ذلك، يجادل البحث بأن الطريقة الحالية للعب هذه اللعبة بها عيبان رئيسيان:

العيبان في اللعبة القديمة

خطأ "كل شيء مهم":
تخيل أنك تشاهد فيلماً حيث يقضي الممثل 10 ثوانٍ في تعديل قميصه، و20 ثانية في القيام بالإشارة الفعلية، و10 ثوانٍ أخرى في إصلاح شعره.
تحاول طرق الذكاء الاصطناعي الحالية معاملة "تعديل القميص" و"إصلاح الشعر" بنفس أهمية الإشارة الفعلية. فهي تحاول التعلم من كل إطار (frame). لكن الروبوت يصاب بالارتباك لأن "تعديل القميص" ليس جزءاً من معنى الإشارة. الأمر يشبه محاولة تعلم حبكة فيلم عبر حفظ الإعلانات التجارية في البداية والنهاية.
فخ "التشابه الظاهري":
العديد من الإشارات تبدو متشابهة جداً. على سبيل المثال، قد تتضمن إشارتان مختلفتان حركة اليد نفسها. في اللعبة القديمة، يرى الروبوت إشارتين مختلفتين تبدوان متشابهتين ويعتقد: "أوه، هاتان الإشارتان متطابقتان!" وهذا يجعل من الصعب على الروبوت التمييز بينهما لاحقاً.

الحل الجديد: SSL-SLR

يقترح المؤلفون إطار عمل جديداً يسمى SSL-SLR (تعلم التمثيل لتعرف لغة الإشارة عبر الإشراف الذاتي). لقد قاموا بإصلاح اللعبة بحيلتين ذكيتين:

الحيلة الأولى: "المرآة ثلاثية الاتجاهات" (SL-FPN)

بدلاً من مجرد مقارنة فيديو بنسخته المشوهة (طريقة ثنائية)، أضافوا الفيديو الأصلي غير المشوه إلى العملية.

التشبيه: تخيل أنك تحاول التعرف على وجه صديقك.
- الطريقة القديمة: تنظر إلى صورة لصديقك، ثم صورة لصديقك وهو يرتدي قبعة ونظارات شمسية. وتحاول المطابقة بينهما.
- الطريقة الجديدة (SSL-SLR): تنظر إلى الصورة، والصورة التي بها نظارات شمسية، و تحتفظ بصورة ذهنية واضحة لوجه صديقك في رأسك.
- لماذا يساعد ذلك: من خلال إبقاء "الأصل" في العملية، يتعلم الروبوت تجاهل "القبعة والنظارات" (الضجيج) والتركيز على الوجه (الإشارة الحقيقية). فهو لا يحتاج لمقارنة نسختين مشوهتين ليعرف ما هو حقيقي؛ بل لديه الأصل كنقطة مرجعية. هذا يجعل التعلم أكثر استقراراً ودقة.

الحيلة الثانية: تعزيز "سلة المهملات"

هذا هو الجزء الأكثر إبداعاً. أدرك المؤلفون أن بداية ونهاية فيديو الإشارة عادة ما تكون "قمامة" (تعديل الكاميرا، إصلاح الشعر، أو سحب اليد للخلف).

التشبيه: تخيل أنك تحاول تعلم رقصة معينة. الراقص يقضي أول 5 ثوانٍ في اتخاذ وضعية الاستعداد، وآخر 5 ثوانٍ في المشي خارج المسرح.
- المشكلة: إذا تدربت على العرض كاملاً، فستضيع طاقتك في تعلم كيفية المشي خارج المسرح.
- الحل: تحدد الطريقة الجديدة تلقائياً "منتصف" الفيديو حيث تحدث الرقصة الفعلية. ثم تقوم بخلط (تبديل ترتيب) الأجزاء الأولى والأخيرة.
- النتيجة: يتعلم الروبوت أن البداية والنهاية لا تهمان لأنهما مجرد أجزاء مبعثرة. هذا يجبره على الانتباه فقط للجزء الأوسط، حيث تحدث الإشارة الفعلية. إنه يتعلم أن يكون "ثابتاً" (invariant) تجاه "القمامة".

النتائج: استراتيجية فائزة

عندما اختبروا إطار العمل الجديد هذا:

تعلم بشكل أسرع وأفضل: أصبح الروبوت أفضل بكثير في التمييز بين الإشارات المتشابهة.
عمل ببيانات أقل: حتى عندما أعطوا الروبوت 30% فقط من البيانات المصنفة (ملاحظات المعلم)، فقد تفوق على طرق أخرى كانت تمتلك ملاحظات أكثر.
استطاع الترجمة: إذا تعلم الروبوت لغة الإشارة الفرنسية، فقد تمكن بشكل مفاجئ من فهم لغة الإشارة اليونانية دون تدريب إضافي كبير. هذا يشبه تعلم قيادة السيارة في فرنسا، ثم القدرة على القيادة في اليونان فوراً لأنك تعلمت مبادئ القيادة، وليس فقط شوارع محددة.

الملخص

باختاً، يعلم هذا البحث الروبوت كيفية تعلم لغة الإشارة من خلال تجاهل الأجزاء المملة (التحضير والإنهاء) والتركيز بكثافة على الحركة. ومن خلال استخدام مقارنة ثلاثية ذكية ومرشح "سلة المهملات"، يتعلم الروبوت رؤية المعنى الحقيقي للإشارة، حتى عندما لا يتم تعليمه من قبل معلم بشري لكل مثال على حدة. هذه خطوة كبيرة نحو جعل تقنية لغة الإشارة متاحة دون الحاجة إلى جيوش من مدوني البيانات البشرية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SSL-SLR: التعلم التمثيلي ذاتي الإشراف لتعرف لغة الإشارة."

1. بيان المشكلة

تواجه عملية التعرف على لغة الإشارة (SLR) عقبة حرجة وهي ندرة البيانات المشروحة (الموسومة). إن شرح فيديوهات لغة الإشارة أمر مكلف، ويستغرق وقتاً طويلاً، ويتطلب خبرة لغوية نادرة (على سبيل المثال، ساعة واحدة من الفيديو تتطلب حوالي 100 ساعة من الشرح). وبناءً على ذلك، توجه الباحثون نحو التعلم ذاتي الإشراف (SSL) والتعلم التبايني (Contrastive Learning) لتعلم التمثيلات من البيانات غير المشروحة.

ومع ذلك، فإن تطبيق التعلم التبايني القياسي على التعرف على لغة الإشارة يطرح تحديين محددين:

المعلومات غير ذات الصلة: تحتوي فيديوهات لغة الإشارة على حركات غير تمييزية مثل إعادة التموضع (تعديلات اليد بعد إشارة معينة) والتداخل الحركي (coarticulation) (الحركات الانتقالية بين الإشارات). تتعامل طرق التعلم التبايني القياسية مع جميع إطارات الفيديو بالتساوي، مما يجبر النموذج على تعلم تمثيلات ثابتة لهذه الأجزاء غير ذات الصلة، مما يضعف القدرة التمييزية للميزات.
غموض الأزواج السالبة: غالباً ما تشترك إشارات مختلفة في حركات أو أشكال يد متشابهة. في التعلم التبايني القياسي، قد تُعامل هذه الإشارات المتميزة كـ "أزواج سالبة" (غير متشابهة)، رغم أنها متشابهة دلالياً وبصرياً. وهذا يخلق مشكلة "السلبيات الصعبة" (hard negative)، مما يؤدي إلى فضاء كامن ضعيف التمييز حيث تتقارب الإشارات المتميزة بشكل مفرط.

2. المنهجية: إطار عمل SSL-SLR

يقترح المؤلفون إطار عمل SSL-SLR، وهو إطار عمل للتعلم ذاتي الإشراف يتكون من مكونين مبتكرين يعملان معاً: بنية جديدة للتعلم ذاتي الإشراف (SL-FPN) واستراتيجية متخصصة لـ تعزيز البيانات (Data Augmentation).

أ. SL-FPN: التعلم ذاتي الإشراف مع أزواج سالبة حرة

قدم المؤلفون SL-FPN (لغة الإشارة ذات الأزواج السالبة الحرة)، وهي بنية تلغي الحاجة إلى أزواج سالبة صريحة، أو مشفرات إضافية (كما في BYOL)، أو آليات تجميع (كما في PCL).

البنية: تستخدم مشفراً واحداً ( $f$ )، ورأساً للإسقاط ( $h$ )، ومتنبئاً ( $P$ ).
المدخلات: بالنسبة لنموذج مدخل $x$ $x$ ، يعالج النموذج:
1. النموذج الأصلي ( $x$ ).
2. نسختان معززتان ( $x_1, x_2$ ) يتم توليدهما عبر تعزيزات عشوائية.
دالة الخسارة: يقلل النموذج من متوسط مربع الخطأ (MSE) بين ثلاثة أزواج محددة لضمان توافق تمثيل النموذج الأصلي مع نسخها المعززة:
1. $L_1$ : المسافة بين النسختين المعززتين ( $z_1$ و $z_2$ ).
2. $L_2$ : المسافة بين نسخة معززة واحدة والنموذج الأصلي ( $z$ و $z_2$ ).
3. $L_3$ : المسافة بين مخرجات المتنبئ للنموذج الأصلي وتمثيل النسخة المعززة الأخرى ( $P(z)$ و $sg(z_1)$ ).
منع الانهيار: لمنع انهيار التمثيل (حيث يخرج النموذج نواقل متطابقة لجميع المدخلات)، يستخدم SL-FPN عامل إيقاف التدرج (stop-gradient operator) على أحد الفروع وتطبيع الطبقة (layer normalization)، على غرار SimSiam وBYOL، ولكن بهيكلية تتكون من ثلاثة فروع ومشفر واحد.

ب. تعزيز بيانات مبتكر: كشف أهمية الحدود

لمعالجة مشكلة الإطارات غير ذات الصلة (إعادة التموضع/التداخل الحركي)، اقترح المؤلفون طريقة لتحديد وإضعاف الأجزاء غير ذات الصلة فقط من تسلسل الفيديو.

المفهوم: ليست كل إطارات تسلسل الإشارة متساوية في الأهمية. الهدف هو إيجاد "أهمية الحدود" ( $k^*_s$ و $k^*_e$ )، والتي تمثل نقاط البداية والنهاية للجوهر التمييزي للإشارة.
الخوارزمية:
1. يُستخدم نموذج تبايني (مدعوم بـ Transformer) لاكتشاف الحدود.
2. تقوم الخوارزمية بتبديل (خلط) الإطارات تدريجياً بدءاً من بداية ( $k_s$ ) ونهاية ( $k_e$ ) التسلسل.
3. تقيم الخوارزمية دقة التصنيف الخطي بعد كل عملية تبديل.
4. المنطق: إذا أدى تبديل الإطارات إلى انخفاض الدقة، فإن تلك الإطارات تعتبر حاسمة. أما إذا ظلت الدقة مستقرة أو تحسنت، فإن تلك الإطارات غير ذات صلة.
5. النتيجة: تحدد الطريقة أن أول ~1/3 وآخر ~1/4 من الإطارات غالباً ما تحتوي على حركات غير تمييزية.
التطبيق: أثناء التدريب، تطبق استراتيجية التعزيز عمليات التبديل الزمني فقط على مناطق الحدود غير ذات الصلة المحددة ($0 $إلى$ k^_s $و$ N-k^_e $إلى$ N$)، مما يجبر النموذج على التركيز على الجزء المركزي والتمييزي للإشارة.

3. المساهمات الرئيسية

بنية SL-FPN: نهج مبتكر للتعلم ذاتي الإشراف يستفيد من النموذج الأصلي جنباً إلى جنب مع الأزواج المعززة، مما يلغي الحاجة إلى أزوات سالبة وإعدادات متعددة المشفرات المعقدة مع منع انهيار التمثيل.
التعزيز المدرك للحدود (Boundary-Aware Augmentation): طريقة قائمة على البيانات لاكتشاف وإضعاف المقاطع الزمنية غير ذات الصلة تلقائياً (إعادة التموضع/التداخل الحركي) في فيديوهات الإشارة، مما يضمن تعلم النموذج من الميزات التمييزية فقط.
تقييم شامل: تم التحقق من صحة إطار العمل عبر مجموعات بيانات متعددة (LSFB, LSA, GSL, ASL Citizen, WLASL) باستخدام التقييم الخطي، والتعلم شبه الإشرافي، ومهام النقل عبر اللغات.

4. النتائج التجريبية

تمت مقارنة نظام SSL-SLR (المكون من SL-FPN + تعزيز الحدود) مع الطرق التباينية القياسية (SimCLR, MoCo v2, SimSiam, BYOL) والنماذج الرائدة (SOTA).

التقييم الخطي: تفوق SSL-SLR باستمرار على الطرق الأخرى.
- في LSFB (500 فئة)، حقق دقة 23.73% (مقابل ~15% لـ SimSiam).
- في GSL، وصل إلى 47.76% (مقابل ~36% لـ SimSiam).
- في LSA، حقق 41.74% (مقابل ~37% لـ BYOL).
النقل عبر اللغات: عندما تم تدريب النموذج مسبقاً على لغة واحدة (مثل LSFB) واختباره على لغة أخرى (مثل LSA أو GSL)، أظهر SSL-SLR قدرة فائقة على النقل، حيث حقق 46.41% (LSFB $\to$ LSA) و 54.78% (LSFB $\to$ GSL)، متفوقاً بشكل كبير على SimCLR وMoCo.
التعلم شبه الإشرافي: مع وجود 30% فقط من البيانات الموسومة، حافظ SSL-SLR على أداء عالٍ (مثلاً 92.76% على LSA)، مما يثبت قوته في سيناريوهات الموارد المنخفضة.
المقارنة مع SOTA:
- LSFB: حقق SSL-SLR دقة Top-1 بنسبة 56.81%، متجاوزاً أفضل نتيجة سابقة (54.40%).
- LSA: حقق 99.07%، متفوقاً على أفضل نتيجة سابقة (98.25%).
- GSL: حقق 96.73%، متفوقاً على (96.25%) التي كانت تمثل SOTA.
- WLASL: حقق 93.02% في دقة Top-5، متفوقاً على SignBERT+ (92.64%).
التحليل النوعي: أظهرت تصورات t-SNE أن SSL-SLR أنتج تجمعات أكثر تماسكاً داخل الفئة الواحدة وفصلاً أفضل مقارنة بالطرق الأخرى، خاصة في مجموعات البيانات المعقدة مثل LSFB.

5. الأهمية والخاتمة

تعالج هذه الورقة البحثية القيد الأساسي المتمثل في تطبيق التعلم التبايني العام على لغة الإشارة: وهو عدم القدرة على التمييز بين الحركات الدلالية ذات الصلة والحركات الانتقالية غير ذات الصلة.

الكفاءة: من خلال إلغاء الحاجة إلى الأزواج السالبة وعمليات التجميع المعقدة، يقلل النموذج من العبء الحسابي مع تحسين الأداء.
حل ندرة البيانات: يتيح إطار العمل التعرف على لغة الإشارة بأداء عالٍ مع حد أدنى من البيانات المشروحة، مما يجعله قابلاً للتطبيق في اللغات ذات الموارد الشحيحة.
القابلية للتعميم: مفهوم "أهمية الحدود" لا يقتصر على لغة الإشارة؛ بل يقدم نموذجاً جديداً لمهام فهم الفيديو حيث يشيع وجود تكرار زمني (ضجيج البداية/النهاية).

يخلص المؤلفون إلى أنه بينما تعتمد الطريقة الحالية على التحديد التجريبي للحدود، فإن العمل المستقبلي سيهدف إلى أتمتة هذه العملية بشكل غير تجريبي وتوسيع إطار العمل ليشمل التعرف المستمر على لغة الإشارة لتقليل معدلات خطأ الكلمات (WER) بشكل أكبر.