💻 computer science

POLY-SIM: Polyglot Speaker Identification with Missing Modality Grand Challenge 2026 Evaluation Plan

يضع تحدي "POLY-SIM Grand Challenge 2026" معياراً مرجعياً وإطار تقييم موحد لتعزيز أنظمة تحديد هوية المتحدث متعددة الوسائط القوية القادرة على التعامل مع فقدان الوسائط المرئية والتباين اللغوي عبر اللغات في سيناريوهات العالم الحقيقي.

المؤلفون الأصليون: Marta Moscati, Muhammad Saad Saeed, Marina Zanoni, Mubashir Noman, Rohan Kumar Das, Monorama Swain, Yufang Hou, Elisabeth Andre, Khalid Mahmood Malik, Markus Schedl, Shah Nawaz

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Marta Moscati, Muhammad Saad Saeed, Marina Zanoni, Mubashir Noman, Rohan Kumar Das, Monorama Swain, Yufang Hou, Elisabeth Andre, Khalid Mahmood Malik, Markus Schedl, Shah Nawaz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التعرف على صديق لك في حفلة مزدحمة. عادةً، تستخدم دليلين: كيف يبدو شكله (وجهه) وكيف يبدو صوته (صوته). هذه هي الطريقة التي تعمل بها معظم أنظمة "تحديد هوية المتحدث" الحاسوبية الحديثة اليوم. فهي تتدرب على التعرف على الأشخاص عندما يتوفر لديها كل من الفيديو والصوت معاً.

ولكن ماذا يحدث إذا انطفأت الأنوار، أو كان صديقك يرتدي قناعاً، أو كان يتحدث لغة لا تعرفها؟ هذه هي مشكلة العالم الحقيقي التي يعالجها هذا البحث.

إليك شرح تحدي POLY-SIM Grand Challenge 2026 ببساطة، باستخدام بعض التشبيهات الممتعة.

🎭 المشكلة: المحقق "فاقد الذاكرة"

في الوقت الحالي، أنظمة الذكاء الاصطناعي تشبه المحققين الذين يجيدون حل الجرائم فقط عندما تتوفر لديهم صورة مثالية وصوت مثالي للمشتبه به.

المشكلة: في العالم الحقيقي، تسوء الأمور. ربما تعطلت الكاميرا (لا يوجد وجه)، أو أن الشخص يتحدث لغة مختلفة عن اللغة التي تدرب عليها المحقق (مثلاً: تدرب على الإنجليزية، لكن المشتبه به يتحدث الأردية).
النتيجة: يصاب الذكاء الاصطناعي الحالي بالارتباك ويفشل. الأمر يشبه محققاً لا يستطيع تحديد هوية شخص إذا كان يرتدي تنكراً أو يتحدث لغة أجنبية.

🏆 التحدي: مسابقة "المحقق متعدد اللغات"

يستضيف المؤلفون مسابقة تسمى POLY-SIM (تحديد هوية المتحدث متعدد اللغات مع فقدان النمط/الوسيط). إنهم يريدون بناء ذكاء اصطناعي "محقق خارق" يمكنه حل القضية حتى عندما تكون الأدلة مفقودة أو مربكة.

قواعد اللعبة:

مرحلة التدريب: يتم تدريب الذكاء الاصطناعي باستخدام مكتبة من مقاطع الفيديو حيث يتحدث الناس باللغة الإنجليزية. يرى الذكاء الاصطناعي وجوههم ويسمع أصواتهم.
الاختبار (التحول المفاجئ):
- فقدان النمط (الوسيط): يُعطى الذكاء الاصطناعي الصوت فقط. يتم حجب الفيديو (الوجه). عليه أن يخمن من المتحدث من خلال صوته فقط.
- عبر اللغات: الصوت الذي يسمعه الذكاء الاصطناط هو باللغة الأردية، وليس الإنجليزية.
- الهدف: يجب أن يقول الذكاء الاصطناعي: "على الرغم من أنني لا أستطيع رؤية الوجه، وبالرغم من أنهم يتحدثون الأردية، إلا أنني أعلم أن هذا الصوت ينتمي إلى الشخص (س)!"

🧩 مجموعة البيانات: "المكتبة ثنائية اللغة"

لتدريب هؤلاء المحققين، أنشأ الباحثون مجموعة بيانات خاصة تسمى MAV-Celeb.

تخيل مكتبة من مقاطع الفيديو.
كل شخص في هذه المكتبة هو ثنائي اللغة. لديهم فيديو لأنفسهم وهم يتحدثون الإنجليزية، وفيديو آخر وهم يتحدثون الأردية.
هذا يسمح للذكاء الاصطناعي بأن يتعلم أن "هذا الوجه + هذا الصوت بالإنجليزية" و"هذا الوجه + هذا الصوت بالأردية" ينتميان إلى نفس الإنسان.

📊 مستويات الصعوبة الأربعة

تختبر المسابقة الذكاء الاصطناعي عبر أربعة سيناريوهات مختلفة، مثل مستويات ألعاب الفيديو:

المستوى 1 (سهل): وجه إنجليزي + صوت إنجليزي. (الذكاء الاصطناعي يعرف كل شيء).
المستوى 2 (متوسط): صوت إنجليزي فقط (لا يوجد وجه). (على الذكاء الاصطناعي الاعتماد على الصوت).
المستوى 3 (صعب): وجه أردي + صوت أردي. (يتم اختبار الذكاء الاصطناعي على لغة جديدة ولكن مع توفر كلا الدليلين).
المستوى 4 (وضع الخبراء): صوت أردي فقط (لا يوجد وجه). تم تدريب الذكاء الاصطناعي على الإنجليزية، لكن يجب عليه تحديد المتحدث باللغة الأردية دون رؤيته. هذا هو المستوى الأصعب والأكثر أهمية.

🛠️ كيف يفوز المشاركون

يُدعى الباحثون من جميع أنحاء العالم لبناء نماذج ذكاء اصطناعي خاصة بهم للتغلب على "النموذج المرجعي" (المتوسط الحالي للأداء).

الهدف: الحصول على درجة دقة أعلى.
الجائزة: إذا بنيت نموذجاً يمكنه تحديد المتحدثين في لغة أجنبية دون رؤية وجوههم، فأنت تساعد في إنشاء تكنولوجيا تعمل في العالم الحقيقي — حيث تتعطل الكاميرات، وتخفي إعدادات الخصوصية الوجوه، ويتحدث الناس لغات عديدة.

🚀 لماذا يهم هذا؟

فكر في هذا الأمر كترقية لنظام أمني في مطار.

النظام الحالي: "إذا تعطلت الكاميرا، فلا يمكننا السماح لك بالمرور."
نظام POLY-SIM: "حتى لو تعطلت الكاميرا وكنت تتحدث لغة مختلفة، فإن نظامنا يعرف من أنت بناءً على صوتك وحده."

هذا التحدي يدفع التكنولوجيا لتكون قوية (ضد الفشل)، مرنة (تعمل في مواقف مختلفة)، وعادلة (تعمل من أجل أشخاص من جميع اللغات).

📅 الجدول الزمني

التسجيل: مارس – مايو 2026
المسابقة: مايو 2026
النتائج: أواخر مايو 2026

باختصار، هذا البحث هو دعوة لمجتمع الذكاء الاصطناعي للتوقف عن بناء روبوتات تعمل في "الظروف المثالية" والبدء في بناء روبوتات "واقعية" يمكنها التعامل مع الأدلة المفقودة وحواجز اللغة.

بناءً على الورقة المقدمة، إليك ملخص تقني مفصل لـ POLY-SIM: تحدي التعرف على المتحدث متعدد اللغات مع فقدان النمط (Polyglot Speaker Identification with Missing Modality Grand Challenge 2026).

1. بيان المشكلة

تعالج الورقة قصورين حرجين في أنظمة تحديد هوية المتحدث متعدد الوسائط (multimodal speaker identification) الحالية:

فقدان النمط (Missing Modality): غالبًا ما تفتقر السيناريوهات الواقعية إلى بيانات صوتية وبصرية كاملة بسبب العوائق، أو أعطال الكاميرا، أو قيود الخصوصية. عادةً ما تتدهور النماذج الحالية بشكل كبير عندما يغيب أحد الأنماط (عادةً النمط البصري).
التعميم عبر اللغات (Cross-Lingual Generalization): يتم تدريب معظم نماذج تحديد هوية المتحدث على لغة واحدة (مثل الإنجليزية) وتفشل في التعميم عند اختبارها على متحدثين يستخدمون لغة مختلفة (مثل الأردية) بسبب الاختلافات الصوتية والفونيتيكية.

التحدي الجوههري هو تطوير نماذج قادرة على تحديد هوية المتحدثين باستخدام المدخلات الصوتية فقط (عند غياب النمط البصري) بلغة مختلفة عن تلك المستخدمة أثناء التدريب، مع الحفاظ على دقة عالية.

2. المنهجية وتصميم التحدي

تم تصميم التحدي الكبير حول إعداد تجريبي محدد يحاكي هذه القيود الواقعية.

أ. صياغة المهمة

مرحلة التدريب: يتم تدريب النماذج على صور الوجوه المسجلة والمقاطع الصوتية باللغة الإنجليزية ( $\ell_{en}$ ).
مرحلة الاستدلال/الاختبار:
- فقدان النمط: يتم إزالة النمط البصري (الوجه) تمامًا؛ حيث يتلقى النموذج الصوت فقط.
- عبر اللغات: المدخل الصوتي يكون باللغة الأردية ( $\ell_{ur}$ )، وهي لغة مختلفة عن مجموعة التدريب.
الهدف: التنبؤ بهوية المتحدث $y_j$ بناءً فقط على التضمين الصوتي للكلام الأردي، باستخدام نموذج تم تدريبه على أزواج صوتية-بصرية بالإنجليزية.

ب. مجموعة البيانات: MAV-Celeb

يستخدم التحدي مجموعة فرعية من مجموعة بيانات MAV-Celeb، والتي تم اختيارها خصيصًا للمتحدثين ثنائيي اللغة.

المتحدثون: يظهر كل متحدث في مقاطع فيديو يتحدث فيها باللغتين الإنجليزية والأردية.
الإحصائيات: تتضمن مجموعة البيانات 262 فيديو بالإنجليزية و415 فيديو بالأردية للتدريب، مع تقسيمات محددة للتحقق والاختبار (انظر الجدول I في الورقة).
الميزات: يتم توفير ميزات مستخرجة مسبقًا (embeddings) لكل من الوجه والصوت، تم إنشاؤها بواسطة بنيات هيكلية مدربة مسبقًا وعالية الكفاءة.

ج. بروتوكولات التقييم

يقيم التحدي الأداء عبر أربعة تكوينات مختلفة لقياس المتانة:

P3 (داخل اللغة، متعدد الوسائط): التدريب والاختبار على الإنجليزية مع وجود الوجه والصوت معًا. (الأداء المرجعي).
P4 (فقدان النمط): التدريب على الإنجليزية (وجه + صوت)، والاختبار على الإنجليزية باستخدام الصوت فقط.
P5 (عبر اللغات، متعدد الوسائط): التدريب على الإنجليزية (وجه + صوت)، والاختبار على الأردية مع وجود الوجه + الصوت.
P6 (عبر اللغات، فقدان النمط): التدريب على الإنجليزية (وجه + صوت)، والاختبار على الأردية باستخدام الصوت فقط. (التحدي الرئيسي).

د. النموذج المرجعي (Baseline)

تم توفير حزمة البداية بناءً على إطار عمل FOP (Face-Oral-Phonetic):

البنية: شبكة ذات فرعين (مشفر الوجه + مشفر الصوت).
المشفرات:
- الوجه: شبكة CNN مدربة مسبقًا على بيانات التعرف على الوجب واسعة النطاق.
- الصوت: شبكة التعرف على المتحدث مدربة على لغة التدريب.
التحسين: يستخدم دالة خسارة تفرض قيودًا على التعامد (orthogonality constraints) للتضمينات متعددة الوسائط للمتحدثين المختلفين لضمان التمايز.

3. المساهمات الرئيسية

معيار جديد: تقديم أول معيار قياسي يستهدف تحديدًا التقاطع بين فقدان النمط وتعدد اللغات في تحديد هوية المتحدث.
محاكاة واقعية: تجاوز الظروف المثالية المختبرية لمحاكاة السيناريوهات التي تفشل فيها الكاميرات ويغير فيها المتحدثون لغاتهم، وهو أمر شائع في تطبيقات الوسائط المتعددة العالمية.
تقييم شامل: تحديد بروتوكول تقييم متعدد الأوجه (P3–P6) يعزل تأثير التحول اللغوي وفقدان البيانات، مما يسمح للباحثين بتحديد أوضاع الفشل بدقة.
موارد مفتوحة: توفير تقسيم عام لمجموعة البيانات، وميزات مستخرجة مسبقًا، ومستودع كود مرجعي، ومنصة تقديم (CodaBench) لتعزيز قابلية إعادة الإنتاج.

4. النتائج (أداء النموذج المرجعي)

توضح الورقة نتائج الدقة المرجعية (الجدول II) التي تبرز شدة التحديات:

داخل اللغة (P3): دقة عالية (~98%) عند وجود كلا النمطين في نفس اللغة.
فقدان النمط (P4): تنخفض الدقة بشكل حاد إلى 37.75% (مرحلة التقدم) / 52.53% (مرحلة التقييم) عند إزالة البيانات البصرية، حتى في نفس اللغة.
عبر اللغات (P5): يتم الحفاظ على دقة عالية (~98%) إذا كان كلا النمطين موجودين، مما يشير إلى أن النمط البصري يمكن أن يعوض التحولات اللغوية.
الفجوة الحرجة (P6): عندما يتم تطبيق كل من فقدان النمط والشرط عبر اللغات، تهبط الدقة إلى 31.70% (مرحلة التقدم) / 43.87% (مرحلة التقييم).
الدرجة الإجمالية: يبلغ متوسط الدرجة المرجعية عبر جميع التكوينات الأربعة حوالي 66.34% (مرحلة التقدم) و 73.37% (مرحلة التقييم)، مما يشير إلى وجود مساحة كبيرة للتحسين.

5. الأهمية

المتانة للصناعة: يعالج التحدي مباشرة موثوقية الأنظمة البيومترية في مجالات الأمن، وتحليلات الوسائط، والتفاعل بين الإنسان والحاسوب، حيث تكون ظروف البيانات المثالية نادرة.
التقدم في تعلم التمثيل (Representation Learning): يدفع المجتمع البحثي نحو تطوير تقنيات أفضل لتكيف النطاق (domain adaptation)، واستراتيجيات المحاذاة عبر الوسائط، وتمثيلات المتحدث المستقلة عن اللغة.
العدالة والشمولية: من خلال الاختبار على لغات غير الإنجليزية (الأردية)، يعزز التحدي تطوير أنظمة تحديد هوية المتحدث التي تعمل عالميًا، بدلاً من التحيز نحو مجموعات البيانات المتمحورة حول الإنجليزية.

يهدف تحدي POLY-SIM 2026 إلى سد الفجوة بين التعلم متعدد الوسائط النظري والأنظمة القابلة للنشر والعملية التي تعمل بموثوقية تحت ظروف العالم الحقيقي غير المثالية والمتنوعة.