💬 NLP

Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

تقدم هذه الورقة البحثية BiHumanML3D، وهو أول معيار تقييم ثنائي اللغة لتحويل النص إلى حركة، وتقترح نموذج انتشار الحركة ثنائي اللغة (BiMD) مع استراتيجية محاذاة عابرة للغات لتحسين أداء توليد الحركة عابر اللغات بشكل كبير وتمكين التبديل اللغوي في حالة الصفر.

المؤلفون الأصليون: Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wanjiang Weng, Xiaofeng Tan, Xiangbo Shu, Guo-Sen Xie, Pan Zhou, Hongsong Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا راقصًا سحريًا. في الوقت الحالي، هذا الروبوت موهوب للغاية، لكن لديه قيد رئيسي: فهو لا يفهم سوى التعليمات المكتوبة باللغة الإنجليزية. إذا قلت له، "Do a backflip" (قم بشقلبة خلفية)، فإنه يدور بشكل مثالي. ولكن إذا قلت له، "Fais une salto" (بالفرنسية) أو "做后空翻" (بالصينية)، فإنه يقف هناك مرتبكًا، أو والأسوأ من ذلك، يؤدي الحركة الخاطئة تمامًا.

هذه الورقة البحثية تدور حول تعليم هذا الروبوت التحدث بـ لغتين (الإنجليزية والصينية) بطلاقة، لكي يتمكن من الرقص على تعليماتك بغض النظر عن اللغة التي تستخدمها.

إليك تفصيل حلهم، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: رقصة "الضياع في الترجمة"

حاليًا، إذا أردت من الروبوت أن يرقص بناءً على أمر صيني، عليك استخدام تطبيق ترجمة لتحويل الصينية إلى إنجليزية أولاً، ثم تغذية الروبوت بها.

المشكلة: تطبيقات الترجمة جيدة في الكلمات، لكنها سيئة جدًا في الحركة.
التشبيه: تخيل أنك أخبرت مترجمًا: "الشخص يقوم بحركة Tanglang Quan (وقفة قتالية محددة)". قد يقول المترجم: "الشخص يقوم بلكمة". الروبوت يسمع كلمة "لكمة" فيقوم بلكم الهواء فقط، متجاهلاً وقفة الأرجل المحددة واللمسة الثقافية.
كابوس "التبديل اللغوي": غالبًا ما يخلط البشر الحقيقيون بين اللغات في جملة واحدة (على سبيل المثال: "Walk forward and then do a jump" - "امشِ للأمام ثم قم بـ قفزة"). الروبوتات الحالية تضيع تمامًا عندما تختلط اللغات في جملة واحدة.

2. الحل: بناء أرضية رقص جديدة (مجموعة البيانات)

لإصلاح ذلك، لم يكن بإمكان الباحثين مجرد استخدام مترجم. كانوا بحاجة إلى مكتبة ضخمة من حركات الرقص المقترنة بالأوصاف باللغتين الإنجليزية والصينية.

التشبيه: فكر في المكتبة القديمة (HumanML3D) كأنها رف كتب مليء بكتيبات الرقص الإنجليزية. لقد أرادوا مكتبة ثنائية اللغة.
كيف فعلوا ذلك: استخدموا فريقًا من "المحررين الخارقين" (نماذج لغوية كبيرة للذكاء الاصطناعي) لترجمة الكتيبات الإنجليزية إلى الصينية. ولكن بما أن الذكاء الاصطناعي يرتكب الأخطاء، فقد أضافوا طبقة من المحررين البشر لمراجعة العمل.
النتيجة: أنشأوا BiHumanML3D، وهو أول "قاموس رقص ثنائي اللغة" على الإطلاق. يحتوي على آلاف مقاطع الحركة، كل منها مع وصف إنجليزي مثالي ووصف صيني مثالي.

3. ترقية الدماغ: "المترجم العالمي" (CLA)

الآن بعد أن أصبح لديهم البيانات، احتاجوا إلى دماغ جديد للروبوت. لقد بنوا نموذجًا يسمى BiMD (انتشار الحركة ثنائي اللغة).

الطريقة القديمة: تخيل وجود دماغين منفصلين. دماغ واحد يعرف فقط حركات الرقص الإنجليزية؛ والآخر يعرف فقط حركات الرقص الصينية. إنهما لا يتحدثان مع بعضهما البعض.
الطريقة الجديدة (CLA): قدموا ميزة تسمى المحاذاة عبر اللغات (Cross-Lingual Alignment - CLA).
التشبيه: فكر في CLA كأنه جهاز تحكم عن بعد عالمي.
- قبل ذلك، كان "الزر الإنجليزي" و"الزر الصيني" موجودين في أجهزة تحكم مختلفة ولا يعملان بنفس الطريقة.
- مع CLA، علم الباحثون الروبوت أن "شعور" كلمة "jump" بالإنجليزية و"شعور" كلمة "jump" بالصينية هما في الواقع نفس الزر على جهاز التحكم نفسه.
- لقد أجبروا الروبوت على تعلم أن "He walks in a circle" و "他在逆时针转圈" (هو يمشي في دائرة عكس عقارب الساعة) يشيران إلى نفس الحركة الجسدية تمامًا في عقل الروبوت.

4. الخدعة السحرية: التعلم الصفري وتبديل الأكواد

بسبب تعلم الروبوت لهذا الاتصال بـ "جهاز التحكم العالمي"، يمكنه القيام ببعض الأشياء المذهلة:

التعلم الصفري (Zero-Shot): إذا دربت الروبوت على البيانات الصينية فقط، فسيظل قادرًا على فهم التعليمات الإنجليزية بشكل مثالي! الأمر يشبه تعلم قيادة السيارة في الولايات المتحدة ثم القدرة على قيادتها في المملكة المتحدة دون أن ترى أي لافتة طريق في المملكة المتحدة، لأنك تفهم مفهوم القيادة، وليس فقط اللافتات.
تبديل الأكواد (Code-Switching): يمكنك قول، "Walk forward, then do a TiaoYue (jump)." الروبوت يفهم هذا المزيج تمامًا لأنه يعرف أن "التحكم العالمي" يربط بين "Walk" الإنجليزية و"TiaoYue" الصينية وبين العضلات الصحيحة.

5. النتائج: راقص أفضل

اختبر الباحثون روبوتهم الجديد مقابل الروبوتات القديمة.

الروبوتات القديمة: عندما تُعطى لغات مختلطة أو لغة صينية، كانت تتعثر، أو تسقط، أو تؤدي حركات خاطئة.
الروبوت الجديد (BiMD): كان يرقص بشكل مثالي. كان أكثر دقة، ويتحرك بشكل طبيعي أكثر، ويتعامل مع خلط اللغات كالمحترفين.

باختختصار

تتعلق هذه الورقة البحثية بإيقاف "حاجز اللغة" في الرسوم المتحركة الحاسوبية. بدلاً من إجبار الكمبيوتر على ترجمة كلماتك قبل أن يفهم رقصتك، علموا الكمبيوتر فهم معنى الرقصة مباشرة، بغض النظر عما إذا كنت تتحدث الإنجليزية، أو الصينية، أو مزيجًا منهما. إنه يشبه منح الروبوت روحًا تفهم الحركة، وليس مجرد قاموس يفهم الكلمات.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "توليد الحركة من النص ثنائي اللغة: معيار مرجعي ونماذج أساسية جديدة".

1. بيان المشكلة

تقتصر أنظمة توليد الحركة من النص الحالية بشكل أساسي على المدخلات الإنجليزية فقط. وهذا يخلق عوائق كبيرة أمام التطبيقات العالمية في مجالات الألعاب، وصناعة الأفلام، والروبوتات، لا سيما لغير المتحدثين باللغة الإنجليزية وللحركات ذات الخصوصية الثقافية. تحدد الورقة ثلاثة تحديات حرجة في تطوير توليد الحركة من النص ثنائي اللغة:

ندرة البيانات: هناك نقص في مجموعات بيانات الحركة ثنائية اللغة عالية الجودة والمتاحة للجمهور. مجموعات البيانات الحالية (مثل HumanML3D) هي إنجليزية فقط.
عدم كفاية مسارات الترجمة: تفشل نهج "الترجمة ثم التوليد" لأن أدوات الترجمة القياسية غالبًا ما تفقد الدلالات الحركية الدقيقة (مثل تحديد أجزاء الجسم بدقة أو الفروق الدقيقة في الاتجاهات) ولا يمكنها التعامل مع التبديل اللغوي (code-switching) (خلط اللغات داخل جملة واحدة)، وهو أمر شائع في التواصل الطبيعي ثنائي اللغة.
قصور المشفرات: تعاني مشفرات النصوص متعددة اللغات العامة (مثل mBERT وT5) من كونها مدربة مسبقًا على مجموعات بيانات غير متوازنة وتفتقر إلى الدلالات الخاصة بالحركة، مما يؤدي إلى فجوات في الأداء بين اللغات وضعف في التعميم عبر اللغات في حالة "الصفر لغة" (zero-shot).

2. المنهجية

يقترح المؤلفون حلاً شاملاً يتضمن مجموعة بيانات جديدة وبنية نموذج متخصصة.

أ. مجموعة البيانات: BiHumanML3D

يقدم المؤلفون BiHumanML3D، وهو أول معيار مرجعي لنص إلى حركة ثنائي اللغة (إنجليزي-صيني).

مسار البناء: قاموا بتوسيع مجموعة بيانات HumanML3D الحالية باستخدام مسار تعليق توضيحي متعدد المراحل مدعوم بالنماذج اللغوية الكبيرة (LLM):
1. الترجمة الأولية: تقوم النماذج اللغوية الكبيرة بترجمة الأوصاف الإنجليزية إلى الصينية.
2. التنقيح: يقوم نموذج لغوي كبير ثانٍ بتصحيح العيوب مثل التحيز الجنسي، والترجمات الحرفية، والصياغات غير الطبيعية.
3. التحقق البشري: يقوم معلقون بشريون بالتحقق يدويًا من المدخلات وتصحيحها، خاصة تلك ذات التعقيد الدلالي العالي (مثل تعدد الأفعال)، لضمان الدقة اللغوية والسياقية.
النطاق: تحتوي مجموعة البيانات النهائية على 13,312 تسلسل حركة مع تعليقات توضيحية ثنائية اللغة عالية الجودة.

ب. النموذج: الانتشار الحركي ثنائي اللغة (BiMD)

النموذج المقترح هو إطار عمل انتشار موحد مصمم لتوليد الحركة من المدخلات الإنجليزية أو الصينية (أو المدخلات المختلطة بالتبديل اللغوي) باستخدام نموذج واحد.

المحاذاة عبر اللغات (CLA): هذا هو الابتكار الجوهري. بدلاً من استخدام مشفرات متعددة اللغات جاهزة، يستخدم المؤلفون نهج تقطير المعرفة بين المعلم والطالب (Teacher-Student knowledge distillation):
- المعلم: نموذج OpenCLIP، وهو نموذج عالي الجودة للمحاذاة بين الرؤية واللغة الإنجليزية ومجمد (frozen).
- الطالب: نموذج متعدد اللغات (XLM-Base) تم ضبطه بدقة لمحاذاة تمثيلاته الصينية (والإنجليزية) مع مساحة الإنجليزية الخاصة بالمعلم.
- دالة الخسارة: يتم استخدام تباعد كولباك - ليبلر المتماثل ( $L_{CLA}$ ) لتقليل المسافة بين تمثيلات الطالب وتمثيلات المعلم، مما يخلق مساحة شرطية موحدة تكون فيها التمثيلات الإنجليزية والصينية قابلة للتبادل.
الانتشار الكامن (Latent Diffusion): يبني النموذج على إطار عمل الانتشار الكامن للحركة (MLD). يقوم بضغط الحركة الخام إلى مساحة كامنة عبر VAE ويشترط على المزال (denoiser) بناءً على تمثيلات النص المحاذية عبر اللغات.
استراتيجية التدريب: يتم تدريب النموذج باستخدام الانتشار ثنائي اللغة، حيث يتم إقران كل حركة عشوائيًا بوصفها الإنجليزي أو الصيني. هذا يجبر النموذج على تعلم أنماط الحركة المشتركة مع احترام الفروق الدقيقة الخاصة بكل لغة.

3. المساهمات الرئيسية

المعيار المرجعي BiHumanML3D: أول مجموعة بيانات مخصصة للنص إلى حركة ثنائية اللغة، تم بناؤها عبر مسار صارم مدعوم بالنماذج اللغوية الكبيرة والتحقق البشري.
الانتشار الحركي ثنائي اللغة (BiMD): نموذج موحد يلغي الحاجة إلى نماذج منفصلة أحادية اللغة أو مسارات ترجمة.
المحاذاة عبر اللغات (CLA): وحدة مبتكرة تعمل على محاذاة التمثيلات الدلالية صراحة عبر اللغات، مما يتيح توليدًا قويًا في حالة "الصفر لغة" ودعم التبديل اللغوي.
التقييم الشامل: تجارب واسعة النطاق تثبت أن الطريقة المقترحة تتفوق على النماذج أحادية اللغة والنماذج القائمة على الترجمة.

4. النتائج التجريبية

تقيم الورقة الأداء باستخدام مقاييس قياسية: R-Precision (دقة الاسترجاع)، وFID (مسافة فريدشيت إنسبشن، لقياس جودة التوليد)، والتنوع (Diversity).

الأداء أحادي اللغة (HumanML3D):
- يحقق نموذج BiMD مع CLA قيمة FID تبلغ 0.045 (مقابل 0.169 بدون CLA) وR@3 تبلغ 82.8% (مقابل 80.8% بدون CLA).
- إنه يضع معيارًا جديدًا (SOTA) في مجموعة بيانات HumanML3D القياسية، متفوقًا على نماذج سابقة مثل MLD وMDM وMoMask.
الأداء ثنائي اللغة (BiHumanML3D):
- يتفوق BiMD مع CLA بشكل كبير على النماذج الأساسية المعاد تدريبها (MDM، MLD، Mo.Diffuse) التي تستخدم مشفرات متعددة اللغات قياسية.
- التبديل اللغوي (Code-Switching): يتعامل النموذج بنجاح مع المدخلات المختلطة اللغات (على سبيل المثال، "He walks in a 逆时针 circle")، وهي مهمة تفشل فيها الطرق الحالية تمامًا.
- التعميم في حالة "الصفر لغة" (Zero-Shot Transfer): عندما يتم تدريبه فقط على الصينية، يمكن للنموذج توليد حركات دقيقة للمطالبات الإنجليزية غير المرئية (والعكس صحيح)، مما يدل على قدرة قوية على التعميم عبر اللغات.
دراسات الاستئصال (Ablation Studies):
- ضرورة CLA: يؤدي إزالة CLA إلى فجوة كبيرة في الأداء بين الإنجليزية والصينية وضعف في التعامل مع التبديل اللغوي.
- نماذج الترجمة الأساسية: تؤدي الترجمة المباشرة للمطالبات الصينية إلى الإنجليزية متبوعة بالتوليد إلى انخفاض حاد في R-Precision (من ~77% إلى ~70%) بسبب التشويه الدلالي وفقدان التفاصيل الحرجة للحركة.
- دراسة المستخدم: في دراسة عمياء، فضل 68.1% من المستخدمين الحركات التي ولدها نموذج CLA على نسخ غير CLA من حيث الاتساق الدلالي للمطالبات المقترنة.

5. الأهمية

تعالج هذه العمل فجوة حرجة في مجال تخليق الحركة البشرية من خلال تجاوز القيود المتمحورة حول اللغة الإنجليزية.

الإمكانية الثقافية: تتيح توليد الحركة لغير المتحدثين بالإنجليزية وتلتقط الحركات ذات الخصوصية الثقافية (مثل وقفات الفنون القتالية) التي غالبًا ما تضيع في الترجمة.
التقدم التقني: تثبت أن نموذجًا موحدًا ثنائي اللغة مع محاذاة دلالية صريحة هو أفضل من مسارات الترجمة أو النماذج المنفصلة أحادية اللغة.
التأثير المستقبلي: من خلال إصدار مجموعة البيانات والرمز البريدي، يوفر المؤلفون أساسًا للأبحاث المستقبلية في الذكاء الاصطناائي التوليدي متعدد اللغات، والرسوم المتحركة الافتراضية، والتفاعل بين الإنسان والروبوت عبر مختلف الثقافات اللغوية.