💬 NLP

Modeling Turn-Taking with Semantically Informed Gestures

تقدم هذه الورقة مجموعة بيانات DnD Gesture++ التي تحتوي على 2,663 تعليقاً دلالياً للإيماءات، وتثبت أن إطار عمل "خليط من الخبراء" (Mixture-of-Experts) الذي يدمج هذه الإيماءات المعلوماتية دلالياً يحسن بشكل كبير التنبؤ بتناوب الأدوار متعدد الوسائط مقارنة بالنماذج المرجعية التي تعتمد فقط على النصوص والصوت.

المؤلفون الأصليون: Varsha Suresh, M. Hamza Mughal, Christian Theobalt, Vera Demberg

نُشر 2026-03-23

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Varsha Suresh, M. Hamza Mughal, Christian Theobalt, Vera Demberg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تجلس حول طاولة مع أصدقائك تلعبون لعبة لوحية. المحادثة تتدفق بسرعة، أحدهم يروي قصة، ويمكنك أن تشعر باللحظة التي توشك فيها أن تتوقف لتترك المجال لشخص آخر ليتحدث. كيف تعرف ذلك؟

أنت لا تستمع فقط إلى كلماتهم؛ بل تراقب وجوههم، وتلاحظ حركات أيديهم، وتستشعر لغة جسدهم. ربما يتوقفون قليلاً، وينظرون إليك، ويرفعون أيديهم كما لو كانوا يقولون: "حسناً، دورك الآن". أو ربما يستمرون في الكلام بينما يلوحون بأيديهم بحماس للتأكيد على نقطة ما، مما يعطي إشارة: "أنا لم أنتهِ بعد!".

هذه الورقة البحثية تدور حول تعليم الحواسيب فهم هذه الإشارات غير المرئية، وتحديداً إيماءات اليد، للتنبؤ بمن يجب أن يتحدث تالياً في المحادثة.

المشكلة: الحواسيب "صماء" تجاه الأيدي

معظم الحواسيب التي تحاول التنبؤ بمتى ينتقل المتحدث في المحادثة تكتفي بالاستماع إلى الكلمات (النص) ونبرة الصوت (الصوت). إنها تشبه أشخاصاً يرتدون سماعات عازلة للضوضاء وعصابات أعين؛ يمكنهم سماع الكلمات، لكنهم يفتقدون الإشارات البصرية التي يعتمد عليها البشر بشكل كبير.

تساءل الباحثون: ماذا لو علمنا الحاسوب أن "يرى" الإيماءات؟

الحل: مجموعة بيانات جديدة (DnD Gesture++)

لتعليم الحاسوب، احتاجوا إلى مكتبة ضخمة من الأمثلة. لقد أخذوا مجموعة بيانات موجودة لأشخاص يلعبون "Dungeons & Dragons" (لعبة تقمص أدوار حيث يتحدث الناس كثيراً) وأضافوا إليها طبقة خاصة من التفاصيل.

فكر في الأمر كأنك تأخذ فيلماً وتضيف إليه ترجمة نصية تصف مشاعر الممثلين وحركات أيديهم.

شاهدوا 6 ساعات من الفيديو.
وضعوا علامات على أكثر من 2,600 حركة يد محددة.
صنفوا هذه الحركات إلى أربعة "نكهات" من المعنى:
1. الأيقونية (Iconic): رسم شكل في الهواء (مثلاً: "كان بهذا الحجم!").
2. الاستعارية (Metaphoric): إظهار فكرة مجردة (مثلاً: "المستقبل هو مسار").
3. الإشارية (Deictic): الإشارة إلى شيء ما (مثلاً: "انظر إلى ذلك!").
4. الخطابية (Discourse): حركات إيقاعية تنظم القصة (مثلاً: "أولاً، ثم، أخيراً").

العقل المدبر: "خليط الخبراء" (Mixture of Experts)

بنى الباحثون نموذجاً حاسوبياً ذكياً يسمى "خليط الخبراء" (Mixture of Experts - MoE). تخيل فريقاً من ثلاثة متخصصين يعملون معاً لتقرير من سيتحدث تالياً:

اللغوي: يقرأ الكلمات.
الموسيقي: يستمع إلى النبرة والوقفات.
مصمم الرقصات: يراقب إيماءات اليد.

في الماضي، ربما كان هؤلاء المتخصصون يتجادلون أو يعملون بمعزل عن بعضهم البعض. يستخدم هذا النموذج الجديد "شبكة بوابة" (Gating Network) (فكر فيها كمدير ذكي). ينظر المدير إلى الموقف ويقرر: "في هذه اللحظة، الكلمات مربكة، لذا دعونا نستمع للموسيقي أكثر. ولكن مهلاً، الموسيقي صامت، فلنسأل مصمم الرقصات عما تقوله الأيدي".

الاكتشاف الكبير

كانت النتائج مثيرة:

الإيماءات تساعد: إضافة حركات اليد جعلت الحاسوب أفضل بكثير في التنبؤ بتبادل الأدوار، خاصة في اللحظات الصعبة التي لا تكون فيها الكلمات أو الصوت واضحة.
المعنى مهم: أدى أداء الحاسوب إلى تحسن أكبر عندما فهم ماذا تعني الإيماءة (على سبيل المثال، معرفة أن إيماءة "الإشارة" تختلف عن إيماءة "سرد القصص") بدلاً من مجرد رؤية الحركة الخام.
الإيماءات المختلفة تؤدي وظائف مختلفة:
- الإيماءات الخطابية (التي تنظم القصة) غالباً ما كانت تشير إلى: "أنا بصدد الإنهاء، يمكنك التحدث الآن" (تسليم الدور).
- الإيماءات الاستعارية (التي تظهر أفكاراً مجردة) غالباً ما كانت تشير إلى: "أنا لا أزال أشرح، استمر في الاستماع" (الاحتفاظ بالدور).

لماذا يهم هذا؟

هذا ليس مجرد تطوير لروبوتات الدردشة. إنه يتعلق بجعل الآلات تفهم البشر بالطريقة التي يفهم بها البشر بعضهم البعض. من خلال تعليم الحواسيب "قراءة" الأيدي، يمكننا إنشاء:

مساعدين افتراضيين أفضل: يعرفون متى يقاطعون ومتى ينتظرون.
صور رمزية (Avatars) أكثر طبيعية: تتحرك أيديهم بطريقة تتطابق تماماً مع كلامهم.
أدوات اجتماعات أذكى: يمكنها معرفة ما إذا كان الاجتماع يسير بسلاسة أم أن هناك شخصاً يتم مقاطعته.

باختصار: البشر كائنات متعددة الوسائط؛ نحن نتحدث بأفواهنا، ولكننا نتحدث أيضاً بأيدينا. هذه الورقة تعلم الحواسيب أخيراً كيف تستمع للمحادثة كاملة، وليس للكلمات فقط.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نمذجة تبادل الأدوار باستخدام الإيماءات المستندة إلى المعنى".

1. بيان المشكلة

في المحادثات متعددة الأطراف، يعتمد تبادل الأدوار الفعال (إدارة من يتحدث تالياً، ومتى يستمر، ومتى يتنازل عن الدور) على إشارات متعددة الوسائط. وبينما تعتمد النماذج الحسابية الحالية بشكل أساسي على الميزات النصية (المحتوى المعجمي) والصوتية (النبرة)، إلا أنها غالباً ما تغفل السلوكيات غير اللفظية، وتحديداً الإيماءات الدلالية (التي تحمل معنى).

الفجوة: تعامل نماذج تبادل الأدوار الحالية الإيماءات كحركة خام أو تتجاهلها تماماً. ومع ذلك، فإن الإيماءات الدلالية (الأيقونية، والاستعارية، والإشارية، والخطابية) تتشكل بناءً على المعنى الحواري وليس فقط الإيقاع الصوتي، مما يوفر إشارات تكميلية يمكن أن تحسن دقة التنبؤ، خاصة في حالات الانتقال الغامضة.
التحدي: هناك نقص في مجموعات البيانات الضخمة والموسومة بكثافة للتفاعلات متعددة الأطراف التي تربط أنواعاً محددة من الإيماءات بديناميكيات تبادل الأدوار. معظم مجموعات البيانات الموجودة حالياً هي إما مكتوبة (سيناريو)، أو أحادية المتحدث، أو تفتقر إلى تسميات الإيماءات الدلالية.

2. المنهجية

أ. بناء مجموعة البيانات: DnD Gesture++

قام المؤلفون بتوسيع مجموعة بيانات DnD Gesture الحالية (وهي مجموعة بيانات للعبة طاولة متعددة الأطراف تحتوي على حركة ثلاثية الأبعاد وصوت ونصوص متزامنة) لإنشاء DnD Gesture++.

التوسيم (Annotation): قاموا بتوسيم 6 ساعات من المحادثة (2,663 حالة إيماءة) يدوياً بأنواع الإيماءات الدلالية بناءً على تصنيف "ماكنيل" (McNeill):
- الأيقونية (Iconic): تصوير أشياء ملموسة.
- الاستعارية (Metaphoric): تمثيل مفاهيم مجردة.
- الإشارية (Deictic): إيماءات مرجعية (مثل الإشارة بالإصبع).
- الخطابية (Discourse): هيكلة الحوار (مثل الإشارة إلى تغيير الموضوع).
- ملاحظة: تم استبعاد إيماءات "الضربات" (Beat gestures) لأنها تتداخل مع الإشارات الصوتية.
توسيم تبادل الأدوار: تم تقسيم المحادثات المستمرة إلى وحدات بين الفواصل (IPUs) تنتهي عند أماكن صلة الانتقال (TRPs). تم توسيم الأدوار كـ "استمرار" (Hold) (المتحدث يستمر) أو "تنازل" (Yield) (المتحدث يتغير)، مما نتج عنه 12,000 دور (7 آلاف استمرار، 5 آلاف تنازل).
الكثافة: توفر مجموعة البيانات حوالي 444 تسمية في الساعة، وهي أكثر كثافة بشكل ملحوظ من مجموعات البيانات المماثلة مثل BEAT (حوالي 288 تسمية في الساعة).

ب. إطار النمذجة: خليط الخبراء (Mixture-of-Experts - MoE)

يقترح المؤلفون نموذجاً للتنبؤ بتبادل الأدوار متعدد الوسائط باستخدام بنية خليط الخبراء (MoE) مع شبكة بوابة.

الوسائط المدخلة:
1. النص: تضمينات الجمل من نموذج Mistral (mxbai-embed-large-v1).
2. الصوت: ميزات من نموذج Wav2Vec2.
3. الإيماءات: تسلسلات حركة الجزء العلوي من الجسم ثلاثية الأبعاد.
استراتيجية ترميز الإيماءات:
- المُشفر الأساسي: يقوم نموذج VQ-VAE (المشفر التلقائي المتغير المكمّم) بضغط الحركة إلى رموز منفصلة (tokens).
- الإثراء الدلالي: على عكس النهج القياسي، يتم تدريب مشفر الإيماءات باستخدام إشراف دلالي. تتم معالجة رموز VQ-VAE بواسطة مشفر Transformer، حيث توجه التسميات الدلالية عملية تعلم تمثيلات الإيماءات لربط إشارات الحركة بالمعنى اللغوي.
آلية الدمج:
- ثلاثة "خبراء" مخصصين يعالجون مدخلات النص والصوت والإيماءات.
- تقوم شبكة البوابة (Gating Network) بحساب الأوزان الديناميكية ( $w_m$ ) لكل وسيط بناءً على السياق.
- التمثيل النهائي هو مجموع أوزان: $h_{fused} = \sum w_m \cdot f_m(x_m)$ .
- يقوم مصنف ثنائي بالتنبؤ بـ "استمرار" (Hold) أو "تنازل" (Yield).

3. المساهمات الرئيسية

مجموعة بيانات DnD Gesture++: إنشاء أول مجموعة بيانات باللغة الإنجليزية متعددة الأطراف موسومة بكثافة ومصممة خصيصاً لدراسة تبادل الأدوار المستند إلى الإيماءات، وتحتوي على 2,663 تسمية للإيماءات الدلالية.
نمذجة الإيماءات الدلالية: نهج مبتكر لترميز الإيماءات حيث تُستخدم التسميات الدلالية للإشراف على تعلم تمثيل الإيماءات، مما يضمن محاذاة إشارات الحركة مع المعنى الحواري.
إطار عمل MoE لتبادل الأدوار: إثبات أن إطار عمل "خليط الخبراء" يدمج بفعالية النصوص والصوت والإيماءات المعززة دلالياً، متفوقاً على طرق الدمج القياسية أو الدمج ذي الأوزان الثابتة.
التحقق التجريبي: تحليل شامل يظهر أن الإيماءات الدلالية توفر إشارات متميزة وتكميلية لمختلف إجراءات تبادل الأدوار (مثل الإيماءات الخطابية للتنازل، والاستعارية للاستمرار).

4. النتائج التجريبية

مقاييس الأداء

تم تقييم النموذج بناءً على الدقة (Accuracy)، ودرجة Macro-F1، ودرجات F1 لكل فئة.

أفضل نموذج: حقق نموذج (النص + الصوت + الإيماءات مع الإشراف الدلالي) أعلى أداء:
- الدقة: 71.5%
- Macro-F1: 69.9%
- F1 للاستمرار (Hold): 76.7%
- F1 للتنازل (Yield): 63.1%
المقارنة مع النماذج المرجعية:
- النص فقط: 68.8% دقة / 66.6% F1.
- الصوت فقط: 67.1% دقة / 63.2% F1 (تؤدي بشكل ضعيف بمفردها، مما يؤكد أن الإيماءات تكميلية).
- النص + الصوت: 69.7% دقة / 67.9% F1.
- النص + الصوت + الإيماءات (بدون إشراف دلالي): 70.4% دقة / 68.7% F1.
- النص + الصوت + الإيماءات (مع إشراف دلالي): 71.5% دقة / 69.9% F1.
- الأهمية: وفر إدراج الإيماءات الخاضعة للإشراف الدلالي تحسناً ذا دلالة إحصائية ( $p < 0.05$ ) مقارنة بنماذج الإيماءات غير الدلالية.
دراسة الاستئصال (Ablation) والتحليل:
- استراتيجية الدمج: تفوق نهج MoE على تقنيات الدمج الأخرى (مثل ConcatFusion و LMF) من خلال إنتاج تنبؤات أكثر توازناً عبر فئتي "الاستمرار" و"التنازل"، مما قلل من الانحياز نحو الفئة الأكثر انتشاراً.
- خصوصية نوع الإيماءة:
  - الإيماءات الخطابية: ارتبطت بقوة مع انتقالات التنازل (F1: 74.1).
  - الإيماءات الاستعارية: ارتبطت بقوة مع سلوك الاستمرار (F1: 89.5).
  - الإيماءات الإشارية والأيقونية: أظهرت مساهمات مختلطة ولكن متميزة.
- الفضاء الكامن (Latent Space): أظهرت عملية التصور أن التضمينات المتوافقة دلالياً شكلت مجموعات أكثر تميزاً تتوافق مع أنواع الإيماءات، مما سهل المحاذاة عبر الوسائط مع النص والصوت.

5. الأهمية والعمل المستقبلي

الأثر النظري: تؤكد الدراسة أن الإيماءات الدلالية ليست مجرد زينة، بل هي إشارات وظيفية حاملة للمعنى تنظم تدفق المحادثة. فهي توفر معلومات حاسمة عندما تكون الإشارات الصوتية أو المعجمية غامضة.
التطبيق العملي: يمكن تطبيق مجموعة بيانات DnD Gesture++ وإطار عمل MoE على:
- تحسين الذكاء الاصطنا-الحواري والوكلاء الافتراضيين لتبادل أدوار أكثر طبيعية.
- توليد الإيماءات المصاحبة للكلام (توليد إيماءات تتوافق مع القصد الدلالي).
- التنبؤ بردود الفعل الاستماعية (Backchannel prediction).
القيود: مجموعة البيانات مرتبطة بمجال محدد (Dungeons & Dragons)، مما قد يحد من القدرة على التعميم في الاجتماعات الرسمية أو الحوارات الموجهة نحو مهام محددة. بالإضافة إلى ذلك، كان الاتفاق بين المقيّمين (Inter-annotator agreement) متوسطاً بالنسبة للإيماءات "الخطابية" بسبب الطبيعة الذاتية لتفسيرها.

الخلاصة: من خلال دمج الإيماءات المستندة إلى المعنى في إطار عمل MoE متعدد الوسائط، نجح المؤلفون في إثبات أن فهم معنى الإيماءة يعزز بشكل كبير قدرة أنظمة الذكاء الاصطعي على التنبؤ بديناميكيات تبادل الأدوار البشري.