🤖 AI

Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

تقدم الورقة البحثية PRISM-AH، وهو إطار عمل متعدد الوسائط موجه معرفياً يتعرف على التردد والارتباك على مستوى الفيديو من خلال نمذجة التنافر عبر الوسائط بمرور الوقت ودمج الأدلة المهيكلة من نموذج لغوي كبير، محققاً مقياس F1 كلي قدره 0.6133 على مجموعة اختبار عامة.

المؤلفون الأصليون: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

نُشر 2026-07-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تخمين شعور شخص ما بمجرد مشاهدة مقطع فيديو قصير له وهو يتحدث. لا يقتصر الأمر على مجرد رصد ابتسامة أو عبوس؛ بل يتعلق بالتقاط تلك اللحظات المحيرة والمتضاربة، حيث يقول الشخص "أنا بخير تماماً!" بينما يتهدج صوته، وتتحرك عيناه بعيداً، ويتوتر في حركاته في آن واحد. يطلق العلماء على هذه الحالة اسم "الازدواجية" أو "التردد". إنها تلك المنطقة الوسطى المربكة بين "نعم" و"لا"، وهي سبب رئيسي وراء استسلام الناس غالباً عن محاولة تغيير عاداتهم الصحية، مثل الإقلاع عن التدخين أو بدء حمية غذائية. التحدي الذي يواجه الحواسيب هو أن هذه الإشارات المختلطة تشبه شرارات صغيرة عابرة منتشرة عبر وجه الشخص وصوته وكلماته. فإذا قمت بمجرد دمج كل تلك البيانات معاً في كومة واحدة كبيرة، سيصاب الكمبيوتر بالارتباك وسيفقد القدرة على رصد الدراما الخفية التي تحدث في الوقت الفعلي.

هنا يأتي دور PRISM-AH، وهي طريقة جديدة لتعليم الحواسيب كيفية رصد هذه المشاعر المختلطة. فبدلاً من مجرد لصق بيانات الفيديو والصوت والنصوص معاً والأمل في تحقيق أفضل نتيجة، بنى الباحثون نظاماً يعمل كالمحقق أكثر من كونه آلة حاسبة. أولاً، يقوم "كشاف" خفيف الوزن بمسح الفيديو للعثور على الأجزاء من الثانية الدقيقة التي يتناقض فيها وجه الشخص وصوته وكلماته مع بعضها البعض. ثم يكتب تقريراً قصيراً ومنظماً عن هذه اللحظات، يسلط الض الضوء فيه على التضارب. بعد ذلك، يقرأ "محقق" قوي (نموذج لغوي كبير) هذا التقرير. ولكن هنا تكمن المفاجأة: المحقق لا يخمن فحسب؛ بل يتبع كتاب قواعد محدد من "الأدلة الخبيرة" المقدمة من علماء النفس البشريين. ومن خلال الجمع بين البيانات الخام للكشاف والاستدلال الخبير للمحقق، يصبح النظام أفضل بكثير في رصد التردد.

النتائج مثيرة للإعجاب. ففي اختبار قياسي لـ 152 مقطع فيديو مخفياً، حققت هذه الطو الجديدة درجة 0.6324 (مقاسة بمعيار يسمى macro F1). ولتضع ذلك في الاعتبار، فإن أفضل محاولة سابقة، والتي استخدمت فقط ذكاءً اصطناعياً قياسياً دون هذا المنطق التحقيقي الخاص، سجلت 0.2827 فقط. وهذا يعني أن النهج الجديد أكثر دقة بمقدار 2.24 مرة من النموذج الأساسي القديم.

ومع ذلك، كانت الورقة البحثية حذرة في توضيح ما لا ينجح. فقد استبعد الباحثون صراحةً فكرة أن مجرد إضافة ميزات أكثر تعقيداً أو محاولة تكييف الذكاء الاصطناعي مع أشخاص محددين (مثل معرفة عمرهم أو جنسهم) يساعد في الأمر. في الواقع، وجدوا أن جعل النظام مرتبطاً بخصائص المشاركين جعل أداءه أسوأ عند مواجهة أشخاص جدد لم يسبق له رؤيتهم. كما اكتشفوا مفارقة مدهشة في كيفية تعامل النظام مع المعلومات المفقودة: فبينما يستخدم النظام الفيديو والصوت والنص، فإن "النص" (ما يقوله الشخص بالفعل) هو القطعة الأكثر أهمية في الأحجية. إذا أزلت اللغة، ينخفض الأداء بشكل كبير. ولكن هنا تكمن المفاجرة: إزالة الصوت لا تقلل من الأداء، مما يشير إلى أن الصوت ليس ضرورياً لعملية اتخاذ القرار في هذا الإعداد المحدد.

تشير الدراسة إلى أن "الخلطة السرية" ليست مجرد امتلاك المزيد من البيانات، بل امتلاك النوع الصحيح من الاستدلال. فجزء "المحقق" من النظام لم يعمل إلا عندما زُوّد بكتاب القواعد الخاص بالأدلة الخبيرة؛ فبدون تلك المعرفة، عاد أداء النظام إلى مستوى النموذج الأساسي. وخلص المؤلفون إلى أنه بينما يعد نظامهم الحالي خطوة كبيرة للأمام، فإن المسار الأكثر واعدية للتحسينات المستقبلية يكمن في جعل فهم اللغة أقوى، بما أن الكلمات هي المحرك الرئيسي للقرار. لم يدّعوا أنهم حلوا مشكلة قراءة المشاعر البشرية إلى الأبد، لكنهم أثبتوا أن النهج المنظم والموجه بالمعرفة يتفوق بمراحل على مجرد رمي كل شيء في الخلاط.

ملخص تقني: PRISM-AH

تعريف المشكلة

تتناول الورقة البحثية تحدي التعرف على التردد والازدواجية (Ambivalence and Hesitancy - A/H) في التدخلات القائمة على الفيديو لتغيير السلوك الصحي. يمثل التردد والازدواجية حالة عاطفية متضاربة بين توجهات إيجابية وسلبية تجاه فعل ما، مما يؤدي غالباً إلى تأخير أو التخلي عن تغيير السلوك.

تكمن الصعوبة الجوهرية في طبيعة الأدلة:

الندرة والمحلية: تكون الإشارات المميزة نادرة وموضعية في الزمن بدلاً من كونها موزعة بانتظام عبر الفيديو.
التضارب بين القنوات: غالباً ما تنشأ أكثر الأدلة موثوقية من الصراعات بين الوسائط (على سبيل المثال، التأكيد اللفظي المصحوب بنظرة عين متحاشية) بدلاً من الإشارات القوية داخل قناة واحدة.
التباين الفردي: يظهر الأفراد التردد بطرق مختلفة، كما أن المجموعة المرجعية الموسومة (BAH) ذات حجم متواضع.
قصور الدمج القياسي: يؤدي التطبيق المباشر للدمج متعدد الوسائط القياسي على الميزات الكثيفة لكل إطار إلى دقة منخفضة لأن تجميع الميزات يضعف المحلية الزمنية ويفشل في التقاط التضارب بين القنوات.

المنهجية: PRISM-AH

ينطلق الإطار المقترح، PRISM-AH (الاستدلال التنبئي عبر التدفقات المتفاعلة للتعرف على الازدواجية/التردد متعدد الوسائط)، بعيداً عن دمج الميزات القياسي. بدلاً من ذلك، يعيد صياغة المهمة كعملية استدلال موجه بالمعرفة على أدلة متعددة الوسائط مهيكلة وموسومة زمنياً. تتكون البنية من مرحلتين رئيسيتين:

1. استخراج الأدلة المهيكلة (الشبكة التمييزية)

تقوم شبكة متعددة الوسائط خفيفة الوزن بمعالجة نوافذ الفيديو (0.5 ثانية) لإنشاء ملخص مدمج وقابل للتفسير بدلاً من متجه واحد مجمع.

المشفرات (Encoders): تُستخدم مشفرات تأسيسية مجمدة لكل وسيط:
- الرؤية: نماذج CLIP-family ViT لإطارات الوجه.
- الصوت: نموذج WavLM للكلام.
- النص: نموذج MPNet للنصوص المكتوبة.
- النبرة/الاضطراب الكلامي: يتم حساب أوصاف صريحة (طبقة الصوت، الطاقة، الوقفات، الحشو اللغوي، إل_خ) لكل نافذة.
مركز التفاعل (Interaction Hub): يتم إسقاط القنوات إلى أبعاد مشتركة وتعديلها بواسطة بيانات المشارك الوصفية عبر التعديل الخطي المعتمد على الميزة (FiLM). تستخدم مجموعة من كتل التفاعل "الانتباه المتبادل" (cross-attention) و"الانتباه الذاتي الزمني" لربط القنوات ببعضها.
توليد الإشارات: تصدر الشبكة إشارات محددة لإثراء الأدلة:
- درجة الصراع (Conflict Score): تقيس بوضوح التضارب بين القنوات عبر التباين الجيبي لـ جيب التمام الزاوي ( $d_{va}, d_{v\tau}, d_{a\tau}$ ).
- مفاجأة التردد (Hesitation Surprise): مكون تنبئي (مستوحى من JEPA) يتوقع حالة المركز التالية؛ حيث تشير أخطاء التنبؤ إلى انقطاع في الاستمرارية السلوكية.
- مطابقة النماذج الأولية (Prototype Matching): يقوم بنك من النماذج الأولية القابلة للتعلم بتعيين تسميات أنماط قابلة للتفسير للنوافذ.
المخرج: تنتج الشبكة احتمالية تمييزية على مستوى الفيديو وملخص أدلة مهيكل يحتوي على الطوابع الزمنية، والوسائط المهيمنة، ودرجات الصراع، ومقاطع النصوص.

2. الاستدلال الموجه بالمعرفة والدمج المتأخر

يعمل نموذج لغوي كبير (LLM) كمستدل، يعمل بطريقة "التعلم الصفري" (zero-shot) على الأدلة المهيكلة.

التلقين (Prompting): يتلقى النموذج الملخص الأدلة تحت تلقين يرمز صراحةً إلى تصنيف الإشارات الخبير الخاص بمعيار BAH. يوفر هذا المعرفة بالمجال اللازمة لتفسير الإشارات الدقيقة.
الحكم (Verdict): يعيد النموذج اللغوي حكماً مع درجة ثقة ومبررات تستشهد باللحظات الحاسمة.
الدمج: يتم دمج احتمالية الاستدلال ( $q$ ) مع الاحتمالية التمييزية ( $p$ ) عبر دمج متأخر محدب: $p_{final} = (1 - \omega)p + \omega q$ . يتم معايرة الوزن $\omega$ والعتبة على قسم التحقق لزيادة مقياس Macro F1 إلى أقصى حد.

المساهمات الرئيسية

إعادة صياغة المهمة: ينقل هذا العمل المهمة من دمج الميزات الكثيفة إلى الاستدلال على الأدلة المهيكلة والموسومة زمنياً، محققاً Macro F1 قدره 0.6324 على قسم الاختبار الخاص (تحسن بمقدار 2.24 ضعف مقارنة بالخط المرجعي للتعلم الصفري البالغ 0.2827).
طبقة الاستدلال الموجه بالمعرفة: تقديم مستدل يعتمد على نموذج لغوي كبير (LLM) يفسر الأدلة تحت ترميز صريح لتصنيف الإشارات الخبير. تؤكد الدراسات المنضبطة أن التصنيف المشفر هو العنصر الأساسي لتحقيق مكاسب الأداء؛ حيث يؤدي إزالته إلى تلاشي التحسن.
التحليل التجريبي الصارم: دراسة منضبطة عبر ثلاث بذور (seeds) تقيس مساهمات الوسائط والمتانة. وتحدد اللغة كمحرك أساسي للأداء التنبئي وتوضح أن الشرط بناءً على سمات المشاركين لا ينتقل إلى الأجزاء المتباينة للمشاركين.

النتائج التجريبية

الأداء: في قسم الاختبار الخاص، يحقق PRISM-AH مقياس Macro F1 قدره 0.6324. وفي قسم الاختبار العام، تصل الشبكة التمييزية وحدها إلى 0.5790، والتي تتحسن إلى 0.6133 بإضافة الاستدلال الموجه بالمعرفة.
ضرورة طبقة الاستدلاء:
- سعة النموذج: لم يحقق نموذج بـ 7 مليارات معلمة أي تحسن (وزن الدمج = 0)، بينما رفع نموذج بـ 14 مليار معلمة النتيجة إلى 0.6070، مما يشير إلى الحاجة لقدرة استدلال كافية.
- اختبار حذف التلقين (Ablation): أدت إزالة تصنيف الإشارات الخبير من التلقين إلى إلغاء المكسب (العودة إلى 0.5825)، بينما أدت إزالة الأدلة المهيكلة إلى الاحتفاظ بالمكسب (0.6147). يشير هذا إلى أن المعرفة بالمجال هي الأكثر أهمية من تنسيق الأدلة المحدد للمستدل.
تحليل الوسائط:
- أدت النماذج أحادية الوسيط (الرؤية، الصوت، النص) أداءً متقارباً (Macro F1 ~0.55–0.56).
- هيمنة اللغة: تسبب إزالة قناة اللغة في أكبر انخفاض في الأداء (0.5735 $\to$ 0.4982)، مما يؤكد أن النص هو القناة الحاسمة.
- الشرط بناءً على المشارك: أدت إزالة التكييف مع بيانات المشارك في الواقع إلى تحسين درجة الاختبار العام (0.5570 $\to$ 0.6140)، مما يشير إلى أن سمات المشاركين تناسب توزيع التدريب ولكنها لا تتعمم على الأفراد غير المرئيين.
المتانة: أظهر النظام فجوات أداء ضيقة عبر المجموعات الفرعية للجنس والعمر.

الأهمية والادعاءات

تدعي الورقة أن المصدر الرئيسي لتحسن الأداء هو طبقة الاستدلال الموجه بالمعرفة، وتحديداً الترميز الصريح لتصنيف الإشارات الخبير. تشير الدراسة إلى أنه في المهام التي تكون فيها الأدلة نادرة، وموضعية، ومعرّفة من خلال التضارب بين الوسائط، فإن تجريد الفيديو إلى أدلة مهيكلة وتطبيق استدلال مرتكز على المجال أكثر فعالية من دمج الميزات الكثيفة.

يخلص المؤلفون إلى أن العمود الفقري التمييزي المدمج هو الخيار الأفضل، حيث ساهمت الإشارات الهيكلية المساعدة (درجات الصراع، إشارات المفاجأة) بشكل هامشي في الإعداد التمييزي فقط. المسار الأكثر واعداً للتحسين المستقبلي هو الترسيخ اللغوي الأقوى، وهو ما يتوافق مع النتيجة التي تفيد بأن اللغة هي القناة الحاسمة للتعرف على التردد والازدواجية (A/H). يتجنب النهج الاعتماد المفرط على التكييف الخاص بالمشارك، مفضلاً تكويناً يعمم على الأفراد غير المرئيين.