💻 computer science

BROTHER: Behavioral Recognition Optimized Through Heterogeneous Ensemble Regularization for Ambivalence and Hesitancy

تقترح هذه الورقة BROTHER، وهو إطار عمل متعدد الوسائط عالي الانتظام يستخدم تحسين سرب الجسيمات لدمج مصنفات متنوعة تعتمد على سمات بصرية وصوتية ولغوية إحصائية متخصصة، محققاً ذروة في مقياس Macro F1-score تبلغ 0.7465 في التعرف على الحالات السلوكية المعقدة للتردد والارتباك في مقاطع الفيديو الطبيعية.

المؤلفون الأصليون: Alexandre Pereira, Bruno Fernandes, Pablo Barros

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexandre Pereira, Bruno Fernandes, Pablo Barros

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان شخص ما متحمسًا حقًا لفكرة جديدة، أم أنه يتظاهر فقط بالحماس بينما يشعر في أعماقه بعدم اليقين أو الصراع أو التردد. هذا هو تحدي اكتشاف الازدواجية والتردد (Ambivalence and Hesitancy - A/H).

على عكس الـ "نعم!" الواضحة أو الـ "لا!" الصاخبة، فإن الازدواجية هي حالة "ربما... ولكن..." الهادئة والفوضوية التي تحدث داخل رأس الشخص. ومن الصعب رصدها لأنها لا تظهر على شكل ابتسامة عريضة أو عبوس؛ بل هي صراع خفي بين ما يقوله الشخص، وكيف يبدو صوته، وكيف تبدو تعابير وجهه.

تصف هذه الورقة البحثية نظامًا حاسوبيًا ذكيًا يسمى BROTHER (التعرف السلوكي المحسن من خلال التنظيم المتجانس للمجموعات) المصمم لحل هذا اللغز. إليك كيف يعمل، مشروحًا ببساًطة:

1. الحواس الأربع (البيانات)

معظم أجهزة كشف المشاعر تكتفي بمراقبة الوجه فقط. ولكن للإمساك بشخص "واقف على الحافة"، يستخدم BROTHER أربع حواس مختلفة، مثل محقق يجمع الأدلة:

العينان (البصري): يراقب إطارات الفيديو. ولكن بدلاً من مجرد البحث عن ابتسامة، فإنه يستخدم ذكاءً اصطناعيًا فائق الذكاء (SigLip2) لفهم سياق الوجه. كما يقوم بتنقية الفيديو لتجاهل اللحظات الضبابية أو لحظات ضبط الكاميرا.
الأذنان (الصوتي): يستمع إلى الصوت. هو لا يسمع الكلمات فحسب، بل يسمع النبرة، والوقفات، والإيقاع. هل الصوت مهتز؟ هل هناك صمت طويل قبل الإجابة؟ (باستخدام أداة تسمى HuBERT).
الكلمات (النص): يقرأ النص المكتوب. يبحث عن عبارات محددة يستخدمها الناس عندما يكونون غير متأكدين، مثل "أظن"، "ربما"، أو "من ناحية أخرى". (باستخدام أداة تسمى F2LLM).
"اختبار الأجواء" (النمط الإحصائي): هذا هو المكون السري للورقة البحثية. تخيل أخذ الحواس الثلاث الأولى وتحويلها إلى أرقام لإيجاد الأنماط. هل توقف الشخص لمدة ثانيتين؟ هل كرر كلمة ثلاث مرات؟ هل انخفض صوته؟ هذا النمط يحول البيانات الخام إلى "ملخص سلوكي" يسلط الضوء على التردد.

2. لجنة الخبراء (المصنفات)

بدلاً من توظيف ذكاء اصطناعي واحد لاتخاذ القرار النهائي، بنى المؤلفون لجنة من 15 خبيرًا.

أخذوا كل التشكيلات الممكنة من الحواس الأربع (على سبيل المثال: النص فقط، أو الصوت + الفيديو معًا، أو الحواس الأربعة معًا).
لكل تشكيل، جربوا ثلاثة أنواع مختلفة من "الأدمغة" (نماذج تعلم الآلة):
- المفكر العميق (MLP): شبكة عصبية جيدة في إيجاد الأنماط المعقدة.
- حارس الغابة (Random Forest): جيد في التعامل مع البيانات الفوضوية والمختلطة.
- المتعلم المتسلسل (GBDT): جيد في التعلم من أخطائه خطوة بخطوة.
اختبروا جميع التشكيلات الـ 45 (15 إعدادًا × 3 أدمغة) واحتفظوا فقط بـ أفضل أداء لكل إعداد محدد. هذا ضمن امتلاكهم لأقوى فريق ممكن.

3. المدرب الذكي (تحسين سرب الجسيمات - PSO)

الآن، لدينا 15 خبيرًا مختلفًا، كل منهم يقدم صوت "نعم" أو "لا". كيف نقرر لمن نستمع؟

إذا جعلتهم يصوتون بالتساوي، فقد يطغى الخبراء الواثقون بصوت عالٍ ولكنهم مخطئون على الخبراء الهادئين والصحيحين. وأيضًا، إذا تركتهم يصوتون بناءً على ما تعلموه في التدريب فقط، فقد يقومون بمجرد حفظ الإجابات (Overfitting) ويفشلون عند اختبار أشخاص حقيقيين.

لذا، استخدموا مدربًا ذكيًا يسمى تحسين سرب الجسيمات (PSO).

التشبيه: تخيل سربًا من الطيور يبحث عن أفضل مكان للهبوط. "الطيور" هي أوزان التصويت. يقوم المدرب بتحريكها لإيجاد التوازن المثالي حيث يؤدي الفريق أفضل أداء.
العقوبة: لدى المدرب قاعدة خاصة: "إذا تدربت بقوة وحصلت على درجة مثالية ولكنك فشلت في الاختبار الحقيقي، فستتعرض لعقوبة". هذا يجبر اللجنة على تعلم قواعد عامة بدلاً من حفظ إجابات محددة.
النتيجة: اكتشف المدرب أن خبير النصوص هو الأكثر أهمية، لكنه يحتاج إلى مساعدة خبراء الصوت والرؤية لرصد لحظات التردد الدقيقة.

4. النتيجة

عندما اختبروا هذا النظام على أشخاص لم يسبق له رؤيتهم من قبل:

حقق درجة 0.7465 (وهي درجة عالية جدًا لهذه المهمة الصعبة).
أثبتوا أن الكلمات هي الدليل الأكبر، ولكن لا يمكنك تجاهل الصوت والوجه.
والأهم من ذلك، من خلال معاملة الازدواجية كـ صراع بين إشارات مختلفة وليس كمجرد شعور واحد، أصبح النظام أفضل بكيد في فهم عدم اليقين البشري.

الخلاصة الكبرى

إن اكتشاف التردد لا يتعلق بالبحث عن وجه "حزين" أو "سعيد" واحد. بل يتعلق بالاستماع إلى القصة الكاملة: ماذا يقولون، وكيف يقولونه، وكيف يبدون، كل ذلك في وقت واحد. من خلال استخدام فريق من خبراء الذكاء الاصطناون المتخصصين ومدرب ذكي لموازنة آرائهم، أصبح بإمكان BROTHER أخيرًا سماع الـ "ربما" التي قد يغفل عنها البشر.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "BROTHER: التعرف على السلوك عبر التنظيم المتجانس للمجموعات لضبط التردد والازدواجية".

1. بيان المشكلة

تعالج الورقة تحدي التعرف على الازدواجية والتردد (Ambivalence and Hesitancy - A/H) في بيئات الفيديو الطبيعية. وخلافًا للعواطف الأساسية (مثل الفرح أو الغضب) التي غالبًا ما تكون متميزة وثابتة، تمثل حالة (A/H) حالة نفسية دقيقة تقع في "منطقة رمادية"، وتتميز بالصراع الداخلي والتحولات الزمنية.

التحديات الرئيسية:
- الدقة واللطافة: تظهر حالة (A/H) من خلال إشارات دقيقة (micro-cues) في وتيرة الكلام، واختيار الكلمات، ونبرة الصوت، بدلاً من التعبيرات الوجهية الصريحة.
- التعقيد متعدد الوسائط: يتطلب اكتشاف (A/H) دمج البيانات المرئية، والصوتية، واللغوية عبر الزمن.
- خطر الإفراط في التخصيص (Overfitting): غالبًا ما تقوم أنظمة التعرف على العواطف القياسية بفرض المدخلات في فئات ثابتة، مما يؤدي إلى الفشل في التقاط التناقضات والتحولات الزمنية المتأصلة في (A/H). علاوة على على ذلك، فإن مسارات المعالجة متعددة الوسائط المعقدة عرضة للإفراط في التخصيص على بيانات التدريب، مما يؤدي إلى ضعف التعميم على البيانات الجديدة "في الواقع" (in-the-wild).

2. المنهجية

يقترح المؤلفون مسار دمج متعدد الوسائط عالي التنظيم يسمى BROTHER. يتكون النهج من أربع مراحل رئيسية:

أ. استخراج الميزات متعددة الوسائط

يستخرج النظام ميزات من أربع وسائط متميزة باستخدام نماذج تأسيسية متطورة:

المرئية (Visual): يستخدم نموذج SigLip2 (نموذج رؤية ولغة) لاستخراج التضمينات من إطارات الوجوه المقطوعة (المكتشفة عبر RetinaFace). يتم تصفية الميزات من الضجيج (باستخدام الانحراف المطلق للوسيط) وتجميعها عبر المشتقات العادية والأولى والثانية للحفاظ على الديناميكيات الزمنية، مما ينتج متجهًا بـ 2304 بُعدًا يتم تقليصه إلى 512 عبر تحليل المكونات الرئيسية (PCA).
الصوتية (Audio):ًا يستخدم نموذج HuBERT لاستخراج تضمينات صوتية غير خاضعة للإشراف من قطع مدتها ثانية واحدة، مما يلتقط الإشارات غير اللغوية مثل النبرة والإيقاع.
النصية (Textual): يستخدم نموذج F2LLM (الذي تم ضبطه بدقة لنماذج اللغات الكبيرة) لتضمين نصوص الفيديو الكاملة، مما يلتقط العامية الأصيلة والسياق العالمي.
الإحصائية (الوسيط الرابع): وسيط مبتكر مشتق رياضيًا من الوسائط الثلاثة الأولى. يقوم بتجميع الأنماط الزمنية والهيكلية (الحد الأدنى، الحد الأقصى، المتوسط، الانحراف المعياري) لتلخيص التردد الموضعي والازدواجية الأوسع.
- الإحصائيات المرئية/الصوتية: تشمل نسب القطع الصالحة، والمركز الطيفي، وتباين طبقة الصوت، ونسب الصمت.
- الإحصائيات النصية: صُممت خصيصًا لاكتشاف اللغة المترددة (الكلمات الحشوية، التردد، التصحيحات) عبر تشابه جيب التمام على مستوى الجملة، واللغة المزدوجة عبر استراتيجيات تضمين قائمة على التلقين (prompt-based) تستهدف الأقطاب المحايدة، والسلبية، والإيجابية، والمختلطة.

ب. لجنة التصنيف المتجانسة

بدلاً من نموذج واحد، يدرب المؤلفون "لجنة" من النماذج للتعامل مع الـ 15 تركيبة محتملة من الوسائط الأربعة ( $2^4 - 1$ ).

البنيات (Architectures): لكل تركيبة وسائط، يتم تدريب ثلاثة مصنفات متميزة:
- مدرك متعدد الطبقات (MLP) مع ضجيج غاوسي (Gaussian noise) وإسقاط (Dropout).
- غابة عشوائية (Random Forest) عبر LightGBM.
- أشجار القرار المعززة بالتدرج (GBDT) عبر LightGBM.
معايير الاختيار: يتم تقييم النماذج على مجموعة التحقق باستخدام خسارة التقاطع الثنائي المتوافق (BCE) (بدلاً من الدقة) لضمان مخرجات احتمالية جيدة المعايرة. يتم اختيار النموذج صاحب أدنى خسارة BCE كنموذج ممثل لتلك التركيبة المحددة من الوسائط، مما ينتج عنه في النهاية مجموعة مكونة من 15 نموذجًا أساسيًا محسنًا.

ج. تحسين سرب الجسيمات (PSO) للمجموعات

لدمج الـ 15 نموذجًا الأساسي، يستخدم المؤلفون تحسين سرب الجسيمات (PSO) لتحديد أوزان التصويت الصلب (hard-voting) المثلى.

التصويت الصلب (Hard Voting): خلافًا للتصويت الناعم (متوسط الاحتمالات)، يلقي كل نموذج صوتًا ثنائيًا بناءً على عتبة محسنة. القرار النهائي هو المجموع المرجح لهذه الأصوات.
دالة اللياقة المنظمة (Regularized Fitness Function): لمنع الإفراط في التخصيص، تتضمن دالة اللياقة في PSO عقوبة فجوة التدريب والتحقق ( $\lambda$ ):
$\text{Fitness} = \frac{2 \cdot F1_{val} \cdot F1_{train}}{F1_{val} + F1_{train}} - (\lambda \cdot |F1_{train} - F1_{val}|)^2$
وهذا يجبر السرب على إيجاد أوزان تعظم التعميم (F1 مرتفع للتحقق) مع تقليل الفجوة بين أداء التدريب وأداء التحقق.

3. المساهمات الرئيسية

الوسيط الإحصائي المتخصص: تقديم وسيط رابع يتكون بالكامل من ميزات إحصائية مشتقة من البيانات الخام، مصمم خصيصًا لالتقاط التباينات الزمنية والمؤشرات السلوكية (التردد/الازدواجية) التي قد تغفل عنها تضمينات التعلم العميق القياسية.
استراتيجية المجموعة المتجانسة: تجاوز البنية الواحدة، حيث توضح الورقة أن تركيبات الوسائط المختلفة تستفيد من أنواع مختلفة من المصنفات (مثل MLP للنصوص البسيطة، والغابات العشوائية للتركيبات متعددة الوسائط المعقدة).
تنظيم مدفوع بـ PSO: تنفيذ مجموعة تصويت صلب عبر PSO مع حد ديناميكي للعقوبة ( $\lambda$ ) يعمل بنشاط على إلغاء النماذج الزائدة أو المفرطة في التخصيص، مما يضمن المتانة على البيانات غير المرئية.
هندسة الميزات المدركة للسياق: استخدام استراتيجيات التضمين القائمة على التلقين والقواميس اللغوية المحددة لعزل أنماط اللغة "المترددة" و"المزدوجة" رياضيًا.

4. النتائج

تم تقييم النظام على مجموعة بيانات BAH من مسابقة ABAW العاشرة.

الأداء أحادي الوسيط: كان الوسيط النصي هو أقوى مؤشر مستقل (F1 الكلي للتحقق: 0.7275)، مما يؤكد أن السياق اللغوي أمر بالغ الأهمية لاكتشاف (A/H). أما الوسيط المرئي وحده فقد كان أداؤه ضعيفًا (F1: 0.4704)، مما يسلط الضوء على صعوبة الاكتشاف المرئي فقط لهذه الحالة.
أداء المجموعة (Ensemble):
- خوارزمية الغابة العشوائية (RF) كانت الأكثر نجاحًا كمصنف للتركيبات متعددة الوسائط عالية الأبعاد والمعقدة.
- حققت مجموعة PSO مع عقوبة بنسبة 20% ( $\lambda = 0.2$ ) أفضل النتائج على مجموعة الاختبار غير المرئية.
- درجة Test Macro F1-score: بلغت 0.7465
- درجة Test Weighted F1-score: بلغت 0.7559
- درجة Validation Macro F1-score: بلغت 0.7355
تأثير التنظيم: أجبرت زيادة العقوبة $\lambda$ عملية الـ PSO على تصفير النماذج الزائدة. عند $\lambda=0.2$ ، حقق النظام ذروة التعميم، بينما أدت العقوبات الأقل إلى الإفراط في التخصيص (F1 تدريب مرتفع، F1 اختبار منخفض).

5. الأهمية

تثبت هذه الورقة أن التعامل مع الازدواجية والتردد كـ صراع زمني متعدد الوسائط بدلاً من عاطفة ثابتة يؤدي إلى نتائج متفوقة.

التعميم: ينجح إطار العمل المقترح بفعالية في سد الفجوة بين أداء التدريب والأداء في "الواقع" من خلال معاقبة الإفراط في التخصيض صراحةً خلال مرحلة تحسين المجموعة.
القابلية للتفسير: تظهر النتائج أنه بينما تعد اللغة هي الركيزة الأساسية لاكتشاف (A/H)، فإن الدمج التآزري للإشارات المرئية والصوتية، عند وزنه بذكاء بواسطة لجنة منظمة، يوفر إطارًا قويًا للتحليل السلوكي.
التطبيق العملي: يقدم هذا النهج بديلًا قابلًا للتوسع وفعالًا حاسبيًا للنماذج التوليدية الضخمة لاكتشاف الحالات النفسية المعقدة في تطبيقات الرعاية الصحية والعلوم السلوكية.