ملخص تقني: الإشراف الهندسي السلوكي يوفق بين نماذج التأسيس المرئي وإدراك البشر الاجتماعي

1. بيان المشكلة

تفشل نماذج التأسيس المرئي الحالية، حتى تلك ذات البنى المتطورة ذاتية الإشراف مثل V-JEPA 2، في استيعاب كيفية تنظيم البشر للمعلومات الاجتماعية في المشاهد الديناميكية. وبينما تتفوق هذه النماذج في تصنيف الأفعال (مثل التمييز بين "الرقص" و"الطبخ")، إلا أنها تعجز بشكل منهجي عن تفسير أحكام التشابه الاجتماعي البشري مقارنة بالنماذج اللغوية. وتحديداً، تتفوق تضمينات الجمل القائمة على النصوص (مثل MPNet) باستمرار على مشفرات الفيديو المدربة مسبقاً في التنبؤ بأحكام التشابه البشري لمقاطع الفيديو الاجتماعية. يشير هذا إلى وجود "فجوة تمثيلية": أهداف التدريب المسبق للفيديو تغفل البنية العلاقاتية والعاطفية المتأصلة في الإدراك الاجتماعي البشري. علاوة على ذلك، تعتمد طرق المحاذاة الحالية غالباً على بيانات fMRI المكلفة ("ضبط الدماغ") أو تركز على الصور الثابتة، مما يترك تساؤلاً مفتوحاً حول ما إذا كان الإشراف السلوكي القابل للتوسع يمكن أن يستحث بنية بصرية اجتماعية تشبه البشر في نماذج الفيديو.

2. المنهجية

2.1 بناء مجموعة البيانات

قام المؤلفون ببناء معيار بشري واسع النطاق للتشابه في الفيديو الاجتماعي الديناميكي:

• المحفزات: 250 مقطع فيديو طبيعي لتدخلات اجتماعية بين شخصين لمدة 3 ثوانٍ من مجموعة بيانات Moments in Time.
• المهمة: نموذج الثلاثيات "العنصر الغريب" (OOO)، حيث يحدد المشاركون الفيديو "الغريب" من بين ثلاثة، مما يحدد ضمنياً الزوج المتبقي كأكثر تشابهاً.
• النطاق: تم جمع 49,484 حكماً من 245 مشاركاً.
• الهيكل: ضمنت خوارزمية تغطية المجموعة الجشعة ظهور كل زوج من الفيديوهات في ثلاثية واحدة على الأقل. تم تقسيم البيانات إلى 200 فيديو للتدريب و50 فيديو للاختبار (منفصلة عن المحفزات).
• الحقيقة الأرضية (Ground Truth): يتم تمثيل التشابه البشري كمصفوفة تشابه تمثيلي (RSM) بناءً على تكرار أحكام التشابه الزوجي.

2.2 الإشراف الهندسي السلوكي (BGS)

المساهمة الجوهرية هي الإشراف الهندسي السلوكي (BGS)، وهو هدف تدريب هجين مصمم لمحاذاة هندسة التضمينات لنماذج الفيديو مع أحكام التشابه البشرية.

• البنية: تم تطبيقه عبر التكيف منخفض الرتبة (LoRA) على أربعة نماذج خلفية متنوعة من محولات الرؤية (ViT): V-JEPA 2، V-JEPA 2.1، TimeSformer، VideoMAE، وCLIP. يقوم هذا بتحديث أقل من 2% من المعلمات.
• دالة الخسارة الهجينة ($L_{hybrid}$): تجمع بين القيود المحلية والعالمية:
  1. خسارة الثلاثيات ($L_{triplet}$): تفرض قيوداً محلية حيث تكون المسافة بين المرتكز والزوج الإيجابي أصغر من المسافة إلى الزوج السلبي (الغريب) بهامش $\gamma$.
  2. خسارة RSA ($L_{RSA}$): تفرض هندسة عالمية من خلال محاذاة مصفوفة المسافات الزوجية للنموذج مع مصفوفة RSM البشرية باستخدام تحليل التشابه التمثيلي (RSA). يتم تطبيق هذا المصطلح 6 مرات لكل حقبة (epoch) على مجموعة فرعية من الفيديوهات لإدارة الذاكرة.
• جدول التدريب: يتم ضبط النموذج بدقة لمدة 50 حقبة. يتم رفع وزن خسارة RSA ($\beta$) خطياً من 0.3 إلى 0.7، مما يعطي الأولوية لصحة الثلاثيات المحلية في البداية والهيكل العالمي لاحقاً.

2.3 الضوابط والمقارنات المرجعية

لعزل آلية التحسين، قارن المؤلفون BGS مقابل:

• النماذج المرجعية المدربة مسبقاً: 12 مشفر فيديو، 2 مشفر صور، تانماذج لغوية بصرية (VLMs)، و22 نموذج تضمين جمل (باستستخدام وصف الفيديو).
• الدراسات الاستئصائية (Ablations): خسارة الثلاثيات فقط، خسارة RSA فقط، ومتغير الثلاثيات المتوافق مع الميزانية.
• ضبط تقطير اللغة: نموذج تم تدريبه باستخدام نفس خسارة الهجين ولكن باستخدام تضمينات نصوص MPNet كهدف إشرافي بدلاً من الأحكام السلوكية البشرية.

2.4 مقاييس التقييم

• الأساسي: مربع ارتباط سبيرمان ($R^2$) بين مصفوفات RSM للنموذج ومصفوفات RSM البشرية (سقف موثوقية نصف المجموعة $R^2 = 0.213$).
• الثانوي:
  • تقسيم التباين: تفكيك التباين المفسر إلى مكونات فريدة للفيديو، فريدة للغة، ومكونات مشتركة.
  • المجسات الخطية (Linear Probes): اختبار السمات الاجتماعية-العاطفية الناشئة (التكافؤ، الاستثارة، الهيمنة، الحميمية، التواصل) دون إشراف صريح.
  • التعميم خارج التوزيع (OOD): النقل صفري المعلمات (zero-shot) إلى مجموعة بيانات PHASE (التفاعلات الاجتماعية الهندسية المجردة).
  • التعرف على الأفعال: الحفاظ على الأداء في التعرف على الأفعال في UCF101.
  • تحليل الانتباه: استخدام "تدحرج الانتباه المكاني" (spatial attention rollout) لمراقبة التحولات في التركيز.

3. النتائج الرئيسية

3.1 سد فجوة الأداء

• العجز في التدريب المسبق: لم يطابق أي نموذج فيديو مدرب مسبقاً أداء أفضل مشفر جمل (MPNet، $R^2 = 0.134$). حقق أفضل نموذج فيديو مدرب مسبقاً (X3D-M) فقط $R^2 = 0.124$.
• نجاح BGS: أدى الضبط الدقيق باستخدام BGS إلى تحسين الأداء بشكل كبير. وصل أفضل نموذج، V-JEPA 2.1 (المقطر)، إلى $R^2 = 0.165$ (78% من سقف الضوضاء)، ووصل V-JEPA 2 (الكبير) إلى $R^2 = 0.172$. وكلاهما تجاوز خط أساس MPNet.
• ضرورة الهدف الهجين: تفوقت خسارة الهجين على متغيرات الثلاثيات فقط ($R^2 = 0.158$) وRSA فقط ($R^2 = 0.131$). والأهم من ذلك، فشل ضبط تقطير اللغة في إعادة إنتاج هذه المكاسب ($R^2 = 0.123$)، مما ينفي أن الآلية هي مجرد نقل بسيط للوصف النصي.

3.2 البنية الاجتماعية-العاطفية الناشئة

• التباين الفريد: كشف تقسيم التباين أن النماذج التي تم ضبطها بدقة التقطت التباين الفريد في الأحكام البشرية الذي لم تستطع تضمينات الوصف النصي التقاطه ($R^2$ للتباين الفريد للفيديو تضاعف من 0.02 إلى 0.04).
• السمات غير المشرفة: على الرغم من عدم التدريب أبداً على تسميات السمات، طورت النماذج المحاذية لـ BGS تمثيلات قابلة للفك الخطى لـ التكافؤ، والاستثارة، والهيمنة. فشل نموذج ضبط تقطير اللغة في استعادة هذه السمات في 4 من أصل 5 أبعاد.

3.3 التعميم والحفاظ

• النقل صفري المعلمات: حققت النماذج المحاذية لـ BGS دقة 81% على مجموعة بيانات PHASE (التفاعلات الاجتماعية المجردة)، مما يطابق مستويات الاتفاق البشري ويتفوق بشكل كبير على خط الأساس المدرب مسبقاً (55%). وهذا يثبت القدرة على التعميم إلى محفزات خارج التوزيع (OOD).
• التعرف على الأفعال: حافظ الضبط الدقيق على (وحسن قليلاً لـ V-JEPA 2.1) أداء التعرف على الأفعال في UCF101، مما يشير إلى عدم حدوث نسيان كارثي لقدرات التدريب المسبق.

3.4 التحولات الميكانيكية

• إعادة تنظيم الانتباه: أظهر تحليل تدحرج الانتباه تحولاً منهجياً في التركيز المكاني. ركزت النماذج المدربة مسبقاً على مناطق بؤرية واحدة (مثل الجذع)، بينما أعادت النماذج المضبوطة توزيع الانتباه إلى المناطق ذات المعلومات الاجتماعية: الوجوه، اتجاهات النظر، الأيدي المتفاعلة، وكلا الوكيلين. حدث هذا التحول دون أي إشراف مكاني أثناء التدريب.

4. الأهمية والادعاءات

يدعي البحث أن الإدراك الاجتماعي في نماذج الفيديو هو خاصية كامنة تصبح متاحة من خلال الإشراف السلوكي خفيف الوزن. المساهمات الرئيسية هي:

1. إثبات وجود فجوة تمثيلية: التدريب المسبق الحالي للفيديو يفتقر إلى البنية البصرية-الاجتماعية، والتي يتم التقاطها بشكل أفضل بواسطة النماذج اللغوية حتى يتم تطبيق محاذاة سلوكية محددة.
2. محاذاة قابلة للتوسع عبر BGS: نجح الإشراف الهندسي السلوكي في استحثاث بنية تشابه اجتماعي بشرية في نماذج خلفية متنوعة باستخدام إشارة مدمجة (LoRA، أقل من 2% من المعلمات) وبيانات سلوكية، دون تكاليف البنية التحتية لـ "ضبط الدماغ" القائم على fMRI.
3. ما وراء تقطير اللغة: المكاسب ليست مجرد نتيجة للتعلم من النصوص. يلتقط BGS بنية بصرية-اجتماعية فريدة (مثل النظر، ديناميكيات التفاعل) تفتقدها تضمينات اللغة، كما يستعيد أبعاداً عاطفية-اجتماعية قابلة للتفسير دون تسميات صريحة.
4. المتانة: تتعمم الطريقة على التفاعلات الاجتماعية المجردة خارج التوزيع وتحافظ على قدرات التعرف على الأفعال القياسية.

يخلص المؤلفون إلى أن البيانات السلوكية العلاقاتية تقدم شكلاً متميزاً من المحاذاة، حيث توجه نماذج الفيديو نحو فهم بصري اجتماعي يشبه البشر من خلال تشكيل البنية الهندسية للتضمينات لتطابق أحكام التشابه البشرية.