Reading Between the Frames: Interpreting Implicit and Non-literal Meaning in Social Media Videos
تقدم هذه الورقة البحثية DrivelHub+، وهو معيار مرجعي يتكون من 1,000 فيديو من وسائل التواصل الاجتماعي المشروحة والمصممة لتقييم قدرة نماذج اللغة والفيديو على استنتاج المعاني الضمنية وغير الحرفية والسياقية ثقافياً التي تتجاوز الأوصاف البصرية السطحية.
المؤلفون الأصليون:Yang Wang, Yanan Ma, Yiqi Liu, Zi Yan Chang, Chi-Li Chen, Chia-Yi Hsiao, Tyler Loakman, Aline Villavicencio, Chenghao Xiao, Chenghua Lin
تخيل أنك تسير عبر مكتبة ضخمة وصاخبة حيث الكتب هي في الواقع مقاطع فيديو قصيرة. قد يظهر مقطع فيديو لشخص يقوم ببساطة بتمزيق قطعة من الورق. يمكن لمكتبي روبوت بسيط أن يصف المشهد بسهولة: "شخص يمزق ورقة". لكن قارئاً بشرياً قد ينظر إلى نفس الفيديو ويضحك، مدركاً أن الورقة تُمزق بنمط معين يسخر سراً من شخصية تاريخية مشهورة. هذه الفجوة بين ما تراه وما تعنيه هي جوهر مجال يسمى الذكاء الاصطناعي متعدد الوسائط (Multimodal AI). كلمة "متعدد الوسائط" تعني ببساطة أن الكمبيوتر يحاول فهم مزيج من الحواس — البصر، والصوت، والنص — في آن واحد، بدلاً من مجرد قراءة الكلمات أو النظر إلى الصور وحدها. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن لهذه الحواسيب الذكية أن تتجاوز كونها مجرد واصفة بسيطة لتصبح مفسرة حقيقية؟ هل يمكنها فهم النكتة، أو رصد السخرية، أو استيعاب الإشارة الثقافية الخفية، أم أنها عالقة فقط في وصف السطح؟
هذا هو بالضبط اللغز الذي تعالجه ورقة بحثية جديدة بعنوان "القراءة بين الإطارات" (Reading Between the Frames). يقدم المؤلفون تحدياً جديداً يسمى DrivelHub+، وهو بمثبه اختبار عالي المخاطر لذكاء الفيديو الاصطناعي. لقد جمعوا 1,000 مقطع فيديو قصير من العالم الحقيقي من منصات التواصل الاجتماعي مثل تيك توك وإنستغرام. هذه ليست مجرد مقاطع عشوائية؛ إنها فيديوهات "هزلية" (drivelological). فكر في كلمة "هزل" (drivel) كأنها هراء يحتوي في الواقع على معنى ذكي وخفي تحته. قد يبدو الفيديو سخيفاً أو مربكاً للوهلة الأولى، لكنه في الواقع نكتة ذات طبقات، أو قطعة من الهجاء، أو تعليق اجتماعي حاد يعتمد على مزيج من الإشارات البصرية، والتوقيت، والمعرفة الثقافية لكي يُفهم.
وضع الباحثون لعبة مكونة من جزأين لاختبار ما إذا كانت نماذج الذكاء الاصطناعي الحالية قادرة على اجتياز الاختبار. أولاً، طلبوا من الذكاء الاصطناعي شرح الفيديو بلغة إنجليزية بسيطة. هل يمكن للكمبيوتر أن يقول: "أوه، هذا ليس مجرد رجل يمزق الورق؛ إنها نكتة سوداء عن العقوبات القديمة"؟ ثانياً، لعبوا لعبة الاسترجاع (retrieval). لقد أعطوا الذكاء الاصطناعي فيديو وطلبوا منه العثور على المعنى الخفي الصحيح من قائمة من الخيارات، أو العكس. أرادوا معرفة ما إذا كان "عقل" الذكاء الاصطناعي يستوعب حقاً الارتباط بين الفيديو السخيف ومعناه العميق، أم أنه كان يخمّن فقط بناءً على التشابهات السطحية.
كانت النتائج بمثابة صدمة للواقع. تجد الورقة البحثية أنه بينما تتحسن نماذج فيديو الذكاء الاصطناعي الأكثر تقدماً اليوم في وصف ما يحدث على الشاشة، إلا أنها لا تزال تعاني بشدة مع سؤال "لماذا". فهي غالباً ما تفقد جوهر النكتة. على سبيل المثال، عند عرض فيديو لفنان يغير اتجاه اللوحة من عمودي إلى أفقي لجعل نكتة حول كون النموذج (الـ model) عريضاً جداً، قد يصف ذكاء اصطناعي رفيع المستوى غضب الفنان بشكل صحيح، لكنه قد يخطئ تماماً في فهم التورية البصرية المتعلقة بشكل اللوحة. تشير الدراسة إلى أن هذه النماذج بارعة في التعرف على الأشياء والأفعال، لكنها لا تزال سيئة جداً في "القراءة بين الإطارات" لفهم المعنى الضمني غير المباشر. حتى النماذج التي يمكنها "التفكير" قبل الإجابة تفشل أحياناً في ربط الإشارات البصرية المحددة بالنكتة الثقافية.
باخت تختصار، تجادل الورقة بأننا لا نزال بعيدين عن امتلاك ذكاء اصطناعي "يفهم" حقاً فكاهة وسائل التواصل الاجتماعي والهجاء. يمكن للنماذج أن تخبرك ماذا يُعرض، لكنها تفشل باستمرار في استنتاج ما هو مقصود. ويخلص المؤلفون إلى أن سد هذه الفجوة يتطلب أكثر من مجرد رؤية أفضل؛ إنه يتطلب فهماً أعمق لكيفية عمل الإشارات المختلفة معاً — مثل نبرة الصوت، أو قطع معين في الفيديو، أو إشارة ثقافية — لخلق معنى ليس مذكوراً بشكل صريح. وإلى أن يحدث ذلك، قد يتمكن الذكاء الاصطناعي من وصف النكتة، لكنه على الأرجح لن يكون هو من يضحك.
ملخص تقني: القراءة ما بين الإطارات (DrivelHub+)
تعريف المشكلة
غالبًا ما تنقل فيديوهات وسائل التواصل الاجتماعي معانٍ تتجاوز أفعالها المرئية، أو تعليقاتها، أو كلامها. فقد يتحول مقطع عادي إلى محتوى فكاهي، أو ساخر، أو تهكمي فقط من خلال التفاعل بين الإشارات متعددة الوسائط والسياق الثقافي. تُقيم نماذج اللغة للفيديو (Video LLMs) والنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية بشكل أساسي بناءً على المهام الإدراكية — مثل التعرف على الأفعال، وتتبع الأشياء، والوصف السطحي — والتي تختبر قدرة النموذج على وصف ما يتم عرضه. ومع ذلك، تعاني هذه النماذج في "الفهم البراجماتي" (Pragmatic Comprehension): أي استنتاج المعاني الضمنية، وغير الخطية، والمتعددة الطبقات بلاغياً للمحتوى "الدريفلولوجي" (Drivelological).
يشير مصطلح "الدريفلولوجيا" (Drivelology) إلى التعبيرات التي تبدو تافهة، أو عبثية، أو غير منطقية في ظاهرها، ولكنها مهيكلة عمدًا لنقل معنى ضمني، مثل السخرية أو التهكم أو الملاحظة الاجتماعية. وفي الفيديو، غالبًا ما يعتمد هذا المعنى على التناقضات بين الوسائط (مثل قول عبارة مبهجة بينما تعبير الوجه يوحي بعكس ذلك)، أو النكات المتأخرة، أو التلاعب بالألفاظ البصري، أو الإشارات ذات السياق الثقافي. تركز الاختبارات المرجعية الحالية لفهم المعاني غير الحرفية (مثل كشف السخرية، أو تحديد الاستعارات) غالبًا على التصنيف، أو الاختيار من متعدد، أو الظواهر أحادية المجال، مما يفشل في استيعاب التحدي التفسيري المتمثل في شرح كيف تبني الأدلة متعددة الوسائط معنى براجماتيًا محددًا.
المنهجية
المعيار المرجعي DrivelHub+
قدم المؤلفون DrivelHub+، وهو معيار مرجعي يتكون من 1,000 فيديو قصير من منصات التواصل الاجتماعي مثل TikTok وInstagram وYouTube.
تنسيق البيانات: تم اختيار الفيديوهات بناءً على ثلاثة معايير: (1) امتلاكها لطبقة سطحية يمكن وصفها حرفيًا؛ (2) نقلها لمعنى براجماتي ضمني يتجاوز ذلك الوصف؛ (3) اعتماد المعنى على آلية "دريفلولوجية" (مثل التضليل، أو التلاعب بالألفاظ، أو المرجع الثقافي، أو التفاعل غير الخطي بين الوسائط).
التعليق (Annotation): كل فيديو مقترن بشرح سردي ضمني كتبه بشر. ركز المعلقون على النقطة الجوهرية (الفكاهة، السخرية، الموقف) بدلاً من وصف المشهد. تتضمن البيانات الوصفية (Metadata) الوسائط المحددة (النص، الصوت، البصر) اللازمة للتفسير، وعلامات المحتوى الحساس.
بيانات الوسائط (Modality Metadata): يقوم المعيار بتوصيف مصادر الأدلة (النص على الشاشة، الصوت/الكلام، المحتوى البصري) الضرورية لاستنتاج المعنى، مما يسمح بالتحليل على مستوى الوسائط.
بروتوكول التقييم
يقترح البحث إطار تقييم مستويين لتقييم ما إذا كانت النماذج قادرة على تجاوز الوصف السطحي لاستنتاج القصد:
الشرح (التوليد): يتم توجيه النماذج لتوليد شرح باللغة الطبيعية للمعنى الضمني للفيديو. يتم تقييم الأداء باستخدام بروتوكول "نموذج لغة فيديو كحكم" (باستخدام Qwen3.6-35B-A3B كحكم). يقيم المعيار الاستجابات بناءً على:
القصد الجوهري: استعادة المعنى الضمني الرئيسي.
الإشارة البلاغية: تحديد الآلية (مثل السخرية، أو التلاعب بالألفاظ).
المعنى العاطفي/الاجتماعي: التقاط الآثار العاطفية أو الاجتماعية.
الترسيخ (Grounding): الاستخدام الصحيح للأدلة متعددة الوسائط.
العقوبات: الهلوسة، الأوصاف الحرفية فقط، والغموض.
التمثيل (الاسترجاع): بتكييف منهجية "الاستدلال كاسترجاع" (Reasoning-as-Retrieval)، يختبر المؤلفون الاسترجاع ثنائي الاتجاه عبر الوسائط لمعرفة ما إذا كانت تمثيلات النماذج تربط الفيديوهات بسردياتها الضمنية.
الفيديو إلى النص: استرجاع السرد الضمني الصحيح لفيديو معين.
النص إلى الفيديو: استرجاع الفيديو المقابل لسردية معينة.
يختبر هذا ما إذا كان الفيديو وتفسيره متوافقين بشكل مستقر في مساحة التضمين (Embedding Space)، بشكل مستقل عن التداخل اللفظي السطحي.
المساهمات الرئيسية
صياغة المهمة: يصيغ البحث "الشرح الدريفلولوجي متعدد الوسائط" كمهمة محددة لتقييم المعنى البراجماتي الضمني في الفيديوهات القصيرة.
مجموعة بيانات DrivelHub+: تقديم مجموعة بيانات ومعيار مرجعي يضم 1,000 فيديو مع تعليقات سردية ضمنية مكتوبة بشرًا، تستهدف تحديدًا الحالات التي لا يكفي فيها الوصف الحرفي.
تقييم مستويين: بروتوكول مبتكر يجمع بين الشرح الحر والاسترجاع ثنائي الاتجاه بين الفيديو والنص لاختبار كل من التفسير المنطوق والاتساق على مستوى التمثيل.
رؤى تشخيصية: تحليل يكشف أن النماذج الحالية غالبًا ما تتعرف على المحتوى السطحي لكنها تفشل في شرح أو تمثيل المعاني البراجماتية الأعمق الناتجة عن التناقض متعدد الوسائط، والتلاعب بالألفاظ، والسياق الثقافي.
النتائج والتحليل
أداء الشرح
أداء النماذج: رغم أن النماذج متعددة الوسائط الحديثة الأقوى (مثل Qwen3.5-27B في وضع التفكير) تحقق توافقًا أعلى ودرجات إجمالية أفضل، إلا أن الأداء لا يزال بعيدًا عن التشبع. حقق أفضل نموذج درجة إجمالية قدرها 9.523/12.
الاستدلال مقابل الترسيخ: تحسن الأداء عمومًا باستخدام "أنماط التفكير" (سلسلة الأفكار - Chain-of-Thought)، ولكن فقط عندما ظل الاستدلال مرتكزًا على أدلة بصرية حاسمة. النماذج التي ركزت على التحولات العاطفية دون تحديد الإشارة البصرية المحددة (مثل اتجاه اللوحة) فشلت في التقاط التلاعب اللفظي.
استبعاد الوسائط (Ablations): تسبب حذف المسار البصري في تدهور كبير في الأداء، خاصة للمهام التي تعتمد على النص المرئي (OCR) أو التلاعب البصري بالألفاظ. كان حذف الصوت له تأثير متباين وأصغر غالبًا، مما يشير إلى أن الصوت يُستخدم بشكل انتقائي ويمكن أن يقدم أحيانًا إشارات مشتتة.
أداء الاسترجاع
النماذج الأصلية في التضمين مقابل النماذج التوليدية: تفوقت النماذج الأصلية في التضمين (مثل LCO-Omni, WAVE, e5-omni) بشكل كبير على نماذج الفيديو التوليدية المكيفة للاسترجاع. حقق LCO-Omni-7B أفضل نتائج في "النص إلى فيديو" (R@1 = 75.8%)، بينما حقق LCO-Omni-3B-2605 أفضل النتائج في "الفيديو إلى نص".
القصور التوليدي: واجهت النماذج التوليدية، حتى الكبيرة منها مثل Qwen3.6-35B-A3B، صعوبة كبيرة في مهام الاسترجاع (R@1 غالبًا أقل من 15% لـ "النص إلى فيديو")، مما يشير إلى أن القدرات التوليدية القوية لا تترجم تلقائيًا إلى تمثيل قوي عبر الوسائط للمعنى البراجماتي.
عدم التماثل: لم يكن أداء الاسترجاع متماثلًا؛ حيث أظهرت النماذج أداءً مختلفًا في اتجاهات "النص إلى فيديو" مقابل "الفيديو إلى نص"، مما يشير إلى تحديات متميزة في ترميز السرديات مقابل ترميز الأحداث المرصودة إلى تجريدات براجماتية.
الأهمية والادعاءات
يزعم البحث أن DrivelHub+ يوفر بيئة تشخيصية لقياس الفجوة المستمرة بين الإدراك متعدد الوسائط والفهم البراجماتي. وتظهر النتائج أنه بينما تستطيع نماذج الفيديو الحالية وصف ما يُعرض، فإنها غالبًا ما تفشل في استنتاج ما يُقصد عندما يعتمد المعنى على الإشارات البصرية الدقيقة، أو التلاعب بالألفاظ، أو المعرفة الثقافية، أو التفاعل بين الوسائط.
يؤكد المؤلفون على ما يلي:
التمثيل مقابل التوليد: القدرة على توليد شرح براجماتي والقدرة على تضمين الفيديوهات والنصوص في مساحة مشتركة للاسترجاع هما قدرتان مختلفتان. يمكن للتدريب التبايني (Contrastive training) تحسين التوافق، لكنه لا يستطيع خلق تمثيلات براجماتية قوية من نموذج أساسي ضعيف وحده.
دور الرؤية: الأدلة البصرية، بما في ذلك النص على الشاشة وتأطير المشهد، أمر بالغ الأهمية للفهم الدريفلولوجي، وغالبًا ما تكون أكثر أهمية من الصوت.
القيود: المعيار المرجعي يهيمن عليه اللغة الإنجليزية ويركز على المعنى الضمني ذي السياق الثقافي. يشير المؤلفون إلى أن الطبيعة التفسيرية للمهمة هي سمة أصيلة في الظاهرة وليست نتاجًا لطريقة البناء، وأن مجموعة البيانات تُنشر بموجب ترخيص مقيد لإدارة المحتوى الحساس بمسؤولية.
في النهاية، يجادل البحث بأن تطوير فهم الفيديو يتطلب الانتقال من مجرد التعرف والوصف إلى نماذج قادرة على استنتاج المعاني البراجماتية المتعمدة التي تُبنى من خلال التناقض متعدد الوسائط.