Can Vision-Language Models Answer Face to Face Questions in the Real-World?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تستطيع نماذج الرؤية واللغة الإجابة على الأسئلة وجهاً لوجه في العالم الحقيقي؟" المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

حققت النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) نجاحاً ملحوًظاً في الاستنتاج البصري غير المتصل (مثل وصف الصور الثابتة أو تحليل مقاطع الفيديو المسجلة مسبقاً). ومع ذلك، فهي تعاني في التفاعل الموقفي في الوقت الفعلي. تحدد الورقة فجوة حرجة: النماذج الحالية ليست مصممة للتواصل مع المستخدمين "وجهاً لوجه" حيث:

• المدخلات تدفق مستمر (Streaming): يتلقى النموذج الصوت والفيديو في وقت واحد مع تطور الأحداث، بدلاً من معالجة المقطع بأكمله دفعة واحدة.
• السياق ديناميكي: غالباً ما تعتمد الأسئلة على معلومات بصرية أو سمعية مستقبلية (على سبيل المثال، "كم مرة صفقت؟" تتطلب الانتظار حتى يكتمل الفعل).
• التوقيت أمر بالغ الأهمية: يجب على النماذج تحديد متى تجيب. فالإجابة المبكرة جداً (قبل انتهاء الفعل) أو المتأخرة جداً تكسر تدفق المحادثة.
• الغموض مرتفع: تتضمن التفاعلات في العالم الحقيقي إشارات إشارية (مثل "هذا"، "ذاك"، "هنا") وتتطلب دمج الإشارات السمعية مع السياق البصري لحل الغموض.

تتحيز المعايكات الحالية نحو الاستنتاج الساكن وغير المتصل، وتفتقر إلى بُعد "متى تجيب" المطلوب للمساعدات الذكية والروبوتات البشرية.

2. المنهجية

أ. مجموعة بيانات كوالكوم للفيديو التفاعلي (QIVD)

قدم المؤلفون QIVD، وهي مجموعة بيانات ومعيار جديد مصمم لتقييم الاستنتاج السمعي البصري الموقفي عبر الإنترنت.

• جمع البيانات: 2,900 مقطع فيديو قصير (متوسط 5.1 ثانية) سجلها عمال من الجمهور باستخدام كاميرات الهواتف المحمولة أو أجهزة الكمبيوتر المحمول. يقوم المستخدمون بأداء أفعال وطرح أسئلة مفتوحة تتعلق بالمشهد في الوقت الفعلي.
• التعليقات التوضيحية: يتضمن كل فيديو:
  1. السؤال المفرغ: نص السؤال الذي تم إنشاؤه بشرياً.
  2. الإجابة النموذجية: إجابة تم إنشاؤها بشرياً.
  3. الطابع الزمني الأمثل لـ "متى تجيب": تعليق توضيحي حاسم يحدد اللحظة الدقيقة في الفيديو التي يتوفر فيها سياق كافٍ للإجابة على السؤال بشكل صحيح. وغالباً ما يحدث هذا بعد نطق السؤال.
• التصنيف: تغطي مجموعة البيانات 13 فئة دلالية، بما في ذلك عد الأفعال، والإشارة إلى الأشياء، والتكامل السمعي البصري، والأسئلة الذاتية.
• الإحصائيات الرئيسية: يبلغ متوسط الطابع الزمني للإجابة المثالية 81.47% من مدة الفيديو، مما يشير إلى أن النماذج غالباً ما تحتاج لمراقبة معظم المقطع قبل الرد.

ب. نهج التدفق الأساسي (Baseline Streaming Approach)

لمعالجة نقص النماذج القادرة على التدفق، اقترح المؤلفون مسار عمل يتكون من:

1. التعرف الآلي على الكلام التدفيقي (Streaming ASR): يستخدم Streaming-Whisper لتفريغ الأسئلة في أجزاء زمنية في الوقت الفعلي (0.25 ثانية) واكتشاف نهاية السؤال.
2. آلية التحفيز (Trigger Mechanism): يحدد النظام لحظة "متى تجيب". وبما أن نظام ASR يكتشف فقط نهاية الكلام، يجب على النظام استنتاج ما إذا كان هناك حاضٍ بصري إضافي مطلوب.
3. استنتاج LMM: يتم تغذية الفيديو/الصوت حتى نقطة التحفيز والسؤال المفرغ في هيكل LMM لتوليد الإجابة.

ج. الإعداد التجريبي

قيم المؤلفون مجموعة واسعة من النماذج:

• التقييم بدون ضبط (Zero-Shot): اختبار النماذج مفتوحة المصدر (VideoLLaMA, LLaVA-NeXT, Qwen-VL, إلخ) والنماذج مغلقة المصدر (GPT-4o, Gemini-2.5-Flash) باستخدام كل من الأسئلة والطوابع الزمنية المستمدة من ASR ومن الحقيقة الأرضية (GT).
• الضبط الدقيق (Fine-Tuning): تم ضبط نموذج VideoLLaMA2.1-7B-AV على مجموعة بيانات QIVD لاختبار ما إذا كان التكيف القائم على البيانات يمكن أن يسد الفجوة في الأداء.
• التكيف مع التدفق (Streaming Adaptation): تم تعديل Qwen2.5-Omni ليعمل في وضع التدفق، وتدريبه على إصدار رمز خاص للإشارة إلى حالة "الاستماع" مقابل "الإجابة".
• مقاييس التقييم: تم استخدام حكم يعتمد على LLM (وهو Qwen3-8B) لتحديد صحة الإجابة، إلى جانب المقاييس القياسية (BLEU, ROUGE, METEOR).

3. المساهمات الرئيسية

1. مجموعة بيانات QIVD: أول معيار مخصص للإجابة على الأسئلة المرئية الموقفية، وجهاً لوجه، عبر الإنترنت مع تعليقات توضيحية صريحة لـ "متى تجيب".
2. تقييم LMMs: تقييم شامل يكشف أن حتى النماذج المتطورة (GPT-4o, Gemini-2.5) تؤدي بشكل أسوأ بكثير من البشر في المهام الموقفية في الوقت الفعلي.
3. فعالية الضبط الدقيق: إثبات أن الضبط الدقيق على البيانات السمعية البصرية التدفقية يحسن الأداء بشكل كبير، خاصة في الاستنتاج الزمني والتكامل السمعي البصري.
4. النموذج التدفيقي الأساسي: مسار عمل عملي يجمع بين ASR التدفيقي ونماذج LMM للتعامل مع المدخلات في الوقت الفعلي، مما يسلط الضوء على الفجوة بين النماذج غير المتصلة الحالية ومتطلبات التفاعل الحي.

4. النتائج الرئيسية

فجوة الأداء

• الإنسان مقابل الذكاء الاصطنا-عي: يحقق البشر دقة تقارب 87%. بينما يحقق أفضل نموذج Zero-shot (وهو GPT-4o) حوالي 58.76% فقط (باستخدام طوابع GT الزمنية).
• الساكن مقابل الزمني: هناك انخفاض هائل في أداء النماذج في المهام الزمنية (مثل عد الأفعال) مقارنة بالمهام الساكنة (مثل كشف الأشياء).
  • عد الأفعال: البشر (85.7%) مقابل أفضل نموذج (33.5%).
  • السمعي البصري: البشر (100%) مقابل أفضل نموذج (34.8%).
• أنماط الفشل: تشمل الأخطاء الشائعة سوء تفسير الإشارات الإشارية (مثل "هذا" مقابل "ذاك")، وعدّ الأفعال بشكل غير صحيح، والارتباك في التسلسل الزمني.

تأثير الضبط الدقيق

• أدى الضبط الدقيق لنموذج VideoLLaMA2.1-7B-AV على QIVD إلى مكاسب كبيرة:
  • عد الأفعال: تحسن بنسبة +16.96%.
  • السمعي البصري: تحسن بنسبة +17.39%.
  • الذاتي: تحسن بنسبة +23.26%.
• ومع ذلك، ظل الأداء في "عد الأفعال" منخفضاً حتى بعد الضبط الدقيق (~30%)، مما يشير إلى أن البنى الحالية تفتقر إلى التحيزات الاستقرائية اللازمة للاستنتاج الزمني المعقد.

تأثير الصوت والتوقيت

• التكامل السمعي: خلافاً للتوقعات، أدى إضافة الصوت إلى نموذج مدرب مسبقاً على الرؤية فقط إلى تدهور الأداء في البداية. ومع ذلك، أدى الضبط الدقيق المتكامل (End-to-end) مع الوسائط السمعية والبصرية إلى مكاسب كبيرة عبر جميع الفئات، مما يثبت أن التكامل متعدد الوسائط يخلق قدرات ناشئة.
• متى تجيب: أدى تزويد النموذج بالطابع الزمني الصحيح لـ "متى تجيب" إلى تحسين الأداء بشكل كبير. النماذج التي أجابت قبل الأوان (بناءً على نهاية الكلام من ASR فقط) كان أداؤها ضعيفاً، مما يسلط الضوء على الحاجة لأن تستنتج النماذج "مستقبل" تدفق الفيديو.

5. الأهمية والخاتمة

تثبت هذه الورقة أنه بينما تعد نماذج LMM قوية للتحليل الساكن، إلا أنها غير مجهزة حالياً لـ التفاعل البشري الموقفي في الوقت الفعلي. وتتمثل العقبات الرئيسية في:

1. الاستنتاج الزمني: عدم القدرة على الانتظار حتى يتوفر سياق كافٍ قبل الإجابة.
2. التكامل متعدد الوسائط: الفشل في دمج التدفقات السمعية والبصرية بسلاسة لحل الغموض.
3. حل الإشارات الإشارية: صعوبة فهم المراجع المعتمدة على السياق في بيئة حية.

تعتبر QIVD خطوة أساسية لتطوير الجيل القادم من المساعدات الذكية والروبوتات البشرية. ويخلص المؤلفون إلى أنه بينما يساعد الضبط الدقيق على البيانات التدفقية، يجب أن يركز البحث المستقبلي على الابتكارات الهيكلية التي تدعم أصلاً الاستنتاج الزمني عبر الإنترنت وقدرات الاستماع النشط.