💻 computer science

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

تقدم هذه الورقة البحثية Know-Show، وهو معيار جديد وطريقة خالية من التدريب تسمى GRAM، لتقييم وتحسين قدرات الاستنتاج المكاني-الزماني المرتبط بالتموضع في نماذج اللغة والفيديو من خلال توحيد الاستنتاج مع التموضع البصري والزماني عبر سيناريوهات متنوعة.

المؤلفون الأصليون: Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

نُشر 2026-04-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد فيديو من كاميرا مراقبة منزلية. يدخل شخص إلى المطبخ، يفتح الثلاجة، يخرج علبة حليب، ثم يصب الحليب في كوب.

إذا سألت بشراً: "من الذي صبّ الحليب ومتى فعل ذلك؟"، يمكنه فوراً الإشارة إلى الشخص، وقول: "إنه الرجل الذي يرتدي القميص الأزرق"، وتحديد اللحظة بدقة على الساعة. إنه يعرف الإجابة ويمكنه إظهار الدليل لك.

الآن، تخيل أنك تسأل روبوتاً ذكياً جداً يعمل بالذكاء الاصطناعي نفس السؤال. تكشف لك الورقة البحثية التي شاركتها، بعنوان "Know-Show"، عن مشكلة مضحكة ولكنها خطيرة: قد يقول الروبوت: "قام شخص بصب الحليب!" (جزء الـ Know أو "المعرفة" سليم). ولكن إذا سألته: "أرني بالضبط من ومتى"، فقد يشير إلى الشخص الخطأ، أو يخمن الوقت الخطأ، أو يكتفي بالنظر إليك بجمود. إنه يعرف القصة، لكنه لا يستطيع ربطها (Grounding) بوقائع الفيديو الفعلية.

إليك تفصيل بسيط لما فعله الباحثون لإصلاح ذلك.

1. المشكلة: المحقق "المُهلوس"

نماذج الذكاء الاصطناعي للفيديو الحالية تشبه المحققين الذين قرأوا رواية غموض لكنهم لم يزوروا مسرح الجريمة قط. إنهم بارعون في تخمين الحبكة ("الخادم هو الفاعل!") لأنهم قرأوا ملايين القصص. ولكن عندما تطلب منهم الإشارة إلى اللحظة المحددة التي التقط فيها الخادم المسدس، فإنهم يتوهون.

الفجوة: يمكنهم التعرف على الأشياء (ثلاجة، يد) وفهم الزمن (أولاً هذا، ثم ذاك)، لكنهم يعانون في ربطها معاً. لا يمكنهم قول: "اليد اليسرى للشخص (أ) لمست مقبض الثلاجة في الساعة 12:05 ظهراً".
النتيجة: في العالم الحقيقي (مثل السيارات ذاتية القيادة أو المراقبة الطبية)، يعد هذا أمراً خطيراً. فإذا اعتقد ذكاء اصطناعي في سيارة أن أحد المشاة يعبر الطريق لكنه لا يستطيع تحديد أين أو متى، فقد يتسبب في حادث.

2. الحل: معيار "Know-Show"

أنشأ الباحثون اختباراً جديداً يسمى Know-Show. فكر في هذا كأنه امتحان نهائي لذكاء الفيديو الاصطناعي، ولكن مع لمسة مختلفة.

بدلاً من مجرد السؤال: "ماذا حدث؟"، يسأل الامتحان:

Know (اعرف): ماذا يحدث؟
Show (أظهر): أشر إلى الشخص أو الشيء أو اليد المعنية بالضبط، وأخبرني بالثانية الدقيقة التي حدث فيها ذلك.

يحتوي الاختبار على خمس مستويات من الصعوبة، مثل ألعاب الفيديو:

المستوى 1: أشر إلى الشخص الذي يقوم بالفعل.
المستوى 2: أشر إلى الشيء الذي يتم استخدامه.
المستوى 3: أشر إلى كلاً من الشخص والشيء معاً.
المستوى 4 (مستوى الزعيم): أشر إلى اليد المحددة التي تلمس الشيء. (هذا صعب جداً لأن الأيدي تتحرك بسرعة وصغيرة الحجم).
المستوى 5: أخبرني بالترتيب الدقيق للأحداث ومتى بدأت.

الدرجة: يحصل الذكاء الاصطناعي على نقاط فقط إذا أصاب الإجابة وأشار إلى المكان الصحيح في الوقت الصحيح. إذا أصاب الإجابة لكنه أشار إلى الشخص الخطأ، فإنه يحصل على صفر.

3. النتائج: الذكاء الاصطناوي مقابل البشر

عندما أجروا هذا الاختبار على أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-4o وGemini وغيرها)، كانت النتائج متواضعة:

البشر: سجلوا أكثر من 75%. نحن نربط الأفعال بالأشخاص والأوقات بشكل طبيعي.
نماذج الذكاء الاصطناعي: سجلت درجات منخفضة جداً (غالباً أقل من 20-30%). كانوا بارعين في تخمين الفكرة العامة ولكنهم سيئون جداً في تقديم "الدليل". غالباً ما خلطوا بين من يفعل ماذا، أو فاتتهم اللحظة الدقيقة لبدء الفعل.

4. الإصلاح: GRAM (ملحق "الكشاف الضوئي")

لم يرغب الباحثون في إعادة تدريب نماذج الذكاء الاصطناعي الضخمة (الذي يستغرق سنوات وملايين الدولارات). بدلاً من ذلك، بنوا "ملحقاً" يسمى GRAM.

فكر في GRAM كأنه كشاف ضوئي وعلامة طابع زمني للذكاء الاصطناعي:

الكشاف الضوئي (اختيار الانتباه): عندما يبدأ الذكاء الاصطناعي في التفكير المنطقي ("حسناً، من فتح الثلاجة؟")، يجبره GRAM على النظر إلى إطارات الفيديو المحددة حيث يتم فتح الثلاجة فعلياً. إنه يفلتر الخلفية الضبابية ويركز فقط على البكسلات ذات الصلة.
علامة الطابع الزمني: عادة ما يخمن الذكاء الاصطناعي الوقت بناءً على شعور غامض. يقوم GRAM بكتابة الوقت حرفياً (مثلاً "5.2 ثانية") داخل عملية التفكير الخاصة بالذكاء الاصطناعي، مما يجبره على مواءمة إجابته مع الساعة الموجودة في الفيديو.

النتيجة: عندما أضافوا هذا "الكشاف الضوئي" إلى الذكاء الاصطناعي، قفز أداؤه بشكل كبير. لم يصبح مثالياً، لكنه بدأ أخيراً في "إظهار ما يعرفه" بدلاً من مجرد التخمين.

الصورة الكبيرة

هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تخبرنا أنه بينما يتحسن الذكاء الاصطناعي في "التحدث" عن الفيديوهات، فإنه لا يزال يعاني في "رؤية" و"إثبات" ما يتحدث عنه.

قبل: كان الذكاء الاصطناعي مثل راوٍ للقصص يبتدع التفاصيل.
بعد (مع Know-Show و GRAM): نحن نعلم الذكاء الاصطناعي كيف يكون محللاً جنائياً يجب أن يدعم كل ادعاء بدليل بصري وطابع زمني.

هذا أمر بالغ الأهمية للمستقبل. إذا أردنا للروبوتات أن تساعد في المستشفيات، أو تقود السيارات، أو تراقب السلامة، فلا يمكنها مجرد التخمين؛ بل يجب أن تعرف بالضبط من فعل ماذا ومتى، وأن تكون قادرة على إظهار الدليل لنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning" (تقييم نماذج اللغة والفيديو بناءً على الاستدلال المرتبط مكانيًا وزمانيًا).

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة للفيديو (Video-LMs) الحالية خطوات كبيرة في الفهم متعدد الوسائط، لكنها تعاني من قصور حرج: استدلالها ضعيف الارتباط (weakly grounded) في المكان والزمان.

الفجوة: غالبًا ما تستطيع النماذج الحالية التعرف على الأشياء أو الترتيب الزمني التقريبي للأفعال، لكنها تفشل في الاستدلال في آن واحد حول دلالات الفعل وربط (grounding) هذا الاستدلال بأدلة بصرية دقيقة (صناديق الإحاطة - bounding boxes) وأدلة زمنية محددة (طوابع زمنية - timestamps).
عجز الـ "Know-Show": غالبًا ما "تعرف" النماذج الإجابة (يمكنها التنبؤ بالتسمية الصحيحة) لكنها لا تستطيع "إظهار" الدليل (تحديد الشخص أو الشيء أو النافذة الزمنية المحددة في الفيديو التي تبرر الإجابة). وعلى العكس من ذلك، قد تحدد كيانًا ما ولكنها تستنتج الفعل الخاطئ.
قصور المعايير الحالية: المعايير الحالية منفصلة؛ فمجموعات البيانات التي تركز على التحديد (مثل Action Genome) تركز على الكشف/التعرف دون استدلال معقد. أما مجموعات البيانات التي تركز على الاستدلال (مثل MV-Bench وSTAR) فتختبر المنطق ولكنها لا تتطلب من النموذج الإشارة إلى الدليل البصري المحدد في الفيديو. لا يوجد إطار عمل موحد لتقييم الاستدلال المرتبط مكانيًا وزمانيًا (STGR).

2. المنهجية

أ. معيار Know-Show

قدم المؤلفون Know-Show، وهو معيار جديد مصمم لتقييم STGR عبر توحيد الاستدلال والتحديد.

بناء مجموعة البيانات: تم بناؤها من Charides وAction Genome وEgo4D، وتضم 2,500 سؤال عالي الجودة من تأليف البشر.
إطار التقييم: يتكون المعيار من خمس سيناريوهات متكاملة مقسمة إلى فئتين:
1. الاستدلال المكاني المرتبط بالفعل (Action-Conditioned Spatial Grounded Reasoning):
  - الارتباط بالشخص (PGR): ربط الفعل بشخص محدد.
  - الارتباط بالشيء (OGR): ربط الفعل بشيء محدد.
  - الارتباط المشترك بين الشخص والشيء (POCoGR): ربط الفعل بكل من الكيانين المتفاعلين في آن واحد.
  - الارتباط المشترك بين اليد والشيء (HOCoGR): استدلال دقيق يربط الأفعال بأيدٍ محددة (يسرى/يمنى) وأشياء (وهو أمر بالغ الأهمية للروبوتات/الذكاء الاصطناعي المتجسد).
2. الاستدلال الزمني المرتبط بالفعل (TGR):
  - الاستدلال حول الترتيب النسبي للأفعال وطوابع بدايتها ونهايتها المطلقة.
معايير النجاح: لا يُمنح النموذج الائتمان إلا إذا أجاب بشكل صحيح على سؤال الاستدلال و قدم التحديد المكاني (صندوق الإحاطة) والزمني (الطابع الزمني) الصحيح ضمن مدة الفعل.

ب. إطار عمل GRAM (وحدة تعزيز الاستدلال المرتبط)

لمعالجة فجوة الأداء، اقترح المؤلفون GRAM، وهو وحدة لا تتطلب تدريبًا، وتعمل بنظام "التوصيل والتشغيل" (plug-and-play)، تعمل على تعزيز النماذج اللغوية للفيديو الحالية.

الآلية الأساسية 1: اختيار رموز الفيديو القائم على الانتباه (ST-GR):
- أثناء عملية فك التشفير (decoding)، عندما يولد النموذج رمزًا يشير إلى خطوة استدلال جديدة، يقوم GRAM بتجميع أوزان الانتباه عبر جميع الطبقات والرؤوس.
- يقوم باختيار أعلى $N$ من رموز الفيديو التي تم الانتباه إليها (الدليل البصري) ودمجها مع تضمينات المدخلات لفك التشفير.
- الهدف: إجبار النموذج على ربط كل خطوة استدلال بأكثر الأدلة البصرية صلة بدلاً من الاعتماد على الأولويات اللغوية (language priors).
الآلية الأساسية 2: رموز الطوابع الزمنية الصريحة (ETT):
- تعتمد النماذج الحالية على تضمينات موضعية ضمنية (مثل MRoPE) وهي غير كافية للتحديد الزمني المطلق.
- يقوم GRAM بإقحام رموز طوابع زمنية صريحة (مثل <0.0s>, <5.1s>) مع رموز إطارات الفيديو في تسلسل المدخلات.
- الهدف: تزويد النموذج بوصول مباشر إلى مراسي زمنية مطلقة لتحسين المحاذاة الزمنية.

3. المساهمات الرئيسية

معيار Know-Show: أول معيار موحد يقيم قدرة "Know-Show" (الاستدلال + الربط) عبر خمسة سيناريوهات متميزة، بما في ذلك التفاعلات الدقيقة بين اليد والشيء.
تقييم شامل: تقييم منهجي لأكثر من 10 نماذج لغوية للفيديو رائدة (بما في ذلك Qwen2.5-VL، وVideoR1، وGPT-4o، وGemini، إلخ) والأساسات البشرية.
إطار عمل GRAM: تعزيز بسيط لا يتطلب تدريبًا يعزز بشكل كبير الربط المكاني والزماني دون إعادة تدريب النموذج الأساسي.
رؤى حول قصور النماذج: تحديد أنماط فشل محددة، خاصة في الاستدلال المرتبط المشترك (شخص-شيء، يد-شيء).

4. النتائج التجريبية

فجوات الأداء

البشر مقابل النماذج: يحقق البشر أكثر من 75% دقة عبر جميع المقاييس. بينما تعاني نماذج الفيديو الحالية بشكل كبير، حيث يسجل الكثير منها أقل من 20% في المهام المعقدة المرتبطة المشتركة.
الاستدلال المكاني:
- هرمية الصعوبة: يتبع الأداء الترتيب التالي: الشخص (الأسهل) > الشيء > الشخص-الشيء > اليد-الشيء (الأصعب).
- أنماط الفشل: غالبًا ما تحدد النماذج شخصًا بارزًا ولكنها تفشل في ربطه بالفعل الصحيح ضمن النافذة الزمنية. الاستدلال بين اليد والشيء يكاد يكون مستحيلاً للنماذج الحالية بسبب الحاجة إلى كشف دقيق للتلامس ومعالجة الاحتجاب (occlusion).
الاستدلال الزمني:
- تؤدي النماذج أداءً أفضل في الترتيب الزمني النسبي (أ يحدث قبل ب) مقارنة بالتحديد الزمني المطلق (أ يحدث عند 12.5 ثانية).
- حتى النماذج المتفوقة (Gemini، GPT-4o) تظهر انحرافًا مطلقًا متوسطًا (MAD) كبيرًا في التنبؤ بالطوابع الزمنية، مما يشير إلى أنها تلتقط مناطق تقريبية وليس حدودًا دقيقة.

تأثير GRAM

التحسينات: تطبيق GRAM على Qwen2.5-VL (7B) يعزز الأداء بشكل كبير عبر جميع الفئات.
- المكاني: يرفع AccSGR من حوالي 6% (الأساسي) إلى 26.6% (PGR) و 21.2% (OGR).
- الزماني: يحسن التحديد الزمني (AccTGR) بشكل ملحوظ.
دراسة الاستبعاد (Ablation): يساهم كلا المكونين (ST-GR و ETT) بشكل مستقل، لكن دمجهما يعطي أفضل النتائج، مما يثبت أن كل من الربط البصري الصريح والترميز الزمني الصريح ضروريان.
التلقين (Prompting): توضح الورقة أن تلقين سلسلة الأفكب (CoT) أو التلقين متعدد الخطوات بمفرده لا يحل مشكلة الربط؛ بل تتطلب الأمر تغييرات على مستوى البنية/التمثيل (مثل GRAM).

5. الأهمية والتوجهات المستقبلية

القابلية للتطبيق في العالم الحقيقي: يعد الاستدلال المرتبط مكانيًا وزمانيًا (STGR) القوي أمرًا ضروريًا للروبوتات، والذكاء الاصطناعي المتجسد، والمراقبة الحرجة للسلامة (على سبيل المثال، التحقق من أن شخصًا ما أطفأ الموقد يتطلب رؤية اليد، والمقبض، والوقت المحدد).
القابلية للتفسير: يوفر GRAM آلية لـ "الاستدلال القابل للتفسير"، حيث يرتبط منطق النموذج صراحةً بالأدلة البصرية، مما يقلل من الهلوسة.
العمل المستقبلي: يقترح المؤلفون أن التقدم المستقبلي يتطلب:
- تدريبًا مسبقًا أفضل على بيانات التفاعل بين اليد والشيء والمنظور الشخصي (egocentric).
- نمذجة علاقة صريحة لربط أدوار الأفعال.
- آليات هيكلية للرقابة المكانية الدقيقة تحت الاحتجاب.
- الانتقال من التضمينات الزمنية الضمنية إلى الإشراف الزمني الصريح.

في الختام، يكشف Know-Show عن ضعف جوهري في النماذج اللغوية للفيديو الحالية: عدم القدرة على الاستدلال والربط في آن واحد. يقدم إطار GRAM المقترح مسارًا عمليًا لا يتطلب تدريبًا لسد هذه الفجوة، رغم بقاء مساحة كبيرة للتحسين للوصول إلى مستوى أداء البشر.