Time Blindness: Why Video-Language Models Can't See What Humans Can?
تقدم هذه الورقة SpookyBench، وهو معيار مرجعي يوضح أن نماذج اللغة والفيديو المتطورة تفشل في التعرف على الأنماط المشفرة حصرياً في التسلسلات الزمنية لإطارات تشبه الضجيج حيث يتفوق البشر، مما يكشف عن اعتماد مفرط حرج على الميزات المكانية وعجز جوهري عن معالجة المعلومات الزمنية البحتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "العمى الزمني: لماذا لا تستطيع نماذج اللغة المرئية رؤية ما يراه البشر؟" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: "الشبح في الضجيج"
تخيل أنك تنظر إلى شاشة تلفزيون ساكنة مليئة بـ "الثلج" (نقاط بيضاء وسوداء عشوائية). إذا حدقت في إطار واحد من هذا الثلج، سيبدو وكأنه لا شيء سوى فوضى عشوائية. لن تتمكن من رؤية أي صورة.
الآن، تخيل أن هذا الثلج بدأ يتحرك. النقاط على اليسار تنزلق للأعلى، بينما النقاط على اليمين تنزلق للأسفل. فجأة، يظهر شكل من وسط الفوضى — ربما كلمة "HELLO" أو صورة قطة. هذه الصورة لا توجد في أي إطار منفرد؛ إنها موجودة فقط في الحركة بين الإطارات.
تقدم هذه الورقة البحثية اختباراً يسمى SpookyBench لمعرفة ما إذا كان الذكاء الاصطناعي يمكنه رؤية هذه الصور "الشبحية". والنتيجة؟ البشر يمكنهم رؤيتها بسهولة، لكن حتى أذكى نماذج الفيديو بالذكاء الاصطناعي عمياء تماماً تجاهها.
المشكلة: الذكاء الاصطناعي يعاني من "العمى الزمني"
نماذج اللغة المرئية (VLMs) الحالية تشبه المصورين الذين ينظرون فقط إلى لقطات ثابتة.
- كيف تعمل: عندما يشاهد الذكاء الاصطناعي فيديو، فإنه عادةً ما يلتقط بضع إطارات (مثل التقاط 10 صور لفيلم)، ويحلل ما يوجد في كل صورة (سيارة، شجرة، شخص)، ثم يحاول تخمين القصة.
- الخلل: في اختبار SpookyBench، "الصور" هي مجرد ضجيج عشوائي. لا توجد سيارة، ولا شجرة، ولا شخص في أي إطار منفرد. الدليل الوحيد هو الرقصة التي يؤديها الضجيج عبر الزمن.
- النتيجة: لأن الذكاء الاصطناعي مهووس بالنظر إلى التفاصيل الساكنة للإطارات الفردية، فإنه لا يرى سوى الضجيج. ليس لديه آلية ليقول: "مهلاً، إذا راقبت كيفية تحرك هذه البكسلات بالنسبة لبعضها البعض، فسيظهر شكل ما".
تسمي الورقة البحثية هذا "العمى الزمني". فالذكاء الاصطناعي يركز بشدة على أين توجد الأشياء (المكان) لدرجة أنه لا يستطيع فهم كيف تتغير (الزمان).
التجربة: البشر مقابل الآلات
صمم الباحثون اختباراً يتضمن ثلاثة أنواع من فيديوهات "الأشباح":
- الكلمات: نصوص لا تظهر إلا عندما يتحرك الضجيج في أنماط محددة.
- الصور: ظلال لأجسام (مثل غزال أو مطرقة) مخفية داخل ضجيج متحرك.
- المشاهد الديناميكية: مقاطع فيديو حقيقية حيث يتم تسليط الضوء فقط على الأجزاء المتحركة بواسطة الضجيج، بينما تظل الخلفية ثابتة.
لوحة النتائج:
- البشر: عندما شاهد الناس هذه الفيديوهات، حققوا نسبة 98% دقة. يمكننا قراءة الكلمات وتحديد الأشياء فوراً. عقولنا مجهزة لربط الأشياء المتحركة معاً (مثل مراقبة سرب من الأسماك يسبح).
- نماذج الذكاء الاصطناعي: اختبر الباحثون 15 من أكثر نماذج الذكاء الاصطناعي تقدماً في العالم، بما في ذلك عمالقة مثل GPT-4o و Gemini و Qwen.
- النتيجة: 0%.
- السلوك: لم يخطئ الذكاء الاصطناعي في التخمين فحسب، بل قام بـ "الهلوسة". فقد قال بثقة: "أرى كوب قهوة"، أو "الوقت هو 4:30"، رغم أن الفيديو كان مجرد ضجيج متحرك. لقد كان يحاول فرض نمط على الضجيج لأنه لم يستطع معالجة الحركة الفعلية.
لماذا لا يستطيع الذكاء الاصطناعي إصلاح ذلك؟
حاول الباحثون القيام بأشياء كثيرة لمساعدة الذكاء الاصطناعي، ولم ينجح أي منها:
- تغيير السرعة: قاموا بإبطاء الفيديوهات أو تسريعها. ظل الذكاء الاصطناعي يحصل على 0%.
- الطلب بلطف: أعطوا الذكاء الاصطناعي تعليمات محددة للغاية مثل: "لا تنظر إلى الإطارات، انظر إلى الحركة". ظل الذكنا الاصطناعي يفشل.
- التعليم: حاولوا "تدريب" الذكاء الاصطناعي على هذه الفيديوهات المحددة، على أمل أن يتعلم الحيلة. حتى بعد التدريب، ظل يحصل على 0%.
الاستنتاج: المسألة ليست أن الذكاء الاصطناعي "غبي" أو لم يرَ أمثلة كافية. بل إن بنية (هيكل دماغ) هذه النماذج مبنية لتحليل الصور الثابتة أولاً، ثم الزمن ثانياً. إنها تفتقر إلى "الآليات العصبية" المحددة لاستخراج المعنى من الحركة الصرفة دون وجود جسم ثابت يرتكز عليه.
تشبيه "الخدعة السحرية"
فكر في الأمر كخدعة سحرية حيث يجعل الساحر عملة تختفي.
- البشر يراقبون يد الساحر وحركة العملة ويفهمون الخدعة.
- الذكاء الاصطناعي يشبه كاميرا مراقبة تلتقط صورة كل 10 ثوانٍ. إذا كانت العملة مرئية فقط بين الصور (في الحركة)، فإن الكاميرا لن تراها أبداً. ستكتفي الكاميرا برؤية فوضى ضبابية وتخمن: "ربما هي صخرة؟".
إثبات "حدود الحركة"
لإثبات أن المعلومات كانت موجودة بالفعل وليست مجرد خدعة سحرية، أجرى الباحثون اختباراً أخيراً. أخذوا الفيديو وقاموا بطلاء الأجزاء المتحركة باللون الأحمر الزاهي قبل عرضه على الذكاء الاصطناعي.
- قبل: رأى الذكاء الاصطناعي ضجيجاً وحصل على 0%.
- بعد: رأى الذكاء الاصطناعي أشكالاً حمراء على خلفية سوداء وفجأة حصل على 50-60% دقة.
أثبت هذا أن الذكاء الاصطناعي يمكنه فهم الأشكال إذا تم تحويل معلومات "الزمن" إلى إشارة "مكانية" (الطلاء الأحمر). ولكن بدون تلك المساعدة، لا يستطيع الذكاء الاصطناعي إجراء عمليات حسابية للحركة بمفرده.
الملخص
تزعم الورقة البحثية أنه بينما أصبح الذكاء الاصطناعي بارعاً جداً في التعرف على الأشياء في الفيديوهات (مثل "كلب يركض")، إلا أن لديه نقطة عمياء جوهرية: لا يمكنه فهم المعلومات التي توجد فقط في الزمن. إذا كانت الإشارة تتعلق بحت الحركة والتغيير فقط، ولا يوجد جسم ثابت للنظر إليه، فإن نماذج الذكاء الاصطناعي الحالية تكون عمياء فعلياً، بينما يراها البشر بوضوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.