Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly
تقدم هذه الورقة البحثية "Flat-Pack Bench"، وهو معيار مرجعي جديد مصمم لتقييم قدرات الاستدلال المكاني-الزماني الدقيقة للنماذج اللغوية البصرية الكبيرة من خلال مهام تجميع الأثاث، مما يكشف أن النماذج الحالية الرائدة تواجه صعوبة كبيرة في الترتيب الزمني، وتحديد الحالة، وتزاوج الأجزاء، والتتبع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية بناء رف كتب من خلال عرض فيديو لشخص يقوم بذلك. قد تفكر: "بالتأكيد، يمكن لذكاء اصطناعي ذكي أن يشاهد هذا الفيديو، ويرى القطع، ويخبرني أي مسمار يجب وضعه أولاً".
ورقة "FLAT-PACK BENCH" تقول: ليس قريباً من ذلك أبداً.
إليك قصة ما وجده الباحثون، مشروحة ببساطة.
المشكلة: اختبار "خط التجميع"
نماذج الذكاء الاصطناعي الحالية (التي تسمى نماذج الرؤية واللغة الكبيرة أو LVLMs) بارعة في النظر إلى صورة وقول: "هذا كلب"، أو مشاهدة مقطع قصير وقول: "شخص ما يقفز". إنهم يشبهون الطلاب المتفوقين في حفظ الحقائق ولكنهم سيئون جداً في اتباع وصفة معقدة خطوة بخطوة.
أراد الباحثون اختبار ما إذا كان بإمكان هذه النماذج التعامل مع مهمة واقعية: تجميع الأثاث. الأمر لا يقتصر فقط على التعرف على كرسي؛ بل يتعلق بفهم:
- الزمن: أي قطعة تم تركيبها قبل الأخرى؟
- المكان: أي ساق تحديداً يتم الإمساك بها الآن؟
- التتبع: إذا تحركت قطعة خلف صندوق وخرجت من الجانب الآخر، هل يعرف الذكاء الاصطناعي أنها نفس القطعة؟
- الاتصال: هل هذان الجزءان يتلامسان فعلياً ويتداخلان معاً؟
الحل: "امتحان نهائي" جديد
لاختبار ذلك، أنشأ الفريق FLAT-PACK BENCH.
فكر في هذا كاختبار متخصص للذكاء الاصطناعي، باستخدام فيديوهات لأشخاص يبنون أثاثاً على طراز "إيكيا". بدلاً من مجرد السؤال "ماذا يحدث؟"، يطرحون أسئلة مخادعة مثل:
- "انظر إلى هذه الساق المحددة في الفيديو. هل تم ربطها قبل أم بعد العارضة العرضية؟"
- "إليك صورة للأجزاء في البداية، وصورة في النهاية. أي جزء في الصورة الثانية يطابق الجزء الأحمر في الصورة الأولى؟"
- "هل هذان القطعتان يتلامسان حالياً؟"
ولجعل الاختبار عادلاً، لم يكتفوا بالنصوص فقط. بل استخدموا تلميحات بصرية — صور حيث يتم تحديد أجزاء معينة بحدود ملونة وأرقام — حتى يعرف الذكاء الاصطناعي بالضبط القطعة التي يتحدث عنها.
النتائج: ضاع الذكاء الاصطناعي
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك عمالقة مثل GPT-5 وGemini) على هذا المعيار.
درجة البشر: سجل البشر 94%. بالنسبة لنا، مشاهدة شخص يبني طاولة ومعرفة ترتيب الخطوات هو أمر طبيعي جداً.
درجة الذكاء الاصطناعي: سجلت أفضل نماذج الذكاء الاصطناعي حوالي 38%. هذا أفضل قليلاً من التخمين العشوائي.
الأمر كما لو أنك أظهرت لطالب عبقري فيديو لخدعة سحرية، وسألته عن شرح خطواتها، فخمن الترتيب الخاطئ في كل مرة.
لماذا فشل الذكاء الاصطناعي؟
بحث الباحثون في سبب فشل الذكاء الاصطناعي، ولم يكن السبب هو أن الأسئلة كانت صعبة للغاية على البشر. بل لأن الذكاء الاصطناعي يفتقر إلى "قوى خارقة" محددة مطلوبة لهذه المهمة:
- مشكلة "أين ذهب؟" (التتبع): إذا تحركت ساق الكرسي خلف طاولة، يفقد الذكاء الاصطناعي تتبعها غالباً. وينسى أي ساق هي أي واحدة.
- مشكلة "هل تلامسا؟" (الاتصال): يواجه الذكاء الاصطناعي صعوبة في تحديد ما إذا كانت القطعتان تتلامسان جسدياً أم أنهما قريبتان من بعضهما البعض فقط. الأمر كما لو أن الذكاء الاصطناعي يرى الأشياء لكنه لا يستطيع "الشعيد" بالاتصال.
- مشكلة "السفر عبر الزمن" (الاستدلال الزمني): يعاني الذكاء الاصطناعي في فهم تسلسل الأحداث عبر فيديو طويل. قد يرى النتيجة النهائية ويخمن الترتيب، لكنه يفشل في "مشاهدة" العملية.
- عادة "الاختصار": حاول الذكاء الاصطناعي الغش. نظر إلى الصور الثابتة وخمن بناءً على المنطق العام (مثلاً: "الأرجل توضع عادة في الأسفل") بدلاً من مشاهدة الفيديو فعلياً ليرى ما حدث. وعندما قام الباحثون بخلط التسميات لمنع هذا الغش، انخفضت درجة الذكاء الاصطناعي بشكل أكبر.
تجربة "صندوق الأدوات"
تساءل الباحثون: "ماذا لو لم نطلب من الذكاء الاصطناعي القيام بالمهمة كاملة؟ ماذا لو أعطيناه صندوق أدوات؟"
حاولوا بناء "وكيل" (Agent) يستخدم أدوات متخصصة أخرى (مثل أداة لتتبع الأشياء وأداة للتحقق مما إذا كانت الأشياء تتلامس) لمساعدة الذكاء الاصطناعي في الإجابة على الأسئلة.
- النتيجة: لم يعمل الأمر بشكل جيد. حتى الأدوات المتخصصة فشلت في تتبع أجزاء الأثاث بدقة في الفيديوهات الواقعية الفوضوية. اتضح أن المنظومة الكاملة لأدوات الرؤية الحاسوبية الحالية تعاني مع هذا النوع من ألغاز "الأجز المتحركة".
الخلاصة
تخلص الورقة إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في التعرف على الصور الثابتة والمقاطع القصيرة، إلا أنه لا يزال "أعمى" تماماً تجاه تدفق الوقت والتفاعلات الفيزيائية في المشاهد المعقدة والمزدحمة.
إذا كنت تريد مساعداً من الذكاء الاصطناعي ليساعدك في بناء الأثاث، أو طهي وجبة معقدة، أو إصلاح آلة من خلال مشاهدة فيديو، فنحن لم نصل إلى ذلك بعد. يحتاج الذكاء الاصطناعي إلى تعلم كيفية "مشاهدة" وفهم قصة كيفية تجميع الأشياء معاً حقاً، وليس مجرد التعرف على الشخصيات في تلك القصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.