SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
تقدم هذه الورقة البحثية SceneFunRI، وهو معيار جديد يضم 855 حالة لتقييم قدرة نماذج الرؤية واللغة على الاستنتاج حول مواقع الأشياء الوظيفية غير المرئية أو المحجوبة باستخدام تعليمات المهام والمعرفة القائمة على المنطق العام، مما يكشف أن النماذج الحالية المتطورة تعاني بشكل كبير من هذا العجز.
المؤلفون الأصليون:Posheng Chen, Powen Cheng, Gueter Josmy Faure, Hung-Ting Su, Winston H. Hsu
تخيل أنك دخلت غرفة وسألك أحدهم: "أين هي الطاولة الجانبية بجانب السرير؟". تنظر حولك، لكن الطاولة الجانبية مخفية تماماً خلف خزانة ملابس ضخمة. لا يمكنك رؤيتها على الإطلاق. ومع ذلك، أنت تعلم من المنطق السليم أن الطاولات الجانبية توضع عادةً بجانب الأسرّة، ويمكنك رؤية السرير. لذا، تقوم ذهنياً بـ "ملء الفراغ" وتشير إلى المكان الذي يجب أن تكون فيه الطاولة الجانبية خلف الخزانة.
هذه الورقة البحثية، SceneFunRI، تدور حول تعليم الحواسيب القيام بهذه الحيلة الذهنية بالضبط.
المشكلة: تحدي "غير المرئي"
نماذج الذكاء الاصطناعي الحالية (وتحديداً نماذج الرؤية واللغة - VLMs) تشبه المحققين الذين يثقون فقط فيما تراه أعينهم. إذا كان هناك دليل مخفي خلف جدار، فإنهم غالباً ما يستسلمون أو يخمنون عشوائياً. إنهم يعانون في استخدام "المنطق السليم" لمعرفة مكان الأشياء عندما تكون تلك الأشياء غير مرئية تماماً.
أنشأ الباحثون اختباراً جديداً يسمى SceneFunRI (الاستنتاج للمجهول/غير المرئي).
الإعداد: أخذوا 855 مشهداً من العالم الحقيقي حيث يكون جسم معين (مثل مصباح أو درج) مخفياً تماماً عن الأنظار.
المهمة: يُعطى الذكاء الاصطناعي صورة للغرفة وأمراً مثل: "افتح درج الطاولة الجانبية الموجودة على يمين السرير".
الهدف: يجب على الذكاء الاصطناعي أن يشير إلى موقع الطاولة الجانبية غير المرئية دون رؤيتها أبداً، مستخدماً فقط السرير المرئي ومعرفته بكيفية ترتيب الغرف عادةً.
النتائج: الذكاء الاصطناعي لا يزال محققاً مبتدئاً
اختبر الباحثون العديد من نماذج الذكاء الاصطناعي في هذه المهمة. وكانت النتائج متواضعة:
أفضل ذكاء اصطناعي: حتى النموذج الأكثر ذكاءً (Gemini 3 Flash) لم يصب الموقع "بدقة كافية" إلا في حوالي 15% من المرات.
المعيار البشري: بالمقارنة، أصاب البشر الهدف بنسبة 66% من المرات.
الفجوة: يوضح هذا أنه بينما يتفوق الذكاء الاصطناعي في رصد ما هو "أمام" عينه، فإنه سيء جداً في تخيل ما هو "خلف" العوائق.
كيف حاولوا مساعدة الذكاء الاصطناعي (تجارب "التوجيه")
حاول الباحثون ثلاث طرق مختلفة لـ "تدريب" الذكاء الاصطناعي ليصبح أفضل، تماماً كما قد يساعد معلم طالبه:
تعليمات قوية: إخبار الذكاء الاصطناوال: "تجاهل ما تراه؛ ركز على ما يجب أن يكون موجوداً".
النتيجة: ساعد هذا قليلاً. كان الأمر يشبه قولك لطالب: "لا تنظر إلى الصورة فحسب؛ بل فكر في القصة".
تلميحات المنطق السليم: إعطاء الذكاء الاصطناعي حقائق محددة، مثل "المقابس الكهربائية توجد عادة في الزوايا".
النتيجة: لم يساعد هذا كثيراً. كان الأمر يشبه إعطاء الطالب ورقة حقائق ولكن دون تعليمه كيفية تطبيقها على غرفة معينة. كان الذكاء الاصطناعي يعرف الحقيقة لكنه لم يستطع ترجمتها إلى موقع على الخريطة.
"عملية الاستبعاد" (SPoE): كان هذا هو النهج الأكثر إبداعاً. بدلاً من مطالبة الذكاء الاصطناعي بتخمين المكان الدقيق فوراً، علموه أن يلعب لعبة "الساخن والبارد".
كيف يعمل: يُعرض على الذكاء الاصطناعي الغرفة بأكملها. ثم يُسأل: "هل الجسم في النصف الأيسل أم الأيمن؟". يقوم باستبعاد النصف الذي لا يمكن أن يكون الجسم فيه. ثم يقسم النصف المتبقي مرة أخرى.
النتيجة: نجح هذا بشكل مفاجئ. من خلال استبعاد المناطق المستحيلة ببطء، اقترب الذكاء الاصطناعي كثيراً من الموقع الصحيح. الأمر يشبه العثور على مفتاح مفقود عبر فحص كل غرفة واحدة تلو الأخرى، بدلاً من التخمين المباشر عن الدرج المحدد.
الخلاصة الكبرى
تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الحالية "عمياء" تجاه العالم غير المرئي. إنهم جيدون في وصف ما يرونه، لكنهم لم يتعلموا بعد كيفية بناء خريطة ذهنية لما لا يرونه.
وجد الباحثون أن الذكاء الاصطناعي في الواقع أفضل في استبعاد التخمينات السيئة (مثل شطب الغرف على الخريطة) مما هو في تخمين الموقع الصحيح مباشرة. لجعل الذكاء الاصطناعي ذكياً حقاً في العالم الحقيقي، نحتاج إلى تعليمه كيف يكون مرتاحاً مع عدم اليقين وكيف يستخدم المنطق لملء الفراغات عندما تغيب الأدلة البصرية.
ملخص تقني: SceneFunRI – الاستدلال على غير المرئي للمواقع الوظيفية للأجسام القائمة على المهام
تعريف المشكلة تواجه نماذج الرؤية واللغة (VLMs) الحالية صعوبة في الاستدلال المكاني في السيناريوهات الواقعية حيث تكون الأجسام المستهدفة غير مرئية تمامًا. بينما يمكن للبشر استنتاج مواقع الأجسام الوظيفية المحجوبة باستخدام السياق والمعرفة بالمنطق العام، تعتمد الاختبارات والنماذج الحالية إلى حد كبير على الإشارات المرئية أو الحجب الجزئي (مثل الظلال أو الانعكاسات). تحدد الورقة فجوة في تقييم القدرة على الاستدلال حول الأجسام "غير المرئية" — وهي الأهداف التي تقع تمامًا خارج المجال البصري وتفتقر إلى الأدلة البصرية غير المباشرة، مما يتطلب الاستنتاج فقط من تعليمات المهام، وتخطيط المشهد، والبديهيات المنطقية العامة.
المنهجية قدم المؤلفون SceneFunRI، وهو معيار مصمم خصيصًا لتقييم "الاستدلال على غير المرئي" (RI).
بناء مجموعة البيانات: تم بناء هذا المعيار بناءً على مجموعة بيانات SceneFun3D، حيث يستخدم خط إنتاج شبه تلقائي لتوليد 855 حالة قائمة على المهام. تتضمن العملية:
اختيار الإطارات: تحديد الإطارات التي يوجد فيها جسم وظيفي ضمن رؤية الكاميرا ولكنه محجوب بالكامل (Vo=0%) في الصورة ثنائية الأبعاد.
توليد الحقيقة الأرضية (Ground Truth): إسقاط تسميات السحابة النقطية ثلاثية الأبعاد للأجسام المخفية على المستوى الصوري ثنائي الأبعاد لإنشاء صناديق الإحاطة للحقيقة الأرضية.
ضبط الجودة: يضمن التحقق البشري وجود إشارات سياقية كافية للمهام (مثل وجود سرير لاستنتاج موقع الطاولة الجانبية) وتعليمات غير غامضة، مما قلص المرشحين الأوليين من 1,232 إلى 855 حالة عالية الجودة.
مقاييس التقييم: يُعت-بر مقياس التقاطع فوق الاتحاد (IoU) القياسي صارمًا جدًا بالنسبة للأهداف غير المرئية. لذا اقترح المؤلفون:
دقة الاحتواء (CAcc@θ): تقيس ما إذا كان صندوق الحقيقة الأرضية محتوى داخل المنطقة المتوقعة، مع معاقبة التوقعات الكبيرة للغاية.
المسافة (Dist): مقياس مسافة الزوايا المعياري لتقييم قرب التحديد المحلي حتى عندما لا تتداخل الصناديق.
استراتيجيات التلقين (Prompting): تدرس الدراسة ثلاث فئات من التلقين:
التلقين بالتعليمات القوية: توجيه النماذج صراحةً لتجاهل الأجسام المرئية والتركيز على المناطق غير المرئية أو تطبيق قواعد المنطق العام.
التلقين القائم على الاستدلال: استخدام سلسلة الأفكال (CoT) وسلسلة الأفكال مع التفكير الذاتي (CoT-SR) لتشجيع الاستنتاج خطوة بخطوة.
عملية الاستبعاد المكاني (SPoE): إطار عمل تكراري مستوحى من اتخاذ القرار لدى البشر. يقوم النموذج بتقسيم الصورة تدريجيًا إلى مناطق، واستبعاد المرشحين ذوي الاحتمالية المنخفضة، وتضييق نطاق البحث حتى يتم تحديد الموقع المستهدف.
النتائج الرئيسية
أداء النموذج: حتى أقوى النماذج المرجعية، Gemini 3 Flash، يحقق دقة احتواء منخفضة (CAcc@75 بلغت 15.20) ومسافة (Dist بلغت 28.65)، وهو ما يتخلف بشكل كبير عن المعيار البشري (CAcc@75 بلغ 66.43). وتؤدي النماذج مفتوحة المصدر (Qwen, InternVL, Gemma) ونماذج الاستدلال المكاني المتخصصة أداءً أسوأ عمومًا، مما يشير إلى أن نماذج الرؤية واللغة الحالية تفتقر إلى قدرات قوية للاستدلال غير المرئي.
تحليل التلقين:
التعليمات القوية: حقق تلقين "المخفي" (تجاهل الأجسام المرئية) تحسنًا مستقرًا، مما يشير إلى وجود قدرات استدلال كامنة. ومع ذلك، فإن إضافة معرفة المنطق العام الصريحة (تلقين "العام") أدى غالبًا إلى تدهور الأداء، مما يسلط الضوء على وجود انفصال بين فهم اللغة والتجذير المكاني.
الاستدلال: أدى استخدام CoT و CoT-SR إلى تحسين الأداء فقط للنماذج الأكبر (Qwen 3.5 27B/122B) التي تفتقر إلى الاستدلال الهيكلي التلقائي، بينما لم تشهد النماذج مثل Gemini 3 Flash (التي تولد استدلالًا هيكليًا بطبيعتها) أي مكاسب أو شهدت تدهورًا طفيفًا.
SPoE: نجحت استراتيجية SPoE في تقليل مقياس المسافة (Dist) مع زيادة التكرارات، مما يثبت أن النماذج أفضل في استبعاد المناطق المرئية ذات الاحتمالية المنخفضة بدلاً من الاستنتاج المباشر للمواقع غير المرئية. ومع ذلك، واجهت النماذج صعوبة في تحديد نقطة التوقف المثالية، حيث استمرت غالبًا في استبعاد المناطق حتى بعد تضييق نطاق البحث بشكل كافٍ.
النتائج النوعية: أخطأت النماذج كثيرًا في تحديد الأجسام ذات المظاهر البصرية أو الارتباطات الدلالية المتشابهة (مثل الخلط بين مفتاح الكهرباء والمقبس) وفشلت في استنتاج التفاصيل الدقيقة مثل موقع مقابض الأبواب المحجوبة، حتى عند تحديد منطقة المهمة العامة.
الأهمية والادعاءات تدعي الورقة أن SceneFunRI يكشف عن قصور جوهري في نماذج الرؤية واللغة الحالية: عدم القدرة على دمج نية المهمة، وبديهيات المنطق العام، والتجذير المكاني للاستدلال في ظل ظروف اليقين البصري الكامل.
المساهمة في المعايير: يوسع البحث من الاستدلال المكاني من العلاقات المرئية والصريحة إلى الاستنتاج الضمني وغير المرئي، مما يوفر بيئة اختبار ضرورية للوكلاء المجسدين واتخاذ القرار في العالم الحقيقي.
الرؤية المنهجية: يرى المؤلفون أن الاستنتاج المباشر للمناطق المخفية يمثل تحديًا كبيرًا. بدلاً من ذلك، تقترح الورقة أن النهج الأكثر جدوى للنماذج الحالية قد يكون تحليل المناطق الملحوظة لاستبعاد المرشحين ذوي الاحتمالية المنخفضة (كما هو موضح في SPoE)، بدلاً من محاولة التوليد المباشر للمواقع غير المرئية.
الاتجاه المستقبلي: تحفز النتائج تطوير نماذج يمكنها دمج البحث الواعي بعدم اليقين بشكل أفضل، وتحقيق ربط أوثق بين النية الدلالية والتجذير المكاني، حيث تظل النماذج الحالية غير مستقرة في الاستدلال حول المناطق غير المرئية.