Investigating Relational Reasoning in VLMs

في المشهد المعاصر للذكاء الاصطناعي، تعلم جيل جديد من الحواسيب الرؤية والتحدث في آن واحد. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة، يمكنها النظر إلى صورة فوتوغرافية ووصف محتوياتها، أو الإجابة عن أسئلة حول ما تراه، أو حتى حل الألغاز بناءً على صورة. بالنسبة للمراقب البشري، تبدو هذه النماذج وكأنها تمتلك فهماً حقيقياً للعالم المرئي، تماماً مثل شخص يمكنه إلقاء نظرة خاطفة على مشهد واستيعاب كيفية ارتباط الأشياء ببعضها البعض على الفور. ومع ذلك، يظل هناك سؤال جوهري دون إجابة: هل تفهم هذه الآلات حقاً العلاقات المكانية والروابط بين الأشياء، أم أنها مجرد أدوات بارعة في مطابقة الأنماط تعتمد على الحيل اللغوية والتخمينات الإحصائية؟ إن عدم اليقين هذا أمر بالغ الأهمية، لأنه إذا كانت هذه الأنظمة تحاكي الفهم فقط عبر طرق مختصرة، فقد تفشل بشكل غير متوقع عند مواجهة مواقف لا تتطابق مع بيانات التدريب الخاصة بها، مما يؤدي إلى أخطاء في التطبيقات الحرجة.

لقد وضع فريق من الباحثين هدفاً للكشف عن الآليات الداخلية لهذه النماذج من خلال تجريدها من تعقيد العالم الحقيقي واستبداله ببيئة اصطناعية محكومة. أنشأوا مجموعة بيانات مخصصة تتكون من آلاف الصور البسيطة، تتميز كل منها بعدد قليل من الأشكال الهندسية الأساسية مثل الدوائر والمربعات والمثلثات المرتبة في أنماط محددة. تم تخصيص ألوان وأحجام متميزة لهذه الأشكال، وفي بعض الحالات، رُسمت أسهم لربطها صراحةً، بينما في حالات أخرى، كان الربط ضمنياً يعتمد فقط على مواقعها النسبية. ثم طرح الباحثون سلسلة من الأسئلة الدقيقة على نموذج حديث للرؤية واللغة، سائلين إياه عن تحديد عدد الأشكال، أو التعرف على ألوان معينة، أو تحديد اتجاه سهم بين جسمين. ومن خلال مقارنة إجابات النموذج مع الحقائق المعروفة للصور الاصطناعية، استطاعوا قياس مدى كفاءة الآلة في الأداء.

كشفت النتياج عن انقسام صارخ بين ما يمكن للنموذج القيام به بسهولة وما يكافح لفهمه. فعندما طُرحت عليه أسئلة التعرف البسيطة، مثل عدّ العدد الإجمالي للأشكال أو تحديد ما إذا كان هناك مربع أخضر موجود، حقق النموذج دقة تقترب من الكمال، متجاوزاً في كثير من الأحيان نسبة ستة وتسعين بالمائة. بدا وكأنه يمتلك إدراكاً راسخاً للعناصر الملموسة في الصورة. ومع ذلك، بمجرد أن تتطلب الأسئلة فهم العلاقات دون وجود علامات بصرية صريحة، انخفض أداؤه بشكل كبير. على سبيل المثال، عندما طُلب منه تحديد الأشياء المرتبطة بسهم دون رسم السهم، أو وصف موقع شكل ما بالنسبة لآخر بناءً على تخطيطهما فقط، انخفضت دقة النموذج إلى حوالي ستين بالمائة أو أقل. ومن المثير للاهتمام أنه عندما قدم الاستعلام علامات بصرية صريحة، مثل السؤال عن اتجاه سهم مرسوم، حافظ النموذج على دقة عالية تجاوزت اثنين وتسعين بالمائة. وهذا يشير إلى أن الآلة لم تكن تبني خريطة ذهنية متماسكة للمشهد، بل كانت تعتمد بدلاً من ذلك بشكل كبير على الكلمات المستخدمة في السؤال وعلى العلامات البصرية الصريحة المقدمة.

ولتحديد ما إذا كان النموذج "يرى" العلاقات حقاً أم أنه يكتفي بالتخمين بناءً على اللغة، أجرى الباحثون اختباراً صارماً عبر تعديل الصور نفسها. لقد أنشأوا نسخاً معدلة من الصور الأصلية حيث قاموا رقمياً بإزالة عنصر واحد محدد، مثل شكل واحد أو سهم واحد، ثم طرحوا نفس الأسئلة مرة أخرى. فإذا كان النموذج يمارس التفكير المنطقي حقاً بشأن الأدلة البصرية، فإن إزالة جزء رئيسي من الصورة كان ينبغي أن يتسبب في انهيار دقته. وفي بعض الحالات، حدث هذا بالضبط؛ فعندما طُلب من النموذج عدّ الأشكال أو تتبع اتجاه سهم، أدت إزالة العنصر البصري ذي الصلة إلى انخفاض أدائه بنسبة تقارب خمسة وعشرين بالمائة. وقد أشار هذا إلى أنه بالنسبة لهذه المهام، كان النموذج ينظر بالفعل إلى الصورة، ولكنه كان يخلط أيضاً تلك البيانات البصرية بانحيازات داخلية جعلته هشاً عندما يتغير المشهد.

والأمر الأكثر إثارة للدهشة هو أن الباحثين وجدوا أنه بالنسبة لأنواع أخرى من الأسئلة، أدى إزالة العناصر البصرية في الواقع إلى تحسين أداء النموذج أو تركه دون تغيير. فعندما سُئل عن الموقع النسبي للأشكال أو وجود اتصال بدون سهم، حصل النموذج على إجابات أفضل قليلاً عندما تم حجب الأدلة البصرية. هذه النتيجة المنافية للمنطق، والتي أشارت الورقة البحثية إلى أنها "مفاجئة" و"تتعارض مباشرة مع التفكير البصري"، تشير بقوة إلى أن النموذج لم يكن يستخدم البيانات البصرية لحل هذه المشكلات على الإطلاق. بدلاً من ذلك، كان يعتمد على الأنماط الإحصائية التي تعلمها من بيانات التدريب، وهو في الأساس يخمن الإجابة بناءً على كيفية صياغة السؤال بدلاً من ما هو موجود فعلياً في الصورة. لم تكن الآلة تفكر في الفضاء؛ بل كانت تسترجع استجابة مرجحة بناءً على الإشارات اللغوية.

ومن خلال النظر في طبقات المعالجة الخاصة بالنموذج، تتبع الباحثون كيفية تدفق المعلومات من مدخلات الصورة الأولية إلى الإجابة النهائية. ووجدوا أن الطبقات الأولى من النموذج كانت جيدة جداً في رصد التفاصيل البسيطة مثل وجود لون أو شكل معين. ومع انتقال المعلومات إلى مستويات أعمق في النظام، أصبح النموذج أفضل في العد وتحديد العلاقات العامة. ومع ذلك، فشلت الطبقات الأعمق في ترميز العلاقات المعقدة والمجردة بين الأشياء باستمرار، مثل الاتجاه الدقيق لسهم أو الترتيب المكاني للعناصر بدون علامات صريحة. وتخلص الدراسة إلى أنه على الرغم من قدرة هذه الأنظمة القوية على تحقيق درجات عالية في العديد من المهام البصرية، إلا أن فهمها يقتصر بدقة على ما يمكن ملاحظته صراحةً. فهي لا تظهر فهماً بصرياً حقيقياً، بل تعتمد بدلاً من ذلك على استراتيجية هجينة تجمع بين الإدراك البصري الحقيقي والاختصارات اللغوية. ويكشف هذا الاكتشاف عن قصور حرج في الذكاء الاصطناعي الحالي، مما يشير إلى أن الفهم البصري الحقيقي يتطلب أكثر من مجرد معالجة البكسلات والكلمات؛ إنه يتطلب شكلاً أعمق وأكثر متانة من التفكير الذي لم تصل إليه هذه النماذج بعد.