See2Think: Do Multimodal Models Really Use Intermediate Visual States?

تخيل أنك تحاول حل لغز صعب، ولكن بدلاً من مجرد النظر إلى الصورة، يُسمح لك بالإمساك بقلم، ورسم خطوط، ووضع دوائر حول الأدلة، ورسم مسودة لأفكارك على ورقة. هذا هو عالم نماذج اللغات الكبيرة متعددة الوسائط (Multimodal Large Language Models)—وهي برامج حاسوبية ذكية للغاية يمكنها قراءة النصوص و"رؤية" الصور. لفترة من الوقت، أصبحت هذه النماذج تتحسن في "التفكير بصوت عالٍ" عبر كتابة خطواتها، وهي خدعة تسمى سلسلة الأفكار (Chain-of-Thought). لكن العديد من الألغاز، خاصة تلك التي تتعلق بالفضاءات ثلاثية الأبعاد أو الهندسة المعقدة، يصعب حلها بالكلمات وحدها. البشر بطبيعتهم يرسمون مخططات للمساعدة في التفكير، لذا تساءل العلماء: هل يمكن لهذه النماذج من الذكاء الاصطناعي استخدام الرسومات والمخططات الوسيطة لحل المشكلات، أم أنها تتظاهر بذلك فقط؟

هذا هو السؤال الكبير الذي يطرحه الباحثون. إذا قال الذكاء الاصطناعي: "أنا بحاجة لرسم خط هنا لفهم هذا الأمر"، فهل يستخدم حقًا ذلك الرسم الجديد لإيجاد الإجابة؟ أم أنه يتجاهل الرسم ويخمن الإجابة على أي حال؟ الأمر يشبه التساؤل عما إذا كان الطالب يستخدم حقًا ورقة المسودة لحل المسألة الرياضية، أم أنه يكتفي بخربشات عشوائية ويأمل أن تأتي الإجابة النهائية عن طريق السحر. إن فهم هذا الأمر أمر بالغ الأهمية، لأنه إذا كانت النماذج لا تستخدم الأدوات البصرية التي تنشئها فعليًا، فقد نكون بصدد إضاعة الوقت في بناء ميزات لا تجعلها أكثر ذكاءً في الواقع.

هنا يأتي دور See2Think، وهي دراسة جديدة تعمل كالمحقق لعملية استنتاج الذكاء الاصطناعي. فقد بنى الباحثون ساحة اختبار ضخمة تسمى See2ThinkBench، تحتوي على 1,200 لغز مختلف تتراوح بين الهندسة ثنائية الأبعاد ومخططات الكيمياء إلى المشاهد الروبوتية ثلاثية الأبعاد ومسائل الفيزياء في العالم الحقيقي. لم يكتفوا بسؤال النماذج عن إعطاء إجابة فحسب؛ بل وضعوا بروتوكولًا خاصًا يسمى التفكير عبر الفعل البصري (Visual Action-of-Thought - VAoT). فكر في هذا كأنه لعبة حيث يتعين على الذكاء الاصطناعي تبادل الأدوار: يفكر، ثم يقرر "رسم" شيء ما (مثل تحديد زاوية معينة أو قص جزء من الصورة)، ثم تقوم أداة منفصلة برسمه فعليًا، وبعد ذلك يتعين على الذكاء الاصطناعي النظر إلى هذا الرسم الجديد لمواصلة تفكيره.

اختبر الفريق أربعة نماذج مختلفة وقوية من الذكاء الاصطناعي لمعرفة كيفية تعاملها مع هذه اللعبة. ووجدوا أنه لا يوجد "حل واحد يناسب الجميع". فأحيانًا، كان التفكير بالكلمات فقط (بدون رسم) هو الأفضل؛ وفي أحيان أخرى، كان رؤية الرسم يساعد بالفعل. ولكن إليكم المفاجأة: كانت النماذج جيدة بشكل مفاجئ في تقرير ما يجب رسمه (اختيار الأدلة الصحيحة)، لكنها غالبًا ما فشلت في استخدام الرسم بشكل صحيح. في الواقع، وجدت الدراسة أن أكبر عقبة لم تكن اختيار الإجراء الصحيح، بل كانت "الأمانة" (faithfulness) الخاصة بالرسم نفسه—أي هل رسمت الأداة حقًا ما طلبه الذكاء الاصطناعي؟

ربما جاء الاكتشاف الأكثر إثارة للاهتمام من "خدعة" لعبها الباحثون. فقد قدموا للنماذج عمدًا رسومات "فاسدة"—صورًا تبدو كما طلبها الذكاء الاصطناعي ولكنها كانت خاطئة أو مضللة. وعندما حدث هذا، انخفض أداء النماذج بشكل كبير، خاصة في المشاهد ثلاثية الأبعاد، حيث انخفضت الدقة بأكثر من 10 نقاط مئوية. وهذا يثبت أن النماذج كانت تعتمد حقًا على الحالة البصرية التي تراها، حتى لو كانت تلك الحالة معطلة. ومع ذلك، تشير الدراسة أيضًا إلى أنه ليس من الضروري أن اعتماد النموذج على الرسم يعني أن الرسم قد ساعده حقًا في الوصول إلى الإجابة الصحيحة. فأحيانًا، كان النماذج معتمدة جدًا على التغذية الراجعة البصرية لدرجة أن حتى الرسم السيئ أربكهم بما يكفي للفشل، مما يظهر أن "استخدام" حالة بصرية و"الاستفادة" منها شيئان مختلفان تمامًا.

باختصار، تكشف الورقة البحثية أنه بينما تتحسن نماذج الذكاء الاصطناعي في فكرة الاستنتاج البصري، إلا أنها لا تزال تعاني مع الواقع الفوضوي لتنفيذ رسوماتها والوثوق بها. إنهم يشبهون الطلاب الذين يعرفون بالضبط الجزء الذي يجب النظر إليه في المخطط، لكنهم غالبًا ما يضيعون عندما يحاولون قراءة الرسم الجديد الذي صنعوه. ويخلص الباحثون إلى أننا بحاجة إلى التوقف عن مجرد النظر إلى الإجابة النهائية والبدء في تشخيص العملية بأكملها—التحقق مما إذا كان الرسم ذا صلة، وما إذا كان قد رُسم بشكل صحيح، وما إذا كان النموذج قد استخدمه بالفعل للتفكير. وإلى أن نعالج هذه العقبات، قد يظل "التفكير بالصور" مجرد عرض أدائي أكثر من كونه قوة خارقة حقيقية.