v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

تخيل أنك تحاول حل لغز معقد، لكن القطع مخبأة داخل صورة ضخمة ومتداخلة. في عالم الذكاء الاصطيğı، هناك "أدمغة متعددة الوسائط" (multimodal) يمكنها النظر إلى الصور وقراءة النصوص في آن واحد. عادةً، عندما تحاول هذه النماذج حل مسألة رياضية تتضمن رسماً بيانياً، فإنها تلقي نظرة سريعة على الصورة، وتحفظ الانطباع العام، ثم تحاول حل بقية المسألة باستخدام الكلمات فقط. الأمر يشبه النظر إلى خريطة لمدة خمس ثوانٍ، ثم إغلاق عينيك، ومحاولة القيادة إلى مدينة جديدة دون النظر أبداً إلى الخريطة مرة أخرى. المشكلة هي أنه كلما أصبحت تعليمات القيادة أطول وأكثر تعقيداً، يبدأ الذكاء الاصطناعي في نسيان الأماكن الدقيقة للمنعطفات أو كيف تبدو المعالم. يفقد "الارتباط بالأرض" (grounding)، مما يعني أنه يبتعد عن الأدلة البصرية التي يحتاجها ليكون صحيحاً.

يقدم هذا البحث طريقة جديدة لتفكير هذه الأدمغة من الذكاء الاصطناعي، تسمى v1. فبدلاً من مجرد إلقاء نظرة واحدة ثم التخمين، تُعلم v1 النموذج كيفية الإشارة بنشاط إلى أجزاء محددة من الصورة التي يحتاج لتذكرها، ونسخ تلك المعلومات، ولصقها مرة أخرى في عملية تفكيره كلما تعثر. إنه يشبه طالباً ذكياً يقوم، أثناء حل مسألة رياضية طويلة، بمد إصبعه باستمرار للنقر على الرسم البياني قائلاً: "مهلاً، دعني أتحقق من هذه الزاوية مرة أخرى"، ثم يستحضر ذلك التفصيل البصري المحدد مباشرة إلى ملاحظاته ليساعده في إكمال الحساب. وجد الباحثون أن خدعة "الإشارة والنسخ" البسيطة هذه تساعد الذكاء الاصطناعي على البقاء مركزاً على الأجزاء الصحيحة من الصورة، مما يؤدي إلى إجابات أفضل بكثير في الاختبارات الرياضية البصرية الصعبة.

المشكلة: فخ "النظرة الواحدة"

معظم نماذج الذكاء الاصطناعي الحالية التي يمكنها الرؤية والقراءة تشبه الطلاب الذين يُطلب منهم دراسة رسم بياني لثانية من الزمن ثم إغلاق أعينهم. فهي تقوم بتشفير الصورة في ذاكرتها مرة واحدة، ثم تحاول التفكير في المسألة باستخدام النص فقط. لاحظ الباحثون خللاً في هذا النهج: فكلما زاد طول وتعقيد عملية التفكير، بدأ النموذج يفقد التركيز. الأمر كما لو أن عيني الطالب قد غامت؛ يتوقف عن الانتباه للتفاصيل المهمة في الصورة. يوضح البحث أنه مع كتابة الذكاء الاصطناعي لمزيد من الخطوات لحل مسألة ما، يتلاشى انتباهه للصورة الفعلية، ويبدأ في ارتكاب الأخطاء لأنه لم يعد "ينظر" إلى الدليل الذي يحتاجه.

الحل: الإشارة والنسخ (Point-and-Copy)

لإصلاح ذلك، ابتكر الفريق v1، وهي ترقية خفيفة الوزن لهذه النماذج. تخيل v1 كأنها تمنح الذكاء الاصطناعي مؤشراً سحرياً وآلة تصوير. عندما يفكر الذكاء الاصطناعي في مسألة ما ويدرك أنه بحاجة للتحقق من جزء معين من الصورة — مثل زاوية في مثلث أو شريط في رسم بياني — فإنه لا يكتفي بالتخمين. بدلاً من ذلك، يستخدم آلية "إشارة" لاختيار ذلك الجزء المحدد من الصورة.

بمجرد أن يشير، يقوم "بنسخ" المعلومات البصرية من ذلك الموضع ويلصقها مباشرة في تدفق أفكاره. هذا يعني أن الذكاء الاصطناعي يمكنه العودة إلى الدليل البصري عدة مرات حسب حاجته، مما يبقي الصورة حاضرة في ذهنه بينما يقوم بالعمليات الحسابية. والأهم من ذلك، أن الأمر لا يتعلق بإنشاء صور جديدة أو رسم صور جديدة؛ بل يتعلق بإعادة الوصول إلى بيانات الصورة الأصلية بدقة جراحية. يتعلم النموذج أن يقول: "أحتاج للنظر إلى الشريط الأحمر مرة أخرى"، فيشير إليه، وينسخ بياناته، ثم يواصل تفكيره مع ذلك السياق البصري المتجدد.

كيف علموا الذكاء الاصطناعي

لا يمكنك مجرد قول "انظر بتركيز أكبر" للذكاء الاصطناعي؛ بل يحتاج إلى التدريب على كيفية القيام بذلك. بنى الباحثون مجموعة بيانات ضخمة تسمى v1g، تحتوي على 300,000 مثال لمسائل رياضية ترتبط فيها خطوات التفكير صراحةً بأجزاء محددة من الصورة. استخدموا عملية مؤتمتة ذكية لإنشاء هذه البيانات:

1. أخذوا مسارات التفكير الموجودة من نماذج ذكاء اصطناعي أخرى.
2. استخدموا نموذجاً لغوياً قوياً لتفكيك تلك المسارات، وتحديد الأماكن التي كان ينبغي للذكاء الاصطناعي أن ينظر فيها إلى الصورة.
3. أضافوا تعليقات "الارتباط بالأرض" (grounding annotations)، وهي تشبه الملاحظات اللاصقة الرقمية التي تقول: "عندما تذكر هذه الزاوية، يجب أن تنظر إلى هذا الجزء المحدد من الصورة".

علمت هذه المجموعة نموذج v1 أنه عندما يتعثر أو يحتاج للتحقق من خطوة ما، يجب عليه أن يمد يده، ويشير إلى المكان الصحيح، وينسخ المعلومات.

النتائج: تفكير أكثر ذكاءً وتركيزاً

اختبر الفريق v1 في عدة اختبارات معايير رياضية صعبة، بما في ذلك MathVista و MathVision و MathVerse. هذه الاختبارات مليئة بالرسوم البيانية، والمخططات، والأشكال الهندسية التي تتطلب فحصاً بصرياً دقيقاً.

كانت النتائج مبهرة. على الرغم من أن v1 نموذج صغير نسبياً (7 مليارات بارامتر)، إلا أنه تفوق على العديد من النماذج الأكبر والنماذج المتخصصة الأخرى.

• في اختبار MathVision، سجل النموذج الأساسي بدون ميزة الإشارة 23.6.
• عندما تمت إضافة ميزة الإشارة أثناء التدريب ولكن لم تُستخدم أثناء الاختبار، ارتفعت الدرجة قليلاً إلى 25.3.
• ولكن عندما سُمح للنموذج باستخدام ميزة الإشارة والنسخ أثناء الاختبار، قفزت الدرجة إلى 34.5.

يظهر هذا أن القدرة على العودة إلى الصورة بنشاط هي المحرك الرئيسي للنجاح. لم يصبح النموذج أفضل في الرياضيات فحسب؛ بل أصبح أفضل في "النظر" أثناء القيام بالرياضيات. في أحد الأمثلة، بينما أخطأت النماذج الأخرى في تحديد أطول شريط في مخطط، أشار v1 بشكل صحيح إلى الشريط المحدد، ونسخ بياناته، وحسب النسبة المئوية الصحيحة. وفي مهمة أخرى تتعلق بلغز إيجاد مسار باستخدام أشكال سداسية، نجح v1 في الإشارة إلى الأشكال الصحيحة للتحقق من المسار، بينما ضلت النماذج الأخرى طريقها.

ماذا يعني هذا؟

يشير البحث إلى أن مستقبل التفكير متعدد الوسائط لا يقتصر فقط على جعل النماذج أكبر أو أكثر ذكاءً في توليد النصوص. بل يتعلق بمنحها القدرة على الوصول ديناميكياً إلى المعلومات البصرية عندما تحتاج إليها. من خلال السماح للنموذج بـ "الإشارة والنسخ"، وجد الباحثون طريقة للحفاظ على توافق الأدلة البصرية مع خطوات التفكير، مما يمنع النموذج من الابتعاد عن الحقيقة.

يؤكد الباحثون بحذر أن هذا ليس عصا سحرية تحل كل المشكلات. فأحياناً قد يشير النموذج إلى المنطقة الخاطئة، أو قد يشير لمرات كثيرة جداً، أو قد يواجه صعوبة في المفاهيم المجردة للغاية التي لا تندرج تحت تصنيف واضح. ومع ذلك، فإن النتيجة الجوهرية واضحة: الإسناد البصي النشط يساعد. إنه يحول الذكاء الاصطناعي من طالب يلقي نظرة خاطفة على الخريطة مرة واحدة ويأمل في الأفضل، إلى ملاح يتحقق باستمرار من الخريطة، لضمان أن كل منعطف صحيح.