OpenVisTool: An Open Recipe for Synthesizing Instructive Visual Tool-Use Trajectories
تقدم الورقة البحثية OpenVisTool، وهو إطار عمل يعمل على تخليق مسارات استخدام أدوات إرشادية من خلال التصفية بناءً على كل من صحة الإجابة والمساهمة السببية لملاحظات الأدوات، مما ينتج عنه مجموعة بيانات ومعيار مرجعي يحسنان بشكل كبير أداء الوكلاء متعددي الوسائط عبر تعليم النماذج ربط استخدام الأدوات بالأدلة بدلاً من مجرد محاكاة أنماط الاستدعاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يحل لغزاً. لديك مكتبة ضخمة من الأدلة (صور) ومجموعة من العدسات المكبرة الخاصة (أدوات) التي يمكنها التكبير، أو القص، أو تسليط الضക്ക് على أجزاء معينة من الصورة. في عالم الذكاء الاصطناوي، تصبح هذه "الوكلاء متعددون الوسائط" (multimodal agents) أكثر ذكاءً، لكنها غالباً ما تصطدم بحائط مسدود: فهي لا تستطيع إلا رؤية ما هو موجود في اللقطة الأولية. فإذا كان الدليل مخفياً في نص صغير جداً أو في زاوية ضبابية، فإن الروبوت يفوته. ولإصلاح ذلك، يعلم العلماء الروبوتات كيفية استخدام عدساتها المكبرة بنشاط لجمع أدلة جديدة قبل الإجابة. ولكن الجزء الصعب هنا هو: مجرد أن يستخدم الروبوت أداة ويصل إلى الإجابة الصحيحة، لا يعني بالضرورة أن الأداة قد ساعدت حقاً. فربما عرف الروبوت الإجابة بالفعل من ذاكرته وتظاهر فقط باستخدام العدسة المكبرة لأنه طُلب منه ذلك. هذا البحث يسأل سؤالاً حيوياً: كيف نعلم الروبوت استخدام الأدوات فقط عندما تكون ضرورية حقاً، بدلاً من مجرد تقليد عادة استخدامها؟
يجادل الباحثون وراء هذه الدراسة، والذين أطلقوا عليها اسم OpenVisTool، بأن الطريقة الحالية لتدريب هذه الروبوتات معيبة. ويقولون إن مجرد إظهار "قصة ناجحة" للروبوت حيث استخدم أداة وحصل على الإجابة الصحيحة يشبه إظهار اختبار رياضيات لطالب أجاب بشكل صحيح ولكنه لا يزال يكتب كل خطوة من معادلة معقدة. يتعلم الطالب هنا أن "كتابة المعادلات تؤدي إلى درجات جيدة"، لكنه لا يتعلم لماذا كانت المعادلة مطلوبة. يقترح المؤلفون وصفة جديدة أكثر صرامة لبيانات التدريب. فهم يصرون على أن مثال التدريب يكون مفيداً فقط إذا حدث أمران: أولاً، يحصل الروبوت على الإجابة الصحيحة (صلاحية النتيجة - Outcome Validity)، وثانياً، أن الروبوت احتاج فعلياً إلى الأداة للوصول إلى هناك (المنفعة السببية - Causal Utility). إذا كان بإمكان الروبوت حل اللغز بدون الأداة، يتم استبعاد هذا المثال.
لإثبات ذلك، بنى الفريق مجموعة بيانات جديدة ضخمة تسمى OpenVisTool-42K، تحتوي على 42,000 مثال تم تصفيتها بعناية عبر خمسة عوالم بصرية مختلفة: قراءة المخططات، تحليل الجداول، التنقل في شاشات الكمبيوتر، البحث عن تفاصيل بصرية، وتحويل صفحات الويب إلى كود برمجي. استخدموا عملية من ثلاث خطوات لإنشاء مجموعة البيانات هذه. أولاً، قاموا بفحص الأسئلة "الصعبة" التي لا يستطيع الروبوت حلها بدون أدوات. ثانياً، جعلوا روبوتاً "معلماً" فائق الذكاء يحل هذه المشكلات باستخدام استراتيجيات محددة لكل نوع من أنواع الألغاز. أخيراً، أجروا اختبار "تحقق من الإشراف" صارم: أخذوا حل المعلم وطلبوا من روبوت "طالب" أضعف حل نفس المشكلة. إذا فشل الطالب بدون ملاحظات أداة المعلم ونجح بها، يتم الاحتفاظ بالمثال. أما إذا استطاع الطالب حلها بأي من الطريقتين، فيتم استبعاد المثال باعتباره "زائداً عن الحاجة".
كانت النتائج مبهرة. فعندما قام الباحثون بضبط أربعة نماذج مختلفة من الروبوتات (تتراوح من نماذج صغيرة بسعة 4 مليارات معلمة إلى نماذج كبيرة بسعة 27 مليار معلمة) باستخدام هذه المجموعة الجديدة من البيانات، أصبح الروبوتات أفضل بكثير في استخدام الأدوات. وفي منصة الاختبار الخاصة بهم، OpenVisTool-Bench، تحسنت النماذج بمتوسط 10.7 نقطة. وكانت القفزة الأكبر في البحث البصري، حيث اكتسبت النماذج 23.8 نقطة. والأكثر إثارة للحماس هو أن النماذج الصغيرة مفتوحة المصدر التي تدربت على هذه البيانات قدمت أداءً يقارب النماذج الضخمة مغلقة المصدر (مثل GPT-5.5) التي تهيمن عادة على هذا المجال. على سبيل المثال، سجل نموذج Qwen3.5-9B الذي تدرب على OpenVisTool-42K متوسط قدره 45.8، متفوقاً على GPT-5.5 غير المدرب (الذي سجل 41.9 بدون أدوات) ومقترباً جداً من GPT-5.5 مع الأدوات (49.0).
وجدت الدراسة أيضاً أن طريقة التدريب الجديدة تعلم "مهارة عليا" (meta-skill) تعمل عبر أنواع مختلفة من الألغاز. فعندما اختبروا الروبوتات المدربة على مشكلات لم يروها من قبل (مهام خارج التوزيع - out-of-distribution)، ظل أداؤهم أفضل من الروبوتات المدربة على بيانات قديمة وأقل صرامة. ومع ذلك، اكتشف المؤلفون أيضاً أن التدريب على نوع واحد فقط من الألغاز (مثل المخططات فقط) يمكن أن يضر أحياناً بالأداء في أنواع أخرى (مثل صفحات الويب)، مما يشير إلى أن مزيجاً من التحديات المختلفة هو الأفضل. في النهاية، تقترح الورقة البحثية أن السر في تعليم الروبوتات استخدام الأدوات ليس مجرد عرض قصص نجاح، بل عرض قصص تكون فيها الأدوات هي "الأبطال الحقيقيين". فمن خلال تصفية استخدام الأدوات "المزيف"، يساعد OpenVisTool الروبوتات ليس فقط على تعلم كيفية استخدام العدسة المكبرة، بل متى يحتاجون فعلياً إلى التقاطها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.