← أحدث الأبحاث
🤖 AI

MELLON - Multimodal Enhanced LLM for Online Navigation

تقدم الورقة البحثية MELLON، وهو إطار عمل متعدد الوسائط يعزز بشكل كبير أداء وكيل التنقل عبر الويب في اختبار WebShop المرجعي من خلال محاذاة النصوص والصور لتحسين الاستنتاج والتخطيط، محققاً زيادة بنسبة 9.26% في الدقة بعد حقبة تدريب واحدة فقط.

المؤلفون الأصليون: Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

نُشر 2026-08-11
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التسوق عبر الإنترنت. قد تعتقد: "فقط أعطه التعليمات النصية، مثل 'اشترِ قميصاً أحمر'، وسوف يقرأ الموقع ويضغط على الأزرار". ولكن هنا تكمن العقبة: المواقع الإلكترونية ليست مجرد جدران من النصوص. إنها أماكن بصرية ملونة مليئة بالصور، والتخطيطات، والتصاميم. إذا طلبت من إنسان العثور على زوج معين من الأحذية، فهو لا يكتفي بقراءة الوصف فحسب؛ بل ينظر إلى الصورة ليرى اللون، والنمط، والشكل. لفترة طويلة، كانت أذكى برامج الكمبيوتر التي تحاول تصفح الويب تشبه المتسوقين المكفوفين — حيث كان بإمكانها قراءة النص بشكل مثالي لكنها لم تكن تستطيع "رؤية" الصور. يعيش هذا البحث في عالم الذكاء الاصطناعي، وتحديداً في التركيز على "وكلاء تصفح الويب" (Web Navigation Agents). هؤلاء هم مساعدون رقميون مصممون لفهم الأوامر باللغة الطبيعية وأداء مهام على مواقع ويب حقيقية، مثل شراء السلع أو حجز التذاكر. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم هؤلاء الوكلاء استخدام كل من "أعينهم" (لرؤية الصور) و"عقولهم" (لقراءة النصوص) في نفس الوقت، تماماً كما يفعل البشر؟

قرر الباحثون وراء هذه الدراسة، الذين يعملون على مشروع يسمى MELLON، اختبار هذه الفكرة على متجر إلكتروني محاكى يسمى WebShop. أرادوا معرفة ما إذا كان منح وكيل الذكاء الاصطناعي عرضاً لصور المنتجات، جنباً إلى جنب مع الأوصاف النصية، سيساعده على اتخاذ قرارات أفضل. لم يكتفوا بالتخمين؛ بل بنوا ثلاث أدوات تجريبية مختلفة لمحاولة حل اللغز. الأولى، والأكثر نجاحاً، كانت MELLON نفسها. فكر في MELLON كمتسوق ذكي للغاية يرتدي نظارات خاصة تترجم العالم المرئي إلى لغة يمكن لعقل الذكاء الاصطناعي فهمها. وجد الفريق أنه من خلال تدريب هذا الوكيل لجولة واحدة فقط من التعلم (دورة واحدة أو epoch)، أصبح أفضل بكثير في أداء مهمته. وتحديداً، قفزت دقة إكمال المهام بنسبة 9.26% مقارنة بنسخة أساسية تعتمد على النص فقط. وهذا يشير إلى أن دمج الرؤية والنص هو وسيلة قوية لمساعدة الذكاء الاصطناعي على تصفح الويب، حتى وإن كان النظام لا يزال يمر بمرحلة من النمو والتعثر.

ومع ذلك، فإن القصة ليست مجرد انتصار بسيط لفكرة أن "التعددية الوسائطية هي الأفضل دائماً". فقد جرب الفريق أيضاً نهجين إبداعيين آخرين لم ينجحا كما كان مأمولاً منهما. تمثل أحد الأفكار في معاملة مهمة التسوق كأنها لعبة "الإجابة عن أسئلة بصرية" (VQAgent)، حيث ينظر الذكاء الاصطناعي إلى صورة وسؤال، ثم يختار الإجابة الصحيحة. ظنوا أن هذا سيعمل لأن التسوق يشبه الإجابة عن أسئلة حول الصور. لكنهم اكتشفوا أنه في سياق WebShop الفوضوي والواقعي، كانت الأوصاف النصية تحمل في الواقع أدلة أكثر أهمية من الصور. ولأن الذكاء الاصطناটো تم تدريبه على الاعتماد بشكل كبير على الصور، فقد ارتبك عندما كان النص هو المفتاح الحقيقي للحل. الأمر يشبه محاولة حل لغز من خلال التحديق في رسم توضيحي بينما تكمن الإجابة في الخط الصغير الدقيق.

أما المحاولة الثالثة فقد تضمنت "مصنفاً متعدد الوسائط" (Multimodal Ranker)، وهي أداة مصممة لجعل الوكيل يتوقف ويتأمل بعناية في كل عنصر على الصفحة قبل اتخاذ قرار، بدلاً من مجرد التقاط أول شيء يراه. كان الأمل هو أن يؤدي وقت التفكير الإضافي هذا إلى نتائج أفضل. وبدلاً من ذلك، أظهرت التجربة أن هذا الحذر الإضافي جعل الوكيل أبطأ وأقل دقة. وجد الباحثون أن الأدوات المستخدمة لقياس التشابه بين الصور والنصوص (المسماة درجات BERT و CLIP) لم تتوافق جيداً مع ما يجعل المنتج "مطابقاً جيداً" في نظام تسجيل اللعبة. لقد تبين أن محاولة تصنيف كل خيار كان يشبه متسوقاً يقضي ساعة في مقارنة كل قميص في المتجر، لينتهي به الأمر بشراء القميش الخاطئ لأنه شعر بالإرهاق.

إذاً، ما هي الخلاصة النهائية من مغامرة التسوق الرقمية هذه؟ تشير الورقة البحثية إلى أنه بينما يعد منح وكلاء الذكاء الاصطناعي القدرة على "رؤية" الويب مساراً واعداً، إلا أنه ليس عصا سحرية. لقد أثبت وكيل MELLON أن مواءمة الصور والنصوص يمكن أن تعزز الأداء، لكن التجارب الأخرى أظهرت أن مجرد إضافة استدلال بصري أكثر تعقيداً أو إجبار الوكيل على النظر في كل شيء ليس دائماً الاستراتيجية الصحيحة. ويخلص الباحثون إلى أننا بحاجة إلى مواصلة استكشاف أفضل السبل لخلط هذه القرائن البصرية والنصية، ربما من خلال تدريب الوكلاء لفترات أطول أو استخدام "عقول" أكثر ذكاءً (نماذج لغوية كبيرة) في المستقبل. في الوقت الحالي، لقد أظهروا أن القليل من الرؤية يقطع شوطاً طويلاً، لكن الذكاء الاصطنا still يحتاج إلى تعلم متى ينظر إلى الصورة ومتى يقرأ التفاصيل الدقيقة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →