Mario: Multimodal Graph Reasoning with Large Language Models
تقترح الورقة البحثية Mario، وهو إطار عمل موحد يعزز الاستدلال القائم على النماذج اللغوية الكبيرة على الرسوم البيانية متعددة الوسائط من خلال توظيف نموذج رؤية ولغة مشروط بالرسم البياني لتنقية الميزات عبر الوسائط، وآلية ضبط تعليمات متكيفة مع الوسائط لاختيار تكوينات الوسائط المثلى ديناميكيًا، مما يتفوق بذلك على الأساليب الحالية المتطورة في مهام تصنيف العقد وتنبؤ الروابط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم في مدينة مزدحمة. لديك محقق بارع (النموذج اللغوي الكبير، أو LLM) وهو ذكي للغاية في قراءة الأدلة والتحدث مع الناس. ومع ذلك، فإن المدينة مليئة بـ "الرسوم البيانية متعددة الوسائط" (Multimodal Graphs): وهي شبكة من الأشخاص المترابطين (عُقد) حيث يمتلك كل شخص (صورة) (بيانات مرئية) و(تدوينة يومية) (بيانات نصية) مرفقة به.
ما المشكلة؟ المدينة فوضوية.
- عدم التطابق: أحياناً تظهر صورة الشخص شاطئاً مشمساً، لكن مذكراته تقول إنه عالق في مكتب ممطر. الصورة والنص لا يتطابقان جيداً.
- التفضيل: أحياناً تحتاج لقراءة المذكرات لفهم شخص ما، ولكن بالنسبة لآخرين، الصورة هي التي تحكي القصة كاملة. ولبعض الأشخاص، تحتاج لكليهما معاً. إذا أجبرت المحقق على استخدام نفس الطريقة للجميع، فسيصاب بالارتباك.
إليك "ماريو". ماريو ليس سباكاً؛ بل هو منسق محققين فائق الذكاء صُمم لمساعدة المحقق (LLM) في حل هذه الألغاز المترابطة والفوضوية.
إليك كيف يعمل ماريو، مقسماً إلى مرحلتين بسيطتين:
المرحلة الأولى: "الصورة الجماعية" للمواءمة (إصلاح عدم التطابق)
في الأيام الخوالي، إذا أردت فهم شخص ما، كنت ستكتفي بالنظر إلى صورته وقراءة مذكراته بشكل منفصل. ولكن في المدينة، يؤثر الناس على بعضهم البعض. إذا كان جارك طباخاً، فقد تصبح أنت ناقداً للطعام.
وظيفة ماريو الأولى هي أن يعمل مثل منسق الحفلات في تجمع اجتماعي.
- المشكلة: قد تتعارض الصورة مع المذكرات (على سبيل المثال: صورة لكلب، لكن النص يقول "أنا أحب القطط").
- حل ماريو: هو لا ينظر إلى الشخص بمعزل عن غيره فحسب، بل ينظر إلى الشخص وجيرانه أيضاً. يستخدم الروابط الموجودة في المدينة (الرسم البياني) لمساعدة الصورة والنص على "الاتفاق" على حقيقة من هو هذا الشخص.
- التشبيه: تخيل أنك تحاول التعرف على شخص غريب. ترى صورة له وهو يحمل غيتاراً، لكن سيرته الذاتية تقول "أنا خباز". أمر مربك، أليس كذلك؟ لكن بعد ذلك ترى أن جيرانه جميعاً في فرقة موسيقية. يستخدم ماريو هذا السياق ليدرك: "آه، الصورة هي الحقيقة؛ أما السيرة الذاتية فهي مجرد دعابة". إنه يوفق بين الصورة والنص بحيث يرويان قصة متسقة قبل تسليمهما للمحقق.
المرحلة الثانية: "القائمة الذكية" (إصلاح التفضيل)
الآن بعد أن قام ماريو بتنظيف البيانات، عليه أن يقدمها للمحقق (LLM).
المشكلة: في الماضي، كان الباحثون يقدمون للمحقق نفس "القائمة" لكل قضية. "إليك النص، وإليك الصورة، وإليك كلاهما". لكن أحياناً يكون النص بلا فائدة، والصورة مثالية. وفي أحيان أخرى، يكون النص هو الشيء الوحيد المهم.
حل ماريو: يقدم ماريو نادلًا ذكياً (يسمى موجه الوسائط المتكيف - Modality-Adaptive Prompt Router).
التشبيه: فكر في المحقق كطباخ يمكنه الطهي بمكونات مختلفة.
- بالنسبة لعقدة "الخباز"، يقول النادل الذكي: "أيها الشيف، تجاهل الصورة؛ فقط أعطني وصفة النص".
- بالنسبة لعقدة "الرسام"، يقول النادل: "أيها الشيف، النص غير مفهوم؛ فقط أرني اللوحة".
- بالنسبة لعقدة "الطباخ"، يقول النادل: "أعطني الوصفة وصورة الطبق معاً".
ينظر النادل إلى الحالة المحددة (العقدة وجيرانها) ويقرر فوراً أي "قائمة" (نص فقط، صورة فقط، أو كلاهما) ستساعد المحقق على حل المشكلة بأفضل طريقة.
لماذا ماريو أفضل؟
معظم الطرق الأخرى تحاول إجبار المحقق على النظر إلى كل شيء في وقت واحد، أو أنها تكتفي بالتخمين. ماريو مختلف لأنه:
- يصلح الضجيج أولاً: يتأكد من أن الصور والنصوص تتفق مع بعضها البعض باستخدام سياق الحي/الجوار.
- يخصص طريقة التقديم: هو لا يستخدم نهج "مقاس واحد يناسب الجميع". بل يصمم المعلومات لتناسب ما هو مفيد حقاً لكل لغز على حدة.
النتيجة
عندما تم اختبار ماريو على بيانات من العالم الحقيقي (مثل مراجعات منتجات أمازون مع الصور، أو منشورات ريديت مع الصور)، لم يكتفِ بأداء جيد فحسب، بل سحق المنافسين.
- قدرة خارقة في "التعلم الصفري" (Zero-Shot): حتى عندما تم تدريب ماريو على نوع واحد من المدن (مثل الألعاب) وأُرسل إلى مدينة جديدة تماماً (مثل الأفلام) دون أي تدريب إضافي، فإنه لا يزال يحل الألغاز بشكل أفضل من أي شخص آخر.
- الكفاءة: هو لا يضيع الوقت. من خلال اختيار "القائمة" المناسبة لكل حالة، يحل المحققون المشكلات بشكل أسرع وأكثر دقة.
باخت بأختصار: ماريو هو المترجم والمنظم الأمثل. إنه يأخذ الصور والنصوص الفوضوية وغير المترابطة، ويستخدم الشبكة الاجتماعية لجعلها مفهومة، ثم يقدم الدليل المخصص والمثالي للمحقق الذكي، مما يضمن حل اللغز في كل مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.