تخيل أنك تحاول حل لغز، ولكن بدلاً من وجود دليل واحد، لديك كومة ضخمة وفوضوية من الكتب والصور والخرائط الملقاة في صندوق واحد كبير. هذا هو عالم "الاسترجاع المعزز بالتوليد متعدد الوسائط" (mRAG). إنها طريقة معقدة للقول بأننا نريد من أجهزة الكمبيوتر أن تجيب على الأسئلة حول الصور من خلال البحث عن الحقائق في مكتبة ضخمة. عادةً، عندما يحاول جهاز كمبيوتر القيام بذلك، فإنه يتصرف مثل متسوق مذعور في سوبر ماركت ضخم: يمسك بسؤال، ويصرخ به في المتجر بأك its، ويأمل أن تكون العناصر القليلة الأولى التي يجدها على الرفوف هي الصحيحة. المشكلة هي أن الكمبيوتر غالباً ما يمسك بالأشياء الخاطئة لأنه لا يفهم حقاً ماذا يبحث عنه أو أين قد يكون هذا الشيء مخبأً في المتجر. الأمر يشبه طلب "السيارة الحمراء" والحصول على صورة لتفاحة حمراء لأن الكمبيوتر رأى فقط كلمة "أحمر" وأمسك بأول شيء أحمر وجده.

هنا يأتي دور الورقة البحثية الجديدة. أدرك الباحثون أنه قبل أن تبدأ في البحث، عليك أن تتوقف وتفكر. لقد أطلقوا على نظامهم الجديد اسم MM-R2، والذي يرمز إلى "فكر قبل أن تسترجع" (Reason Before You Retrieve). بدلاً من الصراخ في الفراغ بعشوائية، يعمل MM-R2 كمحقق ذكي. أولاً، ينظر إلى الصورة والسؤال معاً ليفهم بالضبط ما هو "الدليل" (الشيء المحدد في الصورة) وما هو نوع المعلومات المطلوبة. بعد ذلك، وبدلاً من البحث في الصندوق الفوضوي بأكمله، يستشير خريطة منظمة خاصة بالمكتبة تسمى "خريطة المعرفة" (KnowledgeMap). إنه يختار الممر الصحيح، ويمسك بالكتاب المناسب، يقرأه، ويقرر ما إذا كان بحاجة للبحث في مكان آخر. تقترح الورقة أنه من خلال خطوة "التفكير أولاً" هذه، يصبح الكمبيوتر أفضل بكثير في العثور على الإجابات الصحيحة، ويمكنه حتى عرض خطوات عمله، مما يثبت بالضبط كيف حل اللغز.

استراتيجية المحقق الجديدة

الفكرة الجوهرية لهذه الورقة هي أن أجهزة الكمبيوتر حالياً متسرعة جداً في الدخول في العمل. عندما تسأل جهاز كمبيوتر، "ما نوع الطائر الموجود في هذه الصورة؟" أثناء عرضه لصورة، فإن الأنظمة الحالية غالباً ما تدمج الكلمات والصورة معاً وتبدأ في البحث في كل شيء دفعة واحدة. يجادل المؤلفون بأن هذا خطأ. لقد وجدوا أن هذه الأنظمة ترتبك لأنها لا تعرف أي جزء من الصورة يهم أو ما هي المعلومة المحددة التي تحتاجها. الأمر يشبه محاولة العثور على وصفة محددة في مكتبة من خلال البحث عن كلمة "كعكة" في كل كتاب في المبنى، بدلاً من الذهاب مباشرة إلى قسم "الخبز".

لإصلاح ذلك، بنى الفريق نظام MM-R2، وهو نظام يجبر الكمبيوتر على التوقف والتخطيط قبل أن يبحث. لقد قسموا العملية إلى ثلاث خطوات ممتعة:

1. خطة "ماذا" و "أين": قبل البحث، ينشئ النظام "حالة استرجاع". فكر في هذا ككتابة قائمة تسوق مثالية. إنه يحدد الحاجة إلى المعلومات (ما الذي أحتاج لمعرفته؟)، والمرجع المرتبط بالواقع (أي شيء محدد في الصورة أتحدث عنه؟)، والقيود (هل أحتاج إلى تاريخ؟ موقع؟ اسم علمي؟). هذا يمنع الكمبيوتر من التشتت بتفاصيل غير ذات صلة.
2. الخريطة المنظمة (KnowledgeMap): أدرك الباحثون أن البحث في قائمة مسطحة وفوضوية من الحقائق هو أمر غير فعال. لذا، قاموا بتنظيم مكتبتهم إلى KnowledgeMap. تخيل أن المكتبة ليست مجرد كومة من الكتب، بل مجموعة من الصناديق المصنفة بدقة: صندوق لـ "الطيور"، وصندوق لـ "السيارات"، وصندوق لـ "التاريخ". عندما يمتلك الكمبيوتر قائمة التسوق الخاصة به، فإنه لا يبحث في المكتبة بأكملها؛ بل يقرر أولاً أي صندوق سيفتح. وهذا ما يسمى "التوجيه" (routing).
3. حلقة المحقق: بمجرد أن يختار الكمبيوتر الصندوق الصحيح (وحدة الاسترجاع)، فإنه يبحث داخل ذلك الصندوق عن الإجابة المحددة. إذا وجد الإجابة، فهذا رائع! إذا لم يجدها، يمكنه أن يقرر اختيار صندوق مختلف أو طرح سؤال أكثر تحديداً. يستمر في فعل ذلك حتى يمتلك ما يكفي من الأدلة لحل القضية.

كيف علموا الكمبيوتر أن يفكر

قد تتساءل، "كيف يتعلم الكمبيوتر التخطيط مثل المحقق؟" لم يكتفِ المؤلفون بإخبار الكمبيوتر "كن ذكياً". بدلاً من ذلك، أنشأوا مجموعة بيانات تدريبية ضخمة تسمى MM-R2-Traj. تحتوي هذه المجموعة على 900,000 مثال من "عمليات التفكير".

تخيل معلماً يوضح لطالب كيفية حل لغز. المعلم لا يعطي الإجابة فحسب؛ بل يوضح الخطوات: "أولاً، انظر إلى القطع الزاوية. ثم، صنفها حسب اللون. ثم، حاول دمج هاتين القطعتين معاً". استخدم الباحثون ذكاءً اصطناعياً يعمل كـ "معلم" لتوليد هذه القصص التي تسرد الخطوات للطالب (الذكاء الاصطناعي). لقد علموا الطالب أن:

• يحلل الصورة والسؤال لوضع خطة.
• يختار "الصندوق" الصحيح (وحدة KnowledgeMap).
• يطرح سؤالاً محدداً داخل ذلك الصندوق.
• يلخص ما وجده.
• يقرر ما إذا كان قد انتهى أم يحتاج للبحث مرة أخرى.

لقد قاموا بتدريب الكمبيوتر في مرحلتين. أولاً، استخدموا الضبط الدقيق الخاضع للإشراف (SFT)، وهو يشبه وجود طالب ينسخ ملاحظات المعلم لتعلم القواعد الأساسية. بعد ذلك، استخدموا تحسين السياسة النسبية للمجموعة (GRPO)، وهو يشبه لعبة يحاول فيها الطالب استراتيجيات مختلفة، وإذا حصل على الإجابة الصحيحة، يحصل على درجة عالية. إذا أخطأ في الإجابة، فإنه يتعلم تجربة مسار مختلف في المرة القادمة. ساعد هذا الكمبيوتر على أن يصبح جيداً حقاً في اتخاذ القرارات الصحيحة.

النتائج: أذكى وأكثر وضوحاً

عندما اختبروا MM-R2 في تحديين كبيرين — InfoSeek (مجموعة بيانات تحتوي على 1.3 مليون زوج من الصور والأسئلة) و Encyclopedic VQA (اختبار للمعرفة الموسوعية) — كانت النتائج مبهرة.

في اختبار InfoSeek، حصل MM-R2 على الإجابة الصحيحة بنسبة 54.3% إجمالاً. هذه قفزة كبيرة مقارنة بالأنظمة الذكية الأخرى، التي كانت تحوم عادةً حول 46-47%. وفي الجزء الخاص بـ "الأسئلة غير المرئية" (Unseen-Question) من الاختبار (حيث يتعين على الكمبيوتر التعامل مع أسئلة لم يسبق له رؤيتها)، سجل MM-R2 نسبة 56.0%، متفوقاً على أفضل النتائج السابقة بفارق ملموس. وحتى في اختبار Encyclopedic VQA، وصل إلى 39.4%، مما يظهر أنه يعمل بشكل جيد حتى عندما تكون الأسئلة محددة جداً وصعبة.

لكن الورقة البحثية تقترح شيئاً أكثر أهمية من مجرد الحصول على درجة جيدة: الشفافية. نظرًا لأن MM-R2 يخطط خطواته، يمكننا فعلياً رؤية كيف حل المشكلة.

• توجيه أفضل: اختار النظام "الصندوق" الصحيح (وحدة KnowledgeMap) بنسبة 74% من الوقت، مقارنة بـ 23% فقط للأنظمة القديمة. لقد توقف عن إضاعة الوقت في البحث في الأماكن الخاطئة.
• تفسيرات أوضح: عندما شرح النظام إجابته، كان أكثر إيجازاً وتركيزاً. سجلت درجة "الأمانة" (Fidelity) (التي تتحقق مما إذا كانت الإجابة مستمدة حقاً من الأدلة الموجودة) نسبة 0.90، مما يعني أن الإجابة كانت تعتمد بالكامل تقريباً على الحقائق التي وجدها، وليس مجرد تخمين.

ماذا يعني هذا

تشير الورقة البحثية إلى أن الطريقة القديمة المتمثلة في "البحث في كل شيء" بدأت تصل إلى طريق مسدود. من خلال إجبار الكمبيوتر على التفكير قبل الاسترجاع، يمكننا بناء أنظمة ليست فقط أذكى، بل أيضاً أكثر موثوقية. إنهم لا يخمنون فحسب؛ بل يتبعون مساراً منطقياً، ويراجعون عملهم، ويمكنهم إظهار كيفية العثور على الإجابة بالضبط. إنه الفرق بين رحلة بحث عشوائية ومهمة محقق مخطط لها جيداً. وبينما يشير الباحثون إلى أن هذا نهج محدد للذكاء الاصطناعي متعدد الوسائط ولا يحل كل مشا problems العالم، فإن النتائج تشير إلى أن أخذ لحظة للتفكير قبل التصرف هو استراتيجية قوية لمستقبل أجهزة الكمبيوتر الذكية.