DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation
يعالج نظام DualG-MRAG أوجه القصور في أنظمة استرجاع المعلومات المعزز متعدد الوسائط الحالية في مهام الاستدلال المعقدة من خلال تقديم إطار عمل ثنائي المستويات مفكك يفصل بين الاستدلال الهيكلي العالمي (الاستدلال الكلي) وبين المطابقة الدقيقة للأدلة (المطابقة الجزئية) لتقليل ضجيج الاسترجاع وتعزيز دقة الإجابة على الأسئلة من خلال تمرير الرسائل القائم على الرسوم البيانية وفك التشفير باستخدام البرمجة الديناميكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم متعدد الطبقات. لديك مكتبة عملاقة مليئة بالكتب، والصور، والمخططات، والرسوم البيانية. يحاول "مساعد ذكي" (ذكاء اصطناعي) تقليدي مساعدتك، لكنه غالباً ما يصاب بالارتباك. قد ينظر إلى صورة قطة وجملة عن كلب، ثم يخلط بينهما ويخبرك بقصة غير حقيقية بكل ثقة. هذا لأن الذكاء الاصطناعي يعاني في ربط النقاط بين أنواع مختلفة من الأدلة، خاصة عندما تتطلب الإجابة الانتقال من وثيقة إلى أخرى، تماماً مثل محقق يتتبع أثراً من فتات الخبز عبر مدينة بأكملها. يسمى هذا المجال من الدراسة "الاسترجاع المعزز بالتوليد متعدد الوسائط" (Multimodal Retrieval-Augmented Generation أو MM-RAG). كلمة "متعدد الوسائط" تعني ببساطة أن الذكاء الاصطناعي يمكنه رؤية وقراءة أشياء مختلفة (مثل الصور والنصوص). أما "الاسترجاع المعزز بالتوليد" فيعني أن الذكاء الاصطناعي لا يجيب بمجرد التخمين من ذاكرته؛ بل يخرج ويبحث عن الحقائق الصحيحة من مكتبة، ثم يكتب إجابته بناءً على تلك الحقائق. المشكلة الكبيرة التي يحاول الباحثون حلها هي كيفية جعل الذكاء الاصطناعي يلتقط الأدلة الصحيحة دون أن يغمره الضجيج أو يفقد الروابط الخفية بينها.
هنا يأيدخل DualG-MRAG، وهو إطار عمل جديد اقترحه باحثون من جامعة بهيانغ (Beihang University)، والذي يعمل كمحقق بارع يمتلك استراتيجية محددة للغاية. بدلاً من محاولة قراءة كل صفحة في كل كتاب والنظر إلى كل بكسل في كل صورة في آن واحد (مما يخلق فوضى عارمة)، يقوم DualG-MRAG بتقسيم المهمة إلى فريقين متميزين: "فريق كلي" (Macro) و"فريق جزئي" (Micro).
فكر في الفريق الكلي كأنه مخططو المدن. هم لا يهتمون بالتفاصيل الدقيقة لمنزل واحد؛ بل ينظرون إلى الخريطة الكبيرة. إنهم يرسمون الطرق، والأحياء، والروابط الرئيسية بين أجزاء مختلفة من المدينة. في عالم الذكاء الاصطناعي، هذا هو الرسم البياني الكلي (Macro Graph). إنه يربط الأفكار الكبيرة والوثائق معاً، مما يساعد الذكاء الاصطناعي على فهم القصة "الشاملة" وكيف يمكن لوثيقة أن تقود إلى أخرى. هذا يمنع الذكاء الاصطناعي من الضياع في التفاصيل الصغيرة.
ثم هناك الفريق الجزئي، الذي يعمل كخبراء الأدلة الجنائية. بمجرد أن يشير الفريق الكلي إلى حي معين، يبدأ الفريق الجزئي في التركيز والتدقيق. إنهم ينظرون إلى التفاصيل الدقيقة: الملمس المحدد لنسيج قماش في صورة، أو الرقم الدقيق في جدول، أو ملصق صغير على رسم بياني. هذا هو الرسم البياني الجزئي (Micro Graph). مهمتهم هي التحقق من الأدلة المحلية دون التشتت بما تبقى من المدينة.
إن سحر DualG-MRAG يكمن في أنه يبقي هذين الفريقين منفصلين ولكن يعملان معاً. في الماضي، حاولت أنظمة الذكاء الاصطناعي دمج كل شيء في رسم بياني واحد ضخم وفوضوي. كان ذلك يشبه محاولة العثور على حبة رمل محددة على الشاطئ مع محاولة رسم خريطة للخط الساحلي بأكما في نفس الوقت—كان الأمر مليئاً بالضجيج والارتباك. يقول DualG-MRAG: "لا، لنرسم الخط الساحلي أولاً (الكلي)، ثم نذهب للبحث عن الرمل (الجزئي)".
ولجعل هذا النظام أكثر ذكاءً، يستخدم "محركاً موجهاً بالاستعلام". تخيل أنك تسأل: "أين تقف السيارة الحمراء؟"، وبدلاً من أن يقوم الذكاء الاصطناعي بفحص كل السيارات في المدينة بشكل عشوائي، يرسل المحرك الرسائل فقط عبر الطرق التي تؤدي إلى السيارات الحمراء. إنه يستخدم شبكة عصبية رسومية (GNN) لتمرير هذه الرسائل ديناميكياً، متتبعاً فقط المسارات التي تهم سؤالك المحدد.
أخيراً، بمجرد العثور على الأدلة، لا يقوم النظام بمجرد إلقاء كومة من الوثائق أمام الذكاء الاصطناعي. بدلاً من ذلك، يبني "مسار استدلال" واضحاً وخطوة بخطوة. الأمر يشبه تسليم الذكاء الاصطناعي خريطة كنز تقول: "ابدأ من المكتبة، اذهب إلى صورة السيارة، ثم انظر إلى تذكرة الوقوف في الوثيقة التالية". هذا المسار الصريح يساعد الذكاء الاصطناعي على توليد إجابة أكثر دقة بكثير.
اختبر الباحثون نظام المحقق الجديد هذا على بعض الألغاز الصعبة التي تتطلب الانتقال بين الصور والجداول والنصوص. ووجدوا أن DualG-MRAG كان أفضل بكثير في العثور على الأدلة الصحيحة والإجابة بشكل صحيح مقارنة بالطرق السابقة. على سبيل المثال، في اختبار يسمى MMQA، حسّن دقة العثور على الإجابة الصحيحة بهامش ملحوست مقارنة بأفضل الأنظمة الموجودة. كما تمكن من القيام بذلك دون أن يكون بطيئاً جداً، حيث حافظ على وقت الاستجابة لأقل من ثانية في كثير من الحالات. تشير الدراسة إلى أنه من خلال فصل التفكير "الشامل" عن فحص "التفاصيل الدقيقة"، يمكننا بناء ذكاء اصطناعي أكثر ذكاءً وموثوقية عند التعامل مع العالم المختلط والفوضوي للمعلومات الواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.