Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion
تقترح الورقة البحثية DuPLeR، وهو إطار عمل للاستنتاج عبر نماذج اللغات الكبيرة ثنائي المسار يدمج الأوليات المستمدة من نماذج اللغات الكبيرة متعددة الوسائط مع هياكل الرسوم البيانية الواقعية لتحقيق إكمال قوي لرسوم المعرفة في سياق التعلم بلقطات قليلة، وذلك من خلال التخفيف من الضجيج وتعزيز تمثيلات الكيانات عبر رسوم بيانية علاقاتية معايرة واستدلال هيكلي ثنائي المستوى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إنهاء أحجية عملاقة ومتنامية باستمرار لـحقائق العالم، حيث كل قطعة هي عبارة عن صلة بين شيئين، مثل "إلفيس بريسلي" و"ملك الروك أند رول". هذا ما يسميه العلماء رسم بياني للمعرفة (Knowledge Graph). إنه خريطة رقمية لكيفية ارتباط كل شيء بكل شيء آخر، وهو ما يشغل المساعدات الذكية ومحركات البحث. لكن هنا تكمن المشكلة: العالم الحقيقي فوضوي. تظهر حقائق جديدة كل يوم — مشاهير جدد، اكتشافات علمية جديدة، كلمات عامية جديدة — وغالباً ما تفتقر الخريطة إلى قطع كافية لربطها ببعضها البعض بعد. هذه هي مشكلة إكمال الرسم البياني للمعرفة (Knowledge-Graph Completion): محاولة تخمين الروابط المفقودة.
عادةً، تكون الحواسيب بارعة في ذلك إذا كانت قد رأت القطع من قبل. ولكن ماذا لو قدمت لها قطعة أحجية جديدة تماماً لم ترها من قبل، مع وجود قطعة أو اثنتين فقط بالقرب منها لتقديم تلميح؟ هذا هو تحدي التعلم من عينات قليلة (few-shot) أو التعلم من عدم وجود عينات (zero-shot). الأمر يشبه أن يُطلب منك تخمين نهاية قصة لم تقرأها من قبل، بناءً على الجملة الأولى فقط. وللمساعدة، يستعير الباحثون الآن حيلة من النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية للغاية التي قرأت كل شيء تقريباً على الإنترنت. تمتلك هذه الأنظمة "شعوراً حدسياً" حول كيفية اتصال الأشياء ببعضها، حتى لو لم يروا هذه الأحجية المحددة من قبل. ومع ذلك، يمكن لهذه الأنظمة أن تكون واثقة أكثر من اللازم، فتخترع حقائق (هلوسات) أو ترتبك بسبب صور لا تتطابق تماماً مع النص. السؤال الكبير هو: كيف نستخدم هذا "الشعور الحدسي" للذكاء الاصطناعي لملء الفراغات دون أن يختلق هراءً؟
هنا يأتي دور DuPLeR، وهو إطار عمل جديد اقترحه الباحث جينلان ليو وزملاؤه، والذي يعمل كـمحقق منظم للغاية لقطع الأحجية المفقودة هذه. فبدلاً من مجرد سؤال الذكاء الاصطناعي "ما رأيك؟" والأمل في الحصول على أفضل نتيجة، يستخدم DuPLeR استراتيجية المسار المزدوج (dual-path strategy) الذكية للتحقق من تخمينات الذكاء الاصطناعي مقابل الأدلة الحقيقية.
أولاً، يطلب النظام من الذكاء الاصطناعي التنبؤ بـأنواع الأشياء التي قد تكون مرتبطة ببعضها (على سبيل المثال، التخمين بأن "فنان موسيقي" من المرجح أن يكون مرتبطاً بـ"أغنية"). لكن لا يتم الوثوق بالذكاء الاصطناعي بشكل أعمى؛ إذ يقوم النظام ببناء خريطة "معايرة"، حيث يأخذ اقتراحات الذكاء الاصطناعي ويقوم بتنقية الأجزاء التي لا تتطابق مع الحقائق الصلبة والمعروفة بالفعل. إنه يشبه معلماً يراجع مقال طالب: يحتفظ بالأفكار الجيدة ولكنه يشطب التفاصيل المختلقة التي لا تتوافق مع الأدلة.
بعد ذلك، يحدث السحر الحقيقي مع التعزيز متعدد الوسائط مزدوج المسار (dual-path multimodal enhancement). تخيل أنك تحاول تحديد هوية مشتبه به في طابور عرض.
- المسار الأول (تركيز المحقق): بينما ينظر النظام إلى الأدلة المحددة للسؤال الحالي، فإنه يستخدم مرشحاً "خاصاً بالاستعلام". إنه يسأل الذكاء الاصطناعي: "مهلاً، بالنظر إلى هذه العلاقة المحددة، أي أجزاء من الصورة أو الوصف النصي مهمة حقاً؟" إنه يتجاهل الضجيج في الخلفية ويركز فقط على التلميحات البصرية أو النصية ذات الصلة.
- المسار الثاني (المعرفة العامة): بعد أن ينتهي المحقق من عمله المحدد، يأخذ النظام خطوة إلى الوراء وينظر إلى الصورة الكاملة مرة أخرى. إنه يلتقط الوصف الكامل وغير المفلتر للصورة والوصف ليتأكد من أنه لم يفتْه أي تفاصيل عامة كبيرة قد يكون المرشح المحدد قد استبعدها.
من خلال الجمع بين هذين المسارين — أحدهما مركز بدقة على السؤال المحدد والآخر يبقي الصورة الكبيرة في الاعتبار — يخلق النظام تخميناً أقوى وأكثر دقة للرابط المفقود.
اختبر الباحثون هذا على ثماني نسخ مختلفة من معيارين رئيسيين للرسوم البيانية للمعرفة، محاكيين سيناريوهات كان على الكمبيوتر فيها التعلم من مثال واحد أو ثلاثة أمثلة فقط (few-shot) أو حتى من صفر أمثلة (zero-shot). كانت النتائج واعدة: تفوق DuPLeR باستمرار على الطرق القديمة وحتى على النهج الأخرى المدعومة بالذكاء الاصطناعي. على سبيل المثال، في مجموعة بيانات FB15K-IMG-R، حقق DuPLeR درجة Hits@10 بلغت 71.77% في حالة الـ 1-shot، متفوقاً بشكل كبير على أفضل نتيجة سابقة وهي 61.20%. وفي سيناريوهات الـ zero-shot، حيث لم يتم تقديم أي أمثلة على الإطلاق، تمكن النظام أيضاً من تحسين التنبؤات، مما يشير إلى أن طريقة المسار المزدوج هذه تساعد الذكاء الاصطناعي على البقاء متجذراً في الواقع حتى عندما يعمل دون توجيه مسبق.
تشير الدراسة إلى أنه بينما يمكن للذكاء الاصطناعي توفير نقطة انطلاق مفيدة لفهم الحقائق الجديدة، فإنه يحتاج إلى "اختبار للواقع" من البيانات الفعلية وطريقة ذكية للموازنة بين الأدلة المحددة والمعرفة العامة. لا يدعي DuPLeR أنه حل أحجية الكون، لكنه يقدم طريقة جديدة وقوية لملء الفراغات عندما تكون المعلومات شحيحة، مما يضمن بقاء خرائطنا الرقمية للعالم كاملة وموثوقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.