💬 NLP

Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition

تتناول هذه الورقة البحثية انحياز النمط (modality bias) في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الذي يعيق عملية التعرف على الكيانات المسماة المرتكزة (Grounded Named Entity Recognition) من طرف إلى طرف، وذلك عبر اقتراح "الاستدلال المتسق المدرك للنمط" (Modality-aware Consistency Reasoning - MCR)، وهو إطار عمل يستخدم "حقن مخطط الاستدلال متعدد الأنماط" (Multi-style Reasoning Schema Injection) و"التحسين القابل للتحقق الموجه بالقيود" (Constraint-guided Verifiable Optimization) لفرض تحقق صارم عبر الوسائط وتحقيق أداء فائق.

المؤلفون الأصليون: Jinlong Ma, Yu Zhang, Xuefeng Bai, Kehai Chen, Yuwei Wang, Zeming Liu, Jun Yu, Min Zhang

نُشر 2026-02-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jinlong Ma, Yu Zhang, Xuefeng Bai, Kehai Chen, Yuwei Wang, Zeming Liu, Jun Yu, Min Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "ما وراء الاختصارات أحادية النمط: النماذج اللغوية الكبيرة متعددة الوسائط كمستنتجات عبر وسائط للتعرف المرتكز على الكيانات المسماة"، باستخدام لغة بسيطة وتشبيهات.

الصورة الكبيرة: مشكلة "المحقق الذكي"

تخيل أن لديك محققاً ذكياً جداً (نموذج لغوي كبير متعدد الوسائط، أو MLLM) وهو بارع في قراءة الأدلة والنظر في الصور. هدفك هو إعطاء هذا المحقق جملة وصورة وسؤاله: "من أو ما الذي تم ذكره في الجملة، وأين يوجد بالضبط في الصورة؟"

تسمى هذه المهمة التعرف المرتكز على الكيانات المسماة متعدد الوسائط (GMNER).

على سبيل المثال، إذا قالت الجملة "شعار NBA موجود على الحائط"، يحتاج المحقق إلى:

تحديد "NBA" كمنظمة.
إيجاد البقعة المحددة في الصورة حيث يوجد شعار NBA.
إذا قالت الجملة "شعار NFL موجود على الحائط"، ولكن الصورة تظهر فقط شعار NBA، يجب على المحقق أن يقول بشكل صحيح: "شعار NFL ليس موجوداً في هذه الصورة".

المشكلة: المحقق يتخذ "اختصارات"

وجد المؤلفون أنه على الرغم من ذكاء هؤلاء المحققين الآليين، إلا أن لديهم عادة سيئة: وهي اتخاذ اختصارات معرفية. فبدلاً من مقارنة النص بالصورة بعناية، يعتمدون على "اختصارات أحادية النمط" (استخدام حاسة واحدة في كل مرة).

حددت الورقة نوعين رئيسيين من هذه الاختصارات، والتي يسمونها التحيز للنمط (Modality Bias):

تحيز "النص فقط" (تجاهل الصورة):
- السيناريو: يذكر النص اسم "إيجي" (Iggy)، وتظهر الصورة لاعب كرة سلة مشهور وهو "كيفن ديورانت".
- الخطأ: يرى الذكاء الاصطناي "إيجي" في النص ويفترض: "أوه، لا بد أن إيجي هو الرجل الموجود في الصورة!" رغم أن الصورة تظهر بوضوح كيفن ديورانت. إنه يتجاهل الدليل البصري لأنه مركز بشدة على النص.
- التشبيه: يشبه الأمر محققاً يقرأ اسم مشتبه به في تقرير، فيشير فوراً إلى شخص عشوائي في طابور عرض المتهمين، متجاهلاً حقيقة أن الشخص في الصورة لا يشبه المشتبه به بتاتاً.
تحيز "الصورة فقط" (تجاهل النص):
- السيناريو: يقول النص: "لويس فان جال نسي من فاز بالدوري الإنجلي Premier League". وتظهر الصورة ملعب كرة قدم به لافتة "مانشستر يونايتد".
- الخطأ: يرى الذكاء الاصطناعي اللافتة في الصورة ويقول: "مانشستر يونايتد موجود في الجملة!" رغم أن كلمة "مانشستر يونايتد" لم تظهر أبداً في النص. إنه يتخيل صلة لأن الدليل البصري قوي جداً.
- التشبيه: يشبه الأمر محققاً يرى سيارة حمراء في صورة، فيدعي أن الشاهد قال: "سيارة حمراء مرت من هنا"، حتى لو كان الشاهد قد قال في الواقع: "شاحنة زرقاء مرت من هنا". المحقق يترك الصورة تعيد كتابة القصة.

الحل: "MCR" (المشرف الصارم)

لإصلاح ذلك، ابتكر المؤلفون طريقة جديدة تسمى الاستنتاج المتسق المعتمد على الوعي بالنمط (MCR). فكر في MCR كمشرف صارم يجبر المحقق على التوقف عن أخذ الاختصارات واتباع قائمة مراجعة دقيقة.

يعمل MCR في مرحلتين رئيسيتين:

1. حقن مخطط الاستنتاج متعدد الأنماط (MRSI) – "دليل التدريب"

بدلاً من مجرد قول "ابحث عن الكيانات" للذكاء الاصطناي، يعلمه المؤلفون كيف يفكر. يقومون بحقن "أنماط" مختلفة من الاستنتاج في النموذج.

كيف يعمل: يقومون بإنشاء العديد من "السيناريوهات" أو القوالب المختلفة. قد يقول أحد السيناريوهات: "أولاً، اذكر كل كلمة في الجملة. ثانياً، انظر إلى الصورة. ثالثاً، تحقق مما إذا كانت الكلمة تطابق الصورة". وقد يقول سيناريو آخر: "حلل الصورة أولاً، ثم انظر ما إذا كان النص يدعمها".
الهدف: من خلال إجبار الذكاء الاصطناي على ممارسة هذه المسارات المختلفة خطوة بخطوة، فإنه يتعلم التحقق من النص مقابل الصورة في كل مرة، بدلاً من التخمين بناءً على شعور داخلي.

2. التحسين القابل للتحقق الموجه بالقيود (CVO) – "نظام الدرجات"

بمجرد تدريب الذكاء الاصطناي على التفكير خطوة بخطوة، يستخدم المؤلفون نظام درجات خاص لجعل أدائه أفضل.

كيف يعمل: هم لا يكتفون بقول "عمل جيد" أو "عمل سيء". بل يعطون مكافآت محددة قائمة على الرياضيات لاتباع القواعد.
- هل عددت العدد الصحيح من الكيانات؟ مكافأة.
- هل كتبت تهجئة الكيان بشكل صحيح؟ مكافأة.
- هل قلت "لا يوجد" بشكل صحيح عندما لا يكون الشيء موجوداً في الصورة؟ مكافأة كبيرة.
- هل اخترعت شيئاً لم يكن موجوداً (هل حدثت هلوسة)؟ عقوبة.
الهدف: هذا يجبر الذكاء الاصطناي على إدراك أن "الهلوسة" (اختلاق أشياء) هي استراتيجية سيئة إذا أراد الحصول على درجة عالية. إنه يتعلم أن يكون متحفظاً ودقيقاً، ولا يدعي وجود شيء إلا إذا استطاع إثباته من خلال كل من النص والصورة.

النتائج: محقق أفضل

اختبر المؤلفون هذه الطة الجديدة على عدة مجموعات بيانات. وإليك ما حدث:

التفوق على الطريقة القديمة: الطرق السابقة إما كانت تعامل النص والصورة بشكل منفصل (مما يسبب أخطاء) أو استخدمت الذكاء الاصطناي كأداة مساعدة فقط. أما MCR فيعامل المهمة بأكملها كأحجية استنتاج كبيرة ويتفوق بشكل ملحوظ.
إصلاح التحيزات: أظهرت الاختبارات أن MCR قلل بشكل كبير من "الاختصارات".
- توقف عن التخمين بأن "إيجي" موجود في الصورة بينما هو ليس كذلك.
- توقف عن الادعاء بأن "مانشستر يونايتد" موجود في النص بينما هو ليس كذلك.
مقياس "N-Rate": قاموا بقياس عدد المرات التي اخترع فيها الذكاء الاصطناي كيانات لم تكن موجودة في النص. مع MCR، انخفض معدل الخطأ هذا من ما يقرب من 30% (في النماذج القياسية) إلى ما يقرب من 0%.

الملخص

باختصار، تجادل الورقة البحثية بأن نماذج الذكاء الاصطناي الحالية كسولة للغاية؛ فهي تنظر إلى صورة وجملة وتخمن الإجابة بناءً على أحدهما أو الآخر. بنى المؤلفون نظاماً (MCR) يجبر الذكاء الاصطناي على التصرف كمحقق دقيق: "اقرأ النص، انظر إلى الصورة، قارن بينهما خطوة بخطوة، ولا تقدم أي ادعاء إلا إذا كان لديك دليل من كلا الجانبين." وهذا يجعل الذكاء الاصطآي أكثر دقة وموثوقية.

ملخص تقني: ما وراء الاختصارات أحادية النمط: النماذج اللغوية الكبيرة متعددة الوسائط كمحركات استدلال عابرة للأنماط للتعرف على الكيانات المسماة المرتبطة سياقيًا

1. تعريف المشكلة والدوافع

التعرف على الكيانات المسماة متعدد الوسائط المرتبط سياقيًا (GMNER) هو مهمة تتطلب من النموذج تحديد الكيانات المسماة في نص ما، وتصنيف أنواعها الدلالية، وربطها بصناديق إحاطة بصرية مقابلة في صورة مرتبطة بها. وبينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) واعدًا في مهام الرؤية واللغة، فإن تطبيقها المباشر على GMNER يواجه خللاً حرجًا: التحيز للنمط الواحد (modality bias).

حدد المؤلفون أن النماذج الحالية (MLLMs) تميل إلى الاعتماد على اختصارات معرفية أحادية النمط بدلاً من الانخراط في تحقق دقيق عابر للأنماط. ويتجلى ذلك في نمطين أساسيين من الأخطاء:

التحيز النصي: يتجاهل النموذج الأدلة البصرية، ويقوم بربط كيانات نصية فقط بمناطق بصرية بناءً على استدلالات نصية (على سبيل المثال، ربط اسم "Iggy" بشخص في الصورة لأن النص ذكر اسمًا، حتى لو كانت الصورة تظهر شخصًا آخر).
التحيز البصري: يهمل النموذج الدلالات النصية، ويقوم بهلوسة كيانات أو مواقع بناءً على إشارات بصرية غير موجودة في النص (على سبيل المثال، استدعاء "مانشستر يونايتد" ككيان لأنه يظهر بصريًا، رغم عدم ذكره في الجملة).

غالبًا ما تعامل النهج الحالية النماذج (MLLMs) كأدوات مساعدة ضمن خطوط معالجة متتالية (على سبيل المثال، استخدامها فقط لوصف الصورة)، مما يؤدي إلى تراكم الأخطاء وزيادة العبء الحسابي. يهدف هذا العمل إلى إعادة صياغة GMNER كـ مهمة استدلال توليدية شاملة (end-to-end generative reasoning task) لاستغلال إمكانات الاستدلال العابر للأنماط في النماذج (MLLMs) بالكامل مع التخفيف من هذه التحيزات.

2. المنهجية: الاستدلال المتسق المدرك للنمط (MCR)

لمعالجة التحيز للنمط الواحد، اقترح المؤلفون الاستدلال المتسق المدرك للنمط (Modality-aware Consistency Reasoning - MCR)، وهو إطار عمل يفرض استدلالًا هيكليًا عابرًا للأنماط. يتكون MCR من مرحلتين أساسيتين:

2.1 حقن مخطط الاستدلال متعدد الأساليب (MRSI)

يهدف MRSI إلى تحويل القيود المجردة إلى سلاسل استدلال قابلة للتنفيذ.

القيود الجوهرية: يحدد الإطار أربعة قيود محددة تتماشى مع المهمة: التعرف على الكيان ( $C_s$ )، تصنيف النوع ( $C_t$ )، الاستلزام البصري ( $C_e$ )، والربط البصري ( $C_u$ ).
توليد مخططات متنوعة: باستخدام القوالب، والنماذج اللغوية الكبيرة (LLMs)، والنماذج متعددة الوسائط (MLLMs)، قام المؤلفون بتوليد مجموعة بيانات متنوعة من آثار الاستدلال ( $D_R$ ) التي تلتزم بهذه القيود. تختلف هذه الآثار في الأسلوب (مثل: التحليل خطوة بخطوة، المخرجات المنسقة، والنتائج الموجهة) لمنع النموذج من الانهيار في مسار استدلال واحد قد يكون متحيزًا.
الضبط الدقيق الخاضع للإشراف (SFT): يتم حقن مجموعة فرعية من هذه المخططات الاستدلالية المتنوعة في النموذج (MLLM) عبر SFT. وهذا يجبر النموذج على الاحتفاظ بمسار استدلال يتحقق صراحة من الاتساق العابر للأنماط قبل توليد الإجابة النهائية.

2.2 التحسين القابل للتحقق الموجه بالقيود (CVO)

يستفيد CVO من بقية بيانات الاستدلال المتنوعة لتحسين قدرات الاستدلال للنموذج باستخدام تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO).

دوال مكافأة قابلة للتحقق: على عكس التعلم المعزز من التغذية الراجعة البشرية (RLHF) التقليدي الذي يعتمد على نماذج مكافأة متعلمة، يستخدم CVO دوال مكافأة قائمة على القواعد وقابلة للتحقق، وهي مرتبطة بالقيود الجوهرية. وتشمل هذه الدوال:
- مكافآت عدد الكيانات، المدى، والنوع: بناءً على درجات F1 ومطابقة الكيانات المتوقعة مع الحقيقة الأرضية (ground truth).
- مكافأة الربط البصري: بناءً على تقاطع الاتحاد (IoU) بين صناديق الإحاطة المتوقعة والحقيقة الأرضية.
- مكافأة الاستلزام: فحص ثنائي حول ما إذا كان النموذج يحدد بشكل صحيح ما إذا كان الكيان مرئيًا أو غائبًا (None).
عملية التحسين: يولد النموذج مجموعة من الاستجابات المتنوعة لاستعلام معين. يتم حساب المكافآت القابلة للتحقق لكل استجابة، ويتم حساب ميزة المجموعة. يتم تحديث السياسة لتعظيم المكافأة مع معاقبة الاختصارات أحادية النمط، مما يشجع النموذج فعليًا على توليد مبررات "وفية للقيود".

3. المساهمات الرئيسية

يدعي البحث ثلاث مساهمات رئيسية:

تشخيص التحيز للنمط الواحد: حدد المؤلفون وكمّموا ميل النماذج (MLLMs) لاتخاذ اختصارات معرفية أحادية النمط في مهام GMNER الشاملة، وكشفوا أن النماذج غالبًا ما تهلوس بارتباطات دون تحقق صارم عابر للأنماط.
إطار عمل MCR: اقترحوا إطار عمل جديد يفرض استدلالًا صريحًا ووفيًا للقيود من خلال حقن المخططات (MRSI) والتحسين القابل للتحقق (CVO) للتخفيف من التحيز للنمط الواحد.
تفوق الأداء: حققت طريقتهم أداءً متفوقًا على عدة معايير مقارنة بالنماذج المرجعية الحالية، مما يثبت أن الاستدلال الهيكلي ضروري للربط البصري الدقيق.

4. النتائج التجريبية

قيم المؤلفون منهجية MCR على مجموعة بيانات Twitter-GMNER، وكذلك MNER-MI (للمهام المتعلقة بـ MNER) و GREC (للربط البصري). تم الاختبار على نماذج Qwen2.5VL (بأحجام 7B و 72B) و MimoVL-7B.

النتائج الرئيسية: في مهمة GMNER، حقق MCR (المطبق على Qwen2.5VL-7B) درجة F1 بلغت 70.6%، متفوقًا على أفضل طريقة موحدة سابقة (MQSPN) بنسبة 11.87%، وعلى أفضل طريقة متسلسلة (SCANNER) بنسبة 2.11%. كما تفوق على الضبط الدقيق المباشر (SFT) بنحو 8% على نموذج 7B.
التخفيف من التحيز:
- التحيز البصري: أظهر التحليل الكمي أن MCR قلل معدل هلوسة الكيانات الغائبة عن النص (N-Rate) إلى مستويات ضئيلة جدًا (0.1% لنموذج Qwen2.5VL-7B)، وهو تحسن كبير مقارنة بأسلوب سلسلة الأفكب (CoT) والتلقين بلقطات قليلة (few-shot prompting).
- التحيز النصي: تحسنت المقاييس التي تقيس القدرة على تحديد الكيانات التي ليس لها موقع بصري (N-Pre, N-Rec) بنسبة تقارب 14% مقارنة بـ SFT، مما يشير إلى أن النموذج أصبح أفضل في الحكم على الاستلزام بين النص والصورة.
دراسات الاستئصال (Ablation Studies): أدى إزالة MRSI إلى انخفاض حاد بنسبة 18.95% في F1، مما يؤكد ضرورة مسار الاستدلال. وأدى إزالة CVO إلى زيادة طفيفة فوق MRSI وحده، مما يسلط الض الضوء على أهمية مرحلة التحسين في صقل قدرات التحقق. كما أظهرت مخططات الاستدلال متعددة الأساليب تفوقًا على المخططات أحادية الأسلوب في استقرار التدريب وتحسين المكافآت النهائية.

5. الأهمية والقيود

الأهمية:
يجادل البحث بأن العائق الرئيسي أمام تحقيق GMNER فعال وشامل باستخدام النماذج (MLLMs) ليس نقص القدرة، بل الاعتماد على الاستدلالات أحادية النمط. ومن خلال نقل النموذج من مجرد محاذاة الميزات إلى الاستدلال الهيكلي عابر الأنماط، يُمكّن MCR النماذج من إجراء تحقق صارم من الاتساق. يوفر هذا النهج مسارًا جديدًا لبناء الرسوم البيانية للمعرفة وتسهيل الإجابة على الأسئلة القائمة على المعرفة دون انتشار الأخطاء المتأصل في خطوط المعالجة المتتالية.

القيود:
أقر المؤلفون بتواضع بأن MCR يظل مقيدًا بـ الحدود المعرفية البارامترية المتأصلة في النماذج (MLLMs) الأساسية. وبما أن الإطار يعتمد على قاعدة المعرفة الداخلية للنموذج للتعرف على الكيانات، فقد يواجه صعوبة في التعميم على الكيانات غير المرئية (غير الموجودة في بيانات التدريب المسبق). بالإضافة إلى ذلك، لا يحل الإطار بطبيعته المشكلات المتعلقة بالألفة البصرية للنموذج تجاه كيانات معينة (مثل التعرف على مظهر شخصية مشهورة بعينها).