💻 computer science

CEDV-MIE: Controlled Text-Anchored Evidence-Dependence Verification for Low-Resource Multimodal Information Extraction

تُعد CEDV-MIE طريقةً للتحقق أثناء الاستدلال وخالية من المعلمات لاستخراج المعلومات متعددة الوسائط في ظل موارد منخفضة، حيث تعمل على تحسين دقة النموذج واستقرار الأدلة عن طريق تعديل الأجزاء النصية المحددة كدعم لاختبار وفرض اتساق التنبؤ دون الحاجة إلى بيانات أو تعليقات توضيحية إضافية.

المؤلفون الأصليون: Xiaoming Liu, Yinghui Li, Guan Yang, Naveed Iqbal, XuepingPeng, Jie Liu, Long Yang

نُشر 2026-10-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoming Liu, Yinghui Li, Guan Yang, Naveed Iqbal, XuepingPeng, Jie Liu, Long Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، ظهر جيل جديد من النماذج التي يمكنها رؤية الصور وقراءة النصوص في آن واحد، لتعمل كمساعد رقمي يستوعب الصورة الكاملة للموقف. وتُستخدم هذه الأنظمة بشكل متزايد في مجالات حيوية مثل الرعاية الصحية ورعاية المسنين، حيث يمكنها تحليل صورة لمريض إلى جانب ملاحظات الطبيب لاستخراج معلومات بالغة الأهمية. ومع ذلك، يبرز تحدٍ كبير عند نشر هذه النماذج في بيئات واقعية حيث تكون البيانات شحيحة أو الخصوصية أمراً بالغ الأهمية. في هذه الحالات، لا يستطيع الباحثون إعادة تدريب النماذج بأمثلة جديدة؛ بل يجب عليهم استخدام النماذج تماماً كما هي، "مجمدة" في حالتها الراهنة. تكمن المشكلة في أن النموذج قد يقدم إجابة صحيحة عن طريق الصدفة، معتمداً على دليل سطحي بدلاً من فهم عميق للأدلة. فعلى سبيل المثال، إذا رأى النموذج سريراً وممرضة، فقد يخمن أن الحالة هي "رعاية يومية" لمجرد أن هذه الأشياء تظهر معاً غالباً، حتى لو كانت المعدات الطبية المحددة في الصورة تشير إلى إجراء أكثر إلحاحاً. إن الاختبار التقليدي يتحقق فقط مما إذا كانت الإجابة النهائية تطابق التصنيف الصحيح، لكنه يفشل في طرح سؤال جوهري: هل توصل النموذج إلى تلك الإجابة لأنه فهم الأدلة حقاً، أم أنه حالفه الحظ فحسب؟

ولمعالجة ذلك، طور فريق من الباحثين طريقة تسمى CEDV-MIE، والتي تعمل بمثابة اختبار واقعي صارم لهذه النماذج المجمدة. فبدلاً من الاكتفاء بقبول الإجابة النهائية للنموذج، تختبر هذه الطريقة منطق النموذج عبر تعديل جزء محدد من النص الذي ادعى النموذج أنه دليله. تخيل نموذجاً ينظر إلى صورة لمريض وجهاز مراقبة ضغط الدم، ويدعي أن الحدث هو "مراقبة العلامات الحيوية" لأنه رأى سوار الضغط. يأخذ الباحثون هذا الادعاء المحدد ويطلبون من النموذج تخيل سيناريو يتم فيه إزالة سوار الضغط من الوصف، مع الإبقاء على الصورة وجميع التفاصيل الأخرى كما هي تماماً. ثم يطلبون من النموذج تقديم تنبؤ جديد بناءً على هذا النص المعدل. إذا كان النموذج يعتمد حقاً على الدليل، فيجب أن تتغير إجابته بشكل منطقي عند إزالة ذلك الدليل. أما إذا ظلت الإجابة كما هي، فهذا يشير إلى أن النموذج كان يتجاهل الدليل ويعتمد على مسار مختصر، ربما عبر التخمين بناءً على وجود السرير.

طبق الباحثون عملية "التحقق من الاعتماد على الأدلة المرتبطة بالنص المحكوم" هذه على أربعة مجموعات بيانات عامة مختلفة تغطي مهام مثل تحديد الأشخاص، والعلاقات، والأحداث في صور مقترنة بنصوص. واختبروا الطريقة عبر أربعة نماذج ذكاء اصطناعي ضخمة مختلفة، مع ضمان عدم تغيير النماذج نفسها أو إعادة تدريبها أثناء العملية. وأظهرت النتائج أن خطوة التحقق هذه حسنت باستمرار دقة المعلومات المستخرجة. وفي المتوسط، رفعت هذه الطريقة أداء النماذج بنحو أربع نقاط مقارنة بالتحفيز القياسي، مع تحسينات تراوحت بين نقطة واحدة وما يقرب من إحدى عشرة نقطة اعتماداً على المهمة والنموذج المحدد. وكان هذا المكسب كبيراً لدرجة أن الطريقة تفوقت على تقنية بديلة شائعة تعتمد ببساطة على طلب التفكير في المشكلة سبع مرات مختلفة واختيار الإجابة الأكثر شيوعاً، رغم أن كلتا الطريقتين مُحيت لهما نفس عدد المحاولات.

وبعيداً عن مجرد الحصول على درجات أفضل، كشفت الدراسة أن النماذج أصبحت أكثر موثوقية في منطقها. فعندما فحص الباحثون سلوك النماذج عن كثب، وجدوا أن عملية التحقق ساعدت النماذج على التركيز على الأجزاء الصحيحة من الصورة والنص. فعلى سبيل المثال، في حالة اختبار تتعلق ببيئة رعاية مسنين، قد يرى نموذج قياسي مقدم رعاية يقوم بإطعام مريض ويفترض أنهما أفراد عائلة. ومع ذلك، فإن طريقة التحقق ستتحدى هذا الاستنتاج عبر التساؤل عما إذا كان فعل الإطعام منطقياً إذا كان مقدم الرعاية فرداً من العائلة، بالنظر إلى الزي المهني والسياق الطبي. هذه العملية أجبرت النموذج على إعادة النظر في الدليل البصري، مما أدى به إلى تحديد العلاقة بشكل صحيح كعناية مهنية بدلاً من علاقة عائلية. وقد أثبتت الدراسة أنه من خلال إجبار النموذج على مواجهة منطقه الخاص عبر هذه التغييرات الصغيرة والمحكومة، يمكنه تصحيح أخطائه دون الحاجة إلى أي بيانات تدريب جديدة أو تسميات بشرية.

كما اختبر الباحثون هذا النهج في مجال متخصص يتعلق برعاية المسنين، باستخدام مجموعة بيانات مكونة من 500 عينة تتضمن معلومات حساسة عن المرضى ومقدمي الرعاية. وحتى في هذه البيئة المعقدة والحساسة للخصوصية، حيث تمتلك النماذج أمثلة قليلة جداً للتعلم منها، أثبتت الطالة فاعليتها. فقد حسنت استخراج الأحداث الطبية والعلاقات، مما أظهر أن التقنية لا تعمل فقط على بيانات الإنترنت العامة، بل أيضاً في السيناريوهات الواقعية عالية المخاطر. وخلصت الدراسة إلى أن عملية التحقق هذه توفر وسيلة لضمان أن نماذج الذكاء الاصطناعي لا تنتج مجرد إجابات تبدو منطقية، بل إنها تربط قراراتها بالفعل بالأدلة المقدمة. إنها تقدم أداة عملية لنشر الذكاء الاصطناعي في المواقف التي تكون فيها البيانات محدودة، مما يضمن بقاء الأنظمة جديرة بالثقة ودقيقة من خلال التحقق من أن استنتاجاتها تعتمد حقاً على الحقائق التي يُفترض بها تحليلها.

ملخص تقني: CEDV-MIE

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في استخراج المعلومات متعددة الوسائط (MIE)، لا سيما في البيئات ذات الموارد المنخفضة مثل الرعاية الصحية ورعاية المسنين حيث تكون إمكانية الوصول إلى البيانات مقيدة، وقيود الخصوصية صارمة، والتعليقات التوضيحية الخاصة بالمجال نادرة. في هذه السيناريوهات، غالبًا ما يتم إجراء الاستدلال باستخدام نماذج مجمدة دون تحديثات للمعلمات.

تركز مقاييس التقييم القياسية لـ MIE فقط على ما إذا كان المخرج المستخرج يطابق الملصقات المرجعية (صحة الملصق). ومع ذلك، يفشل هذا النهج في تقييم الاعتماد على الأدلة (evidence dependence): أي ما إذا كان تنبؤ النموذج يعتمد حقًا على نطاقات النصوص المحددة والسياقات البصرية التي يبلغ عنها كدعم. قد ينتج النموذج ملصقًا صحيحًا من خلال استغلال ملامح الاختصار (مثل أنماط المشهد العامة أو التحيزات المعجمية) بدلاً من دمج الأدلة متعددة الوسائط المحددة المطلوبة للمهمة. وبناءً على ذلك، قد يكون التنبؤ صحيحًا ولكنه هش من حيث الأدلة، حيث يتغير بشكل غير متوقع إذا تم تعديل النص الداعم بينما ظل السياق البصري ثابتًا.

المنهجية: CEDV-MIE

يقترح المؤلفون CEDV-MIE (التحقق من الاعتماد على الأدلة المرتبطة بالنصوص والمتحكم بها لاستخراج المعلومات متعددة الوسائط في الموارد المنخفضة)، وهو بروتوكول استدلال مقيد بالوقت مصمم للتحقق من اتساق استجابة النموذج للتغييرات المتحكم بها في دعمه المُبلغ عنه. تعمل الطريقة على نماذج MLLM مجمدة دون الحاجة إلى تحديثات للمعلمات أو تعليقات توضيحية إضافية للأدلة.

يتكون البروتوكول من ثلاث مراحل رئيسية:

بناء سجل الأدلة:
بالنظر إلى استخراج أولي مقيد بالمخطط ( $y_{orig}$ )، يقوم النموذج بإنشاء سجل أدلة وقت التشغيل. يقسم هذا السجل سياق النموذج المُبلغ عنه إلى:

سجلات مرتبطة بالنص ( $E_{text}$ ): أوصاف الدعم المرتبطة بنطاقات نصية متصلة محددة في المدخلات.
سجلات السياق البصري ( $E_{vision}$ ): أوصاف ثابتة للسياق البصري والصورة.
يتم اختيار السجلات ذات درجات القبول العالية والمرتكزات النصية الصالحة فقط للاختبار.

الاضطراب المتحكم به المرتبط بالنص:
يختار البروتوكول عنصرًا واحدًا مرتبطًا بالنص ( $e^\star$ ) ويولد وصفًا منافسًا لنفس نوع المخطط. ينتج عن ذلك مدخل مضطرب ( $\tilde{x}$ ) حيث:

يتم تعديل التجسيد النصي لـ $e^\star$ .
تظل الصورة الأصلية ( $V$ )، والنصوص غير المستهدفة، وجميع السياقات البصرية والنصية الأخرى ثابتة تمامًا.
يخضع التعديل لـ قيود الصلاحية (V1–V4): يجب أن يتغير الهدف، ويجب الحفاظ على النص غير المستهدف، ويجب الحفاظ على الاتساق مع سجلات النصوص الأخرى، ويجب أن يكون التعديل متوافقًا مع الصورة/السياق البصري الأصلي.
يقوم النموذج بتوليد تنبؤ مضطرب ( $y_{pert}$ ) بناءً على هذا المدخل المتحكم به.

فك التشفير المشروط بالاختبار والتصحيح:
يقوم فك تشفير مشروط بالاختبار ( $\Psi_{\pi_\theta}$ ) بمقارنة المخرجات الأصلية ( $y_{orig}$ ) والمضطربة ( $y_{pert}$ ). وينتج عنه:

سجل اتساق على مستوى التنبؤ ( $q$ ): رباعي يشير إلى توافر الدعم، وتماسك الاستجابة، ومخاطر الاختصار، والتوافق عبر الوسائط.
استخراج نهائي ( $\hat{y}$ ): إذا أشار سجل الاتساق إلى استجابة متماسكة (على سبيل المثال، $q=(1,1,0,1)$ )، يتم الاحتفاظ بالاستخراج الأصلي. خلاف ذلك، يتم إجراء تصحيح مقيد بالمخطط باستخدام كلا الفرعين لإنتاج استخراج نهائي أكثر قوة.

تقدم الطريقة أيضًا درجة فحص الاتساق (CCS)، وهو مقياس تشخيصي لاحق يتم حسابه بعد تثبيت الاستخراج النهائي. يقيم CCS استقرار التنبؤ تحت التغييرات التي تحافظ على الأدلة والتغييرات الحساسة للأدلة، بشكل منفصل عن عملية الاستدلال أثناء التشغيل.

المساهمات الرئيسية

اختبار الاتساق على مستوى التنبؤ: يقدم البحث هدف تقييم متميزًا يفصل بين صحة الملصق المرجعي وبين اتساق الاستجابة الملحوظ تحت تغييرات نصية مرتبطة بالدعم في المدخلات متعددة الوسائط المزدوجة.
بروتوكول وقت الاستدلال بدون تدريب: ينفذ CED-MIE عملية التحقق هذه دون تحديثات للمعلمات أو تعليقات توضيحية إضافية للأدلة. وهي تعتمد على تعديل نصي محلي مقيد بالصلاحية وفك تشفير مشروط بالاختبار لتوجيه التصحيح المقيد بالمخطط.
التحقق التجريبي: عبر أربعة معايير عامة لـ MIE (Twitter-2015, Twitter-2017, MNRE-V1, M2E2) وأربعة نماذج أساسية مجمدة (Qwen2-VL, LLaVA-NeXT, Qwen3-VL, Qwen3.5)، يظهر CED-MIE تحسنًا مستمرًا.
- يحسن متوسط F1 عن التلقين المباشر في جميع تكوينات مجموعة البيانات والنموذج الأساسي الـ 16 (بمتوسط زيادة قدرها +3.85 نقطة).
- يتفوق على التحكم في الاتساق الذاتي (SC-7، الذي يستخدم سبعة عينات من سلسلة الأفكوت) في 14 من أصل 16 تكوين تحت نفس ميزانية الاستدعاء القصوى.
- تزداد درجات التشخيص اللاحقة (CCS، ودقة استقرار الأدلة، وF1) بشكل كبير، مما يشير إلى تحسن في الاعتماد على الأدلة.
تقييم نقل المجال: تم تقييم الطريقة على "مجموعة رعاية المسنين للنظارات الذكية"، مما أثبت فعاليتها في مجال حساس للخصوصية ومنخفض الموارد دون الحاجة إلى تكييف المعلمات للمجال المستهدف.

النتائج

مكاسب الأداء: حقق CED-MIE متوسط زيادات في F1 تتراوح بين +1.48 و +10.78 مقارنة بالتلقين المباشر. لوحظت أكبر التحسينات في مهام استخراج الأحداث المعقدة (مثل M2E2)، حيث قللت الطريقة من الغموض في تفسير المشاركين، والأفعال، والعلاقات السياقية.
المقارنة مع الاتساق الذاتي: في ظل ميزانية مطابقة من سبعة استدعاءات للنموذج الأساسي، تفوق CED-MIE على خط الأساس SC-7 في غالبية التكوينات، مما يشير إلى أن التحقق من الأدلة المتحكم به أكثر فعالية من مجرد تكرار أخذ عينات من مسارات الاستدلال.
الارتباطات التشخيصية: ارتبطت درجات CCS الأعلى إيجابيًا بمقاييس استقرار الأدلة ( $r \approx 0.88$ )، مما يؤكد أن الطريقة تنتج تنبؤات أكثر استقرارًا تحت التغييرات التي تحافظ على الأدلة وأكثر حساسية للتغييرات الحساسة للأدلة.
دراسات الاستئصال (Ablation Studies): أدى إزالة فرع التعديل المحلي أو مدخلات الاتساق إلى تدهور الأداء، مما يؤكد أن كلًا من الاضطراب المتحكم به والتصحيح المشروط بالاتساق ضروريان.

الأهمية والادعاءات

يدعي البحث أن CED-MIE يوفر فحصًا مقيدًا بوقت الاستدلال لاعتماد الأدلة المرتبطة بالنصوص في السياقات متعددة الوسائط المحتفظ بها. تكمن أهميته في:

معالجة مشكلة "الاختصار" (Shortcut): يوفر آلية للكشف عن التنبؤات التي تعتمد على إشارات زائفة بدلاً من الأدلة الحقيقية متعددة الوسائط، وهي قضية حاسمة في المجالات الحساسة للسلامة مثل الرعاية الصحية.
الجدوى التشغيلية: يحقق هذه التحسينات دون ضبط دقيق (fine-tuning)، مما يجعله قابلًا للتطبيق في بيئات النشر المقيدة للنماذج المجمدة.
الشفافية التشخيصية: يقدم إطارًا تشخيصيًا لاحقًا (CCS) يميز اتساق المخرجات الملحوظ دون ادعاء الكشف عن آلية الإسناد الداخلية للنموذج.

يتسم المؤلفون بالتواضع في ادعاءاتهم، حيث يشيرون إلى أن الطريقة تختبر تحديدًا الاعتماد على الأدلة المرتبطة بالنصوص ولا تقيم الاعتماد على الأدلة البصرية التعسفية (والذي يتطلب شروط قبول منفصلة للاضطرابات البصرية). كما يصرحون صراحةً بأن النتائج تدعم قابلية نقل المجال المحدودة (كما هو موضح في مجموعة رعاية المسنين) وليس تعميم المجال غير المقيد. لا تقترح الورقة بروتوكولات تدخل بصري مستقبلية ولكنها تقترحها كاتجاه للأبحاث المستقبلية.