💻 computer science

DiffImaginE: Imagine to Verify Entity Types with Diffusio

تقدم هذه الورقة DiffImaginE، وهو إطار عمل جديد للتعرف على الكيانات المسماة متعدد الوسائط يستبدل الموثقات البصرية الحتمية بنموذج انتشار كامن مشروط بالنوع لتوليد درجات توافق قائمة على الاحتمالات، مما يحقق مكاسب أداء متسقة في مجموعات بيانات تويتر من خلال التقاط التجسيدات البصرية المتنوعة لأنواع الكيانات بشكل أفضل.

المؤلفون الأصليون: Feng Zhang, Feiyu Han, Rongxin Yang, Yang Liu, Yancheng Chen, Rui Wang, Yingguang Yang, Tian Xueyun, Chongyang Zhang, Hao Zheng, Xu Kefu, Congjing Ran, Fuhai Chen, Bin Chong

نُشر 2026-08-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Feng Zhang, Feiyu Han, Rongxin Yang, Yang Liu, Yancheng Chen, Rui Wang, Yingguang Yang, Tian Xueyun, Chongyang Zhang, Hao Zheng, Xu Kefu, Congjing Ran, Fuhai Chen, Bin Chong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في غرفة مزدحمة. ترى شخصًا، لكنك لست متأكدًا مما إذا كان ممثلًا مشهورًا، أو سياسيًا محليًا، أو مجرد سائح عابر. في عالم الذكاء الاصطناعي، يسمى هذا "التعرف على الكيانات المسماة" (Named Entity Recognition). وعندما نضيف الصور إلى المزيج — مثل رؤية سجادة حمراء أو ملصق حملة انتخابية بجانب الشخص — يصبح الأمر "التعرف متعدد الوسائط على الكيانات المسماة" (Multimodal Named Entity Recognition). الهدف هو استخدام كل من النص والصورة لتخمين الفئة الصحيحة. لكن الجزء الصعب هنا هو أن الكلمة نفسها يمكن أن تعني أشياء مختلفة تمامًا بناءً على الأدلة البصرية. فصورة لـ "جوردان" قد تكون لاعب كرة سلة، أو علامة تجارية للأحذية، أو مكانًا جغرافيًا. يحتاج الذكاء الاصطناعي أن يكون محققًا لا يكتفي بالتخمين فحسب، بل يتأكد فعليًا مما إذا كان تخمينه منطقيًا مع الأدلة.

لفترة طويلة، استخدمت محققو الذكاء الاصطناعي طريقة تسمى "الخيال". كانوا ينظرون إلى كلمة وفئة ما، ثم يتخيلون صورة واحدة مثالية لما يجب أن تبدو عليه تلك الفئة. إذا كانت الصورة الحقيقية تشبه قليلاً تلك الصورة المتخيلة، يقول الذكاء الاصطناعي: "نعم، هذا هو!". لكن هذا النهج يعيبه أنه جامد للغاية. فالـ "شخص" يمكن أن يكون وجهًا، أو ظلاً، أو شخصًا بعيدًا في الأفق. إن تخيل نسخة مثالية واحدة يغفل عن جميع الاحتمالات الأخرى، مما يجعل الذكاء الاصطناعي هشًا عندما يصبح العالم الحقيقي فوضويًا. يقترح هذا البحث الجديد، DiffImaginE، طريقة أكثر ذكاءً للعب هذه اللعبة من التخمين. فبدلاً من تخيل صورة ثابتة واحدة، يستخدم الذكاء الاصطناعي عملية "الانتشار" (diffusion) — وهي تقنية مشابهة لكيفية قيام الذكاء الاصطناعي بتوليد الفنون عبر تحويل الضجيج العشوائي ببطء إلى صورة واضحة. ومن خلال العمل عكس اتجاه الضجيج، يمكن للذكاء الاصطناعي فهم النطاق الكامل لما يمكن أن تبدو عليه الفئة، وليس مجرد لقطة واحدة مجمدة.

مشكلة "الخيال ذو الحجم الواحد الذي يناسب الجميع"

لاحظ مؤلفو هذا البحث أن الطريقة القديمة في القيام بالأشياء كانت تشبه محاولة التعرف على صديق من خلال تذكر وجهه فقط عندما يرتدي قبعة معينة. إذا ظهر صديقك بدون القبعة، أو بقبعة مختلفة، فإن صورتك الذهنية القديمة ستفشل. من الناحية التقنية، كانت النماذج القديمة تربط كل نوع من أنواع الكيانات (مثل "شخص" أو "منظمة") بنقطة ثابتة واحدة في مساحة رياضية. كانت تقارن الصورة الحقيقية بتلك النقطة الواحدة. وإذا كانت الصورة مختلفة قليلاً — كأن يكون "الشخص" مرئيًا من الجانب بدلاً من الأمام — فإن المقارنة تفشل ويصاب الذكاء الاصطناعي بالارتباك.

يجادل البحث بأن هذا النهج "الحتمي" (deterministic) هش للغاية. فهو يضغط الطرق الغنية والمتنوعة لظهور الكيان في نقطة واحدة مملة. الأمر يشبه محاولة وصف غابة كاملة من خلال الإشارة إلى شجرة واحدة فقط. كما أن الطريقة القديمة لم تكن تستطيع حقًا إخبارك مدى احتمالية حدوث تخمين ما؛ بل كانت تعطي درجة بناءً على مدى قرب الصورة من تلك النقطة المتخيلة الواحدة.

المحقق الجديد: DiffImaginE

لإصلاح ذلك، بنى الفريق DiffImaginE. فبدلاً من تخيل صورة ثابتة واحدة، يعمل هذا النموذج الجديد كمحقق يمكنه تخيل نسخ عديدة ومختلفة من المشتبه به. إنه يستخدم نموذج "الانتشار" (diffusion model)، وهو نوع من الذكاء الاصطناعي يتعلم كيفية إزالة الضجيج (مثل التشويش على تلفاز قديم) للكشف عن صورة واضحة.

إليك كيف يعمل الأمر بتبسيط:

الدليل: ينظر الذكاء الاصطناعي إلى كلمة محددة في جملة ("النطاق") والجزء من الصورة الذي يطابقها.
اختبار الضجيج: بدلاً من مقارنة الصورة بصورة مثالية واحدة، يأخذ الذكاء الاصطناعي تلك الصورة ويضيف إليها "ضجيجًا" عشوائيًا، مما يجعلها ضبابية.
التخمين: يسأل الذكاء الاصطناعي بعد ذلك: "إذا كانت هذه الصورة الضبابية تنتمي إلى فئة 'شخص'، فما مدى جودة قدرتي على تنظيف الضجيج للعودة إلى 'شخص' واضح؟" يحاول القيام بذلك لكل فئة ممكنة (شخص، مكان، منظمة، إلخ).
الدرجة: الفئة التي تؤدي أفضل عمل في "تنظيف" الضجيج تحصل على أعلى درجة. إذا كانت الصورة في الواقع لـ "شخص"، فسيكون مرشح "الشخص" جيدًا جدًا في إزالة الضجيج. أما إذا حاولت استخدام مرشح "المنظمة" على صورة شخص، فسيواجه صعوبة في تنظيف الضجيج، وستكون الدرجة منخفضة.

هذا تحول هائل. فبدلاً من السؤال: "هل تبدو هذه مثل فكرتي المثالية الوحيدة عن الشخص؟"، يسأل الذكاء الاصطناعي: "أي فئة هي الأفضل في تفسير هذه الصورة الواقعية الفوضوية؟". وهذا يسمح للنموذج بالتعامل مع حقيقة أن "الشخص" يمكن أن يكون وجهًا، أو منظرًا خلفيًا، أو شخصًا بعيدًا، لأن عملية الانتشار تفهم تنوع الاحتمالات.

ما وجدوه

اختبر الباحثون نموذجهم الجديد على مجموعتين شهيرتين من منشورات وسائل التواصل الاجتماعي (Twitter-2015 و Twitter-2017)، وهي مليئة بالنصوص القصيرة والضوضائية والصور المصاحبة لها. وقارنوا DiffImaginE بنسختهم الخاصة من نموذج "الخيال ذو النقطة الواحدة" القديم، مع التأكد من أن كل شيء آخر (عقل الذكاء الاصطناعي، طرق التدريب) متطابق تمامًا بحيث يكون الفرق الوحيد هو طريقة التحقق.

أظهرت النتائج أن DiffImaginE يتفوق باستمرار. في مجموعة بيانات Twitter-2015، حسن دقة الدرجة (F1) بمقدار 1.73 نقطة، ليصل إلى 77.17%. وفي Twitter-2017، تحسن بمقدار 0.72 نقطة، ليصل إلى 88.44%. ويشير البحث إلى أن هذه التحسينات ذات دلالة إحصائية، مما يعني أنه من غير المرجح أن تكون قد حدثت بمحض الصدفة.

كان النموذج بارعًا بشكل خاص في التعرف على "الأشخاص" (PER) و"المنظمات" (ORG). على سبيل المثال، أصبح أفضل في التمييز بين اسم شخص واسم علامة تجارية عندما كانت الأدلة البصرية مربكة. وجد المؤلفون أن الطريقة القديمة تعثرت عندما كانت الأدلة البصرية متنوعة أو ضوضائية، بينما ازدهرت طريقة الانتشار الجديدة في تلك الظروف لأنها لم تكن تعتمد على صورة واحدة جامدة.

لماذا يهم هذا

لا يدعي البحث أنه حل جميع مشاكل الذكاء الاصطناعي، لكنه يوضح مسارًا واضحًا للمستقبل حول كيفية تعامل الذكاء الاصطناعي مع الغموض البصري. فمن خلال استبدال التخمين الجامد ذي النقطة الواحدة بعملية "إزالة ضجيج" قائمة على الاحتمالات، يصبح الذكاء الاصطناعي أكثر قوة. إنه الفرق بين محقق لا يتعرف على المشتبه به إلا في زي معين، ومحقق يمكنه تحديد هوية المشتبه به بغضًا عما يرتديه أو أين يقف.

أظهر المؤلفون أيضًا أنه يمكنهم جعل العملية أكثر ذكاءً باستخدام تقنية تسمى "التوجيه الخالي من المصنف" (classifier-free guidance)، والتي تزيد من ثقة الذكاء الاصطناعي، و"العينات المتضادة" (antithetic sampling)، التي تقلل العشوائية في الرياضيات لجعل النتائج أكثر استقرارًا. ساعدت هذه التعديلات النموذج على استخراج المزيد من الدقة.

باختصار، يثبت DiffImaginE أنه عندما يتعلق الأمر بفهم العالم الحقيقي الفوضوي، فمن الأفضل تخيل طيف كامل من الاحتمالات بدلاً من التمسك بخيال واحد مثالي. يشير النموذج إلى أنه من خلال احتضان "الضجيج" وتنوع الصور الواقعية، يمكن للذكاء الاصطناعي أن يصبح محققًا أفضل بكثير.

ملخص تقني: DiffImaginE

بيان المشكلة
يهدف التعرف على الكيانات المسمى متعدد الوسائط (MNER) إلى تحديد نطاقات الكيانات في النص وتعيين أنواع لها (مثل: شخص PER، موقع LOC، منظمة ORG، متنوع MISC) من خلال الاستفادة من الصور المصاحبة. تصيغ منهجية "الحصر والتحقق" (enumerate-and-verify) السائدة عملية التحقق كـمهمة مركزية: تحديد ما إذا كان فرض (النطاق، النوع) مدعوماً بأدلة نصية وبصرية مشتركة.

تستخدم النماذج الحالية عادةً أدوات تحقق تعتمد على مبدأ "التخيل والمقارنة" (imagine-and-compare). تقوم هذه النماذج بشكل حتمي برسم خريطة لزوج (النطاق، النوع) إلى نموذج أولي لميزة بصرية واحدة متوقعة، ثم تقارنها بتمثيل الصورة المرصودة. يحدد المؤلفون عيبين حرجين في هذا الإطار الحتمي:

الهشاشة تجاه التنوع البصري: إن ضغط التجسيدات البصرية المتنوعة لنوع كيان معين (مثل ظهور الشخص كوجه، أو جانب وجه، أو مشهد حركة) في نموذج أولي واحد يفشل في استيعاب التباين داخل النوع الواحد، مما يجعل أداة التحقق هشة عندما تختلف الإشارات البصرية بشكل كبير عن النموذج الأولي.
الافتقار إلى التفسير الاحتمالي: تقيس درجات التوافق الحتمية مدى التشابه مع نقطة متخيلة واحدة بدلاً من قياس مدى معقولية الأدلة المرصودة تحت فرضيات متنافسة. يؤدي هذا إلى إشراف غير مباشر لرفض الأنواع المتشابهة، مما يسمح غالباً للأنواع ذات الصلة بالحصول على درجات عالية متشابهة.

المنهجية: DiffImaginE
تقترح الورقة البحثية DiffImaginE، وهو مُتحقق يعتمد على الانتشار الكامن الشرطي (conditional latent diffusion verifier)، والذي يعيد صياغة التحقق من نوع MNER كعملية استدلال انتشار كامن شرطي. بدلاً من توليد نموذج أولي بصري واحد، يتعلم النموذج توزيع التجسيدات البصرية الممكنة لنوع معين.

الآلية الجوهرية: بالنسبة لنطاق مرشح، تستخرج آلية الانتباه المتقاطع (cross-attention) أدلة بصرية موضعية للنطاق ( $z_v^s$ ). يتم توحيد هذه الأدلة وتلويثها بضوضاء غاوسية. يقوم مُزيل ضوضاء (denoiser) مشترك، مشروط بالنطاق ونوع كيان محدد، بالتنبؤ بالضوضاء المحقونة. يعمل خطأ إزالة الضوضاء الناتج كبديل متسق مع حد الـ ELBO لـ (negative log-likelihood) المشروط بالنوع. يشير الخطأ الأقل إلى أن فرضية النوع تفسر الأدلة المرصودة بشكل أفضل.
تكامل البنية: يحافظ DiffImaginE على مكدس المشفر متعدد الوسائط القياسي (مشفرات النص والرؤية، وحدات التفاعل بين النطاق والرؤية) الموجود في النماذج الحتمية الأساسية. وهو يستبدل فقط المُتحقق الحتمي بـ مُقيّم انتشار موجه بخلو من التصنيف (classifier-free-guided diffusion scorer).
التعديلات التقنية الرئيسية:
- التوحيد الكامن (Latent Standardisation): بما أن الكائن الذي يتم تقييمه هو ملخص نطاق منخفض الأبعاد وليس مجال صورة مكاني، يقدر النموذج المتوسط والانحراف المعياري لكل بُعد لتوحيد الكامن قبل عملية الانتشار، مما يضمن مطابقة جدول الضوضاء لمقياس مخرجات المشفر.
- التوجيه الخالي من التصنيف (CFG): تسمح فرع (NULL-conditioned) للنموذج بحساب درجة موجهة ( $score_k^{(g)}$ ) تعمل على شحذ التوزيع اللاحق للنوع، مما يعمل فعلياً كمعامل درجة حرارة (temperature parameter) للاحتمالية.
- وزن Min-SNR: يتم تدريب مُزيل الضوضاء باستخدام قاعدة Min-SNR- $\gamma$ لمساواة مساهمات التدرج عبر مستويات الضوضاء المختلفة.
- التكيف التمييزي: لسد الفجوة بين تقدير الاحتمالية التوليدية والتنبؤ التمييزي، قدم المؤلفون ثلاثة مكونات:
  1. الإشراف المباشر: يتم الإشراف على درجات الانتشار لكل نوع مباشرة كلوجيتات (logits) للتصنيف عبر دالة خسارة التقاطع المتقاطع ( $L_{clf}$ )، بدلاً من الاعتماد فقط على هدف التوليد المجمد.
  2. تجميع الخطوات الزمنية القابل للتعلم: تتعلم شبكة صغيرة وزن الأخطاء عبر مستويات الضوضاء المختلفة (الخطوات الزمنية)، مع التركيز على الخطوات الأكثر تمييزاً للمهمة.
  3. العينات المتضادة (Antithetic Sampling): لتقليل تباين مقارنة مونت كارلو، يتم سحب الضوضاء في أزواج $(\epsilon, -\epsilon)$ . تُظهر التحليلات النظرية أن هذا يقلل التباين عندما يهيمن المكون الفردي لدرجة الفرق بين الأنواع.

المساهمات الرئيسية

التحقق من النوع القائم على الانتشار: تصيغ الورقة التحقق من نوع MNER كاستدلال انتشار كامن مشروط، مستبدلة التخيل البصري ذو النقطة الواحدة بمُقيّم توزيعي قائم على ELBO.
التكيف مع لافات النطاق (Span Latents): يجمع المؤلفون بين التوحيد الكامن، وإزالة الضوضاء المشروطة بالنطاق والنوع، وCFG، ووزن Min-SNR خصيصاً للأدلة الموضعية للنطاق ومنخفضة الأبعاد، وهو تعديل غير بديهي عن انتشار الصورة الكاملة.
التقييم التمييزي وتقليل التباين: يشرف النموذج مباشرة على درجات الانتخاب كلوجيتات، ويتعلم تجميع الأدلة عبر الخطوات الزمنية، ويشتق الشروط النظرية التي يقلل فيها التقدير المتضاد من تباين المقارنة.
تقييم مضبوط: تعزل الدراسة تأثير المُتحقق من خلال مقارنة DiffImagines مع نموذج تحكم حتمي مطابق "ImaginE" يتشارك معها في نفس المشفرات، والأهداف المساعدة، وبروتوكولات التدريب.

النتائج التجريبية
تم تقييم النموذج على معايير Twitter-2015 و Twitter-2017.

الأداء: تفوق DiffImaginE باستمرار على نموذج التحكم الحتمي المطابق ImaginE.
- في Twitter-2015، حقق F1 صارم بنسبة 77.17% (مقابل 75.44% لـ ImaginE)، مدفوعاً بتحسينات في كل من الدقة والاستدعاء.
- في Twitter-2017، حقق F1 صارم بنسبة 88.44% (مقابل 87.72% لـ ImaginE).
الدلالة الإحصائية: رفض اختبار زوجي لكل نوع على Twitter-2017 فرض العدم عند $p=0.032$ ، مما أكد أن المكاسب ذات دلالة إحصائية.
دراسات الاستئصال (Ablation Studies): تسبب إزالة مُتحقق الانتشار تماماً في أكبر انخفاض في الأداء. ساهمت مكونات مثل تطبيع الدرجة، ووزن Min-SNR، والعينات المتضادة، كل منها بنحو 0.6–0.7 نقطة في F1 عند إزالتها.
التحليل لكل نوع: كانت التحسينات أكثر وضوحاً لـ PER (الوجوه) و ORG (الشعارات)، حيث يكون التنوع البصري عالياً، بينما شهدت LOC و MISC مكاسب أقل. يدعم هذا الادعاء بأن مُقيّم الانتشار يستغل الأدلة البصرية المتنوعة بشكل أفضل من النموذج الأولي الواحد.

الأهمية والادعاءات
تدعي الورقة أن DiffImaginE يوفر بديلاً قوياً للتخيل الحتمي من خلال نمذجة توزيع التجسيدات البصرية بدلاً من نقطة واحدة. ويجادل المؤلفون بأن هذا النهج فعال بشكل خاص عندما تكون الأدلة البصرية ضوضائية أو متغيرة للغاية، لأنه يسمح للمُتحقق بتقييم معقولية الأدلة تحت كل فرضية بدلاً من مجرد تشابهها مع نموذج أولي.

تكمي تكمن الأهمية في الإثبات المنضبط بأن استبدال مُتحقق حتمي بواحد قائم على الانتشار يحسن أداء MNER دون تغيير بنية المشفر الأساسية أو وصفة التدريب. وتوضح التحليلات النظرية كيف يعمل التوجيه الخالي من التصنيف (CFG) على شحذ التوزيع اللاحق للنوع ومتى يقلل التقدير المتضاد من التباين بفعالية. ويحافظ المؤلفون على موقف متواضع، حيث يعزون التحسينات تحديداً إلى آلية التحقق ويشيرون إلى أن الطريقة تدعم حالياً مهام MNER القياسية دون ابتكار مجالات تطبيقية جديدة.

مشكلة "الخيال ذو الحجم الواحد الذي يناسب الجميع"

المحقق الجديد: DiffImaginE

ما وجدوه

لماذا يهم هذا

أبحاث مشابهة