🤖 machine learning

Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

تقترح هذه الورقة البحثية إطار عمل KnowCoL، وهو إطار للتعلم التبايني الموجه بالمعرفة يدمج المدخلات المرئية مع المعرفة النصية والهيكلية القائمة على ويكيداتا (Wikidata) لتحقيق أداء رائد في التعرف على الكيانات المرئية في النطاق المفتوح، لا سيالما بالنسبة للكيانات النادرة وغير المرئية.

المؤلفون الأصليون: Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في مكتبة ضخمة ولا متناهية حيث لا توجد الكتب على الرفوف فحسب، بل تطفو في الهواء. تحتوي هذه المكتبة على كل شيء في العالم: كل شجرة محددة، كل مبنى مشهور، كل حشرة نادرة، وكل شخصية مشهورة.

الآن، تخيل أنك أمين مكتبة لم يسبق له رؤية كتاب من قبل. سلم أحدهم إليك صورة لفراشة زرقاء غريبة وسألك: "ما هذا؟"

في الأيام الخوالي، كان أمناء المكتبة (نماذج الذكاء الاصطناعي) يتدربون فقط على قائمة ثابتة تضم 1,000 نوع من الحيوانات الشائعة. إذا عرضت عليهم فراشة زرقاء، فإما سيقولون: "لا أعرف"، أو سيخمنون أنها "فراشة" (وهو وصف عام جداً)، أو "عثة" (وهو أمر خاطئ). لم يكن بمقدورهم التعامل مع التنوع اللانهائي للعالم الحقيقي.

يقدم هذا البحث نوعاً جديداً من أمناء المكتبة يسمى KnowCoL. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "لعبة الأسماء" مقابل "لعبة المعاني"

حاولت نماذج الذكاء الاصطناعي السابقة لعب لعبة "مطابقة الأسماء".

الطريقة القديمة: ينظر الذكاء الاصطناعي إلى صورة لـ "عطارد" (كوكب) وصورة لـ "عطارد" (معدن سائل). كلاهما يحمل نفس الاسم. يصاب الذكاء الاصطناعي بالارتباك لأنه لا يرى سوى التسمية النصية. الأمر يشبه محاولة العثور على شخص يدعى "جون سميث" في حشد يضم 100 شخص يحملون نفس الاسم دون معرفة أي شيء آخر عنهم.
الطريقة الجديدة (KnowCoL): بدلاً من مجرد مطابقة الأسماء، يلعب KnowCoL "لعبة المعاني". هو لا يسأل فقط: "ماذا يسمى هذا؟" بل يسأل: "ما هو هذا؟". إنه يفهم أن أحد "عطارد" هو كرة ضخمة من الصخور في الفضاء، والآخر هو معدن سائل لامع في ميزان الحرارة.

2. السلاح السري: "الخريطة فائقة الاتصال"

لعب لعبة المعاني، يستخدم KnowCoL خريطة رقمية ضخمة تسمى Wikidata.

فكر في Wikidata كشبكة ضخمة ومترابطة من الحقائق. هي تعرف أن "بيج بن" هي جزء من "قصر وستمنستر"، الذي يقع في "لندن"، التي تقع في "إنجلترا".
كانت نماذج الذكاء الاصطعي القديمة تنظر إلى صورة بيج بن بمعزل عن غيرها.
أما KnowCoL، فينظر إلى الصورة ويربطها فوراً بهذا النسيج. يرى الأدلة البصرية ويقول: "آه، هذا البرج ذو الساعة مرتبط بمبنى محدد، المرتبط بدوره بمدينة محددة. لذلك، هذا ليس مجرد 'برج ساعة'؛ إنه Q41225 (بيج بن)".

3. التدريب: "التعلم عبر الارتباط" (التعلم التبايني)

كيف يتعلم الذكاء الاصطناعي القيام بذلك؟ يستخدم المؤلفون تقنية تسمى التعلم التبايني (Contrastive Learning).

تخيل أنك تعلم طفلاً التعرف على الكلاب.

الطريقة القديمة: تعرض عليه صورة وتقول: "هذا كلب". تفعل ذلك لـ 1,000 كلب مختلف.
طريقة KnowCoL: تعرض للطفل صورة لكلب من نوع "جولدن ريتريفر" وصورة لكلب من نوع "تشيواوا". تقول له: "كلاهما كلاب، لكنهما مختلفان". ثم تعرض صورة لقطة وتقول: "هذا ليس كلباً".
يقوم الذكاء الاصطناعي بذلك مع الملايين من العناصر. إنه يتعلم تقريب الأشياء المتشابهة (مثل صورة لسيارة معينة ووصفها) من بعضها البعض في "عقله"، ودفع الأشياء المختلفة (مثل صورة لسيارة ووصف لموزة) بعيداً عن بعضها البعض.

4. سحر "الدمج" (Fusion)

يصف البحث وحدة "دمج" (Fuser). فكر في هذه الوحدة كأنها مترجم يتحدث لغتين في آن واحد:

اللغة البصرية: ما تراه الكاميرا (الألوان، الأشكال، الملامس).
اللغة المفاهيمية: ما تقول الموسوعة (الحقائق، العلاقات، التاريخ).

تقوم وحدة الدمج بأخذ صورة وسؤال (مثلاً: "ما هذه العجلة؟") وتترجمهما إلى "فكرة" واحدة في عقل الذكاء الاصطناعي. ثم تقارن هذه "الفكرة" مقابل خريطة Wikidata الضخمة للعثور على المطابقة المثالية.

5. النتيجة: "العبقري الصغير"

الجزء الأكثر إثارة للإعجاب في هذا البحث هو النتيجة.

نماذج الذكاء الاصطناعي الأخرى التي تحاول حل هذه المشكلة تشبه العمالقة الضخمة: فهي ضخمة، ثقيلة، وتتطلب كميات هائلة من الطاقة (الحواسيب) للعمل.
أما KnowCoL فهو يشبه المحقق الصغير والحاذق.
- هو أصغر بـ 35 مرة من أكبر منافسيه.
- ومع ذلك، فهو أفضل بنسبة 10.5% في تحديد الأشياء التي لم يسبق له رؤيتها من قبل (التعلم من عدم وجود بيانات مسبقة/Zero-Shot learning).

لماذا؟ لأنه لم يكتفِ بحفظ الصور؛ بل تعلم هيكل العالم. هو يعرف أنه إذا رأى "عجلة فيريس" (دولاب هواء)، فمن المرجح أنها "معلم سياحي"، مما يساعده على تخمين الإجابة الصحيحة حتى لو لم يسبق له رؤية تلك العجلة المحددة من قبل.

الملخص

KnowCoL هو ذكاء اصطناعي جديد لا يكتفي بـ "رؤية" الصور فحسب، بل "يفهمها" عبر ربطها بخريطة ضخمة ومنظمة من المعرفة البشرية. إنه يشبه منح الكمبيوتر عقلاً يمكنه قراءة الموسوعة أثناء النظر إلى صورة، مما يسمح له بتحديد الأشياء النادرة أو الغامضة أو غير المرئية بدقة مذهلة، كل ذلك بينما يظل صغيراً بما يكفي للعمل على حاسوب عادي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الرؤية والمعرفة في البرية: التعرف على الكيانات المرئية مفتوحة المجال عبر الرسوم البيانية للمعرفة واسعة النطاق" (KnowCoL).

1. تعريف المشكلة

تتناول الورقة البحثية مسألة التعرف على الكيانات المرئية مفتوحة المجال (OVEN)، وهي مهمة تهدف إلى تحديد وربط الكيانات المرئية في الصور بمجموعة واسعة ومتطورة من المفاهيم الواقعية (مثل المعالم المحددة، أو الأنواع، أو الشخصيات العامة) المحددة في Wikidata.

التحديات الرئيسية:
- ظروف المجموعة المفتوحة (Open-Set Conditions): على عكس التصنيف التقليدي ذو الملصقات الثابتة، فإن مساحة الملصقات ضخمة (ملايين الكيانات) وديناميكية. معظم الكيانات المستهدفة غير مرئية أثناء التدريب.
- توزيع الذيل الطويل (Long-Tail Distribution): تحتوي مجموعة البيانات على العديد من الكيانات النادرة، مما يجعل التعلم الخاضع للإشراف القياسي غير فعال.
- الغموض الدلالي (Semantic Ambiguity): الميزات المرئية وحدها غالبًا ما تكون غير كافية للتمييز بين الكيانات ذات المظاهر أو الأسماء المتشابهة (مثل "عطارد" الكوكب مقابل "عطارد" المعدن).
- قصور النهج الحالية:
  - المشفرات المزدوجة (مثل CLIP): تعامل الكيانات كملصقات معزولة، متجاهلة العلاقات الدلالية الغنية بينها.
  - نهج التوليد ذو الخطوتين (مثل PaLI وGIT): تولد ملصقات نصية أولاً، ثم تبحث عن تطابقات. هذا يؤدي إلى فقدان المعلومات والغموض الدلالي (على سبيل المثال، قد يكون النص المولد صحيحًا لغويًا ولكنه غامض دلاليًا، مما يؤدي إلى فشل ربط الكيان).

2. المنهجية: إطار عمل KnowCoL

يقترح المؤلفون إطار عمل KnowCoL (التعلم التبايني الموجه بالمعرفة)، وهو إطار عمل ذو مشفر مزدوج يدمج المعرفة المهيكلة من Wikidata مباشرة في عملية تعلم التمثيل.

البنية الأساسية

يقوم النموذج بمحاذاة ثلاثة أنماط في فضاء تمثيل دلالي مشترك:

المدخلات المرئية: الصورة المدخلة ( $x_p$ ) والاستعلام النصي ( $x_t$ ) الذي يصف القصد.
معرفة الكيان: الوصف النصي للكيان المستهدف ( $t_e$ )، والصور الرائدة ( $I_e$ )، وعلاقات الرسم البياني للمعرفة (KG).
تمثيلات الرسم البياني للمعرفة (KGE): تمثيلات العقد والعلاقات المستمدة من Wikidata.

المكونات الرئيسية

المشفرات:
- يستخدم مشفرات صور ونصوص CLIP مدربة مسبقًا ومجمدة.
- يضيف طبقات إسقاط خطية قابلة للتدريب (LP1, LP2) لخرائط الميزات إلى الفضاء الكامن المشترك.
- يقوم نموذج الدمج (Fuser Module) بدمج تمثيلات الصورة واستعلام النص ( $z_{input}$ ) عبر عملية جمع بسيطة (التي وُجد أنها الأكثر فعالية للتعميم).
ترميز الكيان متعدد الأنماط:
- لكل كيان، يحسب النموذج تمثيلات لوصفه النصي وصوره الرائدة.
  إذا لم تتوفر صورة رائدة، يتم استخدام التمثيل النصي كبديل.
دوال الخسارة (Loss Functions):
يهدف هدف التدريب إلى تقليل مجموع مرجح لثلاث خسائر تباينية:
1. خسارة المحاذاة ( $L_a$ ): تحاذي تمثيل الاستعلام المدخل ( $z_{input}$ ) مع تمثيل عقدة الكيان الحقيقي ( $\phi(e)$ ).
2. خسارة الوكيل ( $L_p$ ): تحاذي تمثيل عقدة الكيان مع تمثيلاتها متعددة الأنماط (النص والصور). وهذا يضمن أن تمثيل العقدة يلتقط المعلومات الدلالية من كلا النمطين.
3. خسارة تمثيل الرسم البياني للمعرفة ( $L_{KE}$ ): خسارة هيكلية تحافظ على العلاقات في Wikidata. وهي تستخدم نهجًا قائمًا على الترجمة (TransE) مع تشابه جيب التمام (cosine similarity) لضمان الاتساق مع التدريب المسبق لـ CLIP. وهي تعمل على تعظيم درجة الثلاثيات الموجبة $(h, r, t)$ مع تقليل العينات السلبية.
$L = L_a + \beta_1 L_p + \beta_2 L_{KE}$
الاستدلال (Inference):
عند إعطاء صورة واستعلام، يحسب النموذج $z_{input}$ ويقارنه مقابل متوسط تمثيلات جميع الكيانات المرشحة (النص + الصورة) للعثور على أفضل تطابق عبر تشابه جيب التمام.

3. المساهمات الرئيسية

إطار عمل مبتكر: قدم KnowCoL، وهو أول نهج يستفيد من الرسوم البيانية للمعرفة واسعة النطاق (Wikidata) للتعرف على الكيانات المرئية مفتوحة المجال، متجاوزًا الرسوم البيانية الصغيرة المحددة بمجال معين.
مشفر مزدوج مع معرفة هيكلية: أثبت أن دمج علاقات الرسم البياني الهيكلية (مثل "مثال لـ"، "فئة فرعية من") مباشرة في هدف التعلم التبايني يحسن بشكل كبير من التعميم صفري المرة (zero-shot) دون الحاجة إلى خطوات نصية توليدية.
الكفاءة والأداء:
- حقق نتائج هي الأفضل في حالتها (SOTA) على معيار OVEN.
- النسخة الأصغر من النموذج (KnowCl-L، 0.4 مليار معلمة) حسنت الدقة في الكيانات غير المرئية بنسبة 10.5% مقارنة بالسابقة الأفضل (Auto-VER-14B)، رغم كونها أصغر بـ 35 ضعفًا.
- النسخة الأكبر (KnowCoL-bigG، 2.0 مليار معلمة) حققت متوسطًا توافقيًا (HM) قدره 38.8%، متفوقة على النماذج التوليدية الضخمة (مثل PaLI-17B و Auto-VER-14B) باستخدام عدد أقل بكثير من المعلمات.

4. النتائج التجريبية

مجموعة البيانات: تم التقييم على مجموعة بيانات OVEN (14 مجموعة بيانات لتمييز الصور، ~6 ملايين عينة تدريب، 15 ألف كيان اختبار).
المقاييس: دقة أعلى 1 (Top-1) للكيانات المرئية (Seen) وغير المرئية (Unseen)، ومتوسطهما التوافقي (HM).
أبرز الأداء:
- الكيانات غير المرئية: حقق KnowCl-bigG دقة بنسبة 36.1% في الكيانات غير المرئية، وهي قفزة هائلة مقارنة بالأفضل السابق (Auto-VER-14B عند 18.6%).
- التعميم: أظهر النموذج أداءً متوازنًا في كل من الكيانات المرئية وغير المرئية، بينما مالت النماذج التوليدية إلى الإفراط في التخصيص (overfitting) على الكيانات المرئية والفشل في الكيانات غير المرئية.
دراسات الاستئصال (Ablation Studies):
- أنواع المعرفة: أدى إزالة الصور الرائدة أو العلاقات الهيكلية للرسم البياني (مثل "مثال لـ"، "فئة فرعية من") إلى تدهور الأداء بشكل كبير، مما يثبت ضرورة كل من الأولويات المرئية والهيكلية.
- استراتيجية الدمج: تفوق الجمع (Addition) البسيط لتمثيلات الصورة والنص على نماذج MLP و Transformer المعقدة، والتي مالت إلى الإفراط في التخصيص على البيانات المرئية.
- طرق KGE: كان TransE مع تشابه جيب التمام هو الأفضل، حيث يتوافق جيدًا مع هدف التدريب المسبق لـ CLIP.

5. الأهمية والخاتمة

تثبت هذه الورقة أن الفهم على المستوى الدلالي المدفوع بالمعرفة المهيكلة يتفوق على المطابقة السطحية بين المرئي والنص للتعرف في العالم المفتوح.

تحول في النموذج (Paradigm Shift): تتحدى الورقة التوجه نحو استخدام نماذج توليدية ضخمة وثقيلة المعلمات للتعرف على الكيانات، وتظهر أن مشفرًا مزدوجًا أصغر موجهًا بالمعرفة يمكنه تحقيق قدرات صفرية المرة (zero-shot) فائقة.
القابلية للتوسع: من خلال الاستفادة من مقياس Wikidata الهائل، فإن النهج قابل للتوسع بشكل كبير للوصول إلى "الذيل الطويل" للكيانات الواقعية.
العمل المستقبلي: يقترح المؤلفون استكشاف الفضاءات غير الإقليدية (الهيبيربولية/الكروية) لالتقاط الطبيعة الهرمية للرسوم البيانية للمعرفة بشكل أفضل.

باختصار، ينجح KnowCl في سد الفجوة بين الإدراك المرئي والمعرفة الهيكلية للعالم، مما يحل مشكلة التعرف على الكيانات المرئية مفتوحة المجال بدقة عالية وكفاءة في عدد المعلمات.