Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models
تقدم هذه الورقة WJoconde، وهو رسم بياني معرفي متعدد الوسائط للتراث الثقافي الفرنسي، وتقترح إطار عمل مبتكرًا يستفيد من النماذج اللغوية الكبيرة والنماذج اللغوية البصرية لزيادة توسيع مثل هذه الرسوم البيانية تلقائيًا وبموثوقية عالية من خلال مسار تحقق متخصص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة ومفصلة للغاية من الفن والتاريخ الفرنسي. في الوقت الحالي، هذه المكتبة منظمة مثل جدول بيانات عملاق: فهي تسرد اللوحات، والمنحوتات، والقطع الأثرية، وتخبرك بمن صنعها، ومتى، وأين تُحفظ. هذا ما يسميه المؤلفون رسمًا بيانيًا للمعرفة (Knowledge Graph). إنه خريطة مهيكلة من الحقائق.
ومع ذلك، يعاني جدول البيانات هذا من مشكلتين كبيرتين:
- إنه غير مكتمل: فهو يفتقد لكتل ضخمة من المعلومات لأن العالم الحقيقي فوضوي ومعقد.
- إنه ممل: فهو يحتوي على النصوص فقط. إنه لا "يرى" صور الأعمال الفنية، رغم أن الصور موجودة هناك بالفعل.
أراد مؤلفو هذه الورقة إصلاح ذلك. لقد بنوا نسخة جديدة فائقة القدرات من هذه المكتبة تسمى WJoconde، واخترعوا فريق روبوتات ذكيًا للمساعدة في ملء هذه الفراغات.
إليك كيف فعلوا ذلك، مشروحًا ببساطة:
1. المكتبة الجديدة: WJoconde
تخيل أرشيف المتاحف الفرنسي الأصلي (Joconde) كأرشيف مغبر. أخذ المؤلفون أفضل أجزاء هذا الأرشيف وربطوها بـ Wikidata (موسوعة حقائق ضخمة ومجانية عبر الإنترنت).
لقد أنشأوا نسخة جديدة تسمى WJoconde. ما الذي يجعلها مميزة؟
- متعددة الوسائط (Multimodal): تخيل بطاقة مكتبة لا تحتوي فقط على وصف للوحة، بل تريك أيضًا اللوحة. تربط WJoconde الوصف النصي مباشرة بالصورة الفعلية للعمل الفني.
- إنها معيار مرجعي (Benchmark): لقد قاموا بتنقية هذه البيانات وصنعوا ثلاث نسخ مختلفة منها (نسخة خام، ونسخة منقحة، ونسخة تحتوي على كل من النصوص والصور) حتى يتمكن العلماء الآخرون من استخدامها لاختبار أدوات الذكاء الاصطناعي الخاصة بهم. إنه يشبه إعطاء الجميع "امتحانًا" معياريًا لمعرفة من يبني أفضل رسم بياني للمعرفة.
2. المشكلة: "العالم المغلق" مقابل "العالم المفتوح"
تعمل معظم أنظمة الذكاء الاصطناعي التي تحاول ملء الحقائق المفقودة مثل اختبار الاختيار من متعدد. فهي تنظر إلى قائمة الإجابات الموجودة وتخمن الإجابة المفقودة.
- المشكلة: إذا لم تكن الإجابة موجودة في القائمة، يقول الذكاء الاصطناعي: "لا أعرف".
- الواقع: في تاريخ الفن، قد تكون "الإجابة الصحيحة" شيئًا لم يكتبه أحد من قبل. يحتاج الذكاء الاصطناعي إلى أن يكون قادرًا على ابتكار حقائق جديدة، وليس مجرد الاختيار من قائمة طعام. هذا ما يسمى افتراض العالم المفتوح (Open World Assumption).
3. الحل: فريق المحققين الروبوتيين
لحل هذه المشكلة، بنى المؤلفون مسار عمل (pipeline) باستخدام نوعين من روبوتات الذكاء الاصطناعي فائقة الذكاء:
- القارئ (LLM): نموذج لغوي كبير (مثل قارئ نصوص فائق الذكاء) يقرأ أوصاف الفن.
- المشاهد (VLM): نموذج لغة ورؤية (روبوت يمكنه "رؤية" وفهم الصور).
كيف يعمل الفريق معًا:
- المهمة: يأخذ النظام لوحة فنية ويسأل: "ماذا يحدث في هذه الصورة؟"
- التخمين: ينظر القارئ إلى النص، والمشاهد ينظر إلى الصورة. كلاهما يصرخ بتخميناته (على سبيل المثال: "إنه يظهر حصانًا!" أو "إنه يظهر معركة!").
- التحقق المزدوج (الخطوة السحرية): هذا هو الجزء الأهم. نظرًا لأن روبوتات الذكاء الاصطناعي قد "تهلوس" (تختلق أشياء من خيالها)، فقد بنى المؤلفون مسار تحقق (validation pipeline).
- يتحققون مما إذا كان تخمين القارئ يتطابق مع تخمين المشاهد.
- يتحققون مما إذا كان التخمين هو بالفعل حقيقة جديدة أم أنه مجرد مرادف لشيء يعرفونه بالفعل (على سبيل المثال، التأكد من عدم إضافة "ستائر" إذا كانت كلمة "ستارة" موجودة بالفعل في قاعدة البيانات).
- حتى أنهم يطلبون من المشاهد النظر إلى الصورة مرة أخرى للتأكيد: "نعم، أنا أرى حصانًا بالتأكيد في هذه الصورة".
4. النتائج: خريطة أكبر وأفضل
كانت النتائج مبهرة. باستخدام فريق الروبوتات هذا:
- نجحوا في إضافة 61% أكثر من الحقائق إلى قاعدة البيانات.
- أضافوا آلاف التفاصيل الجديدة، مثل أفعال محددة (المبارزة بالرماح)، وأشياء (سيوف)، ومشاهد (مناظر مدن) كانت مفقودة سابقًا.
- ضبط الجودة: عندما تحقق البشر من العمل، وجدوا أن الروبوتات كانت صحيحة بنسبة 92% من الوقت.
الخلاصة
لم يكتفِ المؤلفون ببناء قاعدة بيانات أكبر فحسب؛ بل بنوا نظامًا يمكنه النظر إلى لوحة ووصفها، وفهم القصة، وإضافة حقائق جديدة ودقيقة إلى خريطة رقمية دون الحاجة إلى إدخال كل شيء يدويًا بواسطة البشر.
لقد أثبتوا أنه من خلال الجمع بين ذكاء اصطناعي لقراءة النصوص وذكاء اصطناعي لرؤية الصور، ومن ثم جعل كل منهما يراجع عمل الآخر، يمكننا توسيع معرفتنا بالتراث الثقافي تلقائيًا بطريقة سريعة وموثوقة. كما جعلوا جميع أكوادهم وبياناتهم متاحة للجميع مجانًا، حتى يتمكن الباحثون الآخرون من تجربة القيام بما هو أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.