MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

إليك ملخص تقني مفصل لورقة البحث بعنوان "MoKus: الاستفادة من نقل المعرفة عبر الوسائط لتخصيص المفاهيم القائم على المعرفة."

1. تعريف المشكلة

تعالج الورقة قصوراً حرجاً في تخصيص المفاهيم (Concept Customization) الحالي (مثل DreamBooth وTextual Inversion). تربط الطرق الحالية مفهوماً بصرياً مستهدفاً (مثل لعبة معينة أو حيوان أليف) بـ رمز نادر (Rare Token) (مثل <sks>). يعاني هذا النهج من عيبين رئيسيين:

1. أداء غير مستقر: تفتقر الرموز النادرة إلى المعنى الدلالي وهي غائبة عن بيانات التدريب المسبق. وعند دمجها مع نصوص أخرى، غالباً ما تكون نتائج التوليد غير متسقة أو منخفضة الدقة.
2. عدم الوعي بالمعرفة: تلتقط الرموز النادرة المظهر البصري فقط؛ فهي لا تستطيع تخزين أو استخدام المعرفة المتأصلة حول المفهوم (مثل "حورية البحر الصغيرة موجودة في الدنمارك" أو "منحوتتي المفضلة"). وبناءً على ذلك، يفشل النموذج في توليد صور تتماشى مع معرفة نصية محددة حول المفهوم.

يقترح المؤلفون مهمة جديدة: تخصيص المفاهيم القائم على المعرفة، والتي تهدف إلى ربط معرفة نصية متنوعة (أوصاف باللغة الطبيعية) بمفهوم بصري مستهدف، مما يتيح توليداً قوياً وعالي الدقة يحترم كلاً من المظهر البصري والمعرفة المرتبطة به.

2. الملاحظة الجوهرية: نقل المعرفة عبر الوسائط (Cross-Modal Knowledge Transfer)

أساس الطريقة المقترحة هو ملاحظة نقل المعرفة عبر الوسائط.

• الظاهرة: لاحظ المؤلفون أن تحديث المعرفة الواقعية داخل مشفر النصوص الخاص بنموذج لغوي كبير (LLM) (على سبيل المثال، تغيير الإجابة على "ما هي آلة بيتهوفن المفضلة؟" من "البيانو" إلى "الجيتار") يؤثر مباشرة على المخرج البصري لنموذج الانتشار (Diffusion Model) عندما يُستخدم ذلك النص المحدث كأمر (Prompt).
• الاستنتاج: التعديلات في الوسيط النصي تنتقل طبيعياً إلى الوسيط البصري أثناء عملية التوليد. وهذا يسمح للنظام بحقن معرفة محددة في عملية التوليد دون الحاجة لإعادة تدريب نموذج الانتشار بالكامل لكل معلومة جديدة.

3. المنهجية: إطار عمل MoKus

MoKus (تخصيص المعرفة المدركة للوسائط) هو إطار عمل يتكون من مرحلتين مصمم للاستفادة من هذه الملاحظة. يستخدم نموذج لغوي كبير (LLM) كمشفر للنصوص، ونموذج محول انتشار (DiT) كعمود فقري للتوليد.

المرحلة الأولى: تعلم المفهوم البصري

• الهدف: إنشاء "تمثيل مرساة" (Anchor Representation) مستقر للمفهوم المستهدف.
• العملية:
  • يتم ضبط النموذج بدقة باستخدام LoRA (التكيف منخفض الرتبة) على نموذج الانتشار.
  • يتم ربط رمز نادر (مثل <sks>) بصور المفهوم المستهدف.
  • يتعلم النموذج إعادة بناء المظهر البصري للمفهوم باستخدام هذا الرمز.
  • الابتكار الرئيسي: على عكس الطرق التقليدية، لا يُستخدم هذا الرمز النادر مباشرة للتوليد مع المعرفة، بل يعمل كـ تمثيل مرساة ($y$) يخزن الميزات البصرية للمفهوم، ويعمل كجسر بين المفهوم البصري والمعرفة النصية.

المرحلة الثانية: تحديث المعرفة النصية

• الهدف: ربط معرفة نصية محددة بتمثيل المرساة.
• العملية:
  1. تحويل الاستعلام: يتم تحويل كل قطعة من المعرفة (مثل "منحوتتي المفضلة") إلى صيغة سؤال (مثل "ما هي منحوتتي المفضلة؟").
  2. استخراج الحالة المخفية: يتم إدخال السؤال في مشفر الـ LLM للحصول على الحالات المخفية ($h_i$).
  3. حساب إزاحة المعلمات: يقوم النظام بحساب اتجاه التحديث ($v_i$) لإجبار الـ LLM على إخراج تمثيل المرساة ($y$) كإجابة للسؤال.
  4. تحسين المربعات الصغرى (Least-Squares Optimization): يتم حساب إزاحة المعلمات ($\Delta \theta_t$) لطبقات محددة من الـ LLM (تحديداً طبقات MLP) باستخدام مسألة مربعات صغرى منظمة:
     $$\min_{\Delta \theta_t} ||\mathbf{H} \Delta \theta_t - \mathbf{V}||^2 + ||\Delta \theta_t||^2$$
     حيث تمثل $\mathbf{H}$ الحالات المخفية وتمثل $\mathbf{V}$ اتجاهات التحديث المستهدفة.
  5. التطبيق: تُضاف الإزاحة المحسوبة إلى معلمات الـ LLM المدربة مسبقاً. هذا يحدث النموذج بحيث عندما يتم استدعاء استعلام المعرفة المحدد، يسترجع الـ LLM داخلياً "المرساة البصرية"، مما يحفز توليد المفهوم مع سياق المعرفة المحدد ذاك.

4. المساهمات الرئيسية

1. تعريف مهمة جديدة: تقديم تخصيص المفاهيم القائم على المعرفة، والانتقال من مجرد الربط البصري إلى دمج المعرفة الدلالية.
2. إطار عمل MoKus: اقتراح طريقة مبتكرة لربط المعرفة بالمفاهيم البصرية بكفاءة عبر نقل المعرفة عبر الوسائط، وتجنب الحاجة لإعادة التدريب الكامل أو خطوط الأنابيب المعقدة متعددة المراحل.
3. مجموعة اختبار KnowCusBench: إنشاء أول مجموعة بيانات اختبار لهذه المهمة، تحتوي على:
   • 35 مفهوماً متميزاً (ألعاب، حيوانات أليفة، مشاهد، إلخ).
   • 5 قطع من المعرفة النصية لكل مفهوم (تم إنشاؤها من 6 وجهات نظر: الملكية، السمات، الوظيفة، القيمة، الأصل، العاطفة).
   • 199 أمراً (Prompt) متنوعاً للتوليد.
   • إجمالي 5,975 صورة للتقييم.
4. الكفاءة: عملية تحديث المعرفة سريعة للغاية (ثوانٍ لكل عنصر معرفة) مقارنة بطرق الضبط الدقيق التقليدية.

5. النتائج التجريبية

تم تقييم الطريقة على KnowCusBench مقابل نماذج أساسية مثل Naive-DB (تدريب DreamBooth المتكرر) و Enc-FT (ضبط المشفر بدقة).

• الأداء الكمي:
  • إعادة البناء (Reconstruction): حقق MoKus درجة CLIP-I-Seg بلغت 0.764 (مقابل 0.758 لـ Naive-DB)، مما أظهر دقة فائقة عند التركيز على الكائن المجزأ.
  • التوليد (Generation): تفوق MoKus على النماذج الأساسية في CLIP-T (دقة المطابقة مع الأمر، 0.305) وفي Pick Score (التفضيل البشري، 21.30).
  • الكفاءة: يتطلب MoKus حوالي 6 دقائق فقط من وقت التدريب لكل مفهوم/مجموعة معرفة، مقارنة بـ 27 دقيقة لـ Naive-DB وحوالي 10 دقائق لـ Enc-FT.
• الأداء النوعي:
  • نجح MoKus في توليد صور عالية الدقة تجمع بين المفهوم والمعرفة المعقدة (مثل "الروبوت اللعبة الذي اشتريته بالأمس" في "مدينة مستقبلية").
  • غالباً ما فشلت النماذج الأساسية في الحفاظ على هوية المفهوم عند إضافة المعرفة أو أنتجت نتائج هلوسة.
• دراسات الاستئصال (Ablation Studies):
  • تظل الطريقة قوية مع زيادة عدد عناصر المعرفة (حتى 5).
  • تم العثور على عامل القياس الأمثل ($\eta$) لاتجاه التحديث عند $1e^{-6}$.

6. الأهمية والتطبيقات

توضح الورقة أن MoKus لا يقتصر على التخصيص فحسب، بل يمكن توسيعه ليشمل تطبيقات أخرى قائمة على المعرفة:

• إنشاء المفاهيم الافتراضية: إنشاء مفاهيم جديدة تماماً (مثل "vfx" كرجل عجوز أبيض) من خلال وصف سماته البصرية وربطه بالنموذج.
• محو المفاهيم (Concept Erasure): منع توليد مفاهيم معينة (مثل محو ملامح تايلور سويفت) عن طريق تحديث معرفة النموذج لربط الاسم بوصف بصري مختلف.
• تعزيز المعرفة العالمية: تحسين أداء النموذج في اختبارات المعرفة العالمية (مثل WISE) عن طريق حقن المعرفة الواقعية مباشرة في مسار التوليد.

الخلاصة: يمثل MoKus تحولاً جذرياً في تخصيص المفاهيم، من "الربط البصري القائم على الرموز" إلى "الربط الدلالي القائم على المعرفة". ومن خلال الاستفادة من النقل عبر الوسائط، فإنه يحقق توليداً عالِي الدقة، واعياً بالمعرفة، وبكفاءة غير مسبوقة وقدرة عالية على التعميم.