ملخص تقني: التكييف عند وقت الاختبار باستخدام الميزات المرئية المتوافقة مع التمثيل (REPA-G)

بيان المشكلة

بينما أظهر توافق التمثيل مع النماذج ذاتية الإشراف قدرة على تسريع تدريب نماذج الانتشار وتحسين جودة العينات، إلا أن إمكاناتها في تعزيز التكييف عند وقت الاستدلال لا تزال غير مستكشفة إلى حد كبير. تعتمد استراتيجيات التكييف الحالية في توليد الصور عادةً على تسميات الفئات أو الأوصاف النصية. يوفر التكييف القائم على الفئة تحكماً خشناً يقتصر على فئات محددة مسبقاً، بينما تكون المطالبات النصية، رغم مرونتها، غالباً غير دقيقة وغامضة. هناك حاجة إلى طريقة تتيح تحكماً دقيقاً ومرناً ومتعدد المستويات في التوليد دون إعادة تدريب النموذج أو الاعتماد على مطالبات غامضة.

المنهجية: REPA-G

يقدم المؤلفون توجيه توافق التمثيل (REPA-G)، وهو إطار عمل يستفيد من التمثيلات الداخلية لنماذج الانتشار المدربة باستخدام توافق التمثيل لتمكين التكييف المرئي عند وقت الاختبار.

الآلية الجوهرية

يعمل REPA-G عن طريق تحسين هدف التشابه (الـ "potential") أثناء عملية الاستدلال. تقوم الطريقة بتوجيه عملية إزالة الضجيج نحو تمثيل مستهدف مستخرج من مستخرج ميزات ذاتي الإشراف مدرب مسبقاً (مثل DINOv2).

1. استخراج الميزات: يتم استخراج الرموز المرئية (Visual tokens) من صورة مرجعية (مرساة) باستخدام نفس الشبكة ذاتية الإشراف المستخدمة في مرحلة توافق النموذج أثناء التدريب.
2. توجيه التدرج: يتم تعديل إجراء أخذ العينات عبر حساب تدرج دالة الجهد $\mathscr{V}$ التي تقيس مدى التوافق بين الميزات الداخلية للعينة المولدة والميزات الشرطية.
3. التوزيع المائل: من الناحية النظرية، يعمل هذا التوجيه على توجيه عملية أخذ العينات للاستقاء من "توزيع مائل" $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$، حيث $p_0$ هو توزيع البيانات الأصلي و $\lambda$ يتحكم في قوة التوجيه.

خيارات التصميم للدالة الجوهرية (Potential)

يدعم الإطار مستويات متعددة من دقة التحكم عبر تكييف دالة الجهد $\mathscr{V}$:

• توافق الرقع المستقل (IPA): يسمح بمرونة مكانية.
  • خريطة الميزات الكاملة: تفرض قيوداً مكانية كثيفة لإعادة البناء العشوائي.
  • خريطة الميزات المقنعة: تحافظ على المعلومات ضمن مناطق محددة (مثل شكل الكائن) مع السماح بالتنوع في أماكن أخرى.
  • المفهوم المتوسط: يوافق المتوسط الدلالي العالمي، مما يزيل القيود المكانية لتوجيه الفئة العامة (مثل "الأرنب").
  • المفهف المنفرد: يركز التوجيه على رقعة محلية محددة.
• توافق الرقع الانتقائي (SPA): يستخدم آلية soft-max مع معامل درجة حرارة $T$ لوزن الرقع ديناميكياً بناءً على تشابهها مع مفهوم مستهدف. وهذا يسمح للنموذج بتحديد المفاهيم مكانياً بشكل تكيفي، متجاوزاً القيود المكانية الجامدة.

المتطلبات المسبقة

تتطلب الطريقة أن يكون نموذج الانتشار مدرباً باستخدام توافق التمثيل (على سبيل المثال، باستخدام أهداف REPA أو REPA-E). يضمن هذا أن فضاء الميزات الداخلي للنموذج ذو معنى دلالي ومكيف جيداً، مما يعني أن المسافات في فضاء الميزات ترتبط بالمسافات في فضاء الكثافة الشرطية. بدون هذا التوافق، يفتقر فضاء الميزات إلى البنية الدلالية اللازمة لتكييف فعال.

المساهمات الرئيسية

1. إطار عمل REPA-G: أول إطار عمل للتكييف المرئي عند وقت الاختبار لنماذج الانتشار المدربة بتوافق التمثيل. إنه يوافق الميزات الداخلية للانتشار مع الأهداف من مشفر ذاتي الإشراف دون الحاجة إلى ضبط دقيق أو إعادة تدريب.
2. التبرير النظري: يقدم المؤلفون تحليلاً نظرياً يوضح أن هذا التوجيه يتيح أخذ العينات من توزيع مائل مستحث بالجهد. كما يبررون أن الميزات ذاتية الإشراف مناسبة لهذه المهمة بسبب التماسك الدلالي وخصائص الخرائط الناعمة لفضاء التمثيل المتوافق.
3. التحكم متعدد الاستخدامات: تتيح الطريقة التحكم في المفاهيم المرئية الملموسة والمجردة على مستويات متعددة، بدءاً من مطابقة الأنسجة الدقيقة عبر رقع مفردة وصولاً إلى التوجيه الدلالي الواسع باستخدام الرموز العالمية. كما تدعم تركيب المفاهيم المتعددة (مثل دمج كائن من صورة مع خلفية من صورة أخرى).

النتائج التجريبية

قيم المؤلفون REPA-G على مجموعات بيانات ImageNet و COCO باستخدام نماذج مطابقة التدفق (SiT) المدربة بتوافق التمثيل.

• الأداء على مستوى التوزيع: في ImageNet، يتفوق REPA-G بشكل كبير على النماذج الأساسية غير المشروطة ونماذج SiT القياسية عند تكييفها. على سبيل المثال، باستخدام REPA-E مع ميزات DINOv2 (FDINO)، حققت الطريقة مسافة فريدشيهت للإنسبشن (FID) تبلغ 1.45 (خريطة الميزات الكاملة) و 2.30 (المقنعة)، مقارنة بـ 15.07 للنموذج الأساسي غير المشروط. كما أظهرت الطة درجات عالية في مقاييس Inception Scores (IS) والدقة/الاستدعاء (Precision/Recall).
• التوافق على مستوى المثيل: أظهرت الصور المولدة تشابهاً جيب التمام عالياً مع الصور المرجعية عبر فضاءات ميزات DINOv2 و JEPA و CLIP، مع قيم PSNR تشير إلى دقة عالية على مستوى البكسل في عمليات إعادة البناء المقنعة.
• المقارنة مع تحويل النص إلى صورة: عند مقارنتها مع خط أساس "النص إلى صورة" (CAD-I) على COCO، حقق REPA-G باستخدام الميزات المرئية أداءً متفوقاً (FID بلغ 2.11 مقابل 37.98 للنص)، مما يشير إلى أن الميزات المرئية توفر إشارة أكثر كثافة وإفادة من التسميات النصية.
• تركيب المفاهيم المتعددة: في مهام التوليد التركيبي (دمج الكائنات المرجعية مع الخلفيات المستهدفة)، تفوق متغيرو REPA-G (IPA و SPA) بشكل كبير على خطوط الأساس المشروطة بالفئة والتدخلية من حيث درجات CLIP ومقاييس التشابه لكل رقعة.

الأهمية والادعاءات

يزعم البحث أن REPA-G يقدم بديلاً مرناً ودقيقاً للمطالبات النصية التي غالباً ما تكون غامضة أو تسميات الفئات الخشنة. ومن خلال العمل بالكامل عند وقت الاستدلال، تتجنب الطريقة التكلفة الحسابية والتعقيد المرتبط بتدريب آليات تكييف جديدة أو الضبط الدقيق للنماذج. يؤكد المؤلفون أن فعالية الطريقة مشروطة بأن يكون النموذج مدرباً بتوافق التمثيل، مما يضمن امتلاك فضاء الميزات الداخلي للبنية الدلالية اللازمة. وبينما تتطلب الطريقة حالياً ضبط معامل التوجيه $\lambda$ للمهام التركيبية وتواجه تحديات مع اختلاف زوايا مشاهدة المشهد، إلا أنها تمثل خطوة كبيرة نحو نمذجة توليدية يمكن التحكم فيها ومدفوعة بالميزات.