Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

ملخص تقني مفصل لورقة: "ما وراء الأولويات التوليدية: أخذ عينات الأقلية بتوجيه نموذج JEPA"

بيان المشكلة

يهدف أخذ عينات الأقلية (Minority sampling) إلى توليد حالات ذات كثافة منخفضة في فضاء البيانات، وهو أمر بالغ الأهمية لتطبيقات مثل التشخيص الطبي، وكشف الشذوذ، والذكاء الاصطناعي الإبداعي. ومع ذلك، فإن النهج الحالية تُعرّف "الأقلية" بالنسبة لـ الأولوية التوليدية (Generative Prior) التي تعلمها النموذج نفسه (أي توزيع بيانات التدريب). وهذا يخلق قيداً جوهرياً: فالعينات التي تُصنف على أنها "نادرة" غالباً ما تكون مجرد نواتج عرضية لمجموعة تدريب معينة أو للتحيزات الاستقرائية للنموذج، وليست حالات غير نمطية حقيقية في العالم الواقعي. على سبيل المثال، قد يعتبر نموذج مدرب على مجموعات بيانات قياسية أن وجود كلب على خلفية بيضاء "نادراً" لمجرد أنه ممثل بنسبة ضئيلة في بيانات التدريب، بينما قد تكون طائرة شبح نادرة حقاً في العالم الواقعي ولكن لا يتم رصدها كذلك إذا كانت أولوية النموذج ضيقة. تجادل الورقة بأن الطرق الحالية تفشل في التوافق مع الأولويات الواقعية (Real-world priors)، وهي الضرورية لالتقاط الندرة الدلالية الحقيقية.

المنهجية: توجيه JEPA

يقترح المؤلفون توجيه JEPA (JEPA Guidance)، وهو إطار عمل ينقل أخذ عينات الأقلية من منظور متمحور حول المولد إلى منظور متمحور حول العالم. ويتحقق ذلك من خلال توجيه نماذج الانتشار (Diffusion models) باستخدام الكثافة الضمنية لبنية التنبؤ بالتمثيل المشترك (Joint-Embedding Predictive Architecture - JEPA)، وهي فئة من النماذج العالمية (مثل DINOv2) المعروفة بترميز تمثيلات غنية دلالياً وواسعة النطاق.

الآلية الجوهرية:

1. تعريف متمحور حول العالم: بدلاً من تقليل الاحتمالية تحت كثافة نموذج الانتشار $p_\theta(x)$، تسعى الطريقة إلى تقليل الاحتمالية تحت كثافة $p_\phi(x)$ المستمدة من JEPA. تُعرَّف عينات الأقلية بأنها تلك التي تقع في مناطق ذات كثافة منخفضة في فضاء تمثيل JEPA.
2. مقياس JEPA-SCORE: تستخدم الطريقة JEPA-SCORE، وهو مقياس للكثافة مشتق من مصفوفة جاكوبي (Jacobian) لمشفر JEPA مسبق التدريب $f_\phi$. وتحديداً، هو مجموع لوغاريتمات القيم المفردة لمصفوفة جاكوبي $J_f(x)$. تشير قيم JEPA-SCORE المنخفضة إلى كثافة أقل (أي عدم نمطية أعلى) في الأولوية العالمية.
3. التقريب عبر SVD العشوائي: إن حساب مصفوفة جاكوبي الكاملة وتحليل القيم المفردة (SVD) الخاص بها عند كل خطوة انتشار هو أمر مكلف حوسبياً للغاية. يستخدم المؤلفون SVD العشوائي (Randomized SVD) لتقريب أعلى $k$ من القيم المفردة للمصفوفة المضغوطة بكفاءة. كما يقدمون حداً علوياً نظرياً لخطأ التقريب، حيث يتم تفكيكه إلى خطأ تقدير SVD العشوائي وخطأ الاقتطاع.
4. نظرية الغلاف (Envelope Theorem) للكفاءة: لتجنب الانتشار العكسي (Backpropagation) عبر حلقة التحسين الداخلية لـ SVD العشوائي (والتي تعتمد على المدخل $x_t$)، يستدعي المؤلفون نظرية الغلاف. يسمح هذا بمعاملة مصفوفة الإسقاط المثلى $Q^*$ كثابت أثناء حساب الاشتقاق، مما يقلل بشكل كبير من استهلاك الذاكرة والعبء الحوسبي مع الحفاظ على الاشتقاقات الصحيحة من الدرجة الأولى.
5. التوجيه المؤجل (Deferred Guidance): لمعالجة الفجوة النطاقية بين التمثيلات الوسيطة المشوشة لنموذج الانتشار والمدخلات النظيفة المتوقعة من مشفر JEPA، قدم المؤلفون التوجيه المؤجل. يتم تطبيق توجيه JEPA فقط بعد خطوة زمنية وسيطة $\tau T$ (على سبيل المثال، $t=0.8T$)، مما يضمن أن تقديرات إزالة التشويش $\hat{x}_{0|t}$ واضحة بما يكفي ليقوم مشفر JEPA بتقييمها بفعالية. وهذا يسمح أيضاً بتوسيع الطريقة لتشمل التوليد الشرطي (مثل نص-إلى-صورة)، حيث يتم وضع الشرط في مرحلة مبكرة من العملية قبل بدء التوجيه المتمحور حول العالم.

المساهمات الرئيسية

• أخذ عينات الأقلية المتمحور حول العالم: تحول جذري يعيد تعريف عينات الأقلية بناءً على الأولويات الواقعية (عبر نماذج JEPA) بدلاً من الأولويات الضيقة للنموذج التوليدي.
• إطار عمل توجيه JEPA: طريقة أخذ عينات للانتشار تتبع مبادئ علمية توجه المسارات نحو المناطق ذات الكثافة المنخفضة تحت أولويات مستمدة من JEPA.
• الحوسبة الفعالة: تطوير استراتيجيات تقريب مبنية على أسس سليمة (SVD العشوائي) وتطبيق نظرية الغلاف لجعل توجيه JEPA قابلاً للتطبيق حوسبياً، مع إرفاق حدود خطأ نظرية.
• تكامل خالٍ من التدريب: النهج خالٍ تماماً من الحاجة لإعادة التدريب، حيث يتطلب فقط نماذج انتشار وJEPA مدربة مسبقاً، ويمكن دمجه في وقت الاستدلال دون تعديل النماذج الأساسية.

النتائج التجريبية

قيم المؤلفون توجيه JEPA عبر مهام التوليد غير المشروط، والتوليد الشرطي للفئات، وتوليد (نص-إلى-صورة) (باستخدام CelebA، وImageNet، وStable Diffusion 1.5، وSDXL-Lightning).

• عدم النمطية (Atypicality): يحقق توجيه JEPA باستمرار أدنى قيمة لـ JEPA-SCORE (مما يشير إلى عدم نمطية أعلى تحت الأولويات العالمية) مقارنة بالنماذج المرجعية مثل Sehwag et al. (2022)، وMG، وSGMS، وMinorityPrompt.
• الدقة والصلاحية: رغم استهداف المناطق النادرة، تحافظ الطريقة على دقة عالية. في مهام (نص-إلى-صورة)، تحقق الطريقة درجات توافق نصي تنافسية (CLIPScore، وPickScore، وImageReward) مع توليد عينات متميزة دلالياً (مثل: عسكريين مسنين، أو لاعبي بيسبول من أصول أفريقية) تفشل الطرق الأخرى في إنتاجها.
• المقارنة النوعية: تظهر التصورات أن الطرق المتمحورة حول المولد غالباً ما تنتج عينات ذات سياقات غير نمطية (مثل: نسر بالقرب من رافعة)، بينما ينتج توجيه JEPA دلالات أو سلوكيات غير نمطية (مثل: طيور نسر في حالة تزاوج، أو أشكال حيوانات غير معتادة)، مما يتوافق بشكل أفضل مع الندرة في العالم الواقعي.
• الفائدة اللاحقة: في مهمة تعزيز البيانات لتدريب المصنفات، أدى التعزيز باستخدام عينات الأقلية الموجهة بـ JEPA إلى أداء متفوق أو مماثل للطرق الأخرى باستخدام عينات أقل، مما يشير إلى أن هذه العينات توفر إشارات تدريب أكثر غنى بالمعلومات.

الأهمية والادعاءات

تدعي الورقة أن توجيه JEPA يقدم حلاً قوياً لمحدودية أخذ عينات الأقلية الحالية المحاصرة داخل توزيع النموذج التوليدي نفسه. ومن خلال الاستفادة من النماذج العالمية (JEPAs)، تولد الطريقة عينات نادرة حقاً في العالم الواقعي، وليس فقط نادرة بالنسبة لمجموعة بيانات محددة.

يؤكد المؤلفون أن هذا النهج:

1. يفصل مفهوم الأقلية عن الأولوية التوليدية.
2. يسد الفجوة بين النمذجة التوليدية ونمذجة العالم، وهو مكون رئيسي في السعي نحو الذكاء الاصطناعي العام (AGI).
3. يوفر أداة عملية خالية من التدريب للتطبيقات التي تتطلب تنوعاً وبيانات غير نمطية، مثل اختبار المتانة، وتحسين العدالة، والتوليد الإبداعي للمحتوى.

كما يقر المؤلفون باحتمالية وجود مخاوف تتعلق بالاستخدام المزدوج: حيث يمكن لعكس اتجاه التوجيه أن يعزز التحيزات الموجودة في الأولويات العالمية، وهم يشجعون على الاستخدام المسؤول. ويشيرون إلى أنه بينما تفرض الطريقة عبئاً حوسبياً مقارنة بالنماذج القياسية، إلا أنها تظل أسرع من بعض النماذج المرجعية المعقدة (مثل MinorityPrompt) وتقدم مقايضة معقولة مقابل المكسب الكبير في عدم النمطية المتمحورة حول العالم.