🤖 machine learning

Test-Time Compositional Generalization in Diffusion Models via Concept Discovery

تقترح هذه الورقة طريقة للتعميم التركيبي عند وقت الاختبار لنماذج الانتشار المدربة مسبقاً، والتي تكتشف مفاهيم خاصة بالاستعلام من خلال تحليل هندسة الدرجة المعتمدة على الوقت لبناء نموذج معلم قائم على "حاصل ضرب الخبراء"، مما يتيح توليد تكوينات جديدة دون الاعتماد على مكتبات مفاهيم محددة مسبقاً.

المؤلفون الأصليون: Zekun Wang, Anant Gupta, Tianyi Zhu, Christopher J. MacLellan

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zekun Wang, Anant Gupta, Tianyi Zhu, Christopher J. MacLellan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً ماهراً قضى سنوات في طهي آلاف الوجبات. هذا الشيف يعرف كيف يصنع "يخنة لحم حارة" و"سلطة فواكه حلوة" بإتقان تام. لكن في أحد الأيام، تطلب منه صنع شيء لم يره من قبل: "يخنة فواكه حارة".

في عالم الذكاء الاصطناعي، يُسمى هذا التعميم التركيبي (Compositional Generalization). التحدي هو: هل يستطيع الشيف دمج مفهوم "اللحم الحار" مع مفهوم "سلطة الفواكه" لابتكار طبق جديد، رغم أنه لم يطبخ هذا المزيج المحدد من قبل؟

عادةً، تحتاج نماذج الذكاء الاصطناعي إلى كتاب وصفات (مكتبة من المفاهيم) للقيام بذلك. إذا لم يكن "يخنة الفواكه الحارة" موجوداً في الكتاب، فسيصاب الشيف بالارتباك.

تقدم هذه الورقة طريقة جديدة تجعل "الشيف الآلي" يكتشف الأمر أثناء العمل (on the fly)، دون الحاجة إلى كتاب وصفات. وإليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. تشبيه "الغرفة الضبابية" (نموذج الانتشار - Diffusion Model)

تخيل مولد صور يعمل بالذكاء الاصطناعي كغرفة مليئة بالضباب.

الضباب: يبدأ الذكاء الاصطناعي بصورة ضبابية تماماً ومليئة بالضجيج.
العملية: يقوم الذكاء الاصطناعي بتصفية الضباب ببطء، خطوة بخطوة، ليكشف عن صورة واضحة.
السر: بينما يتبدد الضباب، يتعلم الذكاء الاصطناعي "معالم" (Landmarks). عند مستوى ضباب كثيف، قد يرى شكلاً غامضاً لـ "وجه". ومع انقشاع الضباب أكثر، يرى "عينين"، ثم "عينين زرقاوين"، ثم "عينين زرقاوين لشخص محدد".

أدرك المؤلفون أن هذه "المعالم" (التي تسمى الأنماط - modes) توجد في مستويات مختلفة من الوضوح. بعضها ضبابي (مفاهيم عامة مثل "وجه")، وبعضها حاد (تفاصيل محددة مثل "ابتسامة").

2. العمل التحقيقي (اكتشاف المفاهيم - Concept Discovery)

عندما تعطيه طلباً غريباً (مثل "يخنة فواكه حارة")، لا يصاب الذكاء الاصطناعي بالذعر. بدلاً من ذلك، يتصرف كمحقق في تلك الغرفة الضبابية.

الدليل: تظهر للذكاء الاصطناعي مثالاً واحداً، ضبابياً قليلاً لما تريده (الاستعلام - Query).
البحث: يقوم الذكاء الاصطناعي بعملية بحث خاصة (تسمى صعود التدرج - Gradient Ascent) عبر الضباب. يبحث عن "القمم" أو النقاط العالية في الضباب حيث تكون البيانات أكثر كثافة.
الاكتشاف: يجد عدة "قمم" متميزة تتطابق مع أجزاء من طلبك. ربما يجد قمة تبدو مثل "الفاكهة" وأخرى تبدو مثل "الحرارة". هو لا يحتاج إلى تسمية لهذه القمم؛ هو فقط يجد الأشكال الموجودة في الضباب التي تناسب الطلب.

3. "فريق الخبراء" (حاصل الخبراء - Product-of-Experts)

الآن وجد الذكاء الاصطناعي هذه "القمم" (المفاهيم). ولكن كيف تجمع بينها؟

تخيل أن لديك فريقاً من الخبراء. خبير يعرف عن "الفاكهة"، وآخر يعرف عن "الحرارة".
ينشئ الذكاء الاصطناعي نموذج "حاصل الخبراء" (PoE). هذا يشبه اجتماعاً حيث يصوت كل هؤلاء الخبراء على الشكل النهائي للصورة.
هم لا يقومون بمجرد دمج الصور معاً؛ بل يدمجون "آراءهم" (الاحتمالات) رياضياً لإنشاء مخطط واضح لـ "يخنة الفواكه الحارة".

4. طريقتان للطهي (أخذ العينات والتقطير)

بمجرد أن يمتلك الذكاء الاصطناعي هذا المخطط الجديد، يمكنه توليد الصورة بطريقتين:

الطريقة (أ): الدليل الفوري (أخذ العينات التحليلي - Analytic Sampling)
الذكاء الاصطناعي يستخدم المخطط لتوجيه عملية تصفية الضباب مباشرة. الأمر يشبه نظر الشيف إلى المخطط وقوله: "حسناً، أعرف تماماً كيف أزيل الضباب لصنع هذا الطبك المحدد الآن".
الطريقة (ب): جلسة التدريب (تقطير LoRA - LoRA Distillation)
يأخذ الذكاء الاصطناعي الصور التي ولدها باستخدام المخطط ويستخدمها ليعلم نفسه "خدعة" جديدة. هو يضيف تحديثاً صغيراً وخفيف الوزن (يسمى LoRA) إلى دماغه.
- التشبيه: الأمر يشبه قيام الشيف بتذوق "يخنة الفواكه الحارة" الجديدة، وكتابة ملاحظة جديدة في دفتر ملاحظاته الشخصي، ثم حفظها. في المرة القادمة، يمكنه صنعها فوراً دون الحاجة إلى العمل التحقيقي مجدداً.

لماذا يهم هذا؟

اختبرت الورقة ذلك على شيئين:

الأرقام الملونة: صنع "رقم 7 أخضر" عندما تدرب الذكاء الاصطناعي فقط على "رقم 7 أحمر" و"رقم 3 أخضر".
الوجوه: صنع وجه بـ "شعر أشقر" و"شفاه ممتلئة" عندما لم يسبق له رؤية هذا المزيج تحديداً.

النتائج:

الطرق القديمة: حاولت إيجاد أقرب شيء تعرفه (مثلاً: "أوه، أنت تريد اللون الأخضر؟ إليك رقم 3 أخضر، لكنه ليس 7"). كانت النتيجة غالباً خاطئة.
الطريقة الجديدة: نجحت في اكتشاف مفهوم "الأخضر" ومفهوم "الرقم 7" بشكل منفصل، ثم دمجتهما، وصنعت "رقماً 7 أخضر" مثالياً. لقد كانت أفضل في الحفاظ على التفاصيل الصحيحة (الأمانة/Faithfulness) وفي جعل الصورة تبدو حقيقية (التعميم/Generalization).

الخلاصة

توضح هذه الورقة أن نماذج الذكاء الاصطناعي تحتوي بالفعل على مكتبة مخفية من "لبنات البناء" داخل عملية التعلم الضبابية الخاصة بها. أنت لا تحتاج لإعطائها اللبنات؛ بل تحتاج فقط لتعليمها كيفية إيجاد اللبنات وتركيبها معاً عندما ترى طلباً جديداً وغريباً. هذا يحول الذكاء الاصطناعي من مجرد تابع صارم للوصفات إلى حلّال مشاكل مرن ومبدع.

ملخص تقني: التعميم التركيبي في نماذج الانتشار عبر اكتشاف المفاهيم في وقت الاختبار

بيان المشكلة

التعميم التركيبي (Compositional generalization)—وهو القدرة على إعادة دمج الأجزاء المألوفة في تكوينات جديدة—يعد سمة من سمات الذكاء البشري، ولكنه لا يزال يمثل تحديًا كبيرًا لنماذج التعلم العميق. وبينما تبرع الشبكات العصبية في الاستيفاء (interpolation) ضمن توزيعات التدريب، فإنها تعاني عند ظهور العناصر الأولية المألوفة في مجموعات غير مألوفة. وتعتمد الأساليب الحالية للتوليد التركيبي في نماذج الانتشار (diffusion models) عادةً على مكتبة محددة مسبقًا من المفاهيم، أو إشارات شرطية، أو تسميات خارجية لتوجيه توليد التكوينات الجديدة. وهذا يخلق فجوة بين اكتشاف المفهوم والتعميم التركيبي: فالطرق السابقة تفترض أن العناصر الأولية ذات الصلة معروفة ومتاحة بالفعل، مما يؤدي إلى الفشل في معالجة السيناريوهات التي يجب أن يكتشف فيها النموذج مفاهيم خاصة بالاستعلام من الصفر في وقت الاختبار دون وجود مفردات ثابتة أو إشراف خارجي.

المنهجية

تقترح الورقة إطار عمل يعيد توظيف نموذج انتشار مدرب مسبقًا كتراتب ضمني لأنماط الكثافة المرتبطة بالزمن لاكتشاف المفاهيم وتركيبها في وقت الاختبار. تعمل الطريقة عبر ثلاث مراحل رئيسية:

اكتشاف المفهوم عبر صعود النمط (Mode Ascent):
بدلاً من استخدام نموذج الانتشار فقط لعملية أخذ العينات العكسية، يستخدم المؤلفون دالة الدرجة (score function) المتعلمة المرتبطة بالزمن $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ لتحديد أنماط الكثافة المحلية للهوامش المشوشة $p_t(x_t)$ . بدءًا من استعلام واحد خارج التوزيع (OOD) $x_q$ ، تنفذ الطريقة صعود التدرج (gradient ascent) على الدرجة غير المشروطة عند مستويات متعددة من الضجيج $t$ لاستعادة الأنماط المحلية.

الأساس النظري: بالاستفادة من صيغة تودي (Tweedie's formula)، يوضح المؤلفون أن هذه الأنماط تقابل "نماذج أولية للمفاهيم" خالية من الضجيج في فضاء البيانات النظيفة ( $x_0$ )، حيث تعمل فعليًا كمركز (centroids) منفصل عند مستويات مختلفة من التجريد اعتمادًا على مستوى الضجيج.
التمثيل: يتم رسم كل نمط مكتشف وإعادته إلى فضاء $x_0$ وتقريبه كخبير غاوسي محلي $q_j(x_0) = \mathcal{N}(x_0; m_j, \Sigma_j)$ ، حيث يتم اشتقاق المتوسط من النمط، ويتم تقدير التباين عبر مجسات هوتشينسون (Hutchinson probes).

تركيب حاصل الخبراء (Product-of-Experts - PoE):
يتم دمج الخبراء الغاوسيين المكتشفين في نموذج معلم تحليلي واحد باستخدام صيغة حاصل الخبراء (PoE).

الاختيار: تختار خوارزمية تحسين تحت-نموذجية (submodular optimization) جشعة مجموعة فرعية من النماذج الأولية الأكثر صلة بالاستعلام، مما يعظم هدف تغطية الاحتمالية اللوغاريتمية لكل بُعد.
التركيب: يتم دمج الخبراء المختارين في توزيع PoE موزون $q_T$ . ولأن الخبراء هم نماذج غاوسية، فإن التركيب الناتج يكون أيضًا غاوسيًا مع دالة درجة تحليلية. وهذا يسمح باشتقاق تنبؤ ضجيج تحليلي $\epsilon_{q_T}(x_t, t)$ دون الحاجة إلى رمز شرطي مدرب للتكوين الجديد.

أخذ العينات التركيبي والتقطير (Distillation):

أخذ العينات التحليلي: يتم دمج الدرجة التحليلية لنموذج PoE المعلم ضمن إطار عمل التوجيه الخالي من التصنيف (CFG). يقوم النموذج بمقارنة تنبؤ PoE بالتنبؤ غير المشروط لتوجيه عملية أخذ العينات نحو التكوين المكتشف.
تقطير LoRA: لتحسين التوليد داخل النطاق (in-manifold) وإنشاء شرطي قابل لإعادة الاستخدام، تقترح الطريقة اختيارياً تقطير معلم PoE في النموذج الأساسي. يتضمن ذلك تدريب تضمين فئة جديد ومتكيف انخفاض الرتبة (LoRA) على مجموعة من العينات المولدة بواسطة معلم PoE. هذه الخطوة تستوعب التكوين المكتشف مرة أخرى في فضاء الدرجة الخاص بالنموذتد.

المساهمات الرئيسية

الربط بين الاكتشاف والتركيب: يربط هذا العمل بين اكتشاف المفهوم والتعميم التركيبي من خلال معاملة نموذج الانتشار المدرب مسبقًا كتراتب ضمني لأنماط الكثافة. وهو يتيح استعادة نماذج أولية لمفاهيم منفصلة في وقت الاختبار دون وجود مجموعة عناصر أولية محددة مسبقًا.
آلية تركيب في وقت الاختبار: يقدم المؤلفون طريقة تختار الأنماط ذات الصلة بجشع باستخدام هدف احتمالية تحت-نموذجي وتجمعها في نموذج معلم PoE ذي دالة درجة مغلقة، مما يسمح بأخذ العينات المباشر دون الحاجة لإعادة تدريب النموذج الأساسي على التكوين المحدد.
التحقق التجريبي: تم تقييم الإطار عبر معيارين هما ColorMNIST وCelebA، مما أظهر أن النماذج الأولية المكتشفة وتكوين PoE الخاص بها يشفران معلومات أغنى عن التكوينات غير المرئية مقارنة بأخذ العينات القائم على الاستعلام فقط أو استرجاع أقرب فئة مدربة.

النتائج

تظهر التجارب على ColorMNIST (هوية الرقم، اللون، الخلفية) وCelebA (سمات الوجه) أن الطريقة المقترحة تتفوق على عدة خطوط أساسية:

الخطوط الأساسية: تمت مقارنة الطريقة مع "الاستعلام فقط" (أخذ العينات حول الاستعلام بتباين ثابت)، و"Top-1/Top-3" (استرجاع أقرب الفئات المدربة)، وCFG القياسي.
الأداء: حقق كل من أخذ العينات التحليلي لـ PoE والنسخة المقطرة عبر LoRA مقاييس FID وCLIP similarity وPrecision/Recall أعلى مقارنة بالخطوط الأساسية.
- في ColorMNIST، حققت نسخة LoRA درجة F1 تبلغ 87.6% (للأمانة/Faithfulness) و76.3% (للتعميم/Generalization)، متفوقة بشكل كبير على خط الأساس Top-1 (الذي سجل ~6.5% F1).
- في CelebA، حقق منهج PoE أفضل FID للتعميم (140.3) ودرجات CLIP، بينما عمل LoRA على تحسين التوازن بين التغطية والدقة، محققاً أعلى مستويات Recall وF1 للتعميم.
التحليل النوعي: تشير النتائج المرئية إلى أنه بينما تفشل الخطوط الأساسية غالبًا في الحفاظ على الجمع المحدد للسمات (على سبيل المثال، تغيير هوية الرقم أو الانحراف نحو تركيبات سمات مختلفة)، فإن الطريقة المقترحة تنجح في إعادة بناء التكوين غير الموزع (OOD) وتعمم على حالات أخرى من نفس الفئة.

الأهمية والادعاءات

تدعي الورقة أن هندسة الدرجة المرتبطة بالزمن في نماذج الانتشار تحتوي على مفاهيم (أنماط كثافة) قابلة لإعادة الاستخدام تدعم التوليد التركيبي في وقت الاختبار دون مكتبة مفاهيم محددة مسبقًا.

الرؤية النظرية: تشير النتائج إلى أن نماذج الانتشار تشفر ضمنيًا تراتباً من المفاهيم حيث تعمل أنماط الهوامش المشوشة كنماذج أولية عند مستويات مختلفة من التجريد.
الآثار العملية: تسمح هذه الطريقة بتوليد تكوينات جديدة من استعلام واحد خارج التوزيع، مما يوفر مساراً للتعميم التركيبي لا يعتمد على إشراف خارجي أو مفردات محددة مسبقًا.
القيود: يشير المؤلفون بتواضع إلى أن البروتوكول يفترض معرفة العوامل الأولية (الإعداد التركيبي القياسي)، وأن الطريقة تعتمد على الانحيازات الاستقرائية للنموذج الأساسي. وبينما يمكنها الاستيفاء (interpolate) بين العناصر الأولية المعروفة، إلا أنها لا تستطيع ابتكار عناصر أولية جديدة تمامًا تتجاوز دعم التدريب (مثل خلفية بيضاء في نموذج تم تدريبه فقط على خلفيات داكنة).

يقدم العمل أدلة نظرية وتجريبية على إمكانية إعادة توظيف نماذج الانتشار لاكتشاف المفاهيم والتركيب، مما قد يمتد ليشمل تطبيقات أوسع في نمذجة اللغة والتحكم الروبوتي.