🤖 machine learning

Deep Dreams Are Made of This: Visualizing Monosemantic Features in Diffusion Models

تقدم هذه الورقة تقنية "التصور الكامن عبر التحسين" (LVO)، وهي تقنية في التفسير الآلي تجمع بين المشفرات التلقائية المتفرقة والتحسين في الفضاء الكامن لتصور الميزات أحادية المعنى في نماذج الانتشار، حيث نجحت في كشف مفاهيم متماسكة مثل الأشكال البشرية والورود التي تحجبها التمثيلات متعددة المعاني في النماذج المرجعية.

المؤلفون الأصليون: Adam Szokalski, Mateusz Modrzejewski

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Adam Szokalski, Mateusz Modrzejewski

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل آلة ضخمة ومعقدة (مثل الذكاء الاصطناعي الحديث الذي ينشئ الصور) تعمل كصندوق أسود عملاق. تعطيها أمراً، فتخرج لك صورة، لكن لا أحد داخل الصندوق يعرف بالضبط لماذا قررت رسم وردة معينة أو نوع معين من الكابلات. ورقة "Deep Dreams Are Made of This" هي بمثابة فريق من الميكانيكيين يحاولون فتح هذا الصندوق وفهم تروسه الداخلية.

إليك تفصيل بسيط لما فعلوه، باستخدام تشبيهات من الحياة اليومية:

المشكلة: "حساء" تعدد المعاني (The Polysemantic Soup)

داخل آلات الذكاء الاصطر هذه، تكون "النيورونات" (المفاتيح الداخلية) فوضوية. يطلق عليها المؤلفون اسم تعدد المعاني (polysemanticity).

التشبيه: تخيل مفتاح ضوء في منزلك يتحكم في ضوء المطبخ، وباب المرآب، وضوء الشرفة الأمامية في آن واحد. إذا قمت بتبديل المفتاح، فلن تعرف أي ضوء يعمل بالفعل. في الذكاء الاصطناعي، قد يكون ميزة داخلية واحدة مسؤولة عن "الكلاب"، و"الفراشات"، و"أنسجة الفراء" جميعها مختلطة معاً. ولأنها مختلطة، فمن الصعب فهم ما يفكر فيه الذكاء الاصطناعي حقاً.

الحل: أداة "فك التشابك" (The Disentanglement Tool)

لإصلاح ذلك، استخدم الباحثون أداة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE).

التشبيه: فكر في الـ SAE كطاهٍ ماهر يأخذ ذلك "الحساء" الفوضوي من المكونات المختلطة ويفصلها إلى أوعية فردية نقية. الآن، بدلاً من مفتاح واحد يتحكم في ثلاثة أشياء، أصبح لديهم ثلاثة مفاتيح منفصلة: واحد للكلاب فقط، وواحد للفراشات، وواحد للفراء. وهذا ما يسمى أحادية المعنى (monosemanticity) (معنى واحد لكل ميزة).

التقنية الجديدة: "التصور الكامن عبر التحسين" (Latent Visualization by Optimization - LVO)

أراد المؤلفون معرفة كيف تبدو هذه المفاتيح "النقية" عندما يتم تشغيلها. لقد طوروا طريقة جديدة تسمى LVO.

التشبيه: تخيل أنك تريد معرفة ما يتحكم فيه مفتاح ضوء معين. أنت لا تكتفي فقط بتبديل المفتاح وتأمل ما سيحدث؛ بل تحاول بناء غرفة تجبر هذا المفتاح على أن يعمل بأقصى سطوع ممكن. تستمر في تعديل الأثاث، والطلاء، والإضاءة حتى يبدأ المفتاح بالصراخ "أنا تعمل!".
التحول: في هذا الذكاء الاصطناي، "الغرفة" ليست صورة حقيقية؛ بل هي كود مضغوط مخفي (يسمى "الفضاء الكامن" أو latent space). قام الباحثون بتحسين هذا الكود ليروا أي صورة ستجعل ميزة معينة تضيء بقوة.

المكونات الأربعة الخاصة

لأن هذا الذكاء الاصطناعي يعمل بشكل مختلف عن الأنظمة القديمة، اضطر الباحثون لابتكار أربع قواعد خاصة لجعل اختبار "مفتاح الضوء" الخاص بهم ينجح:

تحليل نشاط الخطوات الزمنية (Time-Step Activity Analysis): يبني الذكاء الاصطناعي الصور من الصفر، ويضيف التفاصيل خطوة بخطوة (مثل النحات الذي ينحت في الحجر). قد تكون الميزة مهمة في البداية (الشكل العام) أو في النهاية (التفاصيل الدقيقة).
- التشبيه: لقد تحققوا من "الجدول الزمني" لمعرفة متى تُستخدم أداة معينة بالضبط خلال عملية النحت، حتى لا يحاولوا استخدام الإزميل في الوقت الذي من المفترض أن يقوم فيه النحات بصقل الحجر.
الضجيج المتوافق مع الجدول الزمني (Schedule-Matched Noise): يتوقع الذكاء الاصطناه رؤية صورة ضبابية ومشوشة في كل خطوة. إذا أظهرت له صورة مثالية ونظيفة في وقت مبكر جداً، فسيصاب بالارتباك.
- التشبيه: إذا كنت تحاول تعليم شخص ما السباحة في المسبح، فلا يمكنك فجأة إلقاؤه في أرض جافة. كان عليهم الحفاظ على مستوى "الماء" (الضجيج) عند المستوى الصحيح للخطوة المحددة من العملية.
التهيئة المسبقة (Prior Initialization): لم يبدأوا بشاشة فارغة وعشوائية. بل بدأوا بـ "صورة تلميح".
- التشبيه: بدلاً من محاولة تخمين كلمة مرور من الصفر، بدأوا بتلميح مثل "تبدأ بالحرف أ". هذا يمنع النتيجة من التحول إلى مجرد ضوضاء استاتيكية.
التنظيم (قواعد "مكافحة الضجيج") (Regularization): عندما تحاول إجبار مفتاح على العمل، غالباً ما ينشئ الذكاء الاصطناعي ضجيجاً عالي التردد غريباً (مثل تشويش التلفاز) لأن هذه هي أسهل طريقة لتفعيل المفتاح.
- التشبيه: أضافوا قواعد تقول: "لا، هذا مجرد ضجيج استاتيكي. اجعل الأمر يبدو كشيء حقيقي". استخدموا مرشحات رياضية لتنعيم هذا "التشويش" وإجبار الذكاء الاصطناعي على إنشاء أشكال يمكن التعرف عليها.

ما الذي وجدوه؟

اختبروا هذا على مولد صور شهير (Stable Diffusion) وقارنوا بين المفاتيح "الفوضوية" الأصلية ومفاتيح الـ SAE "النظيفة".

المفاتيح الفوضوية (الطبقة الخام): عندما حاولوا تصور المفاتيح الأصلية المختلطة، كانت النتائج مربكة. حاول مفتاح واحد إظهار كلب، وفراشة، وفراء في آن واحد. بدت الصور كأنها كتلة طينية من الأنسجة غير المترابطة.
المفاتيح النظيفة (ميزات SAE): عندما استخدموا الـ SAE لفصل المعاني، كانت النتائج مذهلة.
- مفتاح واحد رسم خطوطاً قطرية (أسلوب تكوين).
- مفتاح واحد رسم جسم إنسان.
- مفتاح واحد رسم كابلات.
- مفتاح أخرى رسم رغوة الشلال.

لماذا يهم هذا؟

تزعم الورقة أن النظر إلى "أمثلة مجموعة البيانات" (الصور التي تدرب عليها الذكاء الاصطناعي) أو "التوجيه" (إخبار الذكاء الاصطناعي بجعل شيء ما أكثر بروزاً) ليس كافياً.

التشبيه: النظر إلى بيانات التدريب يشبه النظر إلى مكتبة لتخمين موضوع كتاب معين؛ قد تفوتك الفكرة الأساسية. أما "التوجيه" فهو مثل الصراخ "المزيد من الورود!" ورؤية ما يحدث، لكنك لن تعرف لماذا صنع الذكاء الاصطناي تلك الورود.
النتيجة: تقنية LVO تشبه فتح الكتاب وقراءة الفصل المحدد. إنها تكشف بالضبط عما "تفكر" فيه ميزة معينة، حتى لو كانت تلك الميزة شيئاً مجرداً مثل "التكوين القطري" الذي قد لا تلاحظه بمجرد النظر إلى صور التدريب.

الملخص

تقدم الورقة طريقة جديدة لعمل "أشعة إكس" لمولدات الصور بالذكاء الاصطناعي. من خلال فصل المفاهيم المختلطة واستخدام عملية تحسين خاصة، يمكنهم إنشاء صور واضحة ومفهومة بشرياً تظهر بالضبط أي أجزاء من "عقل" الذكاء الاصطناعي هي المسؤولة عن شيء ما. لقد وجدوا أنه بدون هذا الفصل، تكون أفكار الذكاء الاصطناعي عبارة عن حساء طيني، ولكن مع وجوده، تصبح الأفكار واضحة، ومتميزة، وغالباً ما تكون محددة بشكل مدهش (مثل "الكابلات" أو "الخطوط القطرية").

ملخص تقني: الأحلام العميقة مصنوعة من هذا

بيان المشكلة

بينما تقدمت التفسيرية الآلية (mechanistic interpretability) بشكل كبير للشبكات العصبية الالتفافية (CNNs) من خلال تقنيات تصور الميزات عبر التحسين، فإن تطبيق هذه الأساليب على نماذج الانتشار الكامنة (LDMs) يطرح تحديات فريدة. تعمل نماذج LDMs في فضاء كامن لترميز التباين (VAE) مضغوط، وتستخدم عملية إزالة ضجيج تكرارية مشروطة بالخطوات الزمنية. تفشل طرق تصور الميزات الكلاسيكية، التي تقوم بتحسين المدخلات في فضاء البكسل لتعظيم تنشيط الميزة، في هذا السياق بسبب:

تعدد المعاني (Polysemanticity): غالبًا ما تمثل الميزات العصبية الخام مفاهيم متعددة غير مترابطة في آن واحد، مما يجعل التصورات غير متماسكة.
قيود الفضاء الكامن: يؤدي التحسين مباشرة في الفضاء الكامن إلى حالات فشل مثل قيم فك الترميز خارج النطاق (مما يسبب التشبع المفرط) والشوائب عالية التردد.
التعقيد الزمني: قد تكون الميزات في نماذج الانتشار نشطة في خطوات زمنية مختلفة لأسباب مختلفة، مما يتطلب طريقة لعزل ظروف تنشيط محددة.
محدودية الأدوات الحالية: تقتصر طرق تفسير الانتشار الحالية، مثل أمثلة مجموعة البيانات وتوجيه الميزات (feature steering)، على محتوى مجموعة البيانات أو تكشف فقط عن التأثيرات النهائية بدلاً من المدخلات المحددة التي تنشط ميزة معينة.

المنهجية: التصور الكامن عبر التحسين (LVO)

يقترح المؤلفون التصور الكنتي عبر التحسين (LVO)، وهو تقنية توسع تصور الميزات عبر التحسين لتشمل نماذج LDMs. الهدف الأساسي هو تحسين متجه كامن $z_{opt}$ عبر صعود التدرج (gradient ascent) لتنشيط ميزة مستهدفة بشكل أقصى. تقدم الطريقة أربعة مكونات خاصة بنماذج الانتشار:

تحليل نشاط الخطوة الزمنية: بدلاً من تصور الميزات عبر جميع الخطوات الزمنية البالغ عددها 1,000، تحدد الطريقة "قمم النشاط" حيث تكون الميزة أكثر تكراراً ضمن أعلى- $k$ من التنشيطات عبر مجموعة البيانات. يتم إنشاء التصورات خصيصاً لخطوات زمنية ذروية لعزل دور الميزة في تلك المرحلة من إزالة الضجيج.
التحسين في الفضاء الكامن: يحدث التحسين داخل الفضاء الكامن لـ VAE بدلاً من فضاء البكسل لتجنب التكلفة الحسابية وآثار التدرج المرتبطة بالانتشار العكسي عبر فك الترميز.
حقن الضجيج المتوافق مع الجدول الزمني: للحفاظ على التكييف الصحيح لـ U-Net، يتم إعادة تشويش اللاتنت (latent) المحسن عند كل تمريرة أمامية باستخدام معاملات المجدول (scheduler coefficients) للخطوة الزمنية المستهدفة ( $z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$ ). يضمن هذا أن النموذج يرى نسبة الإشارة إلى الضجيج المتوقعة.
التهيئة المسبقة (Prior Initialization): يتم بدء التحسين من صورة "سابقة" (prior) ناتجة عن توجيه الميزة المستهدفة في خطواتها الزمنية النشطة. هذا يبقي مسار التحسين ضمن المنطوِق (manifold) القابل للتفسير، مما يمنع الانهيار إلى ضجيج عالي التردد.

استراتيجيات التنظيم:
لمكافحة الضجيج عالي التردد وآثار الفضاء الكامن، يستخدم المؤلفون مجموعة من المنظمات:

المنقولة إلى فضاء البكسل: متانة التحويل (الارتعاش، الدوران، القياس)، والترشيح الطيفي (تخفيف التدرجات عالية التردد)، وتنعيم التدرج.
العقوبات الخاصة بالفضاء الكامن: عقوبة النطاق (معاقبة القيم خارج نطاق تدريب فك الترميز، وعادة ما تكون $[-3, 3]$ )، وعقوبة العزم (إبقاء متوسط وتباين اللاتنت قريباً من التوزيع الطبيعي القياسي).

فك الارتباط عبر SAEs:
تقارن الدراسة بين متغيرين:

خط الأساس للطبقة الخام (Raw-Layer Baseline): يحسن قناة تنشيط خام واحدة.
متغير SAE: يستخدم مشفراً تلقائياً متفرقاً (Sparse Autoencoder) مدرباً على الطبقة لفك ارتباط التمثيلات متعددة المعاني إلى ميزات أحادية المعنى قبل التحسين.

المساهمات الرئيسية

إطار عمل LVO: اقتراح خط إنتاج كامل لتصور الميزات في نماذج LDMs، يدمج تحليل الخطوة الزمنية، وحقن الضجيج المتوافق مع الجدول الزمني، والتهيئة المسبقة، والتنظيم المناسب للفضاء الكامن.
خط أساس فك الارتباط: توفير خط أساس محكوم للطبقة الخام لعزل مكاسب التفسيرية التي يوفرها فك ارتباط SAE.
إبطال التنظيم (Regularization Ablation): أول إبطال منهجي للمنظمات في فضاء البكسل في نطاق اللاتنت، مما كشف أن استراتيجيات التنظيم المثلى تختلف بشكل كبير بين متغيرات الطبقة الخام ومتغيرات SAE (على سبيل المثال، تستفيد ميزات SAE من عقوبات العزم ولكنها شديدة الحساسية للتباين الكلي وتنعيم التدرج).
رؤية تكميلية: إثبات أن LVO يوفر رؤى متميزة عن أمثلة مجموعة البيانات والتوجيه من خلال الكشف المباشر عن المدخلات التي تنشط ميزة ما.

النتائج

تم تقييم الطريقة على نموذج Stable Diffusion 1.5 الذي تم ضبطه بدقة على مجموعة بيانات Style50، وتحديداً باستهداف الطبقة up_blocks.1.attentions.1.

خط أساس تعدد المعاني: أدى تحسين تنشيطات الطبقة الخام إلى تصورات كانت غالباً غير متماسكة أو مختلطة لمفاهيم متعددة (مثل خلط أجزاء الحيوانات مثل العيون والفراء دون تكوين حيوان قابل للتمييز). أنتج التوجيه على هذه الميزات الخام صوراً غير مفيدة وعامة.
ميزات SAE أحادية المعنى: أنتج LVO القائم على SAE تصورات واضحة ومتسقة لمفاهيم قابلة للتمييز عبر بذور (seeds) وخطوات زمنية متعددة. تشمل الأمثلة البارزة:
- الميزة 9984: صورت باستمرار "تكوين قطري" (ضربات موجهة من أعلى اليسار إلى أسفل اليمين)، وهو مفهوم هيكلي غير واضح من أمثلة مجموعة البيانات المتنوعة.
- الميزة 10331: صورت بوضوح هيئات بشرية.
- ميزات أخرى: نجحت في تصور أجزاء من الأشياء (كابلات، ورود)، وأنسجة (رغوة الشلال)، ومنظور (perspectives).
آثار التنظيم: أظهرت المعايرة أن التهيئة المسبقة كانت ضرورية لمنع انهيار الضجيج. علاوة على ذلك، وُجد أن مصطلحات التنظيم مثل متانة التحويل وعقوبات العزم تساعد المحسن على الهروب من النهايات العظمى المحلية غير القابلة للتفسير، مما يكشف عن هياكل أوضح (على سبيل المثال، تحويل نسيج "موحل" إلى هيكل كابل متميز).

الأهمية والادعاءات

يزعم البحث أن LVO يسد فجوة حرجة في تفسيرية نماذج الانتشار. بينما تقتصر أمثلة مجموعة البيانات على تنوع المحتوى، ويكشف التوجيه عن التأثيرات النهائية، فإن LVO يجيب مباشرة على سؤال "ما الذي ينشط الميزة". يؤكد المؤلفون أن التقنية لا تكون صالحة إلا عند الجمع بين المكونات الأربعة المقترحة (تحليل الخطوة الزمنية، حقن الضجيج، التهيئة المسبقة، والتنظيم المناسب).

يتم تأطير العمل في المقام الأول كأداة للتفسيرية الدفاعية، مما يدعم تدقيق السلامة، وإزالة المفاهيم المستهدفة، والإشراف على المحتوى. يقر المؤلفون بمخاطر الاستخدام المزدوج حيث يمكن لنظرية تحديد تنشيطات الميزات أن تساعد في تجاوز فلاتر السلامة، لكنهم يقيمون هذا الخطر بأنه محدود نظراً لأن النماذج الأساسية وSAEs عامة بالفعل، وأن الطريقة تكشف عن أسباب التنشيط وليس تقنيات الكبح.

تخلص الدراسة إلى أن LVO يظهر ميزات هيكلية وتكوينية (مثل الترتيبات القطرية) التي تكون غير مرئية للفحص القياسي لأمثلة مجموعة البيانات، مما يقدم منظوراً تكميلياً ضرورياً للدراسة الميكانيكية لنماذج الانتشار الكامنة.