Mechanistic Interpretability of Diffusion Models: Circuit-Level Analysis and Causal Validation
تقدم هذه الورقة تحليلاً كمياً على مستوى الدوائر لنماذج الانتشار، يكشف عن اختلافات خوارزمية جوهرية في معالجة البيانات الاصطناعية مقابل البيانات الطبيعية، ويحدد ثماني آليات انتباه متخصصة ذات أدوار حوسبية متميزة، ويقدم دليلاً سببيًا على وظائفها من خلال تجارب تدخل منهجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فناناً سحرياً يُدعى "ديفيوجن" (Diffusion). هذا الفنان مشهور برسم الوجوه الجميلة، ولكن هناك عقبة: أنت لا تعرف كيف يفعل ذلك. أنت فقط ترى اللوحة النهائية وتقول: "واو، هذا رائع!".
لفترة طويلة، عرف العلماء أن الفنان موهوب، لكن لم يكن لد'يهم أدنى فكرة عما يحدث داخل عقله. هذه الورقة البحثية تشبه ارتداء نظارات الأشعة السينية لرؤية كيف يفكر الفنان بالضبط، خطوة بخطوة.
إليك قصة ما اكتشفه الباحثون، مشروحة ببساطة:
1. نوعا النماذج
أراد الباحثون معرفة ما إذا كان الفنان يفكر بشكل مختلف عندما يرسم أشخاصاً حقيقيين (مثل صورة لمشهور) مقابل أشخاص مزيفين مولدين بالحاسوب (وجوه متماثلة تماماً وتشبه الرسوم المتحركة).
- التجربة: طلبوا من الفنان رسم 2000 وجه حقيقي و2000 وجه مزيف.
- الاكتشاف: في الواقع، يستخدم الفنان استراتيجيات ذهنية مختلفة لكل منهما!
- عند رسم الوجوه الحقيقية، يعمل عقل الفنان بجهد أكبر وبشكل أكثر تعقيداً لأن الوجوه الحقيقية فوضوية ومليئة بالتفاصيل الصغيرة غير المتوقعة (مثل خصلة شعر شاردة أو تجعيدة فريدة).
- عند رسم الوجوه المزيفة، يتخذ العقل مساراً يعتمد على "الاختصارات" قليلاً لأن الأنماط أبسط وأكثر قابلية للتنبؤ.
2. "العمال المتخصصون" (رؤوس الانتباه - Attention Heads)
داخل نموذج "ديفيوجن"، لا يوجد مجرد عقل واحد كبير. إنه أشبه بـ طاقم بناء مكون من ثمانية عمال متخصصين مختلفين، لكل منهم وظيفة محددة. اكتشف الباحثون بالضبط ما يفعله كل عامل من خلال مراقبتهم عن كثب:
- محقق الحواف: هذا العامل ينظر فقط إلى الخطوط الخارجية. "أين يبدأ الأنف؟ أين ينتهي الذقن؟"
- فنان الملمس: يركز هذا العامل على "إحساس" الجلد، الشعر، والملابس.
- صانع المعنى: هذا العامل يفهم الصورة الكبيرة. "هل هذا وجه سعيد؟ أم وجه حزين؟"
الجزء المذهعي: هؤلاء العمال لا يعملون جميعاً في نفس الوقت أو بنفس الكثافة.
- بعض العمال يكونون أكثر نشاطاً في بداية عملية الرسم (عندما تكون اللوحة مجرد ضجيج). هم يبنون الهيكل العظمي الخشن للوجه.
- آخرون يستيقظون لاحقاً لإضافة التفاصيل الدقيقة، مثل لمعة العين أو ملمس الجلد.
3. تأثير "آلة الزمن"
عملية الرسم تحدث بشكل عكسي. تبدأ كشاشة تلفزيون مشوشة مليئة بالضجيج (Static) ثم تصبح أوضح تدريجياً. وجد الباحثون أن "الطاقم" يغير استراتيجيته مع وضوح الصورة:
- المرحلة 1 (الضجيج): يحاول الفريق فقط تهدئة التشويش.
- المرحلة 2 (الهيكل العظمي): يبنون بسرعة الشكل العام للوجه (أنف كبير، عينان).
- المرحلة 3 (التفاصيل): يبدأون في ملء الملامح والأنسجة المحددة.
- المرحلة 4 (التلميع): يقومون بإصلاح الأخطاء الصغيرة ويجعلون الألوان تبرز.
وجد الباحثون أن الوجوه الحقيقية تستغرق وقتاً أطول لبناء "الهيكل العظمي" لأنها أكثر تعقيداً، بينما تنتهي الوجوه المزيفة من هذا الجزء بشكل أسرع.
4. اختبار "الجراحة" (الإثبات السببي)
لإثبات أن هؤلاء العمال مهمون حقاً، قام الباحثون بشيء جريء: قاموا بـ "طرد" عمال محددين مؤقتاً (إيقاف تشغيل أجزاء من كود الحاسوب) ليروا ماذا سيحدث.
- النتيجة: كانت كارثة!
- عندما طردوا عمال "الطبقة الوسطى" (الذين يربطون بين الرسم الأولي والتفاصيل)، انخفضت جودة الرسم بنسبة 150%. بدا الوجه محطماً تماماً.
- عندما طردوا "محقق الحواف"، فقد الوجه شكله.
- عندما طردوا "صانع المعنى"، بدا الوجه كوحش بدلاً من إنسان.
أثبت هذا أن هذه ليست مجرد أجزاء عشوائية من الكود؛ بل هي أدوات أساسية ومتخصصة يحتاجها النموذج ليعمل.
5. لماذا يهم هذا؟
فكر في هذا الأمر كفهم كيفية عمل محرك السيارة. في السابق، كنا نعرف فقط أن السيارة تسير. الآن، نحن نعرف بالضبط أي مكبس يقوم بما يقوم به.
- تحكم أفضل: إذا عرفنا أي "عامل" هو المسؤول عن إضافة الابتسامة، يمكننا أن نطلب من النموذج "اجعل الابتسامة أكبر" دون التأثير على العينين.
- الأمان: إذا بدأ النموذج في فعل شيء سيء (مثل توليد صور مخيفة)، يمكننا تحديد "العامل" المحدد الذي يسبب ذلك وإيقافه، بدلاً من إغلاق المحرك بالكامل.
- تصميم أذكى: يمكننا بناء نماذج أفضل من خلال معرفة أي الأجزاء هي "عنق الزجاجة" (الأجزاء الأبطأ) وجعلها أسرع.
الخلاصة الكبرى
هذه هي المرة الأولى التي ينجح فيها العلماء في رسم "خريطة الدوائر الكهربائية" لهذه النماذج المولدة للصور بالذكاء الاصطناعي. لقد أثبتوا أن الذكاء الاصطناعي لا "يخمن" الصور فحسب؛ بل يتبع خوارزمية صارمة وخطوة بخطوة مع أجزاء متخصصة، وهو يكيف تفكيره اعتماداً على ما إذا كان ينظر إلى شخص حقيقي أو شخص مزيف.
إنه يشبه أخيراً الحصول على كتيب التعليمات لصندوق أسود كان غامضاً في السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.