💻 computer science

Attention Sinks in Diffusion Transformers: A Causal Analysis

تقدم هذه الورقة تحليلاً سببياً يوضح أنه في حين أن "بالوعات الانتباه" (attention sinks) في نماذج محولات الانتشار (diffusion transformers) تُحدث تحولات إدراكية كبيرة عند كبتها، فإن إزالتها لا تؤدي إلى تدهور في مواءمة النص مع الصورة أو مقاييس التفضيل، مما يكشف عن انفصال تجريبي بين الاضطرابات على مستوى المسار والمواءمة الدلالية.

المؤلفون الأصليون: Fangzheng Wu, Brian Summa

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fangzheng Wu, Brian Summa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

السؤال الكبير: هل "بالوعات الانتباه" (Attention Sinks) مهمة حقاً؟

تخيل أنك تخرج مسرحية ضخمة تضم مئات الممثلين (الرموز/Tokens) على خشبة المسرح. في بعض أنواع المسرحيات (التي تسمى نماذج اللغات ذات التوليد الذاتي/Autoregressive Language Models، مثل روبوتات الدردشة التي تتحدث إليها)، يلاحظ المخرج أن ممثلاً واحداً بعينه، وعادة ما يكون أول من دخل إلى المسرح، يستحوذ على الأضواء طوال الوقت. أما بقية الممثلين، فلا تكاد تُلقى عليهم نظرة.

يطلق الباحثون على هؤلاء المستحوذين على الأضواء اسم "بالوعات الانتباه" (Attention Sinks). في روبوتات الدردشة، كان يُعتقد أن هذه البالوعات ضرورية، حيث كان يُنظر إليها على أنها "المراسي" أو "الغراء" الذي يربط العرض بأكمله معاً. وإذا تمت إزالتها، فإن المسرحية ستنهار.

هذا البحث يطرح سؤالاً مختلفاً: هل ينطبق هذا القانون على محولات الانتشار (Diffusion Transformers) (وهي نماذج الذكاء الاصطناي التي تنشئ الصور من النصوص، مثل Stable Diffusion)؟

في توليد الصور، يعمل "العرض المسرحي" بشكل مختلف. فبدلاً من قيام الممثلين بالتحدث واحداً تلو الآخر، يتم إعادة طلاء المسرح بأكمله في وقت واحد، خطوة بخطوة، من فوضى ضبابية إلى صورة واضحة. أراد الباحثون معرفة: هل هؤلاء الممثلون المستحوذون على الأضواء لا يزالون هم "الغراء" الذي يمسك الصورة معاً، أم أنهم مجرد جزء من الديكور يمكن إزالته دون إفساد العرض؟

التجربة: إطفاء الأضواء

لم يكتفِ الباحثون بمراقبة الممثلين فحسب، بل تدخلوا فعلياً. استخدموا اختباراً "سببياً" (Causal Test)، وهو يشبه التجربة العلمية حيث تغير شيئاً واحداً لترى ما سيحدث.

تحديد البالوعات: في كل خطوة من خطوات إنشاء الصورة، حددوا أي "رمز" (قطعة من النص أو بيانات الصورة) يحظى بأكبر قدر من الانتباه من بقية النموذج.
التدخل: لم يكتفوا بتجاهل هؤلاء الممثلين، بل أخبروا النموذج فعلياً بـ التوقف عن الانتباه إليهم. فعلوا ذلك رياضياً عبر "تصفير" (Zeroing out) مقدار الانتباه الذي كانت تتلقاه هذه الرموز.
المقارنة: قارنوا بين الصور التي صُنعت بعد إزالة البالوعات والتحقق من الصور التي صُنعت بشكل طبيعي، باستخدام نفس "البذور العشوائية" (Random Seeds) تماماً بحيث يكون الفرق الوحيد هو إزالة البالوعات.

النتائج: العرض يستمر (إلى حد كبير)

كانت النتائج مفاجئة وواضحة:

1. المعنى يظل كما هو
عندما أزالوا بالوعات الانتباه، ظلت الصور مطابقة تماماً للوصف النصي.

تشبيه: تخيل أنك طلبت "بيتزا زرقاء وقفاز بيسبول أصفر". حتى بعد إطفاء الضوء عن الممثلين "البالوعات"، ظل الذكاء الاصطناعي يرسم بيتزا زرقاء وقفازاً أصفر.
البيانات: أظهرت المقاييس التي تقيس مدى مطابقة الصورة للنص (مثل CLIP-T) والمقاييس التي تقيس التفضيل البشري (مثل ImageReward) عدم وجود انخفاض ملحوظ. لم يرتبك الذكاء الاصطناعي بشأن "ما" يفترض به رسمه.

2. المظهر يتغير (لكن المعنى لا يتغير)
بينما ظل المعنى ثابتاً، إلا أن المظهر العام للصورة قد تغير.

تشبيه: إذا كانت الصورة الأصلية عبارة عن صورة فوتوغرافية لبيتزا، فإن نسخة "إزالة البالوعات" قد تبدو كأنها لوحة زيتية لنفس البيتزا، أو صورة فوتوغرافية ملتقطة من زاوية مختلفة قليلاً، أو بإضاءة مختلفة. لا تزال بيتزا زرقاء، لكن "الجو العام" أو "الملمس" مختلف.
البيانات: وجد الباحثون أن إزالة البالوعات تسببت في تغيير في المظهر البصري أكبر بـ 6 مرات مما لو تم إزالة ممثلين آخرين بشكل عشوائي. يشير هذا إلى أن البالوعات تحمل بالفعل بعض المعلومات حول النمط البصري أو المسار، لكنها ليست ضرورية للحفاظ على صحة المفهوم الأساسي.

3. تحطم أسطورة "الغراء"
في روبوتات الدردشة، إزالة "البالوعة" تكسر النموذج. أما في مولدات الصور، فإن إزالة "البالوعة" تشبه إزالة طوبة معينة من جدار تم طلاؤه فوقها. الجدار (مفهوم الصورة) يصمد بقوة، حتى لو تغير طلاء الجدار (التفاصيل البصرية المحددة) قليلاً.

الاختبار "الأقوى": كم يمكننا أن نزيل؟

اختبر الباحثون أيضاً ماذا يحدث إذا أزالوا المزيد من البالوعات (ليس فقط واحدة، بل الخمسة الأوائل أو أكثر).

النتيجة: حتى عندما أزالوا الكثير من البالوعات، ظل الربط بين النص والصورة قوياً. لا يزال الذكاء الاصطناعي يعرف أنه يرسم بيتزا.
الدقة: ظهرت حدود دقيقة جداً؛ فعندما أزالوا الكثير من البالوعات، انخفض مقياس "تفضيل" معين (HPS-v2) قليلاً، مما يشير إلى أن الصور قد تبدو أقل "مثالية" بقليل بالنسبة لمراقب بشري، لكن المفهوم الجوهري لم ينكسر أبداً.

الخلاصة: فهم جديد

خلص البحث إلى أن بالوعات الانتباه في الذكاء الاصطناعي المولد للصور ليست ضرورية وظيفياً لفهم الذكاء الاصطناعي لما يجب رسمه.

الاعتقاد القديم: "أولئك الممثلون الذين يحصلون على كل الانتباه هم الأكثر أهمية؛ يجب أن نحافظ عليهم."
النتيجة الجديدة: "أولئك الممثلون يقومون بالكثير من العمل، لكن العرض لن ينهار إذا قمنا بكتم صوتهم. لا يزال بإمكان الذكاء الاصطناعي رسم الشيء الصحيح."

هذا أمر بالغ الأهمية لأنه يشير إلى أن نماذج الذكاء الاصطناعي المستقبلية يمكن جعلها أسرع وأكثر كفاءة من خلال تجاهل رموز "البالوعات" هذه دون القلق من أن ينسى الذكاء الاصطناعي ما يفترض به إنتاجه. "الغراء" ليس غراءً حقيقياً؛ إنه مجرد عادة لدى النموذج، ويمكن كسرها دون إفساد الصورة.

ملخص تقني: مغاليق الانتباه في نماذج محولات الانتشار: تحليل سببي

بيان المشكلة

في النماذج اللغوية الكبيرة (LLMs) ذات التوليد الذاتي الانحداري (Autoregressive)، تُفسر "مغاليق الانتباه" (Attention Sinks)—وهي رموز أو مواضع معينة تتراكم فيها كتلة انتباه غير متناسبة بغض النظر عن الأهمية الدلالية—على نطاق واسع كبنى وظيفية بالغة الأهمية. ويُفترض أنها تعمل كمرتكزات مستقرة لتخزين المفتاح-القيمة (Key-Value Caching)، وتمنع انهيار إنتروبيا الانتباه، وتعمل كسجلات ضمنية للمعلومات المتبقية. وبناءً على ذلك، فإن تعطيل هذه المغاليق في النماذج ذات التوليد الذاتي الانحداري يؤدي غالباً إلى تدهور جودة التوليد.

ومع ذلك، لا يزال من غير الواضح ما إذا كان هذا الحدس ينتقل إلى محولات الانتشار (Diffusion Transformers - DiTs). فخلافاً للتوليد الذاتي الانحداري الذي يتقدم رمزاً تلو الآخر تحت قناع سببي (Causal Masking)، تقوم نماذج الانتشار بعملية انتباه ثنائية الاتجاه غير سببية عبر خطوات متعددة لإزالة الضجيج، حيث تقوم بتنقية جميع المواضع في آن واحد. وفي هذا السياق، لا يبدو من البديهي أن يعمل الانتباه كمرتكز ذاكرة مستدام للسياق السابق. يثير هذا الاختلاف المعماري سؤالاً جوهرياً: هل مغاليق الانتباه ضرورية وظيفياً للتوليد عالي الجودة في انتشار تحويل النص إلى صورة، أم أنها مجرد أنماط توجيه (Routing Patterns) قابلة للاستبدال؟ وبدون دليل سببي، تفتقر خيارات التصميم الخاصة لتقليص وتكثيف الانتباه في نماذج DiTs إلى فهم راسخ حول أي المستلمين ذوي الكتلة العالية يجب الحفاظ عليهم.

المنهجية

يقدم المؤلفون تحليلاً سببياً منهجياً لمغاليق الانتباه في محولات الانتشار، متجاوزين الدراسات الرصدية إلى الاختبارات التدخلية.

1. التعريف الديناميكي للمغاليق

على عكس النماذج ذات التوليد الذاتي الاندراري حيث تتماشى المغاليق غالباً مع مواضع ثابتة (مثل رمز بداية التسلسل)، يعرّف المؤلفون المغاليق ديناميكياً. فلكل رأس انتباه، وطبقة، وخطوة زمنية لإزالة الضجيج، يحددون أفضل ( $k$ ) من المواضع المفتاحية التي تستقبل أكبر كتلة انتباه واردة. يقر هذا التعريف بأن المستلمين المهيمنين في نماذج الانتشار يتنوعون عبر الخطوات الزمنية والطبقات، بدلاً من كونهم رموزاً هيكلية ثابتة مثل الفهرس-0 (Index-0).

2. التدخلات السببية

تستخدم الدراسة تدخلات مزدوجة خالية من التدريب أثناء الاستدلال لاختبار ضرورة هذه المغاليق. يتم تطبيق التدخلات عبر مسارين مستقلين:

مسار الدرجة (Score Path): إضافة انحياز لوغاريتمي ( $\log \eta$ ) إلى قيم الـ logits الخاصة برموز المغاليق قبل عملية Softmax، مما يؤدي فعلياً إلى تغيير حجم احتمالية انتباهها. ضبط $\eta=0$ (أو إضافة انحياز سلبي كبير) يؤدي فعلياً إلى تصفير كتلة الانتباه.
مسار القيمة (Value Path): استبدال متجهات القيمة (Value Vectors) لرموز المغاليق ببدائل (أصفار، أو قيم متوسطة، أو استكمال خطي).

3. الإعداد التجريبي

النماذج: التجارب الأساسية على Stable Diffusion 3 (SD3) (انتباه مشترك بين رموز الصورة والنص) مع التأكيد على SDXL (نموذج U-Net مع انتباه ذاتي/مشترك منفصل).
المطالبات (Prompts): 553 مطالبة من معيار GenEval، مدعومة بـ 5,000 وصف من COCO للتحقق من نموذج SDXL.
البروتوكول: توليد مزدوج متطابق البذور (Seed-matched paired generation) لعزل آثار التدخل عن تباين أخذ العينات. تُعرض النتائج مع فترات ثقة بنسبة 95% باستخدام Bootstrap.
المقاييس:
- المواءمة (Alignment): مقياس CLIP-T (المواءمة الدلالية بين النص والصورة).
- التفضيل (Preference): مقاييس ImageReward وHPS-v2 (وكلاء التفضيل البشري).
- الإدراك/التوزيع (Perceptual/Distributional): مقياس LPIPS (المسافة الإدراكية) وFIDshift (المسافة التوزيعية بين المخرجات الأساسية والمخرات المتدخلة).
- هامش التكافؤ: تم تحديد هامش تكافؤ عملي قدره $|\Delta| < 0.002$ لـ CLIP-T بناءً على مستويات الضوضاء التجريبية.

النتائج الرئيسية

1. ديناميكيات مغاليق الانتباه

المواضع غير الثابتة: التداخل بين أفضل مغاليق (Top-1) المحددة ديناميكياً وموضع الفهرس-0 الثابت ضئيل جداً (أقل من 0.2%)، مما يؤكد أن مغاليق الانتشار ليست مرتبطة برموز هيكلية كما هو الحال في النماذج اللغوية الكبيرة ذات التوليد الذاتي الاندراري.
الاعتماد على المرحلة: تبلغ تركيزات الانتباه ذروتها خلال خطوات إزالة الضجيج المبكرة (نظام الضجيج العالي) وتتضاءل نحو الخطوات اللاحقة.
توزيع الطبقات: تظهر الطبقات الوسطى (مثل الطبقة 12 في SD3) أقوى تركيز، حيث تصل أقصى كتلة واردة إلى ~9.5% وأدنى مستوى للإنتروبيا.
النمط (Modality): في الانتباه المشترك لـ SD3، تعود أكثر من 99.9% من المغاليق المحددة ديناميكياً إلى رموز الشرط النصي (Text-conditioning tokens) بدلاً من الرموز المرئية الكامنة (Visual-latent tokens).

2. الضرورة السببية للمواءمة الدلالية

عدم التدهور عند الكثافة القياسية: إن إزالة المغاليق المحددة ديناميكياً (Top-1، طبقة واحدة أو طبقات متعددة) لا تؤدي إلى تدهور المواءمة الدلالية (CLIP-T) أو مقاييس التفضيل (ImageReward, HPS-v2). جميع فترات الثقة بنسبة 95% لتغير المقاييس تشمل الصفر.
المتانة تجاه القوة: حتى تحت تدخلات أقوى (إزالة Top-5)، تظل CLIP-T متينة. وبينما يظهر HPS-v2 انزياحاً سلبياً طفيفاً تحت إزالة Top-5، إلا أن المقدار ضئيل (<1%) ويقع بالقرب من حدود التكافؤ العملي، مما يشير إلى مقايضة تعتمد على المقياس بدلاً من انهيار جوهري في الجودة.
صلاحية الهيكل المعماري: تظل النتائج صالحة لكل من SD3 (الانتباه المشترك) وSDXL (الانتباه المشترك)، حيث يتسبب الانتباه المشترك في انزياح إدراكي أكبر قليلاً ولكن دون فقدان في المواءمة.

3. التحولات الإدراكية والتوزيعية

الاضطراب الخاص بالمغاليق: بينما يتم الحفاظ على المواءمة، فإن كبح المغاليق يؤدي إلى تحولات إدراكية كبيرة. المسافة (LPIPS) بين المخرجات الأساسية والمخرجات التي تمت إزالة المغاليق منها أكبر بـ 6 أضعاف تقريباً من مسافة الحجب العشوائي بنفس الميزانية.
التفسير: يشير هذا إلى أن المغاليق تحمل معلومات مهيكلة على مستوى المسار (Trajectory-level) تؤثر على التحقيق المرئي (التخطيط، النمط، زاوية الرؤية) ولكنها ليست ضرورية للحفاظ على المواءمة الدلالية مع المطالبة. التدخل يحرك العينات داخل فضاء مخرجات النموذج دون انهيار التوزيع.

4. استجابة الجرعة والظروف الحدية

منحنيات الاستجابة المسطحة: تظهر عمليات مسح الاستجابة للجرعة عبر نسب الكبح ( $\eta \in [0, 1]$ ) واستبدالات القيم منحنيات مسطحة بشكل موحد دون تدهور كبير في مقاييس المواءمة.
الحدود المعتمدة على المقياس: تحت تدخلات قوية جداً ( $k \ge 10$ )، يظهر HPS-v2 تدهوراً خاصاً بالمغاليق مقارنة بالحجب العشوائي، بينما تظل CLIP-T مستقرة. يشير هذا إلى أن المغاليق قد تساهم في أبعاد التفضيل التي لا تلتقطها نماذج المواءمة البسيطة.

الأهمية والادعاءات

يدعي البحث تقديم أول دليل سببي على أن مغالي_ك الانتباه في محولات الانتشار ليست ضرورية وظيفياً للمواءمة الدلالية في ظروف الاستدلال القياسية.

الفصل بين الكتلة والضرورة: تتحدى النتائج الافتراض بأن كتلة الانتباه الواردة العالية تشير إلى ضرورة وظيفية. في محولات الانتشار، يمكن كبح المستلمين المهيمنين دون تدهور المواءمة بين النص والصورة، رغم أنهم يغيرون المسار الإدراكي بشكل كبير.
الآثار التصميمية: بالنسبة لتصميم الانتباه الفعال في نماذج الانتشار (مثل التخفيف أو تقليص الرموز)، يشير هذا إلى أن المستلمين ذوي الكتلة العالية لا يحتاجون لأن يكونوا رموزاً مميزة محددة مسبقاً ليتم الحفاظ عليهم. يمكن التعامل معهم كمرشحين للإزالة ضمن ميزانية محددة، بشرما مراقبة المقياس المستهدف (المواءمة مقابل الاتساق الإدراكي).
التميز عن حدس النماذج ذات التوليد الذاتي الاندراري: تحذر الدراسة صراحة من نقل حدس مغاليق النماذج ذات التوليد الذاتي الاندراري إلى نماذج الانتشار. دور "المرتكز" للمغاليق في التوليد الذاتي الاندراري لا يبدو أنه ينتقل إلى عملية التنقية المتكررة وثنائية الاتجاه في الانتشار.
القيود: يشير المؤلفون إلى أن ادعاءاتهم محصورة في المقاييس البديلة المستخدمة على نطاق واسع (CLIP-T, HPS-v2) ولا تعالج الدقة التركيبية الدقيقة (التي قد تتطلب معايير قائمة على الكشف) أو مكاسب الكفاءة النهائية (السرعة/FLOPs)، والتي تظل تحديات هندسية.

باختصار، يثبت البحث أنه بينما تسبب مغاليق الانتباه في محولات الانتشار انزياحاً إدراكياً مهيكلاً، إلا أنها قابلة للاستغناء عنها للحفاظ على المواءمة الدلالية، مما يوفر أساساً نظرياً جديداً لضغط وتسريع الانتباه في نماذج الانتشار التوليدية.