🤖 machine learning

Attention Frequency Modulation: Training-Free Spectral Modulation of Diffusion Cross-Attention

تقدم هذه الورقة البحثية تقنية تعديل تردد الانتباه (AFM)، وهي طريقة للتحكم أثناء الاستنتاج لا تتطلب إعادة تدريب، تعمل على تحليل ومعالجة الديناميكيات الطيفية لانتباه التقاطع في نماذج الانتشار ضمن نطاق فوريه، وذلك لتمكين التحكم المستمر والمبدئي في المقياس المكاني لتنافس الرموز والتعديلات البصرية دون الحاجة إلى إعادة تدريب أو تعديل الأوامر النصية.

المؤلفون الأصليون: Seunghun Oh, Unsang Park

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seunghun Oh, Unsang Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تخرج فيلماً، ولكن بدلاً من إعطاء التعليمات للممثلين، أنت تهمس بالأوامر لرسام سحري غير مرئي يقوم بإنشاء لوحة من الصفر. هذا الرسام هو نموذج الانتشار (Diffusion Model) (مثل Stable Diffusion).

عادةً، ما عليك سوى إعطاء الرسام جملة بسيطة، مثل "قطة على حصيرة". يبدأ الرسام بلوحة ضبابية مليئة بالضجيج، ثم يقوم بتنظيفها تدريجياً، خطوة بخطوة، حتى تظهر صورة واضحة.

تقدم الورقة البحثية التي شاركتها طريقة جديدة للتحدث مع هذا الرسام دون الحاجة إلى إعادة تدريبه أو تعلم لغات معقدة جديدة. أطلقوا عليها اسم تعديل تردد الانتباه (Attention Frequency Modulation - AFM).

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. المشكلة: "المونولوج الداخلي" للرسام

يستخدم الرسام آلية تسمى الاهتمام المتقاطع (Cross-Attention). فكر في هذا على أنه المونولوج الداخلي للرسام. بينما يرسم، يسأل نفسه باستمرار: "أين يجب أن أضع أذن القطة؟ أين هي الحصيرة؟"

لفترة طويلة، لم نكن نفهم حقاً كيف يتغير هذا المونولوج الداخلي بمرور الوقت. كنا نعلم أن الرسام يبدأ بأشكال كبيرة وضبابية وينتهي بتفاصيل صغيرة وحادة، لكن لم تكن لدينا طريقة للتحكم في متى أو كيف يحدث ذلك. كنا نعتمد فقط على التخمين.

2. الاكتشاف: "محطة الراديو" في العقل

أدرك المؤلفون أن هذا المونولوج الداخلي يعمل مثل إشارة راديو.

في بداية العملية: تكون الإشارة في الغالب "تردد منخفض". إنها تشبه همهمة عميقة ذات صوت جهير (Bass). الرسام يفكر في الصورة الكبيرة (التخطيط، الأشكال العامة).
في نهاية العملية: تتحول الإشارة إلى "تردد عالي". إنها تشبه صفيراً حاداً ومرتفع الطبقة. الرسام الآن يفكر في التفاصيل الدقيقة (نسيج الفراء، الشوارب، نسيج القماش).

لقد وجدوا أن هذا التحول من "الجهير" (Bass) إلى "الحدة" (Treble) يحدث في نمط متوقع ومتسق للغاية، بغض النظر عما تطلب من الرسام رسمه.

3. الحل: مفتاح "المعادل" (AFM)

بما أنهم فهموا هذا "إشارة الراديو"، فقد بنوا أداة تسمى AFM. تخيل أن داخل عقل الرسام يوجد معادل صوت (Equalizer) مدمج (ذلك النوع الذي تراه في أجهزة الستيريو).

ما يفعله AFM: يتيح لك ضبط المعادل أثناء عمل الرسام.
كيف يعمل:
- إذا كنت تريد من الرسام التركيز أكثر على الأشكال الكبيرة والناعمة، فقم برفع "الجهير" (التردد المنخفض) وخفض "الحدة" (التردد العالي).
- إذا كنت تريده أن يهوس بـ التفاصيل الصغيرة والحادة، فافعل العكس تماماً.
السحر: لا تحتاج لتعليم الرسام خدعة جديدة. أنت فقط تعدل مستوى صوت ترددات معينة في أفكاره قبل أن يتخذ قراراً. الأمر يشبه الهمس: "مهلاً، ركز أكثر على الأشكال الكبيرة الآن"، أو "توقف عن القلق بشأن التفاصيل الصغيرة للحظة".

4. "بوابة الإنتروبي": مقبض التحكم في الصوت

تذكر الورقة أيضاً ميزة تسمى الإنتروبي (Entropy). فكر في هذا كـ صمام أمان أو محدد لمستوى الصوت.

أحياناً يصبح الرسام مشتتاً جداً أو غير منظم (إنتروبي مرتفع).
وأحياناً يكون مركزاً جداً (إنتروبي منخفض).
يستخدم AFM هذا ليقرر مدى قوة تعليماته. إذا كان الرسام مركزاً بالفعل، فقد يهمس AFM بهدوء. وإذا كان الرسام مشتتاً، فقد يصرخ AFM بصوت عالٍ لجذب انتباهه. إنه تحكم تلقائي في مستوى الصوت يجعل عملية التعديل أكثر ذكاءً.

5. النتيجة: طريقة جديدة للتعديل

عندما اختبر المؤلفون ذلك على Stable Diffusion:

غيروا المظهر: استطاعوا جعل الصور تبدو أكثر نعومة أو أكثر حدة دون تغيير النص الوصفي (Prompt).
حافظوا على المعنى: لا تزال الصورة تبدو كـ "قطة على حصيرة"، لكن النسيج والأسلوب الخاص بالقطة قد تغيرا.
مجانية: لا تحتاج لتحميل نموذج جديد أو قضاء أسابيع في التدريب. إنها أداة "وصل وشغل" (Plug-and-play) يمكنك استخدامها الآن.

ملخص التشبيه

تخيل أن الذكاء الاصطناعي هو طباخ يطهو حساءً.

الذكاء الاصطناعي القياسي: تخبر الطباخ: "اصنع حساء طماطم". الطباخ يقرر متى يضيف الملح، ومتى يقطع الطماطم، ومتى يخلطها.
AFM: تعطي الطباخ جهاز تحكم عن بعد خاصاً. يمكنك الضغط على زر لتقول: "الآن، ركز على خلط القطع الكبيرة (تردد منخفض)" أو "الآن، ركز على التوابل الصغيرة (تردد عالي)".
النتيجة: الحساء لا يزال حساء طماطم، لكن قوامه هو بالضبط كما أردته، ولم تضطر لأن تصبح طباخاً بنفسك.

باختصار: وجد المؤلفون "إيقاع التردد" لكيفية تفكير الذكاء الاصطناعي، وبنوا جهاز تحكم عن بعد لتغيير هذا الإيقاع، مما منحنا طريقة جديدة وقوية لتوجيه صور الذكاء الاصطناعي دون أي مجهود شاق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعديل تردد الانتباه: التعديل الطيفي لآلية الانتباه المتقاطع في النماذج الانتشارية" (Attention Frequency Modulation: Training-Free Spectral Modulation of Diffusion Cross-Attention) للباحثين سيهون أوه وأونسانج بارك.

1. بيان المشكلة

بينما تحقق نماذج التوليد من النص إلى صورة القائمة على الانتشار (مثل Stable Diffusion) مستويات متطورة في التخليق، إلا أن الديناميكيات الداخلية التي تحكم كيفية ظهور التخطيطات العامة (global layouts) والتفاصيل الدقيقة أثناء عملية إزالة الضجيج (denoising) لا تزال غير مفهومة بشكل جيد.

الفجوة: غالبًا ما تكون طرق التحكم الحالية (مثل هندسة الأوامر النصية، أو ضبط التوجيه) تجريبية وتخلط بين عوامل متعددة، وتفتقر إلى آليات مبدئية خالية من التدريب للتحكم في جوانب محددة من التوليد (مثل التخطيط مقابل التفاصيل) في مراحل معينة.
التحدي المحدد: يعد "الانتباه المتقاطع" (Cross-attention) هو الواجهة الأساسية لشرط النص، لكن ديناميكياته متعددة الدقة والمتغيرة عبر الخطوات لا تزال غير موصفة بدقة. تركز التحليلات الحالية على خرائط الحرارة الساكنة أو درجات صلة الرموز (tokens)، وتفشل في التقاط التنظيم عبر المقاييس المكانية المرتبط بالزمن.
الهدف: توصيف التطور الطيفي للانتباه المتقاطع وتطوير طريقة خالية من التدريب للتلاعب بهذا التطور للتحكم في المقياس المكاني للميزات المولدة دون الحاجة لإعادة تدريب أو تعديل الأوامر النصية.

2. المنهجية

تقترح الورقة إطار عمل يعامل الانتباه المتقاطع كإشارة مكانية-زمانية ويتدخل في نطاق التردد.

أ. توصيف الانتباه المتقاطع كإشارة طيفية

يفترض المؤلفون أن الانتباه المتقاطع يظهر تدرجًا طيفيًا متسقًا من الخشن إلى الناعم (coarse-to-fine) عبر مسار إزالة الضجيج.

خرائط التركيز المستقلة عن الرموز: نظرًا لأن أوزان الانتباه الخام تجمع لتساوي 1 لكل استعلام مكاني (مما يجعل الجمع البسيط غير مفيد)، قام المؤلفون بتحويل خرائط الانتباه إلى إشارات مكانية باستخدام تجميع الـ Top-K. لكل موقع مكاني، يحسبون متوسط احتمالية أعلى $K$ من الرموز التي تم الانتباه إليها. هذا ينشئ "خريطة تركيز" $S_s$ تمثل مدى تركيز الانتباه في ذلك الموقع.
التفكيك الترددي: طبقوا تحويل فوريه ثنائي الأبعاد (2D Fourier Transform) على خرائط التركيز هذه. ومن خلال تصنيف طيف القدرة شعاعيًا، يتتبعون نسبة طاقة التردد العالي ( $\rho_s$ ) عبر خطوات إزالة الضجيج.
الملاحظة: يكشف التحليل التجريبي عن "بصمة" مستقرة: يتطور الانتباه طبيعيًا من التردد المنخفض (التخطيط العام الخشن) إلى التردد العالي (التفاصيل المحلية الناعمة) مع تقدم عملية إزالة الضجيح.

ب. تعديل تردد الانتباه (AFM)

بناءً على البصمة الطيفية، قدم المؤلفون AFM، وهو تدخل يعمل عند الاستنتاج (inference-time) بنظام "التوصيل والتشغيل" (plug-and-play).

الهدف: يعمل AFM على لوغاريتمات الانتباه المتقاطع ما قبل "softmax" ( $L_s$ ) وليس أوزان ما بعد "softmax". هذا أمر بالغ الأهمية لأن "softmax" ثابتة تجاه الانحيازات المضافة المشتركة عبر الرموز؛ لذا فإن تعديل اللوغاريتمات يسمح بالتلاعب الطيفي المعتمد على الرمز.
الآلية:
1. يتم إعادة تشكيل خريطة اللوغاريتم لكل رمز إلى شبكة مكانية ثنائية الأبعاد.
2. يتم تطبيق تحويل فوريه السريع (FFT).
3. يتم تقسيم الطيف إلى نطاقات التردد المنخفض (LF) والتردد العالي (HF) باستخدام قطع شعاعي ( $r_c$ ).
4. إعادة الوزن: يتم ضرب نطاقات LF و HF بعوامل قياس ( $\alpha_s^{LF}$ $α_{s}^{L F}$ و $\alpha_s^{HF}$ $α_{s}^{H F}$ ) تتغير ديناميكيًا عبر تقدم إزالة الضجيج ( $u(s)$ $u (s)$ ).
  - الجدولة: يسمح منحنى الجدولة للنموذج بكبح أو تضخيم ترددات معينة في مراحل محددة (على سبيل المثال، كبح التجزؤ عالي التردد في المراحل المتأخرة).
5. بوابة الإنتروبيا (اختياري): تستخدم آلية الكسب التكيفي إنتروبيا الرمز (token entropy) لخريطة الانتباه. يمكن للإنتروبيا العالية (الانتباه المنتشر) أن تعدل قوة التعديل الترددي، حيث تعمل كإشارة تحكم ثانوية.
6. تحويل فوريه العكسي: يتم تحويل الطيف المعدل مرة أخرى إلى المجال المكاني، وتمرير اللوغاريتمات عبر "softmax".

3. المساهمات الرئيسية

التوصيف الترددي: أول عمل يميز الانتباه المتقاطع في النماذج الانتشارية كتقدم طيفي مستقر من الخشن إلى الناعم باستخدام خرائط تركيز مستقلة عن الرموز وتحليل فوريه.
AFM (التحكم الخالي من التدريب): طريقة مبتعة للعمل بنظام "التوصيل والتشغيل" لتعديل لوغاريتمات الرموز في نطاق فوريه. توفر مقبض تحكم مستمر لتحيز المقياس المكاني لتنافس الرموز دون إعادة تدريب، أو تحديث معاملات، أو تعديل الأوامر النصية.
الإنتروبيا كإشارة بوابة: اكتشاف أن إنتروبيا الانتباه تعمل أساسًا ككسب تكيفي للتعديلات الترددية وليس كمحور تحكم مستقل.
إطار تشخيصي: تقديم خرائط حرارية للزمن والتردد ومقاييس نسبة التردد العالي لتكميم وتصور الديناميكيات الداخلية للنماذج الانتشارية.

4. النتائج التجريبية

أجريت التجارب على Stable Diffusion v1.5 و v1.4 باستخدام أخذ عينات مزدوج (نفس الأمر/البذرة) لعزل تأثير AFM.

ديناميكيات مستوى الانتباه:
- الأساس (Baseline): أكد التحول الطيفي الطبي من الخشن إلى الناعم (منخفض $\rho_s$ في البداية، مرتفع $\rho_s$ في النهاية).
- تأثير AFM: نجح AFM في كبح التجزؤ عالي التردد في المراحل المتأخرة في انتباه المشفر (encoder cross-attention) (مقاسًا بانخفاض $\Delta \rho_{late}$ ). كان هذا التحول ذا دلالة إحصائية وقويًا عبر مختلف أنصاف أقطار القطع وعينات البيانات.
- الآثار اللاحقة: بينما تم تطبيقه فقط على المشفر، انتقل التحول الطيفي إلى الكتل الوسطى وفك التشفير (decoder)، وإن كان ذلك باتساق أقل قليلًا.
القابلية للتحكم على مستوى الصورة:
- الانحراف الإدراكي (LPIPS): أحدث AFM تغييرات إدراكية جوهرية مقارنة بالأساس (LPIPS ~0.24)، متفوقًا على SAG ومماثلاً لـ FreeU.
- الهيكل مقابل التفاصيل: أظهر تحليل LPIP حسب النطاق أن AFM يغير أساسًا المتبقيات عالية التردد (النسيج/التفاصيل) بدلاً من المكونات منخفضة التردد (التخطيط العام). وهذا يؤكد أن AFM يوجه التوليد نحو تنوعات التفاصيل الدقيقة.
- **المواءمة الدلالية (CLIP):ma similarity بقيت دون تغيير كبير عبر الإعدادات، مما يشير إلى أن AFM يعدل كيفية رندرة الصورة دون كسر المواءمة الدلالية مع الأمر النصي.
المقارنة مع النماذج المرجعية:
- وفر AFM تحكمًا أكثر قابلية للتفسير في التقدم الداخلي مقارنة بـ SAG (توجيه الانتباه الذاتي) و FreeU، اللذين يعدلان ديناميكيات أخذ العينات بشكل مختلف.
- أدى التحكم بـ "الإنتروبيا فقط" (مع قوة AFM تساوي $\lambda=0$ ) إلى عدم حدوث أي تغيير، مما يثبت أن الإنتروبيا هي مجرد آلية بوابة وليست محررًا مستقلًا.

5. الأهمية والخاتمة

القابلية للتفسير: تسد الورقة الفجوة بين باطن النموذج والقدرة على التحكم من خلال توفير "رؤية من نطاق التردد" لكيفية بناء النماذج الانتشارية للصور. إنها تكشف أن الانتقال من التخطيط إلى التفاصيل هو ظاهرة طيفية قابلة للقياس.
التحكم العملي: يوفر AFM "مقبضًا" جديدًا وخاليًا من التدريب للمستخدمين للتلاعب بـ "النسيج" و"التفاصيل" في الصور المولدة دون الحاجة لإعادة تدريب النماذج (مثل LoRA) أو استخدام تقنيات عكسية معقدة.
القيود: يشير المؤلفون إلى أن مقاييس التردد الخاصة بهم هي بدائل (proxies) تعتمد على خرائط الانتباه، وليست قياسات مباشرة لمحتوى فوريه للصورة. لذلك، فإن تفسير "من الخشن إلى الناعم" هو استدلال قوي مدعوم بالأدلة التجريبية ولكنه ليس مقياسًا حقيقيًا للفصل التام (ground-truth disentanglement).

باخت_صار، يثبت AFM أنه من خلال فهم وتعديل الخصائص الطيفية للوغاريتمات الانتباه المتقاطع، يمكن تحقيق تحكم دقيق وخالٍ من التدريب في المقياس المكاني للميزات في الصور المولدة عبر النماذج الانتشارية.