💻 computer science

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

تقدم هذه الورقة طريقة استقصاء قائمة على معالجة الإشارات لتحديد وتصنيف رؤوس الانتباه المتخصصة في نماذج المحولات متعددة الوسائط، مما يثبت أن تعديل ما لا يزيد عن 1% من هذه الرؤوس يمكن أن يتحكم بفعالية في مفاهيم دلالية أو بصرية محددة في مخرجات النموذج.

المؤلفون الأصليون: Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

نُشر 2026-01-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل دماغاً آلياً ضخماً فائق الذكاء (نموذج "ترانسفورمر" - Transformer)، يمكنه كتابة القصص، والإجابة على الأسئلة، ووصف الصور. لفترة طويلة، اعتقد العلماء أن هذا الدماغ يعمل مثل حساء ضبابي عملاق حيث تساهم كل قطعة فيه بجزء بسيط في كل شيء.

تجادل هذه الورقة البحثية، التي تحمل عنوان "مطاردة الرؤوس" (Head Pursuit)، بأن الدماغ هو في الواقع أشبه بـ أوركسترا منظمة للغاية. ورغم أن الموسيقيين (الذين يُطلق عليهم اسم "رؤوس الانتباه" - attention heads) يعزفون جميعاً معاً، إلا أن الكثير منهم متخصصون بالفعل. فبعضهم بارع فقط في عزف الطبول (الأرقام)، وبعضهم متخصص فقط في الكمان (العواطف)، وآخرون مخصصون لآلات النفخ النحاسية (الألوان).

إليك تفصيل بسيط لما قام به الباحثون وما وجدوه:

1. المشكلة: البحث عن المتخصصين

أراد الباحثون معرفة: أي "موسيقيين" محددين في دماغ الروبوت هم المسؤولون عن أفكار معينة؟
في السابق، كانت محاولة العثور على هؤلاء المتخصصين تشبه محاولة سماع كمان واحد في سيمفونية من خلال الاستماع إلى الغرفة بأكملها في وقت واحد؛ كان الأمر فوضوويًا وصعب التعميم.

2. الحل: "مطاردة الرؤوس" (أداة التحري)

ابتكر المؤلفون أداة جديدة تسمى "مطاردة الرؤوس" (Head Pursuit). فكر فيها كأنها مرشح ذكي أو كاشف للإشارات.

كيف تعمل: أخذوا "النوتات" التي يعزفها الدماغ (البيانات الداخلية) ومرروها عبر عملية رياضية تسمى البحث المتزامن عن المطابقة المتعامدة (SOMP).
التشبيه: تخيل أن لديك حقيبة من قطع "الليغو" المختلطة (بيانات الدماغ). تريد العثور على جميع القطع الحمراء (مفهوم "اللون الأحمر"). بدلاً من النظر في الحقيبة بأكملها، يقوم أداتك بفرز الكومة بسرعة وتقول: "آه، هذه الـ 10 قطع المحددة هي القطع الحمراء".
القاموس: للقيام بذلك، تستخدم الأداة "قاموساً" من الكلمات المعروفة (مثل قائمة بأسماء جميع الدول أو جميع الألوان). وهي تتحقق من أي أجزاء من أنماط "إضاءة الدماغ" تتطابق مع تلك الكلمات.

3. الاكتشاف: التخصص حقيقي

عندما نظروا إلى النتائج، وجدوا شيئاً مذهلاً: الدماغ لديه متخصصون حقاً.

في نموذج نصي، وجدوا "رؤوساً" محددة تهتم فقط بالبلدان، وأخرى تهتم فقط بأشهر السنة، وأخرى تهتم فقط بالأرقام.
في نموذج لغوي بصري (روبوت يرى ويتحدث)، وجدوا رؤوساً متخصصة في التعرف على "الأرقام" أو "الأنسجة".
"قاعدة الـ 1%": كان الاكتشاف الأكثر إثارة للدهشة هو أنهم لم يحتاجوا لتغيير الدماغ بأكمله. فمن خلال تعديل 1% فقط من هذه الرؤوس المتخصصة (أفضل 16 أو 32 رأساً من بين الآلاف)، استطاعوا تغيير ما يقوله الروبوت بشكل جذري.

4. الخدعة السحرية: رفع أو خفض مستوى الصوت

بمجرد العثور على الرؤوس المتخصبة، استطاعوا التحكم في مخرجات الروبوت مثل مهندس صوت يمزج مقطوعة موسيقية:

كتم الضجيج (التثبيط - Inhibition):
- السيناريو: أرادوا من الروبوت التوقف عن استخدام الكلمات السامة أو المسيئة.
- الإجراء: وجدوا الرؤوس "السامة" وقاموا بقلب إشارتها (خفض مستوى الصوت إلى السالب).
- النتيجة: توقف الروبوت فجأة عن توليد محتوى مسيء، لكنه ظل قادراً على كتابة جمل عادية. كان الأمر يشبه إسكات آلة موسيقية معينة في الأوركسترا دون إيقاف الموسيقى.
- السيناريو: أرادوا من الروبوت التوقف عن ذكر الألوان.
- النتيجة: وصف الروبوت "سيارة حمراء" ببساطة بأنها "سيارة"، حيث أزال كلمة اللون تماماً مع الحفاظ على بقية الجملة مثالية.
تعزيز الإشارة (التعزيز - Enhancement):
- السيناريو: أرادوا من الروبوت أن يكون أكثر عاطفية أو وصفاً.
- الإجراء: وجدوا رؤوس "العواطف" ورفعوا مستوى صوتها (ضرب إشارتها في قيمة أكبر).
- النتيجة: عند وصف صورة، بدأ الروبوت يضيف كلمات مثل "سعيد"، "حزين"، أو "مبتسم" بشكل أكثر تكراراً، حتى لو كانت الصورة محايدة. جعل ذلك الروبوت "أكثر عاطفية" دون إعادة تدريبه.

5. لماذا هذا مهم؟

تظهر هذه الورقة أن نماذج الذكاء الاصطناعي الضخمة هذه ليست مجرد "صناديق سوداء". بل لها بنية منظمة وخفية حيث يتولى أجزاء محددة مهاماً معينة.

لا حاجة لإعادة التدريب: لا تحتاج لتعليم الروبوت طريقة جديدة للتحدث. أنت فقط بحاجة للعثور على "المقبض" الصحيح (الرأس المحدد) وتدويره.
الدقة: يمكنك إصلاح مشكلة محددة (مثل السمية) أو إضافة ميزة محددة (مثل المزيد من أوصاف الألوان) دون كسر بقية دماغ الروبوت.

الملخص

الورقة البحثية تشبه اكتشاف أن آلة ضخمة ومعقدة تحتوي على لوحة تحكم بها مفاتيح مصنفة. بدلاً من محاولة إعادة بناء الآلة لجعلها أكثر أماناً أو أكثر إبداعاً، أظهر الباحثون لك بالضبط أي المفاتيح يجب أن تضغط للحصول على النتيجة التي تريدها. لقد أثبتوا أنه من خلال العث find وتعديل جزء ضئيل جداً من الأجزاء الداخلية للآلة، يمكنك التحكم بشكل موثوق فيما تقوله وكيف تتصرف.

ملخص تقني: مطاردة الرؤوس: استقصاء التخصص في الانتباه في المحولات متعددة الوسائط

بيان المشكلة

حققت النماذج التوليدية واسعة النطاق، بما في ذلك كل من النماذج اللغوية أحادية الوسائط (LLMs) والنماذج اللغوية البصرية متعددة الوسائط (VLMs)، أداءً ملحوظًا عبر مهام متنوعة. ومع ذلك، لا تزال آلياتها الداخلية مفهومة جزئيًا فقط. وبينما كشفت أدوات التفسير السابقة مثل "عدسة اللوجيت" (Logit Lens) عن معلومات دلالية في الحالات الخفية، إلا أنها غالبًا ما تُطبق بشكل تجريبي على أمثلة فردية، مما يجعل من الصعب تعميم النتائج أو قياس أهمية مكونات محددة (مثل رؤوس الانتباه) في تشكيل مخرجات النموذج. هناك حاجة إلى طريقة منهجية لتحديد أي رؤوس الانتباه تتخصص في سمات دلالية أو بصرية محددة، ولتحديد ما إذا كان التلاعب بهذه الرؤوس يسمح بالتحكم المستهدف في سلوك النموذج دون تدريب إضافي.

المنهجية

يقترح المؤلفون إطار عمل يسمى "مطاردة الرؤوس" (Head Pursuit)، والذي يعيد تفسير ممارسة استقصاء التنشيطات الوسيطة من خلال منظور معالجة الإشارات المتفرقة. تتضمن المنهجية الجوهرية الخطوات التالية:

التفكيك المتفرق عبر SOMP: يستخدم المؤلفون خوارزمية البحث المتزامن عن المطابقة المتعامدة (SOMP)، وهي خوارزمية جشعة لتقريب الإشارات عالية الأبعاد باستخدام مجموعات خطية متفرقة من العناصر الأساسية.
- المدخلات: بالنسبة لرأس انتباه معين $h$ في الطبقة $l$ ، يتم تحليل مصفوفة التنشيط $H_{h,l}$ (التي تمثل $n$ من العينات).
- القاموس: بدلاً من تعلم قاموس من التنشيطات، تستخدم الطريقة مصفوفة فك التشفير (unembedding matrix) $D$ كقاموس ثابت. يمثل كل صف في $D$ رمزًا (token) في المفردات، مما يوفر رابطًا مباشرًا بالمفاهيم الدلالية القابلة للتفسير بشريًا.
- العملية: تقوم خوارزمية SOMP باختيار عناصر القاموس (الرموز) بشكل تكراري والتي ترتبط ارتباطًا أقصى ببقايا الرأس عبر جميع عينات مجموعة البيانات. ينتج عن ذلك مصفوفة معاملات متفرقة $W^*$ بحيث يكون $H \approx W^*D$ .
- التعميم: على عكس "عدسة اللوجيت"، التي تسقط متجه بقايا واحد، تعمل SOMP على عينات متعددة في وقت واحد وتختار اتجاهات دلالية متعددة، مما يوفر توصيفًا قويًا على مستوى مجموعة البيانات لدور الرأس الوظيفي.
اختيار وتصنيف الرؤوس:
- لتحديد الرؤوس ذات الصلة بمفهوم مستهدف معين (مثل "الألوان"، "السمية"، "الأرقام")، يتم تقييد قاموس فك التشفير بالرموز المرتبطة بهذا المفهوم.
- يتم تطبيق SOMP على هذا القاموس الخاص بالمفهوم.
- يتم تصنيف الرؤوس بناءً على نسبة التباين في تنشيطاتها التي يفسرها إعادة بناء SOMP. يشير التفسير العالي للتباين إلى تخصص قوي لهذا المفهوم.
التدخل:
- بمجرد تحديد أفضل- $k$ من الرؤوس المتخصصة، يتدخل المؤلفون عن طريق إعادة تحجيم مساهمتها في تيار البقايا (residual stream).
- التدخل المثبط: يتم عكس إشارة تمثيلات الرأس ( $\alpha = -1$ ) لقمع السمة المستهدفة.
- تدخل التعزيز: يتم تضخيم تمثيلات الرأس ( $\alpha > 1$ ) لتعزيز توليد السمة المستهدفة.
- يتم إجراء هذا التدخل أثناء التمرير الأمامي (forward pass) دون تحديث أوزان النموذج.

المساهمات الرئيسية

التأطير النظري: يؤطر البحث عملية "المطابقة المتعددة" (Matching Pursuit - MP) ومتغيرها متعدد العينات (SOMP) ضمن سياق تفسير النماذج التوليدية، مما يؤسس اتصالًا رسميًا بالأدوات القياسية مثل "عدسة اللوجيت" مع تعميمها للتعامل مع عينات متعددة واتجاهات دلالية متعددة في آن واحد.
اكتشاف التخصص: تكشف الطريقة عن أنماط متسقة من تخصص الرؤوس عبر المحولات أحادية الوسائط (Mistral-7B) ومتعددة الوسائط (LLaVA-NeXT, Gemma3, Qwen2.5-VL). حيث وُجد أن رؤوسًا محددة تولد بشكل موثوق مجموعات متماسكة دلاليًا من الرموز (مثل أسماء الدول، الأشهر، الأرقام، المشاعر).
القابلية للتحكم: يوضح المؤلفون أن التدخل في جزء صغير جدًا من الرؤوس (بنسبة تصل إلى 1% من إجمالي الرؤوس) يمكن أن يثبط أو يعزز المفاهيم المستهدفة بشكل موثوق. يشير هذا إلى أن طبقات الانتباه تحتوي على بنية خطية قابلة للتفسير والتحكم.

النتائج

تحقق المؤلفون من نهجهم عبر عدة مهام:

الإجابة على الأسئلة (TriviaQA): أدى عكس إشارات 8 رؤوس متخصصة فقط (0.8% من النموذج) مخصصة لـ "أسماء الدول" إلى تدهور كبير في الأداء في الأسئلة المتعلقة بالدول، بينما كان له تأثير ضئيل على الأسئلة الأخرى. لم تظهر عمليات الاختيار القائمة على "عدسة اللوجيت" أو اختيار الرؤوس العشوائية هذا التأثير المستهدف.
تخفيف السمية: باستخدام قائمة مقيدة من الكلمات المفتاحية السامة لاختيار الرؤوس، نجح المؤلفون في تقليل وتيرة التوليدات السامة في مجموعات بيانات RealToxicityPrompts (RP) وThoroughly Engineered Toxicity (TET). أدى عكس 32 رأسًا متخصصًا إلى تقليل التوليدات السامة بنسبة تترا-راوح بين 30-50% مقارنة بالنماذج المرجعية، بينما أدت التدخلات العشوائية غالبًا إلى زيادة السمية.
تصنيف الصور (LLaVA): أدى عكس أفضل-32 رأسًا تم اختيارها عبر SOMP لمجموعات بيانات محددة (مثل MNIST، SVHN) إلى تعطيل دقة التصنيف بشكل كبير. وجدت الدراسة أن مجموعات البيانات ذات الدلالات المترابطة (مثل مهام التعرف على الأرقام) تشترك في مجموعات متداخلة من الرؤوس المتخصة، مما يؤكد التداخل الوظيفي عبر المجالات.
وصف الصور (Flickr30k):
- التثبيط: أدى عكس 16 رأسًا متخصصًا لسمات مثل "الألوان"، "المشاعر"، أو "الكمية" إلى إزالة هذه الكلمات المفتاحية من الأوصاف بشكل شبه كامل مع الحفاظ على درجات CIDEr عالية (جودة الوصف).
- التعزيز: أدى تضخيم هذه الرؤوس ( $\alpha=5$ ) إلى زيادة وجود المفاهيم المستهدفة بنسبة تزيد عن 60% مع تدهور طفيف فقط في جودة الوصف.

الأهمية والادعاءات

يزعم البحث أن طبقات الانتباه في النماذج التوليدية الكبيرة تمتلك فضاءً فرعيًا خطيًا مهيكلًا ومتوافقًا مع المفاهيم. يدعم هذا الاكتشاف الفرضية القائلة بأن المفاهيم عالية المستوى تُمثل في فضاءات فرعية خطية تقريبًا.

تكمن أهمية هذا العمل في توفير أدوات بسيطة وخالية من التدريب لفهم وتحرير النماذج واسعة النطاق. من خلال تحديد أن عددًا صغيرًا من الوحدات يمكن أن يمارس تحكمًا دلاليًا واسعًا، يقدم المؤلفون بديلًا منهجيًا للتدخلات القائمة على التلقين (prompting) التجريبية أو الضبط الدقيق (fine-tuning). يتيح هذا النهج:

التفسير: تفكيك سلوك النموذج إلى مجموعة صغيرة من العناصر القابلة للتفسير.
التحكم: التثبيط أو التعزيز المستهدف لسمات معينة (مثل السمية، أو مفاهيم بصرية محددة) مع حد أدنى من التأثير على القدرات العامة للنموذج.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن الطريقة تفترض الخطية (والتي قد لا تلتقط جميع الهياكل غير الخطية)، وتعتمد على جودة القاموس الدلالي، وتستخدم إعادة تحجيم عالمية بسيطة بدلاً من التوجيه الدقيق. ويقترحون أن العمل المستقبلي يمكن أن يستكشف التدخلات الخاصة بالموقع (position-specific) أو تطبيق هذه التقنيات في مهام توليد الصور.