💬 NLP

Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation

تقدم الورقة البحثية "المُلفظ التنشيطي الشامل" (UAV)، وهو إطار عمل موحد يستخدم وحدة فك ترميز مشتركة ومهايئات خفيفة الوزن لتمكين شرح التنشيط عبر النماذج المانحة غير المتجانسة، محققاً أداءً منافساً لنماذج التفسير الذاتي المرجعية مع دعم النقل الفعال القائم على المهايئات فقط.

المؤلفون الأصليون: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "المُعبر اللفظي الشامل للتنشيط" (Universal Activation Verbalizer) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: المترجم "الصندوق الأسود"

تخيل أن نموذج لغة ضخمًا (مثل عقل روبوت فائق الذكاء) هو عبارة عن مصنع ضخم. داخل هذا المصنع، تتدفق المعلومات عبر سيور ناقلة وآلات. عند نقاط معينة، تنتج الآلات "تنشيطات" (activations) — وهي مجرد إشارات كهربائية خام أو أرقام تمثل ما يفكر فيه الروبوت في تلك اللحظة تحديدًا.

المشكلة هي أن هذه الأرقام تبدو كأنها لغة غير مفهومة للبشر؛ فنحن لا نستطيع قراءتها.

في السابق، حاول العلماء فهم معنى هذه الأرقام من خلال تعليم الروبوت أن يشرح أفكاره الخاصة. الأمر يشبه تعليم شخص معين أن يترجم شفرته السرية الخاصة. ولكن إذا أردت فهم شفرة روبوت آخر، فسيتعين عليك البدء من الصفر وتعليم الروبوت الجديد كيف يترجم نفسه. كان ذلك بطيئًا، ومكلفًا، ولم يعمل عبر أنواع مختلفة من الروبوتات.

الحل: "المترجم العالمي" (UAV)

ابتكر المؤلفون أداة جديدة تسمى UAV (المُعبر اللفظي الشامل للتنشيط). فكر في UAV كـ مترجم عالمي يمكنه الاستماع إلى أي مصنع روبوتات وشرح معنى إشاراته الداخلية بلغة إنجليزية بسيطة.

إليك كيف يعمل، مقسمًا إلى ثلاثة أجزاء بسيطة:

1. المُهايئ (The Adapter): "الأذن العالمية"

كل مصنع روبوتات يتحدث "لغة" أرقام مختلفة قليلاً. لفهم روبوت جديد، يستخدم UAV قطعة صغيرة ومرنة من البرمجيات تسمى المُهايئ (Adapter).

التشبيه: تخيل أن المُهايئ هو زوج من سماعات الأذن العالمية. عندما توصل هذه السماعات بروبوت جديد، تقوم فورًا بتحويل إشاراته الكهربائية الغريبة والخاصة إلى "لغة ناعمة" قياسية يمكن للمترجم فهمها.
اختبرت الورقة نوعين من هذه السماعات: "MLP" البسيط (محول خطي مستقيم) و"Q-Former" الأكثر تعقيدًا (محول يعتمد على الانتباه). ووجدوا أن Q-Former كان الأفضل لأنه استطاع الاحتفاظ بمزيد من التفاصيل من إشارات الروبوت.

2. فك التشفير (The Decoder): "الحكواتي"

بمجرد أن يقوم المُهايئ بتحويل الإشارات إلى اللغة القياسية، يتم تغذيتها في مفكك تشفير (Decoder) (وهو نموذج لغة ضخم).

التشبيه: مفكك التشفير هو الحكواتي. يأخذ اللغة القياسية من سماعات الأذن ويحولها إلى جملة طبيعية مثل: "هذه الإشارة تعني أن الروبوت يفكر في قطة"، أو "هذه الإشارة تمثل حقيقة عن عام 1995".
وجدت الورقة أن جعل الحكواتي أكبر (باستخدام نموذج أكبر) يجعل الشروحات أفضل بشكل عام، ولكن إلى حد معين فقط.

3. عملية التدريب ذات الخطوتين

لتعليم هذا النظام، استخدم المؤلفون طريقة تدريب من خطوتين:

الخطوة 1: الإحماء (إعادة البناء). أولاً، علموا المُهايئ ببساطة أن ينظر إلى إشارة ما ويعيد بناء النص الأصلي الذي أنتجها. الأمر يشبه تعليم سماعات الأذن أن تقول: "إذا سمعت هذا الصفير، فإن النص الأصلي كان 'مرحبًا'". هذا يضمن أن المُهايئ يعرف كيفية ترجمة الإشارات بدقة.
الخطوة 2: الشرح (التعليمات). بعد ذلك، علموا النظام بأكمله كيفية الإجابة على الأسئلة. بدلًا من مجرد إعادة بناء النص، سألنا: "ما هي الفكرة الرئيسية لهذا النص؟" أو "ما هي مهنة هذا الشخص؟". هذا علم النظام ليكون شارحًا مفيدًا، وليس مجرد مرآة.

الاختراق الكبير: "التوصيل والتشغيل" (Plug-and-Play)

الجزء الأكثر إثارة في الورقة هو ميزة تسمى نقل المُهايئ فقط (Adapter-Only Transfer).

الطريقة القديمة: لفهم الروبوت (أ)، تدرب مترجمًا. لفهم الروبوت (ب)، يجب عليك إعادة تدريب المترجم بالكامل من الصفر.
طريقة UAV: تقوم بتدريب "الحكواتي" (مفكك التشفير) مرة واحدة باستخدام الروبوت (أ). ثم، إذا أردت فهم الروبوت (ب)، فإنك تقوم بـ تجميد الحكواتي (إبقاؤه كما هو تمامًا) وتدرب فقط مجموعة جديدة من "سماعات الأذن" (المُهايئ) للروبوت (ب).
التشبيه: تخيل أن لديك مترجمًا رئيسيًا يتحدث الإنجليزية بطلاقة. لست بحاجة لإعادة تدريب المترجم لفهم لغة جديدة؛ كل ما عليك فعله هو إعطاؤه زوجًا جديدًا من سماعات الأذن مضبوطًا على تلك اللغة الجديدة. المترجم يبقى كما هو، لكن سماعات الأذن هي التي تقوم بالعمل الشاق في التحويل.

ماذا وجدوا؟

اختبر الباحثون هذا على أنواع مختلفة من الروبوتات (Llama, Gemma, Yi, Qwen) ومهام مختلفة (الإجابة على أسئلة عامة، تلخيص النصوص، تصنيف المشاعر).

إنه يعمل في كل مكان: استطاع النظام شرح أفكار عائلات مختلفة تمامًا من الروبوتات، وليس فقط تلك التي تدرب عليها في الأصل.
إنه منافس قوي: على الرغم من أنه كان يترجم روبوتات أخرى، إلا أنه كان جيدًا في شرح الأشياء تمامًا مثل الروبوتات التي تدربت على شرح نفسها.
الأدوار واضحة:
- المُهايئ (سماعات الأذن) مسؤول عن التقاط الحقائق والتفاصيل المحددة من عقل الروبوت.
- مفكك التشفير (الحكواتي) مسؤول عن معرفة كيفية الإجابة على الأسئلة واتباع التعليمات.
الحجم مهم (ولكن ليس كل شيء): الحكواتي الأكبر حجمًا يؤدي عملًا أفضل عمومًا، لكن مجرد جعلهم ضخمين لم يضمن الكمال دائمًا. جودة "سماعات الأذن" (المُهايئ) كانت لا تقل أهمية.

الملخص

باختًا، بنى المؤلفون مترجمًا عالميًا يمكنه الاستماع إلى الأفكار الداخلية لأي نموذج ذكاء اصطناعي تقريبًا وشرحها بلغة إنجليزية بسيطة. لقد أثبتوا أنك لست بحاجة لإعادة تدريب النظام بأكمله لكل نموذج ذكاء اصطناو جديد؛ كل ما تحتاه هو استبدال "سماعات الأذن" (المُهايئ) مع إبقاء "الحكواتي" (مفكك التشفير) كما هو. وهذا يجعل فهم الذكاء الاصطناعي أسرع وأرخص وأكثر مرونة.

ملخص تقني: المفسر اللفظي العالمي للتنشيط (UAV)

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) نجاحاً كبيراً من خلال تعلم التمثيل، يظل فهم المعلومات المحددة المشفرة في تنشيطاتها الداخلية تحدياً مركزياً. إن طرق التفسير اللفظي للتنشيط الحالية — حيث يصف النموذج محتوى حالة مخفية بلغة طبيعية — تقتصر بشكل أساسي على التفسير الذاتي (self-explanation). في هذه النهج، يتم تدريب النموذج ليشرح تنشيطاته الخاصة فقط. هذا القيد يمنع إعادة استخدام المفسرات اللفظية عبر عائلات النماذج أو البنى أو المقاييس المختلفة، مما يجعل تحليل النماذج الضخمة "المُعطية" (donor models) غير فعال وغير قابل للتعميم. علاوة على ذلك، فإن الطرق التي لا تعتمد على التدريب (مثل حقن التنشيطات مباشرة في المطالبات) غالباً ما تفشل في استعادة المعلومات الواقعية والدلالية الدقيقة.

المنهجية: إطار عمل UAV

يقترح المؤلفون المفسر اللفظي العالمي للتنشيط (Universal Activation Verbalizer - UAV)، وهو إطار عمل موحد مصمم لتفسير تنشيطات النماذج المُعطية غير المتجانسة باستخدام فك تشفير مشترك. يعمل إطار العمل على فرضية أن مُهايئاً (adapter) خفيف الوزن يمكنه رسم خرائط لتنشيطات النموذج المُعطي إلى مساحة التضمين لنموذج فك التشفير، مما يتيح التفسير اللفظي عبر النماذج.

البنية الهيكلية

يتكون UAV من مكونين أساسيين:

المُهايئ القابل للتدريب ( $\mathcal{A}$ ): هذا الجزء يعمل كجسر بين مساحة تنشيط النموذج المُعطي ومساحة تضمين نموذج فك التشفير. يقوم برسم خرائط لتنشيط نموذج مُعطٍ محدد $h_i^\ell$ $h_{i}^{ℓ}$ (من الطبقة $\ell$ $ℓ$ عند الموضع $i$ $i$ ) إلى تسلسل من $n$ $n$ من "الرموز الناعمة" (soft tokens) المستمرة ( $z_{1:n}$ $z_{1 : n}$ ). يبحث البحث في بنيتين للمُهايئ:
- نمط MLP: شبكة إسقاط مع طبقات عنق زجاجة اختيارية.
- نمط Q-Former: تصميم قائم على الانتباه يستخدم رموز استعلام قابلة للتعلم لاستخراج المعلومات من فجوات السياق المستمدة من تنشيط النموذج المُعطي.
نموذج فك التشفير ( $\mathcal{M}_v$ ): نموذج لغوي مجمد أو مضبوط بدقة جزئياً (مثل عائلة Qwen) يقوم بتوليد تفسيرات باللغة الطبيعية. يتم وضع الرموز الناعمة التي ينتجها المُهايئ كمقدمة مشروطة بالتنشيط قبل المطالبة النصية.

استراتيجية التدريب

يستخدم UAV عملية تدريب تتكون من مرحلتين:

محاذاة التنشيط مع النص (المرحلة 1): يتم تدريب المُهايئ على إعادة بناء البادئة النصية المدخلة $\langle t_0, \dots, t_i \rangle$ من تنشيط النموذج المُعطي $h_i^\ell$ باستخدام الإجبار التعليمي (teacher forcing). يظل نموذج فك التشفير مجمداً خلال هذه المرحلة. يعمل هذا كعملية إحماء لمحاذاة مساحة التنشيط مع مساحة تضمين نموذج فك التشفير.
محاذاة اتباع التعليمات (المرحلة 2): يتم ضبط النموذج بدقة للإجابة على أسئلة حول النص المدخل (مثل "ما هو الجوهر؟" أو "ما هي المهنة؟"). تتضمن هذه المرحلة التدريب المشترك للمُهايئ ومعلمات جانب فك التشفير (تحديداً LoRA) لتحسين قدرة النموذج على اتباع التعليمات الموجهة نحو التفسير.

نقل المُهايئ فقط (Adapter-Only Transfer)

الابتكار الرئيسي هو استراتيجية نقل المُهايئ فقط. بعد إجراء التكيف الكامل ذي المرحلتين على نموذج مُعطٍ مصدر، يتم تجميد LoRA الخاص بجانب فك التشفير. بالنسبة لنموذج مُعطٍ جديد، يتم تدريب مُهايئ جديد فقط من الصفر مع إبقاء هيكل فك التشفير و LoRA المتعلم ثابتاً. يسمذا هذا بإعادة استخدام سلوك التفسير اللفظي لفك التشفير عبر نماذج مُعطية مختلفة دون إعادة تدريب النظام بأكمله.

المساهمات الرئيسية

إطار عمل موحد: اقتراح UAV، وهو إطار عمل (مُهايئ-فك تشفير) يتيح التفسير اللفظي لتنشيطات النماذج عبر عائلات ونماذج متنوعة (مثل Llama, Gemma, Yi, Qwen) ومقاييس مختلفة.
نقل المُهايئ فقط: تقديم آلية نقل تسمح بتجميد LoRA الخاص بفك التشفير، مما يسمح بالتكيف الفعال مع النماذج المُعطية الجديدة عبر تدريب المُهايئ فقط.
التحليل المنهجي: تجارب شاملة ودراسات استئصال (ablations) تثبت أن UAV يدعم تفسير التنشيط عبر عائلات النماذج مع بقائه منافساً لأساليب التفسير الذاتي القوية.

النتائج التجريبية

قيم المؤلفون UAV في مهام الأسئلة والأجوبة المولدة القائمة على التنشيط والتي تغطي التصنيف، واسترجاع الحقائق، وتلخيص الجوهر.

الأداء مقابل النماذج المرجعية: يتفوق UAV على الطرق التي لا تعتمد على التدريب (مثل SelfIE و PatchScope) بشكل كبير، خاصة في استرجاع الحقائق حيث تعاني طرق الحقن من صعوبة في التعامل مع المعلومات الدقيقة. مقارنة بنماذج التفسير الذاتي القائمة على التدريب (مثل LatentQA و Activation Oracle)، يظل UAV منافساً، وغالباً ما يحقق أفضل نتائج إجمالية في مقاييس ROUGE-L و BERTScore في إعدادات التفسير الذاتي.
القدرة عبر النماذج: نجح نموذج فك تشفير مشترك (مثل Qwen3-4B) في التفسير اللفظي لتنشيطات من نماذج مُعطية متنوعة (مثل Llama-3.1-8B, Gemma-3, Yi-1.5-34B). وبينما يعطي التفسير الذاتي (باستخدام نفس النموذج كفك تشفير) نتائج أفضل قليلاً، إلا أن الفجوة في الأداء في التفسير عبر النماذج معتدلة، مما يثبت عالمية الإطار.
حجم فك التشفير: تحسن أداء النماذج عموماً مع استخدام فك تشفير أكبر (حتى 14B)، مما يشير إلى قدرة أفضل على تحويل إشارات التنشيط المحاذية إلى لغة طبيعية، رغم أن هذا الاتجاه ليس خطياً دائماً.
تحليل المكونات (الدراسات الاستئصالية):
- ضبط جانب فك التشفير: يحسن بشكل أساسي السلوك على مستوى المهمة واتباع التعليمات (مثل أنماط التصنيف).
- المُهايئ: ضروري لاستعادة المعلومات الواقعية والدلالية الخاصة بالمدخلات. بدون المُهايئ المدرب، لا يمكن للنموذج استخراج التفاصيل الدقيقة من التنشيطات بشكل موثوق.
- الإحماء في المرحلة الأولى: تعتبر مرحلة محاذاة التنشيط مع النص شرطاً مسبقاً حاسماً؛ حيث يؤدي حذفها باستمرار إلى تدهور الأداء.

الأهمية والادعاءات

يزعم البحث أن UAV يعالج عدم الكفاءة والافتقار إلى القدرة على التعميم في طرق تفسير التنشيط الحالية. من خلال فصل عملية رسم خرائط التنشيط (المُهايئ) عن قدرة التوليد (فك التشفير)، يتيح UAV ما يلي:

قابلية إعادة الاستخدام: يمكن لمفسر لفظي واحد موجه نحو التفسير أن يتكيف مع نماذج مُعطية متعددة.
الكفاءة: تقلل استراتيجية نقل المُهايئ فقط من التكاليف الحسابية عند تحليل نماذج جديدة.
الأمانة (Faithfulness): يوفر الإطار آلية لاستعادة المعلومات الواقعية والدلالية من التنشيطات التي غالباً ما تُفقد في النهج التي لا تعتمد على التدريب.

يقر المؤلفون بوجود قيود، مشيرين إلى أن UAV لا يزال يواجه تحديات في استعادة السمات الدقيقة من التنشيطات الفردية وهو محدود حالياً بالمدخلات ذات السياق القصير. كما تم اقتراح أعمال مستقبلية لتحسين استرجاع الحقائق وفهم الجوهر من خلال محاذاة أقوى وإشراف أغنى.