ملخص تقني: المفهِّمات (Conceptors) للتوجيه الدلالي

بيان المشكلة

تهدف طرق التوجيه القائمة على التنشيط (Activation-based steering) إلى التحكم في سلوك النماذج اللغوية الكبيرة (LLMs) أثناء الاستدلال دون إعادة تدريب. يمثل النموذج السائد المفاهيم الدلالية كمتجهات مفردة (على سبيل المثال، عبر إضافة التنشيط أو إضافة التنشيط التبايني)، حيث يتم حقن اتجاه فرق المتوسط في الحالات الخفية. يعاني هذا النهج من قصورين جوههريين:

1. الاختزال الهندسي: غالبًا ما تشغل المفاهيم الدلالية (مثل المشاعر، أو الميل السياسي) فضاءات فرعية متعددة الأبعاد داخل فضاء تنشيط النموذج. إن اختزال هذه المفاهيم في متجه واحد يؤدي إلى فقدان البنية المتبقية والسياق، مما قد يؤدي إلى فقدان الطلاقة أو إنتاج مخرجات متدهورة.
2. الأعباء الإشرافية: يتطلب اختيار الطبقة المثلى للتدخل عادةً تدريب مصنفات استقصائية (probing classifiers) في كل طبقة، وهي عملية إشرافية مكلفة تتناسب طرديًا مع عمق النموذج وعدد المفاهيم.

المنهجية

يقترح المؤلفون استخدام المفهِّمات (Conceptors)، وهي مصفوفات إسقاط ناعمة تم تطويرها في الأصل للشبكات العصبية المتكررة (Jaeger, 2024)، وتم تكييفها هنا للنماذج اللغوية الكبيرة القائمة على المحولات (Transformers).

الآلية الجوهرية

بالنظر إلى مجموعة من متجهات التنشيط $\{x_1, \dots, x_N\}$ المرتبطة بمفهوم ما، يتم تعريف مصفوفة المفهِّم $C$ كحل لمسألة إعادة بناء منظمة:
$$C = R(R + \alpha^{-2}I)^{-1}$$
حيث $R$ هي مصفوفة الارتباط للعينة من التنشيطات، و$\alpha$ هو معامل الفتحة (aperture parameter). في القاعدة الذاتية لـ $R$، يعمل $C$ كآلية بوابية ناعمة، حيث يخمد الاتجاهات بناءً على طاقتها الإشارية؛ فالاتجاهات ذات الطاقة العالية يتم الحفاظ عليها، بينما يتم كبح الضجيج ذي الطاقة المنخفضة.

الخيارات التصميمية الرئيسية

• التدريب ثنائي القطب: على عكس الطرق أحادية القطب السابقة التي توجه نحو قطب واحد (مثل المشاعر "الإيجابية")، يقوم هذا النهج بتجميع التنشيطات من كلا القطبين لمفهوم ثنائي القطب (مثل المشاعر الإيجابية والسلبية) في مصفوفة ارتباط واحدة. وهذا يلتقط الفضاء الفرعي الكامل بين القطبين بدلاً من مجرد متجه الفرق.
• اختيار الطبقة عبر حصة المفهِّم (Conceptor Quota): لتجنب الاستقصاء الإشرافي، يستخدم المؤلفون حصة المفهِّم $q(C) = \frac{1}{d}\text{tr}(C)$، وهو مقيما بلا معاملات (parameter-free) يمثل الأبعاد الفعالة الناعمة للفضاء الفرعي للمفهوم. ترتبط قيم الحصة العالية بالطبقات التي يكون فيها المفهوم متميزًا بشكل جيد.
• التركيب البولياني (Boolean Compositionality): تدعم المفهِّمات جبرًا بوليانيًا مغلق الشكل (AND, OR, NOT) مباشرة على المصفوفات، مما يسمح بتركيب التوجيه دون الحاجة للوصول إلى بيانات التنشيط الأصلية.
  • النفي (NOT): $\neg C = I - C$ (يكبح مفهومًا ما).
  • الوصل (AND): $C_A \land C_B = (C_A^{-1} + C_B^{-1} - I)^{-1}$ (يحتفظ فقط باتجاهات الفضاء الفرعي المشتركة).

المساهمات الرئيسية

1. التوصيف الهندسي: يوضح المؤلفون أن الفضاءات الفرعية ثنائية القطب تستوعب تمامًا النماذج المرجعية أحادية المتجه، حيث تلتقط $\ge 95\%$ من اتجاه فرق المتوسط المستخدم في الطرق السابقة مع الاحتفاظ ببنية إضافية متعددة الأبعاد.
2. التشخيصات الخالية من المعاملات: أظهرت حصة المفهِّم قدرتها على التنبؤ بتميز المفهوم (مقاسًا بـ AUC الخاص بالمصنف الاستقصائي) بمعامل ارتباط بيرسون يصل إلى $r=0.96$ عبر ثلاثة نماذج (Gemma-2-2B-IT, Gemma-2-9B-IT, Qwen-2.5-3B-Instruct) وثلاثة أبعاد دلالية، متفوقة على المقاييس التقليدية القائمة على التباين.
3. تحليل التركيبية: يثبت البحث أن التركيب البولياني محكوم بالتداخل في الفضاءات الفرعية.
   • النفي (NOT) فعال حتى مع التداخل المنخفض (مثل فصل الميل السياسي عن المشاعر).
   • الوصل (AND) يتطلب ترابطًا موضوعيًا وتداخلًا كبيرًا في الفضاءات الفرعية (مثل الموقف من الإجهاض وحقوق مجتمع الميم) لإنتاج توجيه مشترك ذي معنى.
4. المتانة والسلامة: يكشف تقييم منهجي لخمسة محاور في حيز التصميم (الوضع، نطاق الرموز، قاعدة الجمع، مصدر التدريب، نمط التوليد الذاتي) أن توجيه المفهِّم ينتج مخرجات متدهورة أقل بكثير (13% مقابل 58% للنماذج المرجعية الإضافية) مع مضاهاة أو التفوق على الطرق الإضافية في نسب الفوز.

النتائج التجريبية

يمتد التقييم ليشمل ثلاثة نماذج وثلاثة مفاهيم (المشاعر، الميل السياسي، الاكتئاب).

• الأداء: تحقق المفهِّمات نسب فوز تتراوح بين 0.70 و0.82 في مهام المشاعر، متفوقة بشكل ملحوظ على النماذج المرجعية الإضافية (0.50–0.62). ويظهر هذا التفوق بوضوح في الطبقات التي تكون فيها الفضاءات الفرعية للمفاهيم متعددة الأبعاد.
• التدهور: غالبًا ما تنتج الطرق الإضافية نصوصًا مكررة أو غير متماسكة (مخرجات متدهورة). يقلل استكمال المفهِّم (conceptor interpolation) من هذا المعدل إلى 13%، مما يشير إلى أن المفهِّمات توجه التنشيطات ضمن "المنوعف الطبيعي" (natural manifold) للنموذج بدلاً من دفع الحالات خارج نطاق التوزيع.
• التركيبية:
  • في سيناريوهات التداخل المنخفض (السياسة $\times$ المشاعر، التداخل $\approx 0.19$)، تنجح عملية AND-NOT في عزل مفهوم واحد (مثل المشاعر) مع كبح الآخر، مما يزيد من حدة الانتقائية.
  • في سيناريوهات التداخل العالي (الإجهاض $\times$ حقوق مجتمع الميم، التداخل $\approx 0.50$)، تنجح عملية AND في تفعيل كلا المفهومين في آن واحد، وهي قدرة لا تستطيع الطرق أحادية المتجه تحقيقها.
• التعميم: تعمم الطريقة على مجموعات اختبار محجوزة أكبر (500 مطالبة) وتحافظ على متانتها ضد المطالبات العدائية (مثل التعليمات النظامية الصريحة التي تميل لليمين).

الأهمية والادعاءات

يزعم البحث أن توجيه المفهِّم يقدم بديلًا مبدئيًا هندسيًا، وتركيبيًا، وأكثر أمانًا من الناحية العملية للتوجيه أحادي الاتجاه. ومن خلال الحفاظ على الفضاء الفرعي متعدد الأبعاد للمفهوم، تتجنب المفهِّمات فقدان المعلومات المتأصل في طرح المتجهات. إن القدرة على إجراء عمليات بوليانية دون إعادة تدريب أو الوصول إلى البيانات الأصلية تتيح تحكمًا معقدًا ومتعدد المفاهيم (مثل "كن سياسيًا ولكن ليس حزبيًا")، وهو أمر كان صعب التحقيق سابقًا.

يضع المؤلفون هذا العمل كخطوة نحو المحاذاة أثناء الاستدلال، حيث يمكن كبح المفاهيم الضارة (عبر NOT) مع الحفاظ على القدرات المستهدفة، مما ينقل المحاذاة التركيبية من هندسة الأوامر (prompt engineering) إلى العمليات الجبرية الروتينية. ويشير المؤلفون صراحةً إلى أن الطريقة تم تقييمها على نماذج أصغر (حتى 9 مليارات معلمة)، وأن التوسع ليشمل النماذ المستخدمة في النشر الفعلي يظل توجهًا مستقبليًا، رغم الادعاء بأن الهندسة الكامنة وراءها مستقلة عن البنية المعمارية.

القيود المعترف بها:

• التقييم محدود بثلاثة نماذج وثلاثة مفاهيم دلالية.
• يمكن لقوى التوجيه العالية أن تؤدي إلى عدم تماسك متبقٍ.
• تجارب التركيبية محدودة حاليًا بزوجين من المفاهيم.
• تعتمد الطريقة على مصنفات آلية للتسجيل، مما قد يؤدي إلى التحيز.
• تم طرح الاعتبارات الأخلاقية المتعلقة بإمكانية تضخيم التحيز أو التلاعب بصياغة المحتوى صراحةً، مع وضع العمل في إطار تحليل القدرة على التحكم وليس كأداة للإقناع.