🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

تُثبت هذه الورقة أن تدريب المشفّرات التلقائية المتناثرة على تيار المتبقي لنموذج Qwen 3.5-35B وإسقاط أوزان المسبار مرة أخرى عبر فك التشفير يُمكّن من توجيه السلوكيات الوكيلة بدقة دون الحاجة لإعادة التدريب، مما يكشف أن الالتزامات الاستقلالية تُحسب خلال مرحلة الملء المسبق في بنيات GatedDeltaNet.

المؤلفون الأصليون: Jia Qing Yap

نُشر 2026-03-18

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jia Qing Yap

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج ذكاء اصطناعي ضخم وفائق الذكاء (نموذج 35B MoE) كأنه أوركسترا ضخمة وعالية التقنية. هذه الأوركسترا تضم 35 مليار عازف، ولكن في أي نوتة موسيقية واحدة، يعزف حوالي 3 مليارات منهم فقط. هم مرتبون في نظام هجين معقد: بعضهم يعزف بإيقاع متكرر (GatedDeltaNet)، والبعض الآخر يعزف بطريقة قياسية متزامنة (Attention).

أراد الباحثون قيادة هذه الأوركسترا لجعلها تتصرف كوكيل مستقل (واحد يتخذ إجراءات من تلقاء نفسه) بدلاً من مساعد سلبي (يسأل باستمرار: "ماذا يجب أن أفعل؟").

إليك كيف فعلوا ذلك، مشروحاً عبر تشبيهات بسيطة:

1. المشكلة: أوركسترا "الصندوق الأسود"

عادةً، عندما نريد تغيير سلوك الذكاء الاصطناعي، يتعين علينا إعادة تدريبه من الصفر، وهو أمر يشبه توظيف أوركسترا جديدة بالكامل وتعليمهم أغانٍ جديدة. هذا مكلف وبطيء.
أراد الباحثون الحصول على "جهاز تحكم عن بعد" يمكنه ضبط الموسيقى أثناء عزف الأوركسترا، دون طرد أي شخص أو إعادة كتابة النوتة الموسيقية.

2. الأداة: "مترجم الميزات" (SAE)

للعثور على "جهاز التحكم عن بعد" المناسب، قاموا ببناء مشفّر تلقائي متفرق (Sparse Autoencoder - SAE).

التشبيه: تخيل صوت الأوركسترا كحساء ضخم وفوضوي من الضجيج. الـ SAE هو مصفاة ذكية للغاية تقوم بفصل هذا الحساء إلى مكونات نقية ومتميزة (مثل "الملح"، أو "الفلفل"، أو "الريحان").
قام الباحثون بتدريب هذه المصافات للعثور على "نكهات" محددة في تفكير الذكاء الاصطناعي، مثل "الاستقلالية" (الرغبة في الفعل) أو "الامتثال" (الرغبة في طلب الإذن).

3. الحيلة: "إسقاط فك التشفير" (Decoder Projection)

هنا يكمن الجزء الذكي. عادةً، عندما تجد "نكهة" في المصفاة، تكون عبارة عن مفتاح رقمي يعمل بوضعية التشغيل (ON) أو الإيقاف (OFF) (مثل مفتاح الضوء). لكن لا يمكنك مجرد قلب مفتاح لتوجيه أوركسترا بلطف؛ أنت بحاجة إلى تحويل مفتاح التحكم في مستوى الصوت.

الابتكار: أخذ الباحثون "مفتاح الضوء" الذي وجدوه في المصفاة وأعادوا تمريره للخلف عبر "فك تشفير" (Decoder). قام هذا بترجمة الإشارة الرقمية (تشغيل/إيقاف) مرة أخرى إلى إشارة "مقبض صوت" سلسة ومستمرة تفهمها الأوركسترا.
النتيجة: صنعوا ما يسمى "متجه التوجيه" (Steering Vector). فكر في الأمر كريح لطيفة تهب عبر الأوركسترا. إذا نفخت "ريح الاستقلالية"، سيبدأ العازفون في العزف بصوت أعلى وبشكل أكثر استقلالية.

4. التجربة: 1,800 بروفة

اختبروا ذلك في 1,800 سيناريو مختلف (مثل طلب كتابة كود برمجي، أو البحث في الويب، أو تحليل البيانات).

الهدف: التوقف عن جعل الذكاء الاصطناعي يسأل "هل يمكنني فعل هذا؟" والبدء في جعله يقول "سأفعل هذا".
النجاح: عندما طبقوا "ريح الاستقلالية" بالقوة المناسبة، توقف الذكاء الاصطناعي عن طلب المساعدة في 78% من الحالات وبدأ في اتخاذ الإجراءات فوراً. لقد كان نجاحاً هائلاً.

5. المفاجأة الكبرى: "محور واحد، وليس خمسة"

ظن الباحثون أنهم يوجهون خمس سمات مختلفة: الاستقلالية، استخدام الأدوات، المثابرة، المخاطرة، والامتثال.

التشبيه: ظنوا أنهم يقومون بضبط خمس محطات راديو مختلفة.
الواقع: اكتشفوا أن جميع هذه "المحطات" كانت في الواقع محطة واحدة كبيرة تعمل بمستويات صوت مختلفة.
النتيجة: بغض النظر عن السمة التي حاولوا توجيهها، كان الذكاء الاصطناعي يتحرك بشكل أساسي على طول محور واحد فقط: العمل باستقلالية مقابل طلب الإذن.
- إذا حاولوا جعله "مخاطراً"، أصبح فقط أكثر استقلالية.
- إذا حاولوا جعله "مثابراً"، أصبح فقط أكثر استقلالية.
- نوع الإجراء تغير (مثل زيادة عمليات البحث في الويب مقابل زيادة كتابة الكود)، لكن "الدافع للعمل" كان هو نفسه.

6. "الشبح في الآلة" (الارتباط مقابل السببية)

هذا هو الجزء الأكثر إثارة للاهتمام.

الإعداد: وجدوا "نكهتين" في المصفاة تبدوان متطابقتين تقريباً في البيانات. إحداهما وُصفت بأنها "استخدام الأدوات" والأخرى "معايرة المخاطر". تم التنبؤ بكل منهما بدقة 79%.
التحول: عندما حاولوا توجيه الذككاء الاصطناعي باستخدام إشارة "استخدام الأدوات"، نجح الأمر. وعندما حاولوا توجيهه بإشارة "معايرة المخاطر"، لم يحدث شيء.
الدرس: لا يعني مجرد وجود نمط في سلوك الذكاء الاصطناعي (ارتباط) أنه هو السبب في ذلك السلوك (سببية). إشارة "معايرة المخاطر" كانت مثل الظل: يتحرك مع الجسم، لكن دفع الظل لا يحرك الجسم.

7. سر "مرحلة التعبئة المسبقة" (Prefill): متى يُتخذ القرار

اختبروا متى يتم تطبيق "الريح".

الاختبار: هل يهم إذا نفخت الريح بينما كان الذكاء الاصطناعي يقرأ المطالبة (Prefill) أو أثناء قيامه بكتابة الإجابة (Decode)؟
النتيجة: النفخ أثناء الكتابة (Decode) لم يفعل شيئاً. أما النفخ أثناء قراءة المطالبة (Prefill) فقد نجح تماماً.
التشبيه: تخيل طباخاً يقرر ماذا سيطبخ. القرار يُتخذ في اللحظة التي ينظر فيها إلى المكونات (Prefill). وبحلول الوقت الذي يبدأ فيه فعلياً في تقطيع الخضروات (Decode)، يكون القرار قد حُسم بالفعل. لا يمكنك تغيير الوجبة من خلال الصراخ في وجه الطباخ أثناء تقطيع الخضروات؛ عليك أن تهمس له قبل أن يبدأ.

الملخص

بنى الباحثون "جهاز تحكم عن بعد" لأوركسترا ذكاء اصطناعي ضخمة. وقد وجدوا أن:

يمكنك توجيه سلوك الذكاء الاصطناعي دون الحاجة لإعادة تدريبه.
جميع السلوكيات "الوكيلية" (العمل باستقلالية، المخاطرة، استخدام الأدوات) هي في الواقع مفتاح واحد كبير: افعلها بنفسك مقابل اسألني.
مجرد وجود نمط في دماغ الذكاء الاصطناعي لا يعني بالضرورة أنه يمكنك التحكم فيه باستخدام ذلك النمط.
الذكاء الاصطناعي يتخذ قرارات "شخصيته" في اللحظة التي يقرأ فيها سؤالك، وليس أثناء إجابته عليه.

هذه خطوة كبيرة نحو فهم كيفية توجيه وكلاء الذكاء الاصطناعي القويين بشكل آمن وفعال.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التوجيه السلوكي في نموذج لغوي من نوع MoE بحجم 35 مليار بارامتر عبر ناقلات مسبار مستخرجة من SAE: محور وكالة واحد، وليس خمس سمات."

1. بيان المشكلة

تتناول الورقة تحدي التفسير الآلي (Mechanistic Interpretability) والتوجيه السلوكي (Behavioral Steering) في النماذج اللغوية الضخمة الجاهزة للإنتاج ذات البنى غير القياسية.

فجوة الحجم والبنية: ركزت طرق التوجيه السابقة (المشفرات التلقائية المتفرقة/SAEs وهندسة التنشيط) بشكل أساسي على النماذج الأصغر (حتى 7 مليار بارامتر) مع بنى Transformer القياسية. ولا يزال من غير الواضح ما إذا كانت هذه الطرق قابلة للتوسع لتشمل نماذج Mixture-of-Experts (MoE) ضخمة ذات بنى هجينة (تجمع بين طبقات الانتباه والارتداد الخطي مثل GatedDeltaNet).
فجوة "المسبار مقابل السببية": بينما يمكن للمسابير الخطية (Linear Probes) تحديد السمات المرتبطة بسلوكيات معينة، فمن غير المعروف ما إذا كانت هذه السمات مسببة (Causally Upstream) لهذا السلوك أم أنها مجرد ظواهر ثانوية (مرتبطة به ولكنها ليست سبباً له).
درجة الدقة (Granularity): تعتمد الطرق الحالية غالباً على تثبيت سمات SAE المنفصلة (top-k)، مما يدمر المعلومات الاتجاهية دقيقة التفاصيل. يسعى المؤلفون إلى إيجاء طريقة لتوجيه السلوك بشكل مستمر دون إعادة تدريب.

2. المنهجية

يقترح المؤلفون مسار عمل لتدريب SAEs على نموذج 35B واستخدامها لبناء ناقلات توجيه مستمرة.

أ. النموذج المستهدف

النموذج: Qwen 3.5-35B-A3B (إجمالي 35 مليار بارامتر، حوالي 3 مليار نشط لكل توكن).
البنية: MoE هجين مكون من 40 طبقة. تتكون كل كتلة من 3 طبقات GatedDeltaNet (ارتداد خطي) تليها طبقة انتباه (Attention) قياسية واحدة.
مجرى البقايا (Residual Stream): البعد الخفي $d=2048$ .

ب. تدريب SAE

التدريب: تم تدريب تسعة من SAEs (top-k) على تنشيطات مجرى البقايا في أعماق مختلفة (مبكرة، متوسطة، متأخرة) تغطي طبقات GatedDeltaNet والانتباه الفرعية.
البيانات: 200 مليون توكن من مزيج من مجموعات بيانات الدردشة والمحادثات الاصطناعية لاستخدام الأدوات.
التقنية: استُخدمت منهجية FAST مع خسائر السمات الميتة الإضافية لضمان استقرار التدريب.

ج. توجيه المسبار المستخرج من SAE (الابتكار الجوهري)

بدلاً من تثبيت سمات SAE مباشرة (التي يتم تفصيلها بواسطة دالة top-k)، يستخدم المؤلفون عملية إسقاط من خطوتين:

المسبار الخطي (Linear Probe): تدريب مسبار انحدار ريج (Ridge Regression) على تنشيطات SAE الكامنة ( $z$ ) للتنبؤ بسمة سلوكية (أزواج متباينة عالية مقابل منخفضة). ينتج عن ذلك أوزان المسبار $w_{probe}$ .
إسقاط فك التشفير (Decoder Projection): إسقاط هذه الأوزان مرة أخرى عبر فك تشفير SAE ( $W_{dec}$ $W_{d ec}$ ) للحصول على ناقل توجيه مستمر في فضاء مجرى البقايا الأصلي للنموذج:
$v_{steer} = W_{dec}^{\top} w_{probe}$
- الفائدة: يتجاوز هذا الإجراء عملية التفصيل (discretization) الخاصة بـ top-k في SAE، مما يسمح بتدخل مستمر ودقيق عند أي مقياس $\\alpha$ .

د. التقييم

الإعداد: 1,800 عملية تشغيل (rollout) للوكيل عبر 50 سيناريو من نمط ReAct (برمجة، بحث، إلخ).
المقاييس: استخراج مؤشرات سلوكية من المسارات (مثل تكرار ask_user مقابل الاستدعاء الاستباقي للأدوات).
الشروط: تم اختبار التوجيه عند مضاعفات ( $\alpha$ ) مختلفة وأنماط تطبيق مختلفة: جميع المواضع، مرحلة التعبئة المسبقة فقط (prefill only)، ومرحلة فك التشفيد فقط (decode only).

3. المساهمات الرئيسية

القابلية للتوسع: إثبات أن توجيه المسبار المستخرج من SAE يعمل على نموذج هجين MoE بحجم 35B، محققاً أحجام تأثير كبيرة دون إعادة تدريب.
اكتشاف "محور الوكالة الواحد": كشف تحليل السمات المتقاطعة أن ناقلات التوجيه لخمس سمات متميزة (الاستقلالية، استخدام الأدوات، المثابرة، معايرة المخاطر، والامتثال) لا تعمل بشكل مستقل. بدلاً من ذلك، تقوم جميعها بتعديل محور وكالة مهيمن واحد: الميل إلى التصرف باستقلالية مقابل الامتثال للمستخدم. وتظهر خصوصية السمات فقط في الخصائص الثانوية (مثل أي أداة تُستخدم، وليس هل يتم التصرف أم لا).
الفصل بين الارتباط والسببية: تقديم دليل تجريبي على أن دقة المسبار العالية ( $R^2$ ) لا تضمن الفعالية السببية. فقد أظهرت سمتان (معايرة المخاطر واستخدام الأدوات) تم فحصهما من نفس SAE وبدقة $R^2$ متطابقة تقريباً، إلا أن ناقلتيهما كانتا متعامدتين؛ حيث نجحت إحداهما في توجيه السلوك، بينما أدت الأخرى إلى الكبح فقط.
الالتزام السلوكي في مرحلة التعبئة المسبقة فقط: إظهار أن التوجيه المطبق أثناء فك التشفيد التلقائي فقط ليس له أي تأثير. يتم حساب القرارات السلوكية والالتزام بها خلال مرحلة التعبئة المسبقة (prefill phase) ونقلها عبر الحالة الارتدادية لـ GatedDeltaNet.

4. النتائج الرئيسية

أ. فعالية التوجيه

الاستقلالية (Autonomy): حققت حجم تأثير كبيراً ( $d = 1.01$ ) عند $\alpha=2$ . تحول النموذج من طلب المساعدة (78% من الوقت) إلى تنفيذ الكود والبحث في الويب بشكل استباقي.
تصنيف الاستجابة للجرعة (Dose-Response Taxonomy):
- شكل U المقلوب الناعم: الاستقلالية والامتثال (نافذة علاجية واضحة).
- انتقال الطور (Phase Transition): الرغبة في استخدام الأدوات (القيم المتوسطة لـ $\alpha$ تضعف الأداء؛ والقيم العالية تحفز نمطاً سلوكياً جديداً).
- الكبح الصرف (Pure Suppression): المثابرة ومعايرة المخاطر (زيادة $\alpha$ تكبح السلوك دون استبداله).

ب. انفصال معايرة المخاطر

الملاحظة: تشترك ناقلات معايرة المخاطر واستخدام الأدوات في نفس الـ SAE (الطبقة 21) ولديهما $R^2$ متطابق تقريباً (0.795 مقابل 0.792).
الهندسة: الناقلات متعامدة تقريباً (تشابه جيب التمام $\approx -0.017$ ).
النتيجة: نجح ناقل "استخدام الأدوات" في توجيه السلوك ( $d=0.39$ )، بينما لم ينتج ناقل "معايرة المخاطر" أي تأثير سببي ( $d=0.00$ )، بل اكتفى بكبح السلوك الموجود فقط.
الاستنتاج: اتجاه "معايرة المخاطر" هو ظاهرة ثانوية إحصائية (epiphenomenon)—فهو يتنبأ بالسمة ولكنه ليس سبباً مباشراً لها.

ج. التعبئة المسبقة مقابل فك التشفيد

تطبيق ناقلات التوجيه أثناء فك التشفيد فقط لم يؤدِ إلى أي تغيير سلوكي ( $p > 0.35$ ).
تطبيق التوجيه أثناء التعبئة المسبقة فقط أعطى نتائج معنوية (خاصة بالنسبة للامتثال).
الاستنتاج: في بنى GatedDeltaNet، يتم صياغة "القرار" بالتصرف أو الامتثال داخل الحالة الارتدادية أثناء مرحلة معالجة المطالبة (prefill)، وليس عبر تحسينها توكن بتوكن أثناء التوليد.

د. تركيز السمات

ناقلات التوجيه متفرقة للغاية. على سبيل المثال، 48 سمة (0.3% من القاموس) تفسر 50% من إشارة توجيه الاستقلالية. قد يفسر هذا التركيز سبب كون هذه التدخلات قوية ضد محاولة النموذج "الالتفاف" حولها.

5. الأهمية والآثار المترتبة

رؤية معمارية: تشير النتائج إلى أن البنى الهجينة (GatedDeltaNet + Attention) تحسب الالتزامات السلوكية عالية المستوى مبكراً (prefill) وتنقلها عبر الارتداد، بدلاً من صقلها توكن بتوكن أثناء التوليد.
تحذير من التفسير: تتحدى الورقة الاعتماد على المسبار الخطي للتوجيه. الدقة العالية في $R^2$ ضرورية ولكنها غير كافية للتدخل السببي. يجب على العمل المستقبلي التحقق من المسبارات عبر تجارب التدخل.
السلامة والتحكم: يشير اكتشاف "محور الوكالة المهيمن" إلى أن محاولة توجيه سمة معينة (مثل "كن أكثر مساعدة") قد تؤدي دون قصد إلى تغيير توجه النموذج بأكمله نحو الاستقلالية، مما قد يتجاوز سلوكيات الامتثال الموجهة نحو السلامة.
استراتيجية النشر: يتطلب التوجيه السلوكي الفعال تدخلاً في مرحلة التعبئة المسبقة ومعايرة خاصة بكل سمة (النوافذ العلاجية تختلف باختلاف السمات)، بدلاً من استخدام معامل قياس عالمي.

6. القيود

حجم العينة: توفير 50 سيناريو لكل حالة يوفر قوة للآثار الكبيرة ولكنه قد يغفل الآثار المتوسطة.
مقاييس الوكيل (Proxy Metrics): الاعتماد على عدد استدعاءات الأدوات (ask_user مقابل غيرها) قد يخلط بين الارتباط والسببية في مصفوفة السمات المتقاطعة.
التعميم: النتائج خاصة بنموذج Qwen 3.5-35B-A3B؛ ولم يتم التحقق من تعميمها على نماذج Transformer نقية أو نماذج MoE أخرى.
المقارنة المرجعية: لم يتم إجراء مقارنة مباشرة مع توجيه فرق المتوسط البسيط (بدون استخدام SAEs).

باختار، نجحت الورقة في توسيع نطاق التوجيه السلوكي إلى نموذج هجين بحجم 35 مليار بارامتر، كاشفةً أن السلوك الوكيل منظم حول "عنق زجاجة" واحد للوكالة بدلاً من خمس سمات مستقلة، ومسلطة الضوء على الفجوة الحرجة بين الارتباط التنبئي والتحكم السببي في التمثيلات العصبية.