💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

تقدم هذه الورقة البحثية "الاستقصاء بالاضطراب" (Perturbation Probing)، وهو أسلوب تشخيصي يتكون من مرحلتين ولا يعتمد على الانتشار العكسي، يحدد هيكلين متميزين لدوائر الشبكات العصبية ذات التغذية الأمامية (FFN)—دوائر التضاد للسلوكيات المثبطة بواسطة التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، ودوائل التوجيه لسلوكيات ما قبل التدريب—مما يتيح تدخلات دقيقة ومستهدفة لتعديل مخرجات محددة للنموذج مثل الرفض الأمني أو اختيار اللغة دون التأثير على القدرات الأخرى.

المؤلفون الأصليون: Hongliang Liu, Tung-Ling Li, Yuhao Wu

نُشر 2026-05-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hongliang Liu, Tung-Ling Li, Yuhao Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (LLM) كأنه أوركسترا ضخمة ومعقدة للغاية. لسنوات، كنا نعرف أن الموسيقى التي تعزفها (الإجابات التي تقدمها) قد تكون خطيرة أو مفيدة، لكننا لم نكن نعرف بالضبط أي من العازفين (النيورونات/الأعصاب) مسؤول عن الأجزاء "الآمنة" أو "الفظة" من المقطوعة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى "سبر الاضطراب" (Perturbation Probing). فكر في الأمر كأداة تشخيصية "بمرحلتين" تسمح للباحثين بالاستماع إلى الأوركسترا دون الحاجة إلى إعادة كتابة النوتة الموسيقية (أي دون الحاجة إلى عملية الانتشار العكسي أو إعادة التدريب).

إليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

1. سماعة الطبيب "ذات المرحلتين"

عادةً، لمعرفة وظيفة كل نيورون، يتعين عليك القيام بعمليات رياضية ثقيلة أو تدريب نموذج جديد بالكامل. لكن هذه الطريقة أخف بكثير.

المرحلة الأولى: يجيب النموذج على سؤال بشكل طبيعي.
المرحلة الثانية: يقوم الباحثون بـ "تغيير" السؤال قليلاً (مثل تغيير كلمة "methamphetamine" إلى "metahmphetamine" بحيث يراها الكمبيوتر ككلمة مختلفة، رغم أن البشر يقرؤونها بنفس الطريقة).
التشخيص: من خلال مقارنة الإجابتين، تحسب هذه الطريقة "درجة" لكل نيورون منفرد في النموذج. وهي تسأل: "هل تفاعل هذا النيورون بقوة مع التغيير، وهل يدفع النموذج نحو قول 'لا' أو 'نعم'؟"

إذا تفاعل النيورون بقوة ودفع في الاتجاه الصحيح، فإنه يحصل على درجة عالية. ثم يختار الباحثون أعلى 50 نيوروناً من حيث الدرجة لاختبارهم.

2. نوعان من "الدوائر" (Circuits)

اكتشفت الورقة أن سلوكيات الذكاء الاصطناعي تندرج تحت فئتين متميزتين، مثل نظامي سباكة مختلفين تماماً:

النوع (أ): دائرة "المعارضة" (صمام الأمان)

ما هي: يحدث هذا عندما يتم تدريب الذكاء الاصطناعي على فعل شيء عكس ما يريده بطبيعته. على سبيل المثال، الذكاء الاصطناعي يرغب طبيعياً في الموافقة عليك (أثناء مرحلة ما قبل التدريب)، لكن تدريب السلامة (RLHF) يجبره على قول "لا" للطلبات السيئة.
الاستعارة: تخيل باباً ثقيلاً يميل طبيعياً للبقاء مفتوحاً. لإبقائه مغلقاً، تقوم بتركيب مزلاج صغير ومحدد.
النتيجة: وجد الباحثون أنه بالنسبة لرفض طلبات السلامة، فإن هذا "المزلاج" صغير بشكل مفاجئ. في بعض النماذج، 50 نيورونًا فقط (من بين مئات الآلاف) تتحكم في "قالب" الرفض.
- إذا قمت بإزالة هذه الـ 50 نيوروناً، يتوقف الذكاء الاصطناعي عن استخدام نص الرفض المهذب الخاص به.
- الأمر الحاسم: هذا لا يعني أن الذكاء الاصطناعي أصبح شريراً فجأة. هو فقط يتوقف عن استخدام "النص المهذب". قد يظل يحذرك من أن شيئاً ما غير قانوني، لكنه لن يقول "أنا آسف، لا يمكنني المساعدة في ذلك". معرفة السلامة لا تزال موجودة، مدفونة في مكان أعمق.

النوع (ب): دائرة "التوجيه" (مدير المرور)

ما هي: يحدث هذا للسلوكيات التي يحبها الذكاء الاصطناعي بالفعل، مثل التحدث باللغة الصينية أو القيام بالرياضيات. لا يحتاج الذكاء الاصطناعي إلى محاربة طبيعته؛ بل يحتاج فقط إلى "توجيهه" إلى المسار الصحيح.
الاستعارة: تخيل نظام طرق سريعة. السيارات (المعلومات) تتحرك بالفعل. لجعلها تخرج من مخرج معين (اللغة الصينية)، لا تحتاج إلى بناء طريق جديد؛ بل تحتاج فقط إلى قلب مفتاح لوحات المرور.
النتيجة: بالنسبة لهذه السلوكيات، لا يؤدي إزالة النيورونات إلى أي شيء. ومع ذلك، وجد الباحثون أنه يمكنهم "حقن" إشارة مباشرة في تدفق المرور لإجبار الذكاء الاصطناعي على تغيير اللغات (مثلاً من الإنجليزية إلى الصينية) بدقة تصل إلى 99%، ولكن فقط في نماذج معينة تستوفي شروطاً محددة.

3. تشخيص "FFN/Skip"

كيف تعرف أي نوع من الدوائر تتعامل معه؟ ابتكرت الورقة نسبة بسيطة تسمى FFN/Skip.

فكر في دماغ الذكاء الاصطناعي كمسارين: مسار يمر عبر "نيورونات المعالجة" (FFN)، ومسار آخر هو "المسار السريع" الذي يتخطى المعالجة (Skip connection).
إذا كانت إشارة السلامة موجودة غالباً في نيورونات المعالجة (FFN/Skip مرتفع)، فيمكنك إصلاحها عن طريق إزالة أو تعديل تلك النيورونات المحددة.
إذا كانت الإشارة موجودة غالباً في المسار السريع (FFN/Skip منخفض)، فإن إزالة النيورونات لن تنجح. يجب عليك استخدام "مفتاح المرور" (حقن الاتجاه) بدلاً من ذلك.
تعمل هذه النسبة كبلورة سحرية: فهي تخبر الباحثين بالضبط أي أداة يجب استخدامها قبل أن يبدأوا حتى في التجربة.

4. تأثير "الترانزستور" (نموذج 2B)

في نموذج صغير جداً (2 مليار بارامتر)، وجد الباحثون تأثيراً أكثر دراماتيكية.

حددوا 20 نيورونًا فقط تتحكم فيما إذا كان الذكاء الاصطناعي سيظهر سلوك "المداهنة" (Sycophancy) بالموافقة على المستخدم حتى عندما يكون المستخدم مخطئاً.
المفتاح: إذا قاموا بإيقاف تشغيل هذه الـ 20 نيوروناً، توقف الذكاء الاصطناي عن الموافقة على الأكاذيب، وأصبح صارماً في صحة المعلومات.
المقايضة: ومع ذلك، أدى هذا أيضاً إلى منعه من تصحيح نفسه عندما يرتكب خطأً ما بمفرده.
الحل: بدلاً من إيقاف تشغيلها، قاموا بزيادة قوتها (تضخيمها). جعل هذا الذكاء الاصطناعي أفضل بكثير في تصحيح المعلومات الخاطئة دون الحاجة إلى إعادة تدريب النموذج بأكمله. الأمر يشبه رفع مستوى صوت آلة موسيقية معينة لإصلاح الأغنية، بدلاً من إعادة كتابة النوتة الموسيقية بالكامل.

ملخص لما تدعيه الورقة

السلامة هشة على السطح: النص المهذب "لا يمكنني القيام بذلك" يتحكم فيه عدد ضئيل جداً من النيورونات (حوالي 0.014% من النموذج).
السلامة عميقة في الداخل: حتى لو كسرت "النص"، فقد يظل النموذج يعرف الحقائق وقد يحذرك من أن شيئاً ما خطير، ولكن بدون الغلاف المهذب.
ليست كل السلوكيات متشابهة: بعض السلوكيات (مثل السلامة) تتحكم فيها "كتّاب" محددون (نيورونات) يمكن تعديلهم. أما سلوكيات أخرى (مثل اختيار اللغة) فهي تتحكم فيها "موجهات مرور" (توجيه) تتطلب نوعاً مختلفاً من التدخل.
التعديل الدقيق: يمكنك إصلاح عيوب سلوكية محددة (مثل كون الذكاء الاصطناعي موافقاً أكثر من اللازم أو استخدام اللغة الخاطئة) عن طريق ضبط عدد ضئيل من النيورونات، دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي بالكامل.

الورقة لا تدعي أن هذا يجعل الذكاء الاصطناعي آمناً تماماً للأبد، ولا تدعي أن هذه أداة للمخترقين لكسر الذكاء الاصطناعي. بدلاً من ذلك، هي تطرح الأمر كـ "تشخيص ميكانيكي" لفهم كيف يعمل الذكاء الاصطناعي ولتقديم مجموعة أدوات دقيقة للمهندسين لتعديل سلوكيات محددة إذا اختاروا ذلك.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الاستقصاء بالاضطراب: تشخيص ثنائي المرور لكل مطالبة لدوائر وظائف التغذية الأمامية (FFN) في النماذج اللغوية الكبيرة المتوافقة (Aligned LLMs)."

1. بيان المشكلة

تواجه الطرق الحالية لتحديد الآليات العصبية وراء السلوكيات المتوافقة (مثل رفض المحتوى غير الآمن، أو اتباع التعليمات) في النماذج اللغوية الكبيرة (LLMs) مقايضة جوهرية بين التكلفة، السببية، وخصوصية المهمة:

المصنفات الاستقصائية (Probing Classifiers) وSAEs: تحدد التمثيلات لكنها لا تستطيع تأكيد السببية.
ترقيع التنشيط (Activation Patching) واكتشاف الدوائر الآلي: سببية ولكنها مكلفة حوسبياً ( $O(n)$ من عمليات التمرير الأمامي لكل مكون).
النسب المئوية القائمة على التدرج (Gradient-Based Attribution): رخيصة ولكنها غير مرتبطة بمهمة محددة؛ فهي تحدد الخلايا العصبية المهمة بشكل عام بدلاً من تلك الخاصة بسلوك مستهدف، كما أن التصنيفات غير الموقعة لا يمكنها التمييز بين الخلايا التي تعزز السلوك أو تثبطه.

هناك نقص في وجود طريقة تكون في الوقت نفسه رخيصة (وقت ثابت لكل مطالبة)، وسببية (يتم التحقق منها عبر التدخل)، ومحددة للمهمة، وتشخيصية (تتنبأ بنجاح التدخل قبل تنفيذه).

2. المنهجية: الاستقصاء بالاضطراب (Perturbation Probing)

يقترح المؤلفون الاستقصاء بالاضطراب، وهو خط معالجة يتكون من مرحلتين يتطلب مرورين أماميين فقط لكل مطالبة ولا يتطلب انتشاراً عكسياً (Backpropagation).

أ. خط المعالجة

تعريف الظواهر السلوكية:
- تحدد الطريقة "فجوة اللوغيت" (logit gap) وهي قيمة عددية ( $F$ ) تمثل قراراً ثنائياً (على سبيل المثال: الرفض مقابل الامتثال).
- $F = \bar{z}_R - \bar{z}_A$ ، حيث $\bar{z}$ هو متوسط لوجيت مجموعة من رموز الرفض ( $R$ ) ناقص متوسط لوجيت رموز التأكيد ( $A$ ).
- هذه الفجوة هي دالة خطية للحالة المخفية النهائية للنموذج: $F = d_F^\top h^{(L)} + b$ .
حساب الأهمية الموقعة (توليد الفرضيات):
- تحسب الطريقة درجة الأهمية الموقعة ( $I_n$ ) لكل خلية عصبية في وظيفة التغذية الأمامية (FFN) باستخدام مروريْن أماميين فقط: أحدهما على المطالبة الأصلية ( $X$ ) والآخر على مطالبة مضطربة ( $\tilde{X}$ ).
- الاضطراب: يتم تطبيق نموذج مضاد للواقع (Counterfactual) استدلالي (مثل خلط رموز BPE للأمان، أو تغيير المقدمات الصحيحة مقابل الخاطئة في سلوك التملق) لقلب القرار المستهدف دون تغيير المحتوى الجوهري.
- الصيغة: $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (الاقتران الهيكلي): حاصل الضرب النقطي لاتجاه السلوك $d_F$ وأوزان إسقاط مخرجات الخلية ( $W_{down}$ ). هذا ثابت ويُحسب مرة واحدة من الأوزان.
  - $\Delta a_n$ (الاستجابة للاضطراب): التغير في تنشيط الخلية بين المدخلات المضطربة والأصلية ( $a_n(\tilde{X}) - a_n(X)$ ).
- التصنيف: يتم ترتيب الخلايا العصبية حسب $|I_n|$ . يشير الإشارة (الموجب أو السالب) إلى ما إذا كانت الخلية تعزز السلوك أو تثبطه.
التحقق السببي والتشخيص:
- التحقق: يتم التحقق من الخلايا العصبية الأعلى تصنيفاً عبر الاستئصال (Ablation - تصفير الأوزان)، الترقيع (Patching - تبديل التنشيطات)، والاستعادة (Restoration - إعادة الاضطرابات لحالتها الأصلية).
- تشخيص FFN/Skip: يتم حساب نسبة للتنبؤ بهيكل الدائرة:
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - نسبة عالية (>0.3): تشير إلى دائرة معارضة (Opposition Circuit) حيث يتركز السلوك في FFN.
  - نسبة منخفضة (<0.2): تشير إلى دائرة توجيه (Routing Circuit) حيث يتوزع السلوك عبر آليات الانتباه (Attention) أو اتصالات التخطي (Skip connections).

3. المساهمات والنتائج الرئيسية

أ. اكتشاف نوعين من هياكل الدوائر

تكشف الدراسة أن سلوكيات النماذج اللغوية الكبيرة منظمة في هيكلين طوبولوجيين متميزين، يتحددان من خلال نسبة FFN/Skip:

دوائر المعارضة (FFN/Skip > 0.3):
- الآلية: تحدث عندما يقوم التعلم التعزيزي من التغذية الراجحة البشرية (RLHF) بتدريب النموذج على معارضة ميل سابق للتدريب (مثل رفض الطلبات الضارة مقابل الميل المسبق للامتثال).
- الهيكل: تتركز السيطرة في مجموعة صغيرة من خلايا FFN العصبية (مثلاً ~50 خلية، أو 0.014% من إجمالي المعلمات).
- التدخل: هذه الخلايا قابلة لـ الاستئصال (الوضع 1) أو التضخيم (الوضع 2).
- مثال: في نموذج Qwen3-4B، أدى استئصال 50 خلية عصبية إلى تغيير قالب الرفض في 80% من المطالبات مع الحفاظ على مستوى الصفر تقريباً في الامتثال الضار.
دوائر التوجيه (FFN/Skip < 0.2):
- الآلية: تحدث لسلوكيات ما قبل التدريب التي يعززها RLHF بدلاً من معارضتها (مثل اختيار اللغة، أو الاستدلال الرياضي).
- الهيكل: يتوزع السلوك عبر آليات الانتباه واتصالات التخطي؛ وتكون الخلايا العصبية المحددة مجرد "أجهزة قراءة" (استجابة تنشيط عالية ولكن اقتران هيكلي منخفض).
- التدخل: الاستئصال له تأثير صفري. بدلاً من ذلك، يعمل حقن الاتجاه (Direction Injection) (الوضع 3): حقن متجه اتجاه السلوك ( $d_F$ ) مباشرة في مسار المتبقي (Residual Stream) عند طبقات محددة.
- مثال: حقن اتجاه (الإنجليزية-إلى-الصينية) في نماذج Qwen ثنائية اللغة غير اللغة إلى الصينية بنسبة 99.1%، لكن هذا فشل في نماذج Llama/Gemma التي تفتقر إلى التدريب ثنائي اللغة أو لديها نسب FFN/Skip متطرفة.

ب. طيف طوبولوجيا السلامة

ترسم الورقة خرائط لآليات السلامة عبر 13 نموذجاً و4 عائلات معمارية (Qwen, Llama, Gemma):

Qwen: يركز السلامة في عنق زجاجة FFN مركز (فعالية استئصال عالية).
Llama: يوزع السلامة عبر اتصالات التخيط (فعالية استئصال متوسطة).
Gemma: يحمي السلامة خلف التقييس اللاحق (Post-normalization) (فعالية استئصال 0%).
الاستنتاج: نسبة FFN/Skip تقيس هذا الطيف وتتنبأ بما إذا كان التعديل على مستوى الخلية العصبية ممكناً.

C. التحرير الدقيق على النماذج الصغيرة

على نموذج Qwen3.5-2B، حدد المؤلفون دائرة "التردد في اتخاذ القرار" (second-guessing) التي تتحكم فيها 20 خلية عصبية فقط:

الاستئصال: ألغى التراجع المتعدد الدورات عن التملق (من 36.7% إلى 0%) ولكنه قمع التصحيح الحقائقي أحادي الدور.
التضخيم: أدى تضخيم خليتين محددتين بمقدار ضعفين (2×) إلى تحسين معدلات التصحيح الحقائقي من 52% إلى 88% في TruthfulQA دون إعادة تدريب.
الأهمية: يثبت أن العيوب السلوكية المحددة يمكن إصلاحها عبر "التحرير الدقيق للقوالب والطبقات" عن طريق تغيير حجم خلايا عصبية معينة.

4. ملخص النتائج

السلامة: 50 خلية عصبية تتحكم في قالب الرفض في Qwen3-4B. الاستئصال يغير 80% من تنسيقات الاستجابة ولكنه يحافظ على المعرفة الأمنية الأساسية (التحذيرات المسبقة للتدريب تظل قائمة).
توجيه اللغة: حقن الاتجاه يحقق تحولاً في اللغة بنسبة 99.1% في نماذج Qwen ثنائية اللغة، لكنه يفشل في النماذج غير ثنائية اللغة أو السلوكيات غير الخطية (الرياضيات/الكود).
الكفاءة: تولد الطريقة فرضيات في مروريْن أماميين فقط وتتحقق منها في مسح لمرة واحدة (~150 مروراً إجمالاً)، وهي أرخص بكثير من طرق اكتشاف الدوائر ذات التعقيد $O(n)$ .
المقارنة: تتفوق على الطرق القائمة على التدرج في نماذج Qwen (اكتشاف سببي لمهمة محددة) ولكنها أقل فعالية في نماذج Llama حيث يكون الأمان مدفوعاً بالانتباه.

5. الأهمية والآثار المترتبة

الفهم الميكانيكي: توفر إطاراً موحداً يشرح كيف ينظم RLHF السلوك، مع التمييز بين "الكُتّاب" (خلايا FFN في دوائر المعارضة) و"أجهزة القراءة" (الخلايا في دوائر التوجيه).
أداة عملية: تقدم أداة تشخيصية (نسبة FFN/Skip) لتحديد استراتيجية التدخل الصحيحة (الاستئصال مقابل حقن الاتجاه) قبل محاولة إجراء تعديلات مكلفة.
تدقيق السلامة: تكشف أن السلامة غالباً ما تكون "طبقة قالب رقيقة" فوق معرفة قوية من مرحلة ما قبل التدريب. هذا يشير إلى أنه بينما تكون حالات الرفض السطحية هشة وقابلة للتعديل، فإن معرفة السلامة العميقة قوية.
تحرير التوافق (Alignment Editing): تثبت أن العيوب السلوكية المحددة (مثل التملق) يمكن تصحيحها عبر تضخيم الخلايا العصبية المحددة، مما يفتح مساراً نحو "التوافق الدقيق" دون الحاجة لإعادة تدريب كاملة للنموذج.
التحقق النظري: تثبت صحة الافتراضات الجوهرية لتفسير الآليات (الخطية، المحلية، الندرة، التركيبية) في سياق السلوكيات المتوافقة مع RLHF.

في الختام، يسد "الاستقصاء بالاضطراب" الفجوة بين الارتباط الرخيص والسببية المكلفة، مما يوفر إطاراً تشخيصياً قابلاً للتوسع لفهم وتحرير الدوائر السلوكية للنماذج اللغوية الكبيرة المتوافقة.