🤖 machine learning

reward-lens: A Mechanistic Interpretability Library for Reward Models

تقدم الورقة البحثية "reward-lens"، وهي مكتبة مفتوحة المصدر تعمل على تطويع أدوات التفسير الآلي لنماذج المكافأة من خلال الاستفادة من متجه أوزان رأس المكافأة كمحور مركزي، كاشفةً أن طرق الإسناد الخطي تفشل في التنبؤ بتأثيرات الرقعة السببية (causal patching) ومن ثم تحفيز إطار عمل يعامل هذا التباين كخاصية جوهرية وليس كخطأ برمي.

المؤلفون الأصليون: Mohammed Suhail B Nadaf

نُشر 2026-04-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mohammed Suhail B Nadaf

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء روبوت ذكي للغاية يتعلم كيف يكون مفيداً من خلال الاستماع إلى التعليقات البشرية. لتعليم هذا الروبوت، لا تكتفي بمجرد قول "عمل جيد" أو "عمل سيئ"، بل تستخدم نموذج مكافأة (Reward Model). فكر في نموذج المكافأة هذا كقاضٍ صارم وغير مرئي يعطي كل إجابة رقماً واحداً (درجة) بناءً على مدى مطابقتها للتفضيلات البشرية. إذا حصل الروبوت على درجة عالية، فإنه يستمر في فعل ما فعله؛ وإذا حصل على درجة منخفضة، فإنه يحاول شيئاً آخر.

المشكلة هي: نحن لا نعرف حقاً كيف يفكر هذا القاضي.

لسنوات، امتلك العلماء مجموعة أدوات للتلصص على عقول نماذج الذكاء الاصطناعي التوليدية (تلك التي تكتب القصص أو الأكواد البرمجية). يمكنهم رؤية أي الخلايا العصبية تضيء لتقرر الكلمة التالية. لكن هذه المجموعة صُممت للنماذج التي تخرج قائمة من الكلمات. أما نموذج المكافأة، فهو لا يخرج كلمات، بل يخرج رقماً واحداً فقط. الأمر يشبه محاولة استخدام مجهر مصمم لفحص لوحة فنية لفحص قطرة حبر واحدة. الأدوات لم تكن مناسبة.

الحل: "عدسة المكافأة" (Reward-Lens)

تقدم هذه الورقة البحثية reward-lens، وهي مكتبة جديدة (مجموعة من الأدوات البرمجية) مصممة خصيصاً للنظر داخل هؤلاء القضاة الذين يخرجون "رقماً واحداً".

إليك الفكرة الجوهرية، مشروحة عبر تشبيه:

تختم أن عقل الذكاء الاصطناعي عبارة عن ممر طويل يحتوي على 32 غرفة (طبقات). في كل غرفة، يتم معالجة المعلومات ونقلها إلى الغرفة التالية. وفي نهاية الممر تماماً، يوجد مكتب القاضي (رأس المكافأة). ينظر القاضي إلى الرسالة النهائية ويكتب درجة.

أدرك المؤلفون أن مكتب القاضي لديه "اتجاه" معين يهتم به. الأمر يشبه امتلاك القاضي لمتجه (سهم) محدد يشير إلى اتجاه "الجيد".

الطريقة القديمة: حاول العلماء النظر إلى الممر عبر السؤال: "ما هي الكلمة التي ستأتي بعد ذلك؟" (وهو أمر لا معنى له بالنسبة لدرجة رقمية).
الطريقة الجديدة (Reward-Lens): تسأل المكتبة: "إلى أي مدى تدفع الرسالة الموجودة في هذه الغرفة المحددة الدرجة النهائية للأعلى أو للأسفل؟"

تقوم المكتبة بذلك عن طريق إسقاط كل خطوة في الممر على "سهم الجيد" الخاص بالقاضي. وهذا يسمح للعلماء برؤية أين بالضبط يتم حساب "الجودة" داخل العقل.

ما الذي تفعله المكتبة (مجموعة الأدوات)

تصف الورقة البحثية عدة أدوات داخل هذه المكتبة، لكل منها هدف بسيط:

1. عدسة المكافأة (الأشعة السينية):

التشبيه: تخيل مشاهدة فيلم إطاراً تلو الآخر لترى متى يقرر البطل محاربة الشرير.
الوظيفة: توضح متى بالضبط في عملية المعالجة الخاصة بالذكاء الاصطناعي (أي طبقة) يتم اتخاذ القرار بمنح درجة عالية أو منخفضة. وجد المؤلفون أنه بالنسبة لبعض النماذج، يحدث هذا القرار في وقت متأخر جداً (في الغرف الأخيرة)، بينما يحدث في نماذج أخرى في وقت مبكر وبشكل فوضوي.

2. عزْل المكونات (بطاقة الدرجات):

التشبيه: تفكيك درجة امتحان نهائي لمعرفة مقدار النقاط القادمة من المقال، والرياضيات، والاختيار من متعدد.
الوظقية: تحسب مقدار مساهمة كل جزء محدد من عقل الذكاء الاصطناعي في الدرجة النهائية.
المفاجأة الكبرى: وجد المؤلفون انفصالاً كبيراً. الأجزاء التي بدت وكأنها تقوم بأكبر قدر من العمل (بناءً على بطاقة الدرجات) لم تكن هي الأجزاء الضرورية بالفعل للحصول على الإجابة الصحيحة. إذا أوقفت الأجزاء "العليا"، فإن الدرجة تتغير قليلاً. إذا أوقفت الأجزاء "السفلى"، فإن الدرجة تنهار. هذا يعني أن النظر إلى بطاقة الدرجات وحدها أمر مضلل.

3. رقع التنشيط (اختبار الاستبدال):

التشبيه: أخذ خلية دماغية من إجابة "جيدة" واستبدالها في إجابة "سيئة" لمعرفة ما إذا كان ذلك سيصلح الإجابة السيئة.
الوظيفة: هذا اختبار "السبب والنتيجة". يقوم فعلياً باستبدال أجزاء من معالجة الذكاء الاصطناعي بين إجابة مفضلة وإجابة غير مفضلة ليرى ما الذي يغير الدرجة فعلياً. هذه هي الطريقة الوحيدة لمعرفة ما يهم حقاً.

4. كاشف الخداع (جهاز كشف الكذب):

التشبيه: اختبار ما إذا كان القاضي يسهل خداعه بالإطراء، أو الكلمات الطويلة، أو التنسيق الفخم.
الوظيفة: يتحقق مما إذا كان الذكاء الاصطناعي يكافئ "التملق" (الموافقة على المستخدم حتى عندما يكون مخطئاً) أو "انحياز الطول" (الاعتقاد بأن الإجابات الأطول هي الأفضل).
النتيجة: تصرف نموذجان مختلفان بشكل متباين جداً. أحد النموذجين كان يكره التملق والإجابات الطويلة؛ بينما كافأ الآخر كلاهما.

5. تحليل المفاهيم (كاشف الأفكار):

التشبيه: التحقق مما إذا كان لدى الذكاء الاصطناعي "فكرة" محددة لـ "كونه مهذباً" أو "كونه واثقاً" مبنية داخل عقله.
الوظيفة: يكتشف ما إذا كان لدى الذكاء الاصطناعي "متجه" خطي لمفاهيم مثل "الموافقة" أو "الإطناب" ويتحقق مما إذا كان القاضي يكافئ تلك المفاهيم.

الخلاصة الرئيسية

أهم نتيجة في هذه الورقة هي خبر سيء نوعاً ما، لكنه خبر صادق: لا يمكنك الوثوق بـ "بطاقة الدرجات" (العزو/Attribution) لتخبرك بما هو مهم حقاً.

في عالم الذكاء الاصطناعي التوليدي (كتابة القصص)، كانت بطاقة الدرجات واختبار السبب والنتيجة يتفقان عادةً. لكن بالنسبة لنماذج المكافأة، فقد اختلفا. الأجزاء التي بدت وكأنها تقوم بالعمل الشاق كانت غالباً مجرد أجزاء "فائضة" (يمكن إزالتها دون تغيير الدرجة)، بينما كانت الأجزاء التي بدت هادئة هي في الواقع الأعمدة الحاملة والحرجة.

لماذا هذا مهم؟

بنى المؤلفون هذه المكتبة لمنع العلماء من وضع افتراضات خاطئة. قبل ذلك، ربما كان الناس ينظرون إلى نموذج مكافأة، ويرون جزءاً معيناً من الدماغ يضيء، ويقولون: "آها! هنا يكمن منطق السلامة!" ويحاولون إصلاحه. تقول هذه الورقة: "انتظر، قد يكون هذا مجرد تضليل. عليك إجراء 'اختبار الاستبدال' (الرقع/Patching) لتتأكد".

المكتبة متاحة الآن لأي شخص لاستخدامها من أجل:

معرفة متى تتشكل التفضيلات في عقل الذكاء الاصطناعي.
اكتشاف ما إذا كان الذكاء الاصطناعي يتم خداعه بالتملق أو التنسيق.
فهم سبب اتخاذ نماذج مختلفة من الذكاء الاصطناعي لقرارات سلامة مختلفة.

باختصار، reward-lens هي أول زوج من النظارات التي تسم تسمح لنا برؤية كيف يفكر "القاضي" داخل ذكائنا الاصطناعي بوضوح، كاشفة أن العقل أكثر تعقيداً وخداعاً مما كنا نعتقد سابقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "reward-lens: مكتبة التفسير الآلي لنماذج المكافأة."

1. بيان المشكلة

يعتمد التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) على نماذج المكافأة (Reward Models) لتشكيل سلوك النماذج اللغوية الكبيرة (LLMs). إذا قام نموذج المكافأة بتشفير تفضيلات غير صحيحة، فإن السياسة الناتجة ترث تلك الأخطاء وتضخمها. وبينما نضج التقييم السلوكي لنماذج المكافأة (مثل RewardBench)، فإن التفسير الآلي (Mechanistic Interpretability) لنماذج المكافأة يكاد يكون معدومًا.

تعتمد أدوات التفسير الحالية (مثل TransformerLens وLogit Lens وDirect Logit Attribution) على النماذج التوليدية للغات الكبيرة. وهي تعتمد على إسقاط حالات النموذج الوسيطة على مصفوفة عدم التضمين للمفردات ( $W_U$ ) لتحليل توزيعات الرموز (tokens). ومع ذلك، تستبدل نماذج المكافأة $W_U$ بـ رأس انحدار قياسي ( $w_r$ ). هذا الاختلاف الهيكلي يجعل البدائيات القياسية غير قابلة للتطبيق، مما يخلق "فجوة هيكلية" حيث تظل الآليات الداخلية لنماذج المكافأة ذات الأهمية القصوى للسلامة بمثابة صندوق أسود.

2. المنهجية: منظور مركز حول $w_r$

تقدم الورقة reward-lens، وهي مكتبة مفتوحة المصدر تعمل على تكييف بدائيات التفسير الآلي لنماذج المكافأة. الرؤية النظرية الجوهرية هي أن متجه وزن رأس المكافأة، $w_r$ ، يعمل كمحور طبيعي لجميع أسئلة التفسير.

تعتمد المكتبة على ملاحظة أن المكافأة النهائية $r$ هي دالة خطية لتدفق المتبقي النهائي $h_{final}$ :
$r = w_r^\top h_{final} + b_r$
بما أن التدفق المتبقي يتفكك جمعيًا عبر الطبقات ( $h_{final} = h_{embed} + \sum (attn^{(\ell)} + mlp^{(\ell)})$ )، يمكن تفكيك المكافأة بدقة كالتالي:
$r = w_r^\top h_{embed} + \sum (w_r^\top attn^{(\ell)} + w_r^\top mlp^{(\ell)}) + b_r$

بناءً على ذلك، تقوم المكتبة بتنفيذ البدائيات التالية عن طريق استبدال $W_U$ بـ $w_r$ :

عدسة المكافأة (Reward Lens): تسقط التدفقات المتبقية الوسيطة عند الطبقة $\ell$ على $w_r$ لتتبع "تبلور" إشارات التفضيل عبر الطبقات.
إسناد المكونات (Component Attribution): يحسب مساهمة كل طبقة فرعية (الانتباه/MLP) في مكافأة القياس النهائية عبر $w_r^\top \cdot \text{contribution}$ .
الترقيع التبايني للتنشيط (Contrastive Activation Patching): يستبدل التنشيطات بين الإكمالات المفضلة وغير المفضلة ويقيس التغير في $w_r^\top h_{final}$ . وهذا أمر أصيل في نماذج المكافأة نظرًا للهيكل التبايني المتأصل في بيانات التفضيل.
إسناد ميزة SAE (SAE Feature Attribution): يستخدم المشفرات التلقائية المتفرقة (SAEs) لتفكيك التدفقات المتبقية إلى ميزات، مع حساب محاذاة الميزة كـ $w_r^\top d_i$ (حيث $d_i$ هو متجه القاموس).

استقلالية البنية: تستخدم المكتبة نهجًا أصيلًا لـ HuggingFace مع بروتوكول مهايئ مكون من 10 طرق. يتيح ذلك تغليف النماذج القياسية (Llama, Mistral, Gemma-2) والنماذج المعقدة متعددة الأهداف (مثل ArmoRM مع بوابة MoE) دون الحاجة إلى جراحة للأوزان.

التوسعات القائمة على النظرية: تحول المكتبة نتائج نظرية المحاذاة الحديثة إلى كود برمجي:

مؤشر التشوه (Distortion Index): يتنبأ بأبعاد الجودة التي لم يتم تغطيتها بشكل كافٍ بواسطة مجسات التقييم (خطر اختراق المكافأة).
الترقيع المدرك للانحراف (Divergence-Aware Patching): يكتشف متى يؤدي الترقيع إلى تنشيطات خارج نطاق التوزيع.
كاشف تسلسل عدم المحاذاة (Misalignment Cascade Detector): يحدد أنماط الفشل المترابطة عبر مختلف أبعاد عدم المحاذاة.
محلل صراع حدود المكافأة (Reward-Term Conflict Analyzer): يتحقق مما إذا كانت أهداف المكافأة المختلفة متوافقة، أو متعامدة، أو في حالة صراع.
تحليل متجه المفهوم (Concept-Vector Analysis): يستخرج اتجاهات المفاهيم الخطية ويقيس استجابة الجرعة السببية للمكافأة.

3. المساهمات الرئيسية

المكتبة (reward-lens): أول مجموعة أدوات قابلة للتثبيت ومستقلة عن البنية للتفسير الآلي لنماذج المكافأة. توحد الرؤى الرصدية (الإسناد) والسببية (الترقيع) تحت إطار جبري واحد.
التأطير الموحد: تثبت أن كل بدائية تفسير مفيدة لنموذج المكافأة هي عبارة عن إسقاط على أو تفكيك على طول $w_r$ .
التحقق التجريبي: التطبيق المنهجي على نموذجين من الإنتاج: Skywork-Reward-Llama-3.1-8B-v0.2 (رأس قياسي واحد) و ArmoRM-Llama3-8B-v0.1 (رأس متعدد الأهداف).
النتيجة التجريبية السلبية: تذكر الورقة صراحة أن الإسناد الخطي لا يتنبأ بالأهمية السببية في نماذج المكافأة.

4. النتائج والنتائج الرئيسية

قيم المؤلفون المكتبة على حوالي 695 زوج تفضيل من RewardBench لكل نموذج.

عمق التبلور (Crystallization Depth):
- Skywork: تتبلور التفضيلات بشكل موحد في وقت متأخر (عمق الطبقة الجزئي $\approx 0.90$ )، مما يشير إلى آلية موحدة تتجمع بالقرب من المخرجات.
- ArmoRM: تتبلور التفضيلات في وقت مبكر وبتباين أعلى، مما يعكس بنيتها متعددة الأهداف والموجهة بـ MoE.
الإسناد مقابل السببية (فجوة الإخلاص):
- الإسناد الرصدي: تهيمن طبقات MLP النهائية (تحديدًا mlp_L31) على إشارة المكافأة في كلا النموذجين.
- الترقيع السببي: غالبًا ما تكون المكونات في الطبقات المبكرة (مثل mlp_L0 و attn_L0) هي الأكثر أهمية للمكافأة النهائية.
- الارتباط: ارتباط رتب سبيرمان بين حجم الإسناد وتأثير الترقيع سالب أو قريب من الصفر (Skywork: $\rho = -0.256$ ؛ ArmoRM: $\rho = -0.027$ ).
- التفسير: هذا ليس خطأً بل ميزة ناتجة عن فائض التدفقات المتبقية. يمكن تعطيل المكونات في الطبقات المتأخرة لأن المسارات المتوازية تعوضها، بينما تعتبر الطبقات المبكرة "حاملة للعبء".
ملفات اختراق المكافأة (Reward Hacking Profiles):
- Skywork يعاقب الطول، والثقة، وتحيزات التنسيق (على عكس نماذج RLHF التقليدية التي تكافئها).
- ArmoRM يكافئ الثقة والتنسيق ولكنه يعاقب التملق (Sycophancy).
محاذاة المفهوم:
- يظهر Skywork محاذاة خطية قوية مع مفاهيم مثل "الموافقة" (الميل $\approx 1.0$ ).
- يظهر ArmoRM محاذاة ضعيفة ( $\approx 1\%$ الحجم) مع المفاهيم الخطية، مما يشير إلى هندسة مكافأة أكثر تعقيدًا وغير خطية.

5. الأهمية

تحول النموذج: تجادل الورقة بأن على الباحثين التوقف عن معاملة الإسناد الرصدي كبديل للأهمية السببية في نماذج المكافأة. الفجوة بينهما هيكلية ويجب قياسها، لا تجاهلها.
أدوات السلامة: من خلال توفير أدوات لاكتشاف "التشوه" (الأبعاد غير المغطاة كفاية) و"تسلسلات عدم المحاذاة"، تمكن المكتبة من المراقبة أثناء التدريب. هذا ينقل تدقيق نموذج المكافأة من نشاط لاحق (post-hoc) إلى ضمانة في الوقت الفعلي خلال حلقة تدريب RLHF.
القابلية للتعديل: يحدد الإطار ميزات ومفاهيم محددة تقود إشارات المكافأة، مما يمهد الطريق لـ تعديل نموذج المكافأة الموجه بالتفسير (مثل قمع مفهوم "التملق" من رأس المكافأة) قبل تدريب السياسة اللاحقة.
العلم المفتوح: من خلال إطلاق reward-lens ، يتيح المؤلفون الوصول إلى الآليات الداخلية لنماذج المكافأة، وهي خطوة حاسمة لضمان سلامة أنظمة الذكاء الاصطناي المتقدمة.

في الختام، تسد reward-lens فجوة حرجة في سلامة الذكاء الاصطناعي عبر تكييف التفسير الآلي لطبيعة المخرجات القياسية لنماذج المكافأة، كاشفة أن منطقها الداخلي غالبًا ما يكون غير بديهي (الإسناد المتأخر $\neq$ السببية المبكرة) وتوفر الأدوات اللازمة لتشخيص وإصلاح فشل المحاذاة قبل أن تنتقل إلى نماذج السياسة.