💬 NLP

Interpreting and Controlling LLM Reasoning through Integrated Policy Gradient

تقدم هذه الورقة البحثية "تدرج السياسة المتكامل" (IPG)، وهو إطار عمل مبتكر يعزز قابلية التفسير والتحكم في استدلال النماذج اللغوية الكبيرة من خلال عزو المساهمات المتسلسلة إلى المكونات الداخلية عبر الانتشار العكسي للإشارات القائمة على النتائج، مما يتيح تحديد المواقع بدقة أكبر وضبط سلوكيات الاستدلال بشكل موثوق.

المؤلفون الأصليون: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه أوركسترا ضخمة وذكية للغاية تعزف سيمفونية معقدة. عندما تعزف الأوركسترا مقطوعة مثالية (تحل مسألة رياضية صعبة)، فإننا نعلم أن النتيجة جيدة. ولكن إذا سألت: "أي عازف كمان أو عازف طبول تحديداً هو من جعل تلك النوتة المثالية تحدث؟" أو "كيف يمكننا أن نطلب من عازف الطبول أن يعزف بصوت أعلى دون أن يفسد الأغنية بأكملها؟" — لا أحد يعرف حقاً. الموسيقى تحدث، لكن الآليات الداخلية هي "صندوق أسود".

تقدم هذه الورقة البحثية أداة جديدة تسمى "تدرج السياسة المتكامل" (Integrated Policy Gradient - IPG) لحل هذا الغموض. وإليك كيف تعمل، مشروحة ببساطة:

١. المشكلة: التخمين مقابل المعرفة

حاولت الطرق السابقة العثور على "نيورونات الاستدلال" (الأجزاء المحددة في الدماغ التي تقوم بالتفكير) بطريقتين:

طريقة "الكلمة المفتاحية": بحثوا عن النيورونات التي تضيء كلما قال النموذج كلمات مثل "انتظر" أو "دعنا نفكر". الأمر يشبه افتراض أن عازف الطبول لا يعزف إلا عندما يقول المايسترو "صولو طبول!". وهذا يتجاهل العمل الشاق والهادئ الذي يحدث في الفترات بين الكلمات.
طريقة "المقارنة": قارنوا بين محفزين (Prompts) متشابهين جداً (أحدهما جعل النموذج يصيب والآخر جعله يخطئ) لإيجاد الفرق. الأمر يشبه محاولة فهم كيفية عمل محرك السيارة من خلال مقارنة سيارتين، إحداهما بإطار مثقوب والأخرى سليمة. هذه العملية فوضوية وغالباً ما تكون غير موثوقة.

فشلت هذه الطرق لأن الاستدلال ليس لحظة واحدة؛ بل هو رحلة طويلة. خطوة خاطئة في البداية يمكن أن تفسد الإجابة في النهاية، لكن الطرق القديمة لم تستطع تتبع هذا السلسلة الطويلة من السبب والنتيجة.

٢. الحل: "محقق النتائج"

يقترح المؤلفون IPG، والذي يعمل مثل محقق يهتم فقط بالنتيجة النهائية (النتيجة) ولكنه يتتبع الأدلة وصولاً إلى البداية.

التشبيه: تخيل سباق تتابع. الفريق يفوز (النتيجة). الطرق القديمة قد تنظر فقط إلى العداء الذي عبر خط النهاية. أما IPG، فهو ينظر إلى السباق بأكمله. يتساءل: "أي سرعة للعداء، وأي تسليم للعصا، وأي منعطف ساهم أكثر في فوز الفريق؟"
كيف يعمل:
1. التوجه نحو النتيجة: يبدأ IPG بالإجابة النهائية. هل أصاب النموذج أم أخطأ؟ (نعم/لا).
2. التتبع العكسي: يرسل إشارة للخلف عبر "عملية التفكير" (المسار) الخاصة بالنموذ de. يتساءل: "إلى أي مدى ساهم هذا النيورون أو هذه الخاصية المحددة في تحقيق نتيجة الـ 'نعم' تلك؟"
3. المسار المتكامل: بدلاً من النظر إلى لقطة واحدة فقط، يقوم بمتوسط المساهمة على طول المسار بأك അതിന്റെ من البداية إلى النهاية. هذا يضمن التقاط التأثير التراكمي للنيورون، وليس مجرد شرارة عابرة.

٣. ماذا وجدوا: "مفاتيح الاستدلال"

باستخدام IPG، حدد الباحثون "مفاتيح" محددة (نيورونات أو خصائص) داخل النموذج تتحكم في الاستدلال.

رفع مستوى الصوت (التعزيز): عندما رفعوا نشاط هذه المفاتيح المحددة، أصبح النموذج أفضل في المسائل الرياضية؛ حيث حلها بدقة أكبر.
خفض مستوى الصوت (التثبيط): عندما خفضوا نشاط هذه المفاتيح، انهيار أداء النموذج؛ ولم يعد قادراً على حل المسائل.
الضبط الدقيق: وجدوا أنه بإمكانهم التحكم في جوانب مختلفة من الاستدلال. بعض المفاتيح تحكم مدى دقة وعمق التفكير، بينما تحكم أخرى مدى طول سلسلة الاستدلال. الأمر يشبه امتلاك مقابض منفصلة لـ "مستوى الصوت"، و"الباص"، و"التريبل" بدلاً من مجرد مفتاح تشغيل/إيقاف واحد.

٤. سحر القابلية للنقل

أحد أروع النتائج هو أن "مفاتيح الاستدلال" هذه عالمية.

التشبيه: تخيل أنك وجدت الترس المحدد في محرك سيارة يجعلها تسير بسرعة. لقد وجدته في سيارة صغيرة. توضح الورقة أنك إذا أخذت نفس هذا الترس ووضعته في شاحنة كبيرة (نموذج مختلف من نفس العائلة)، فسيظل يعمل لجعل الشاحنة تسير بشكل أسرع.
الادعاء: أخذوا المفاتيح التي وجدوها في نموذج تعلم الاستدلال بمجرد تلقي المحفزات (مثل طالب يقرأ كتاباً) وطبقوها على نموذج تم تدريبه خصيصاً على الاستدلال (مثل طالب ذهب إلى مدرسة خاصة). عملت المفاتيح بشكل مثالي في كليهما، مما يشير إلى أن "آلات الاستدلال" الأساسية هي نفسها.

٥. لماذا هذا مهم (وفقاً للورقة)

تدعي الورقة أن هذا يمثل خطوة كبيرة للأمام لأن:

لا حاجة لإعادة التدريب: لا يتعين عليك إعادة تدريب النموذج الضخم (وهو أمر مكلف وبطيء). أنت فقط تحدد الأجزاء وتقوم بتعديلها.
التحكم الدقيق: يتيح لنا ذلك توجيه سلوك النموذج بشكل موثوق، مما يجعله أذكى أو يغير طريقة تفكيره، دون أن يؤدي ذلك إلى تعطيله.
فهم "السبب": ينقلنا من مرحلة التخمين حول الأجزاء النشطة في الدماغ إلى معرفة الأجزاء التي تسببت فعلياً في النجاح.

باختصار، IPG هو أداة تسمح لنا بالنظر داخل الصندوق الأسود، وإيجاد الأجهزة (الدوال) المحددة التي تتحكم في ذكاء النموذج، ورفع مستواها أو خفضه لجعل النموذج يفكر بشكل أفضل، كل ذلك دون الحاجة إلى إعادة بناء الآلة.

ملخص تقني: تفسير والتحكم في استدلال النماذج اللغوية الكبيرة عبر تدرج السياسة المتكامل

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات استدلال متطورة، ومع ذلك لا تزال الآليات الداخلية التي تدفع هذه السلوكيات غامضة. تواجه مناهج التفسير الميكانيكي الحالية للاستدلال قصورين أساسيين:

الاعتماد على التزامن: تحدد العديد من الطرق المكونات (مثل العصبونات أو سمات المشفّر التلقائي المتناثر - SAE) بناءً على الارتباطات مع أنماط نصية محددة فقط (مثل الرموز مثل "انتظر" أو "wait") أو التأثيرات قصيرة المدى (مثل العمليات الحسابية). وتفشل هذه النهج في عزل المكونات التي تقود بشكل سببي سلوكيات الاستدلال المعقدة متعددة الخطوات.
إهمال التأثير التسلسلي: غالبًا ما تلتقط الطرق الحالية التأثيرات الفورية قصيرة المدى فقط، متجاهلة التأثير التراكمي طويل الأمد المطلوب لمهام الاستدلال متعددة الخطوات حيث تعتمد النتيجة النهائية (مثل صحة الإجابة) على تسلسل من القرارات الوسيطة. علاوة على ذلك، فإن الطرق التي تعتمد على أزواج التباين المُصنفة بشريًا لاستخلاص ناقلات التحكم تواجه صعوبة في ضمان استحضار الحالات المستهدفة المقصودة حقًا.

هناك حاجة ماسة لإطار عمل يكون موجهًا نحو النتيجة (تقييم المكونات بناءً على مساهمتها في نتيجة الاستدلال النهائية) وواعيًا للتأثير التسلسلي (مراعاة التأثير التراكمي للمكونات الداخلية عبر مسار الاستدلال الكامل).

المنهجية: تدرج السياسة المتكامل (IPG)

يقترح المؤلفون تدرج السياسة المتكامل (IPG)، وهو إطار عمل جديد لا يتطلب تدريبًا، مصمم لتفسير والتحكم في استدلال النماذج اللغوية الكبيرة من خلال إسناد السلوكيات إلى المكونات الداخلية بناءً على نتائج طويلة الأمد.

المبادئ الأساسية

موجه نحو النتيجة: يتم تقييم مساهمة المكونات الداخلية مقابل نتيجة الاستدلال النهائية (مثل صحة الإجابة أو طول سلسلة الاستدلال).
واعي بالتأثير التسلسلي: تلتقط الطريقة التأثير التراكمي للمكونات عبر مسار التوليد الكامل، بدلاً من الخطوات المنعزلة.

الإطار التقني

تدرجات السياسة في فضاء التمثيل:
على عكس طرق تدرج السياسة القياسية التي تُحدث معاملات النموذج ( $\theta$ )، يوسع IPG المنظور ليشمل فضاء التمثيل. يقوم بنشر إشارات قائمة على النتائج (مثل المكافآت المستمدة من مُحقِّق) إلى الوراء عبر مسار الاستدلال إلى المكونات الداخلية ( $h_t$ )، مثل العصبونات أو سمات المشفّر التلقائي المتناثر (SAE).
يتم صياغة تدرج السياسة في فضاء التمثيل كالتالي:
$\frac{\partial J}{\partial h} = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=1}^T \frac{\partial}{\partial h_t} \log \pi_\theta(a_t | s_t; h_t) \cdot A_\pi(s_t, a_t) \right]$
حيث $J$ هي دالة الإشارة (مثل الصحة الثنائية)، و $\tau$ هو مسار الاستدلال، و $A_\pi$ هي دالة الميزة التي تُقدر الفائدة طويلة الأمد لاختيار الرمز (token).
إسناد تكامل المسار (تدرج السياسة المتكامل):
لمعالجة الضجيج والحساسية المحلية للتدرجات الخام، يستخدم IPG نهج تكامل المسار. يقوم بتجميع تدرجات السياسة على طول مسار متداخل خطيًا من خط أساس (مثل متجه الصفر) إلى قيمة التنشيط المستهدفة. يضمن هذا أن درجة الإسناد تأخذ في الاعتبار المساهمة العالمية للمكون عبر كامل التغيير في مخرجات السياسة، مما يحقق خاصية الاكتمال.
$\text{IPG}(i; x) = \sum_{t=1}^T (h_{t,i} - h'_{t,i}) \int_0^1 \mathbb{E}_{\tau \sim \pi_\theta} \left[ \frac{\partial}{\partial h_{t,i}} \log \pi_\theta(a_t | s_t; h'_{t} + \alpha(h_t - h'_t)) \cdot A_\pi(s_t, a_t) \right] d\alpha$
اختيار المكون والتدخل:
- التحديد: يقوم IPG بحساب درجات الإسناد عبر مجموعة بيانات وتجميعها لتحديد أعلى- $p$ من المكونات الأكثر تأثيرًا (العصبونات أو سمات SAE).
- التحكم: بمجرد تحديدها، يتم التدخل فيها سببيًا عن طريق تطبيق عامل قياس ضربي $\gamma$ . ضبط $\gamma > 1$ يعزز تأثير المكون، بينما $0 \le \gamma < 1$ (أو $\gamma=0$ ) يعمل على كبحه. يسمح هذا بتعديل سلوكيات الاستدلال مثل القدرة الاستدلالية (الدقة) وقوة الاستدلال (طول السلسلة).

المساهمات الرئيسية

إطار عمل مبتكر (IPG): تقديم إطار عمل لا يتطلب تدريبًا ينسب سلوكيات الاستدلال مباشرة إلى المكونات الداخلية بناءً على نتائج طويلة الأمد، متجاوزًا قيود الارتباط بالأنماط النصية وتحليل التأثير قصير المدى.
أداة موحدة للتفسير والتحكم: يمتد النهج ليشمل مختلف الوحدات الداخلية، بما في ذلك العصبونات الفردية أو سمات SAE، مما يوفر آلية موحدة لتفسير وتعديل سلوكيات الاستدلال عبر مختلف بنيات النماذج ومقاييسها.
إثبات الفعالية والقابلية للنقل: تُظهر الأدلة التجريبية أن IPG يحقق فعالية تحكم متفوقة مقارنة بالنماذج المرجعية (مثل ناقلات التحكم أو عصبونات الاستدلال). والأهم من ذلك، أن المكونات المحددة تظهر قدرة قوية على النقل، مما يسم يسمح بتطبيق آليات الاستدلال المكتشفة في النماذج المستحثة عبر التلقين (prompt-elicited) مباشرة على النسخ المستخلصة عبر التدريب (distilled) ضمن نفس عائلة النموذج.

النتائج التجريبية

قيم المؤلفون IPG على نماذج لغوية مفتوحة المصدر ممثلة (Qwen2.5-Math-1.5B-Instruct و Llama3.1-8B-Instruct) عبر معايير استدلال متنوعة (GSM8K, MATH-500, AIME-2024, GPQA-Diamond).

تحديد دقيق للتحكم والتموضع: حقق IPG باستمرار دقة أعلى في كل من تعزيز وكبح قدرات الاستدلال مقارنة بالنماذج المرجعية. على سبيل المثال، في Qwen2.5-Math-1.5B، حسن IPG دقة GSM8K إلى 84.61% (مقابل 82.41% الأصلية) وخفضها إلى 10.69% في حالة الكبح، مما أظهر تحكمًا دقيقًا.
تعديل دقيق للغاية: نجحت الطريقة في تعديل سلوكيات استدلال متميزة. استطاعت التدخلات تعزيز القدرة الاستدلالية (الدقة) أو ضبط قوة الاستدلال (طول التسلسل) دون التضحية بالأخرى، مما يشير إلى أن السلوكيات المتميزة مشفرة في مكونات محددة.
النقل عبر مجموعات البيانات والنماذج: انتقلت المكونات المحددة في مجموعة بيانات واحدة (مثل GSM8K) بفعالية إلى مجموعات أخرى (مثل MATH-500)، كما أن الآليات المحددة في النماذج المستحثة عبر التلقين حسنت أداء النماذج المستخلصة عبر التدريب (مثل DeepSeek-R1-Distilled-Qwen-1.5B).
رؤى تفصيلية: كشف التحليل أن السمات المستمدة من SAE أكثر انفصالًا (disentangled) من العصبونات، حيث تؤثر غالبًا على جانب واحد من الاستدلال (مثل الحساب مقابل التفكيك)، بينما غالبًا ما تظهر العصبونات تعددية الدلالة (polysemanticity)، مما يؤثر على أبعاد متعددة في آن واحد.

الأهمية والادعاءات

يزعم البحث أن IPG يمثل تقدمًا كبيرًا في التفسير الميكانيكي لاستدلال النماذج اللغوية الكبيرة من خلال نقل التركيز من الارتباطات السطحية إلى الإسناد السببي الموجه بالنتيجة. ومن خلال التقاط التأثير التسلسلي للمكونات الداخلية بفعالية، يتيح IPG توجيهًا موثوقًا لسلوكيات الاستدلال دون الحاجة إلى إعادة التدريب.

يضع المؤلفون IPG كحل قوي لفهم "الصندوق الأسود" للاستدلال المعقد، مما يوفر مسارًا لـ:

تحسين صدق وسلامة وقابلية التحكم في أنظمة الاستدلال.
تقليل جهود التفسير المتكررة من خلال الاستفادة من آليات الاستدال القابلة للنقل عبر متغيرات النماذج.
توفير رؤى دقيقة لجوانب استدلال محددة (مثل فهم المشكلة، وتفكيك المهام)، مما يعزز الفهم النظري لكيفية تشفير النماذج اللغوية الكبيرة للاستدلال وتنفيذه.

يخلص العمل إلى أنه بينما تواجه الطرق الحالية صعوبة في تعقيد الاستدلال متعدد الخطوات، فإن دمج IPG لتدرجات السياسة مع تكامل المسار يوفر نهجًا مبدئيًا وفعالًا لتفسير والتحكم في هذه السلوكيات الحاسمة للنماذج.