Reliable Control-Point Selection for Steering Reasoning in Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاختيار الموثوق لنقاط التحكم في التوجيه الاستدلالي للنماذج اللغوية الكبيرة."

1. بيان المشكلة

غالباً ما تُظهر النماذج اللغوية الكبيرة (LLMs) سلوكيات استدلال "جوهرية" تلقائية (مثل التأمل الذاتي، تغيير الاستراتيجية، أو التحقق) التي تعمل على تحسين الدقة، ولكنها قد تؤدي أيضاً إلى "الإفراط في التفكير" أو استهلاك غير منتج للرموز (tokens). وبينما توفر متجهات التوجيه (steering vectors) آلية خالية من التدريب للتحكم في هذه السلوكيات عبر إضافة اتجاهات متعلمة إلى الحالات الخفية، إلا أن الطرق الحالية تعاني من خلل جوهري في اختيار نقاط التحكم.

• المشكلة الجوهرية: تحدد الأساليب الحالية (مثل SEAL) حدود الاستدلال (حيث تحدث سلوكيات مثل التأمل) باستخدام مطابقة الكلمات المفتاحية (مثل اكتشاف كلمات مثل "انتظر"، "تحقق"، "دعني أفكر").
• الخلل: تفترض هذه الأساليب أن كل حد يتم اكتشافه عبر الكلمات المفتاحية يمثل إشارة سلوكية حقيقية وملتزمة. وقد أثبت المؤلفون أن هذا الافتراض خاطئ بشكل كاسح؛ فالسلوكيات الاستدلالية الجوهرية هي سلوكيات عشوائية (stochastic)؛ حيث غالباً ما يحدث تطابق الكلمات المفتاحية في موضع معين بمحض الصدفة بدلاً من تمثيل قرار مدرك من قبل النموذج.
• النتيجة: إن تضمين هذه الحدود "غير المستقرة" في حساب متجه التوجيه يؤدي إلى تمييع إشارة السلوك الحقيقية بالضجيج، مما ينتج عنه تحكم دون المستوى الأمثل وانخفاض في الدقة.

2. المنهجية

يقترح المؤلفون عملية تنقية مكونة من مرحلتين لبناء متجهات توجيه عالية الدقة: تصفية الاستقرار (Stability Filtering) و إسقاط الفضاء الجزئي للمحتوى (Content-Subspace Projection).

أ. النموذج الاحتمالي للسلوك الجوهري

يصيغ البحث السلوكيات الجوهرية كأحداث عشوائية. عند أي حد مرشح $b$، يكون للنموذج احتمالية تشغيل $p_b$ للالتزام الفعلي بالسلوك.

• نموذج الحالة الخفية: $h_b = z_b \cdot \delta + \mu(c_b) + \epsilon_b$، حيث $z_b \sim \text{Bernoulli}(p_b)$ هو مؤشر كامن، و $\delta$ هو اتجاه السلوك الحقيقي، و $\mu$ هو ضجيج السياق.
• تمييع الإشارة: إذا كانت $p_b$ منخفضة (كما هو شائع في مطابقة الكلمات المفتاحية)، فإن إشارة السلوك $\delta$ تكون ضعيفة بالنسبة للضجيج. لذا، فإن المتوسط الحسابي عبر العديد من الحدود ذات الاحتمالية المنخفضة يؤدي إلى متجه توجيه لا يتوافق جيداً مع الاتجاه الحقيقي $\delta$.

ب. تصفية الاستقرار (الإصلاح الأساسي)

لتحديد الالتزامات السلوكية الحقيقية، قدم المؤلفون آلية سبر الاستقرار (stability probing):

1. إعادة التوليد: لكل حد يتم اكتشافه عبر الكلمات المفتاحية، يتم إعادة تشغيل النموذج $M=10$ مرات من نفس البادئة (باستخدام معاملات أخذ عينات مثل درجة الحرارة 0.7).
2. التقييم: يتم حساب درجة الاستقرار $s(b)$ كنسبة عمليات إعادة التوليد التي أعادت إنتاج السلوك المستهدف (مثل خطوة تأمل أخرى).
3. التحجيم القاسي (Hard Thresholding): يتم الاحتفاظ فقط بالحدود التي تحقق $s(b) \ge \tau$ (حيث $\tau=0.8$). أما الحدود ذات الدرجات المنخفضة (التي يُرجح أنها مجرد تطابقات صدفة للكلمات المفتاحية) فيتم استبعادها.
4. بناء المتجه: يتم حساب متجه التوجيه باستخدام هذه الحدود عالية الثقة والمستقرة فقط.

ج. إسقاط الفضاء الجزئي للمحتوى (الإصلاح الثانوي)

حتى مع وجود حدود مستقرة، قد يحتوي متجه التوجيه على ضجيج متبقٍ متعلق بمحتوى سؤال محدد (مثل موضوع الرياضيات أو صعوبته) بدلاً من سلوك الاستدلال نفسه.

1. تقدير الفضاء الجزئي: يستخرج المؤلفون الحالات الخفية من نص السؤال فقط (بدون الاستدلال) ويجرون تحليل القيم المفردة (SVD) لتحديد المتجهات المفردة العليا $K$ التي تحدد "الفضاء الجزئي للمحتوى".
2. الإسقاط: يتم إسقاط متجهات التوجيه الخاصة بكل مثال عمودياً على هذا الفضاء الجزئي للمحتوى لإزالة المعلومات المتعلقة بالسؤال، مما يعزل إشارة السلوك النقية.

د. المتجه النهائي

يجمع متجه التوجيه النهائي $v_{A+B}$ بين الخطوتين: فهو المتوسط المعياري للمتجهات المشتقة من الحدود المستقرة التي تم إسقاطها لإزالة ضجيج المحتوى.

3. المساهمات الرئيسية

1. الصياغة الاحتمالية: تقدم الورقة إطاراً نظرياً يوضح أن السلوكيات الاستدلالية الجوهرية هي أحداث عشوائية. كما تثبت أن حدود مطابقة الكلمات المفتاحية هي بدائل ضوضائية، وأن تصفيتها بناءً على احتمالية التشغيل تزيد من قوة إشارة التوجيه بشكل كبير.
2. تصفية الاستقرار: طريقة مبتكرة خالية من التدريب لتحديد نقاط التحكم الموثوقة عبر إعادة أخذ عينات من توليدات النموذج. أظهر المؤلفون أن التحجيم القاسي (استبعاد الحدود غير المستقرة) يتفوق على الوزن الناعم لأن توزيع احتمالات التشغيل منحرف بشدة (معظمها قريب من الصفر).
3. النقل عبر النماذج (Cross-Model Transfer): تظهر الطريقة أن متجهات التوجيه المستخرجة من نموذج واحد (DeepSeek-R1-Distill-Qwen-1.5B) يمكن تطبيقها على نماذج أخرى من نفس عائلة البنية (Nemotron, DeepScaleR) دون الحاجة لإعادة الاستخراج، محققة مكاسب كبيرة في الأداء.
4. التحقق التجريبي: يؤكد سبر السلوك أن الحالات الخفية عند "الحدود المستقرة" تحتوي على إشارات سلوكية أقوى بكثير (ثقة أعلى في السبر) مقارم بالحدود غير المستقرة.

4. النتائج التجريبية

أُجريت التجارب على معيار MATH-500 باستخدام نماذج بـ 1.5 مليار معلمة.

• الأداء على النموذج المصدر (Qwen-1.5B):

  • الأساس (Baseline): دقة 60.8%.
  • SEAL (أفضل حالة سابقة): دقة 73.4% (+12.6).
  • طريقتنا (الاستقرار + الإسقاط): دقة 78.4% (+17.6 عن الأساس، و +5.0 عن SEAL).
  • الكفاءة: قللت الطريقة من متوسط استخدام الرموز (1547 $\to$ 1008) ومن عدد كلمات الاستدلال المفتاحية (39.1 $\to$ 10.7)، مما يشير إلى كبح "الإفراط في التفكير" غير المنتج.

• النقل عبر النماذج:

  • طُبقت على Nemotron-Research-Reasoning-1.5B: دقة 81.6% (+15.4 عن الأساس).
  • طُبقت على DeepScaleR-1.5B-Preview: دقة 81.2% (+8.6 عن الأساس).
  • ملاحظة: تحققت هذه المكاسب دون إعادة استخراج المتجهات للنماذج المستهدفة.

• دراسات الاستئصال (Ablation Studies):

  • تصفية الاستقرار وحدها كانت مسؤولة عن معظم المكاسب (+7.0 عن SEAL).
  • إسقاط المحتوى وفر دفعة إضافية متواضنة ولكن ثابتة (+1.6 عن الأساس، و +0.8 عن التصفية وحدها).
  • تحليل العتبة: بلغت الدقة ذروتها عند عتبة استقرار $\tau=0.8$. العتبات الأقل تضمنت الكثير من الضجيج؛ والعتبات الأعلى ($\tau=0.9$) استبعدت الكثير من البيانات.

• اكتشاف عدم استقرار الكلمات المفتاحية:

  • عبر 541 حداً تم اكتشافه بالكلمات المفتاحية، كانت 93.3% من الحدود غير مستقرة سلوكياً (فشلت في إعادة إنتاج السلوك أثناء إعادة التوليد).
  • كان متوسط احتمالية التشغيل هو $\bar{p} = 0.167$ فقط، مما يعني أن الطرق القياسية تحتفظ فقط بنحو 17% من الإشارة القصوى الممكنة.

5. الأهمية

تحدث هذه الورقة تحولاً جذرياً في نموذج توجيه استدلال النماذج اللغوية الكبيرة. فهي تبتعد عن الافتراض السطحي بأن الإشارات الظاهرية (الكلمات المفتاحية) تشير بشكل موثوق إلى الحالات المعرفية الداخلية. من خلال تقديم تصفية الاستقرار، أثبت المؤلفون أن:

1. الجودة فوق الكمية: إن استبعاد الغالبية العظمى من النقاط "السلوكية" المكتشفة يحسن التحكم فعلياً لأنه يزيل الضجيج.
2. الطبيعة العشوائية للاستدلال: السلوكيات الاستدلالية في النماذج اللغوية الكبيرة هي سلوكيات احتمالية وليست حتمية، مما يتطلب طرقاً إحصائية قوية (إعادة أخذ العينات) لتحديد الإشارات الحقيقية.
3. القابلية للتعميم: متجهات التوجيه الناتجة قوية وقابلة للنقل عبر النماذج، مما يشير إلى أن "اتجاه" سلوكيات استدلال معينة هو خاصية معمارية مشتركة وليس مجرد نتاج مرتبط بنموذج محدد.

يقدم هذا العمل مساراً عملياً، خالياً من التدريب، لتحسين استدلال النماذج اللغوية الكبيرة، مما يقلل من هدر الرموز ويحسن الدقة في المهام الرياضية المعقدة.