ملخص تقني: الإشارة الخفية لصرامة المُحقِّق

بيان المشكلة

لقد برزت المُحقِّقات التوليدية (Generative verifiers)، التي تعامل التحقق من الخطوات كمسألة تنبؤ بالرمز التالي (next-token prediction)، كنموذج واعد للكشف عن الأخطاء في استدلال النماذج اللغوية الكبيرة (LLM). ومع ذلك، تعاني هذه المُحقِّقات غالبًا من ضعف المعايرة، وهو ما يتسم بالميل إلى أن تكون إما غير حازمة بما يكفي (تقبل الخطوات الخاطئة زيفًا) أو حازمة أكثر من اللازم (ترفض الخطوات الصحيحة زيفًا). هذه الظاهرة، التي تُسمى صرامة المُحقِّق (verifier strictness)، تظهر كتحيز إيجابي حيث يقوم المُحقِّقون بالمصادقة على الحلول المعيبة بشكل غير صحيح أو رفض الحلول الصالحة بسبب مشكلات أسلوبية سطحية.

ورغم أن الضبط الدقيق (fine-tuning) لنماذج مكافأة العمليات (PRMs) المتخصصة يمكن أن يخفف من ذلك، إلا أنه عملية مكلفة من حيث الموارد وتعاني من التقادم السريع مع تطور النماذج الرائدة. علاوة على ذلك، فإن المُقيِّمات المدربة على أجيال قديمة من النماذج غالبًا ما تتعميم بشكل سيئ على النماذج الجديدة المضبوطة للتعليمات. وبناءً على ذلك، هناك حاجة إلى منهجية لا تتطلب تدريبًا يمكنها التحكم التكيفي في سلوك المُحقِّق في النماذج العامة المضبوطة للتعليمات دون العبء الحسابي للضبط الدقيق المكثف أو أخذ عينات الاتساق الذاتي (self-consistency sampling).

المنهجية

يقترح المؤلفون VerifySteer، وهو طريقة لا تتطلب تدريبًا للتحكم في صرامة المُحقِّق من خلال توجيه الحالة الخفية (hidden-state steering). تعتمد هذه الطريقة على اكتشافين رئيسيين وإطار عمل تكيفي مقابل:

1. اكتشاف إشارة كامنة خاصة بالتحقق

من خلال التحليل التجريبي، حدد المؤلفون أن ميل المُحقِّق لقبول أو رفض خطوة من الحل مشفر في الحالة الخفية لـ رمز تحديد حدود الفقرة (\n\n) الذي يسبق فقرة التحقق مباشرة.

• توطين الإشارة: إشارة اتخاذ القرار ليست موزعة بشكل موحد بل تتركز في طبقات محددة من المحولات (مثل الطبقة 22 في Qwen3-8B).
• بناء متجه التوجيه: باستخدام مجموعة تحقق، صاغ المؤلفون متجهات توجيه تباينية عبر حساب متوسط الفرق بين الحالات الخفية لفقرات الرفض الصحيح (TR) وفقرات القبول الخاطئ (FA) (لزيادة الصرامة، $d_{strict}$)، وبين القبول الصحيح (TA) والرفض الخاطئ (FR) (لتقليل الصرامة، $d_{lenient}$).
• التدخل: في وقت الاستنتاج، يتم إضافة هذه المتجهات إلى الحالات الخفية لرموز التحديد لتعديل مخرجات المُحقِّق.

2. إطار عمل VerifySteer

لاحظ المؤلفون أن التوجيه الموحد (تطبيق متجه واحد على جميع العينات) يخلق مقايضة: فزيادة الصرامة تحسن اكتشاف الأخطاء (معدل السلب الحقيقي، TNR) ولكنها تضر بـ اعتماد الصحة (معدل الإيجاب الحقيقي، TPR)، والعكس صحيح. ولحل ذلك، يقدم VerifySteer التكيف على مستوى العينة وعلى مستوى المحدد:

• التوجيه على مستوى العينة: يتنبأ مسبار صحة خفيف الوزن ($f_\phi$) باحتمالية كون الحل المرشح صحيحًا بالكامل بناءً على الحالات الخفية للمطالبة (prompt).
  • إذا تم التنبؤ بأن الحل من المرجح أن يكون غير صحيح ($q \le \tau_l$)، يقوم النظام بتطبيق متجه زيادة الصرامة ($d_{strict}$).
  • إذا تم التنبؤ بأن الحل من المرجح أن يكون صحيحًا ($q \ge \tau_h$)، يقوم النظام بتطبيق متجه زيادة الليونة ($d_{lenient}$).
  • خلاف ذلك، لا يتم تطبيق أي توجيه.
• بوابات على مستوى المحدد: يتم تطبيق التوجيه فقط على رموز التحديد حيث تكون الحالة الخفية المحلية غير متوافقة مع الاتجاه المختار (المحدد بواسطة عتبة تشابه جيب التمام $\rho$). وهذا يمنع التدخل غير الضروري في الرموز التي تتوافق بالفعل مع السلوك المطلوب.

المساهمات الرئيسية

1. تحديد إشارة كامنة: يوضح البحث أن صرامة المُحقِّق مشفرة في الحالات الخفية لرموز حدود الفقرات ويمكن تعديلها عبر تدخل مستهدف دون الحاجة لضبط دقيق.
2. خوارزمية VerifySteer: اقتراح طريقة توجيه شرطية تقوم بتوجيه العينات ديناميكيًا وتتدخل انتقائيًا عند حدود المحددات لموازنة المقايضة بين اكتشاف الأخطاء واعتماد الصحة.
3. التحقق التجريبي: إجراء تجارب واسعة النطاق على معايقات ProcessBench وHard2Verify عبر مختلف أحجام النماذج (من 1.7B إلى 70B معلمة) والبنيات (النماذج الكثيفة وMoE).

النتائج التجريبية

أُجريت التجارب على ProcessBench (تشمل GSM8K, MATH, OlympiadBench, Omni-MATH) وعلى Hard2Verify باستخدام نماذج مثل Qwen3-1.7B، وQwen3-8B، وFARE-20B.

• الأداء مقابل النماذج المرجعية: يتفوق VerifySteer على تحسين المطالبات (prompt optimization)، ونماذج التوجيه بالتنشيط (CAA)، والاتساق الذاتي (Cons@4/Cons@8) من حيث درجة F1.
  • في ProcessBench مع Qwen3-1.7B، يتفوق VerifySteire على الاتساق الذاتي بمقدار 3.7 نقطة F1.
  • في Hard2Verify مع Qwen3-8B-thinking، يتفوق VerifySteer على الاتساق الذاتي بمقدار 2.2 نقطة F1.
• الكفاءة: يحقق VerifySteer هذه المكاسب بتكلفة حسابية أقل بكثير. فهو يتطلب أقل بـ 4 إلى 7 مرات من تكلفة الاستنتاج (FLOPs) مقارنة بطرق الاتساق الذاتي التي تعتمد على مسارات أخذ عينات متعددة.
• التوافق: طريقة VerifySteer متعامدة مع الضبط الدقيق للتحقق. فعند تطبيقها فوق مُحقِّق FARE-20B المضبوط بدقة، توفر VerifySteer مكاسب إضافية (رفع F1 من 41.5 إلى 51.1)، مما يثبت أن التوجيه والضبط الدقيق يكملان بعضهما البعض.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة التكيف على مستوى العينة إلى انخفاض في TPR، بينما أدت إزالة التكيف على مستوى المحدد إلى تقليل TNR، مما يؤكد ضرورة كلا المكونين لموازنة مقايضة الصرامة.

الأهمية والادعاءات

يدعي البحث أن المُحقِّقات اللغوية تعكس سلوكيات كامنة قابلة للتحكم يمكن التلاعب بها دون التكلفة الباهظة لإعادة التدريب. ومن خلال الكشف عن إشارة حالة خفية محددة لصرامة التحقق، يوفر المؤلفون مسارًا نحو التحكم الخفيف والتكيفي في سلوك المُحقِّق في النماذج العامة المضبوطة للتعليمات.

تكمكمن الأهمية في تقديم بديل عملي لكل من الضبط الدقيق المكلف والاتساق الذاتي الثقيل حسابيًا. يتيح VerifySteer للنماذج الحالية مطابقة أو حتى تجاوز أداء المُقيِّمات المتخصصة والمضبوطة بدقة من الأجيال الأقدم، مع الحفاظ على التماسك الدلالي وتقديم تفسيرات قابلة للتفسير على مستوى الخطوة. ويشير العمل إلى أن هندسة التمثيل (representation engineering) هي استراتيجية قابلة للتطبيق وفعالة لتحسين موثوقية المُحقِّقات التوليدية في مهام الاستدلال الرياضي.