Efficient Test-Time Scaling of Multi-Step Reasoning by Probing Internal States of Large Language Models
تقترح هذه الورقة طريقة خفيفة الوزن تعتمد على المسبار (probe-based) لتوسيع نطاق وقت الاختبار، والتي تتحقق من الاستدلال متعدد الخطوات عبر تحليل الحالات الداخلية للنماذج اللغوية الكبيرة المجمدة، محققةً أداءً يضاهي أو يتجاوز نماذج مكافأة العمليات (Process Reward Models) الأكبر بكثير دون الحاجة إلى عمليات ترميز مكلفة.
تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو لغز منطقي مخادع. تطلب من ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير) المساعدة. يبدأ الذكاء الاصطناعي بالتفكير بصوت عالٍ، ويكتب سلسلة طويلة من الأفكط للوصول إلى الإجابة.
أحياناً، يصيب الذكاء الاصطناعي. ولكن في كثير من الأحيان، يتخذ مساراً خاطئاً في منتصف تفكيره. إذا ارتكب خطأً واحداً فقط في البداية، فإن الإجابة بأكملها ستصبح خاطئة، حتى لو بدا بقية التفكير جيداً.
الطريقة القديمة: توظيف مشرف عملاق
لإصلاح ذلك، كان الباحثون يستخدمون سابقاً توظيف "مشرف" (يُسمى نموذج مكافأة العمليات، أو PRM). فكر في هذا المشرف كحارس أمن ضخم، مكلف، وبطيء يقف بجانب الذكاء الاصطناعي. في كل مرة يكتب فيها الذكاء الاصطناعي جملة جديدة في عملية تفكيره، يوقفه الحارس، ويقرأها، ويتحقق من موسوعة ضخمة من الحقائق، ثم يقرر: "هل هذه الجملة ذكية أم غبية؟"
المشكلة: هذا الحارس ضخم. توظيف واحد منه أمر مكلف، ويستهلك الكثير من ذاكرة الكمبيوتر (مثل محاولة إدخال دبابة في ممر للدراجات الهوائية)، كما أنه يبطئ كل شيء. الأمر يشبه توظيف فريق مكون من 100 شخص للتحقق من عمل طالب واحد.
الطريقة الجديدة: ReProbe (اختبار الحدس الداخلي)
تقدم الورقة البحثية طريقة جديدة تسمى ReProbe. بدلاً من توظيف حارس خارجي ضخم، فإن ReProbe تشبه تعليم الذكاء الاصطناعي كيف يستمع إلى "حدسه الداخلي".
إليك التشبيه:
الذكاء الاصطناعي هو طالب يؤدي اختباراً.
الطريقة القديمة (PRM) هي معلم يتجول في الغرفة، ويتوقف عند كل مكتب، ويقرأ عمل الطالب، ويقوم بتقييمه باستخدام كتاب مدرسي ثقيل.
الطريقة الجديدة (ReProbe) هي جهاز صغير وسريع جداً مثبت على رأس الطالب. هو لا يقرأ الكلمات المكتوبة على الورقة؛ بل يراقب "موجات دماغ" الطالب (الإشارات الكهربائية الداخلية) أثناء تفكيره.
كيف يعمل
الاستماع إلى موجات الدماغ: عندما يفكر الذكاء الاصطناعي، فإنه يولد إشارات داخلية غير مرئية (مثل النبضات الكهربائية في الدماغ). ReProbe هو أداة صغيرة وخفيفة الوزن تستمع إلى هذه الإشارات.
مقياس "الثقة": يتعلم ReProbe التعرف على شكل تلك الإشارات عندما يكون الذكاء الاصطناعي واثقاً وصحيحاً، مقابل ما تبدو عليه عندما يكون مرتبكاً أو على وشك ارتكاب خطأ. إنه يشبه جهاز كشف الكذب الذي يعرف متى "يكذب" الذكاء الاصطناعي على نفسه.
التغذية الراجعة الفورية: نظرًا لأن ReProbe صغير جداً (فهو يشبه شريحة صغيرة مقارنة بالخادم الضخم للطريقة القديمة)، يمكنه التحقق من عمل الذكاء الاصطناعي فوراً. فهو يقول: "مهلاً، هذه الخطوة تبدو مهتزة"، أو "هذه الخطوة تبدو متينة".
لماذا يعد هذا أمراً مهماً للغاية
رخيص وسريع: ReProbe صغير جداً. فهو يستخدم أقل من 1% من قدرة الكمبيوتر المطلوبة لطريقة "الحارس الضخم" القديمة. إنه يشبه استبدال دبابة بدراجة هوائية.
أذكى في المواقف الجديدة: كانت الحراس القدامى مدربين فقط على موضوعات محددة (مثل الرياضيات). إذا سألتهم عن خطة سفر، فقد يصابون بالارتباك. أما ReProbe، فيتعلم قراءة "شعور" دماغ الذكاء الاصطناعي، لذا فهو يعمل بشكل جيد في الرياضيات، والتخطيط، والأسئلة العامة على حد سواء.
لا يحتاج إلى معلم: يمكنك تدريب ReProbe من خلال ترك الذكاء الاصطناعي يتحقق من عمله بنفسه (التعلم الذاتي)، لذا لست بحاجة لدفع بشر لتقييم آلاف الأوراق.
النتيجة
باستخدام ReProbe، يمكن للذكال الاصطناعي استكشاف مسارات عديدة لحل مشكلة ما. إذا بدأ في مسار حيث يقول "حدسه الداخلي" (الذي يراقبه ReProbe) إن "هذا المسار خاطئ"، فإنه يعود فوراً ويجرب طريقاً مختلفاً. وهذا يجعل الذكاء الاصطناعي أفضل بكثير في حل المشكلات الصعبة دون الحاجة إلى حواسيب ضخمة، مكلفة وبطيئة للإشراف عليه.
باختصار: يحول ReProbe الذكاء الاصطناعي إلى مفكر مدرك لذاته يعرف متى يرتكب خطأً، باستخدام أداة صغيرة وفعالة بدلاً من مشرف ضخم وبطيء.
ملخص تقني: ReProbe – التوسع الفعال لعمليات الاستدلال متعددة الخطوات عبر سبر الحالات الداخلية للنماذج اللغوية الكبيرة
1. بيان المشكلة
تعتمد النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على حل المهام المعقدة باستخدام استدلال "سلسلة الأفكار" (Chain-of-Thought - CoT). ومع ذلك، فإن خطوة استدلال واحدة خاطئة يمكن أن تؤدي إلى إفساد الحل بأكره. تحاول استراتيجيات التوسع في وقت الاختبار (Test-Time Scaling - TTS)، مثل أخذ العينات من "أفضل N" (Best-of-N) والبحث الشعاعي (Beam Search)، التخفيف من ذلك عبر توليد مسارات استدلال متعددة واختيار الأفضل منها.
تعتمد تقنيات TTS الحالية بشكل كبير على نماذج مكافأة العمليات (Process Reward Models - PRMs) للتحقق من صحة خطوات الاستدلال الوسيطة. وتواجه نماذج PRM ثلاثة قيود حرجة:
التكلفة الحسابية: هي نماذج ضخمة (عادةً ما تتراوح بين 1.5 مليار إلى 8 مليارات معلمة) تتطلب ذاكرة رسومية كبيرة ووقت استدلال طويل، مما يضيف عبئاً كبيراً.
ندرة وتكلفة البيانات: يتطلب تدريب نماذج PRM تسميات (annotations) مكلفة على مستوى الخطوة، والتي تُشتق غالباً من تجارب "مونت كارلو" (Monte-Carlo rollouts)، أو التسميات البشرية، أو تصفية الإجماع، وهي أمور يصعب توسيع نطاقها.
القدرة المحدودة على التعميم: غالباً ما يتم ضبط نماذج PRM على مجالات ضيقة (مثل الرياضيات)، وتجد صعوبة في التعميم على المهام الخارجة عن النطاق (OOD) مثل التخطيط أو الأسئلة العامة حول المعرفة.
يطرح البحث السؤال التالي: هل يمكننا تحقيق أداء نماذج PRM باستخدام بديل خفيف الوزن، فعال، وقابل للتعميم لا يعتمد على التقييم النصي الخارجي؟
2. المنهجية: ReProbe
يقترح المؤلفون ReProbe، وهو مسبار استدلال (reasoning probe) خفيف الوزن وقائم على التدريب، يقوم بالتحقق من خطوات الاستدلال عبر سبر الحالات الداخلية للنموذج اللغوي الكبير المستهدف (Target LLM) بدلاً من تحليل النص المولد.
البنية الأساسية
ReProbe هو وحدة قابلة للتركيب والتشغيل (plug-and-play) تتكون من:
استخراج الميزات (Feature Extraction): يقوم باستخراج الإشارات الداخلية من النموذج اللغوي الكبير المجمد عند كل موضع رمز (token). استقصى المؤلفون مجموعتين من الميزات:
الانتباه + اللوجيت (Attn+Logit): أوزان الانتباه على الـ 5 رموز السابقة ولوجيتات (logits) أفضل K من الترشيحات المولدة.
الحالات الخفية (Hidden States): التمثيلات الخفية من جميع طبقات النموذج اللغوي.
شبكة المسبار (Probe Network): مصنف خفيف الوزن يعتمد على بنية Transformer (أقل من 10 ملايين معلمة) يعالج هذه الميزات:
طبقة إسقاط خطي (linear projection layer) لضبط أبعاد الميزات.
مجموعة من طبقات Transformer لالتقاط التبعيات السياقية.
طبقة تجميع (aggregation layer) تجمع الميزات على مستوى الرمز لتكوين متجه على مستوى الخطوة.
شبكة تصنيف مكونة من طبقتين تخرج درجة احتمالية تشير إلى مدى احتمالية صحة الخطوة.
استراتيجية التدريب
تسمية البيانات (Data Annotation): يمكن تدريب ReProbe باستخدام استراتيجيتين للتسمية:
الإشراف الخارجي: يعمل نموذج لغوي أكبر وأكثر قدرة (مثل DeepSeek-R1) كحكم لتسمية صحة الخطوات التي يولدها النموذج المستهدف.
الكفاءة: عملية التدريب فعالة للغاية؛ حيث يظل النموذج اللغوي الأساسي مجمداً، ويتم تحديث معاملات المسبار فقط. أفاد المؤلفون بتكلفة تسمية إجمالية تبلغ حوالي 200 دولار، وعمليات حسابية للتدريب بلغت 4 ساعات فقط من وحدة معالجة الرسومات GH200.
استخراج الخطوات: بالنسبة للنماذج غير "المفكرة"، يتم استخراج الخطوات عبر مطابقة الأنماط (pattern matching) لعلامات السطر الجديد. أما بالنسبة للنماذج "المفكرة بطبيعتها" (التي تستخدم وسوم <thought>)، فكل جملة تُعامل كخطوة.
3. المساهمات الرئيسية
التحقق خفيف الوزن: يحقق ReProbe أداءً في التحقق على مستوى الخطوة يضاهي أو يتجاوز نماذج PRM التي هي أكبر منه بـ 150 إلى 810 مرة (على سبيل المثال، 10 ملايين معلمة مقابل 7 مليارات معلمة).
تعميم فائق: على عكس نماذج PRM المتخصصة في مجال معين، أظهر ReProbe أداءً قوياً في المهام الخارجة عن النطاق (OOD) مثل التخطيط والأسئلة العامة حول المعرفة، حيث تفشل نماذج PRM الكبيرة غالباً.
كفاءة بيانات التدريب: يمكن تدريب ReProbe على بيانات مُسمّاة تلقائياً (ذاتياً أو عبر نموذج لغوي أقوى) دون الحاجة إلى تسميات بشرية مكلفة أو عمليات "مونت كارلو" معقدة.
التآزر مع نماذج PRM: يوضح البحث أن ReProbe ونماذج PRM يلتقطان إشارات متكاملة (الثقة الداخلية مقابل المعرفة الخارجية). إن الجمع بينهما في استراتيجية تحقق متتالية (cascaded) يحسن الأداء مع تقليل التكلفة الحسابية لتشغيل نماذج PRM الثقيلة.
4. النتائج التجريبية
قيم المؤلفون ReProbe في ثلاثة مجالات: الرياضيات (داخل النطاق)، التخطيط (خارج النطاق)، والأسئلة العامة حول المعرفة (خارج النطاق)، باستخدام نماذج مثل Qwen3 وPhi-4.
التحقق على مستوى الخطوة (PR-AUC):
تفوقت متغيرات ReProbe (خاصة تلك التي تستخدم الحالات الخفية) باستمرار على طرق تقدير عدم اليقين (Uncertainty Quantification - UQ) غير الخاضعة للإشراف.
في مهام OOD (التخطيط، الأسئلة العامة)، تجاوز ReProbe بشكل كبير أفضل نماذج PRM الكبيرة (مثل Qwen2.5-Math-7B-PRM).
في مهام الرياضيات داخل النطاق، عادل ReProbe أو تراجع قليلاً خلف أقوى نماذج PRM المتخصصة، لكنه ظل منافساً للغاية بكسر بسيط من عدد المعلمات.
التوسع في وقت الاختبار (TTS):
أفضل N (Best-of-N): سمح الاختيار الموجه بواسطة ReProbe لنموذج Qwen3-8B بالتفوق على شقيقه الأكبر (Qwen3-14B) في عدة اختبارات مرجعية.
البحث الشعاعي (Beam Search): حقق ReProbe أعلى دقة في فك التشفير عبر جميع مجموعات البيانات، متفوقاً على نماذج PRM المتطورة.
الكفاءة: يعد استدلال ReProbe أسرع بـ 2.6 إلى 25 ضعفاً من نماذج PRM المماثلة، مما يوفر انخفاضاً هائلاً في زمن انتقال الاستدلال واستخدام الذاكرة.
5. الأهمية والخاتمة
يمثل ReProbe تحولاً جذرياً في التوسع في وقت الاختبار من خلال إثبات أن الحالات الداخلية للنماذج اللغوية الكبيرة تشفر إشارات ثقة غنية حول عمليات الاستدلال الخاصة بها.
القابلية للتوسع: يوفر مساراً لتقنيات TTS قابلة للتوسع والتعميم، لا تعيقها تكلفة تدريب نماذج المكافأة الضخمة.
الاستبطان (Introspection): يتيح للنماذج اللغوية القدرة على "الاستبطان"، بحيث يمكنها مراقبة جودة استدلالها ذاتياً دون الحاجة إلى نقاد خارجيين.
الواقعية العملية: من خلال تقليل عدد المعلمات من المليارات إلى الملايين وإلغاء الحاجة إلى التسميات البشرية المكلفة، يجعل ReProbe التحقق المتقدم من الاستدلال متاحاً لمجموعة أوسع من التطبيقات والبيئات ذات الموارد المحدودة.
يشير هذا العمل إلى أن أنظمة الاستدلال المستقبلية قد تنتقل من نماذج المكافأة الخارجية الثقيلة نحو مسبارات داخلية فعالة، والتي يمكن دمجها مع المعرفة الخارجية في بنية تحقق هجينة وعالية الكفاءة.