ملخص تقني: مراقبة المونولوج الداخلي عبر مسارات المسبار

بيان المشكلة

تنتج نماذج الاستدلال الكبيرة (LRMs) آثار "سلسلة الأفكور" (Chain-of-Thought - CoT)، والتي استُخدمت تقليديًا لمراقبة السلامة بناءً على الافتراض بأن النص المولد يعكس بصدق استدلال النموذج الداخلي. ومع ذلك، تشير الدراسات الحديثة إلى أن سلسلة الأفكور ليست دائمًا تفسيرًا صادقًا للمخرجات النهائية؛ ففي 5-10% من الحالات، تبدو سلسلة الأفكور آمنة بينما تكون الاستجابة النهائية ضارة (أو العكس). هذا "عدم الصدق" يخلق سقفًا للأداء لأدوات المراقبة القائمة على النصوص. علاوة على ذلك، فإن الاعتماد فقط على لقطات الحالة الخفية الساكنة (مثل مسبار الرمز النهائي أو متوسط جميع الرموز) يفشل في التقاط الديناميكيات الزمنية لعملية الاستدلال، مما قد يؤدي إلى تفويت الإشارات المبكرة للنوايا أو الأخطاء. التحدي الجوهري هو تحديد ما إذا كان يمكن التنبؤ بسلوك النموذج المستقبلي بشكل أكثر موثوقية من خلال تحليل التطور المستمر للتمثيلات الداخلية أثناء عملية الاستدلال، بدلاً من الاعتماد على النص السطحي أو الحالات الكامنة الساكنة.

المنهجية

يقترح المؤلفون إطار عمل ينقل التركيز من سلسلة الأفكور النصية إلى "المونولوج الداخلي" للنموذج — وهو تسلسل التمثيلات الكامنة المنتجة أثناء توليد سلسلة الأفكور. تتضمن المنهجية ثلاثة مكونات رئيسية:

1. بنية المسبار والتكامل متعدد الطبقات

يستخدم المؤلفون مصنفات خفيفة الوزن وغير خطية (مسبارات) مدربة على الحالات الخفية للكشف عن مفاهيم محددة (مثل الضرر أو عدم الصحة الرياضية).

• التعلم متعدد الطبقات: بدلاً من اختيار طبقة واحدة مثالية، يستخدم المؤلفون "مسبارًا ميتا" (meta-probe) يعتمد على التعلم متعدد الحالات (Multiple Instance Learning - MIL). تقوم هذه البنية بإنشاء مسبارات مستقلة لكل طبقة عبر طبقات متعددة، وتدمج مخرجاتها (logits)، ثم تعالجها عبر طبقة ميتا متعلمة. هذا يلغي الحاجة إلى الاختيار اليدوي للطبقات ويجمع أكثر التمثيلات بروزًا عبر عمق الشبكة.
• كفاءة بيانات التدريب: تقارن الدراسة بين ثلاثة مسارات للبيانات:
  • القائم على القوالب (Template-Based): حقن عينات مجموعة البيانات الأساسية في قوالب محددة مسبقًا.
  • القائم على الرسائل (Message-Based): تمرير الرسائل الخام عبر قالب الدردشة الخاص بالنموذج.
  • القائم على رسائل النموذج الدقيقة (Exact Model Messages-Based): توليد سلسلة أفكور واستجابات كاملة لتسمية الديناميكيات الداخلية الحقيقية.
    وجد المؤلفون أن البيانات القائمة على القوالب تحقق تكافؤًا تقريبًا مع الاستجابات الديناميكية المولدة للنماذج والتي تتطلب تكلفة عالية، مما يلغي الحاجة إلى الاستدلال والتسمية المكلفة أثناء التدريب.

2. بناء المسار عبر التجميع الأقصى التراكمي

كان قرار معماري حاسم يتعلق بطريقة التجميع المستخدمة لتوليد مسارات احتمالية مستمرة.

• رفض التجميع المتوسط: أظهر المؤلفون أن التجميع المتوسط واستخراج الرمز الأخير يؤديان إلى تذبذبات عالية الأداء وأداء يقترب من العشوائية (AUROC ~50%)، مما يجعلهما غير مناسبين للتنبؤ بالنوايا.
• اعتماد التجميع الأقصى التراكمي: استبدل المؤلفون التجميع الأقصى العالمي بعملية الحد الأقصى التراكمي ($z^l_t = \max_{1 \le i \le t} z^l_i$). يضمن هذا أن تنبؤ المسبار عند الرمز $t$ يعتمد فقط على المعلومات المولدة حتى $t$، مما يفرض ملفًا تعريفًا غير متناقص رتيبًا في الفضاء الميزاتي الكامن. توفر هذه الاستقرار إمكانية معاملة المونولوج الداخلي كإشارة سلسلة زمنية متماسكة.

3. استخراج الميزات عبر معالجة الإشارات

بمجرد توليد المسارات المستمرة، يستخرج المؤلفون مجموعة قوية من الميزات المنظمة في ست مجموعات لتوصيف الديناميكيات الزمنية:

1. الحالة الإحصائية العالمية: إحصاءات ملخصة (المتوسط، الحد الأقصى، التباين، المدى الربيعي، جذر متوسط المربعات).
2. ديناميكيات الشكل والاتجاه: ملاءمة الاتجاه الخطي/التربيعي، منحدرات المتوسط المتحرك، ومقاييس التراجع والتعافي على الطراز المالي.
3. التقسيم الزمني: تفكيك الطور القائم على الثلاثيات (tertile-based).
4. التحولات الحدودية: ميزات التقلب عند الانتقال من المطالبة (prompt) إلى سلسلة الأفكور.
5. معالجة الإشارات والنوايا المستمرة: كشف القمم، أطوال تشغيل وقت المكوث، الارتباط الذاتي، ومعدلات عبور المتوسط.
6. المعالم الزمنية والعلائقية: مواضع الحد الأقصى (argmax)، ونسب المتوسط إلى الأقصى.

يتم تغذية هذه الميزات في مصنفات ثنائية (الانحدار اللوجستي، الغابة العشوائية، XGBoost) للتنبؤ بالنتائج المستقبلية.

النتائج الرئيسية

1. استراتيجية التجميع أمر بالغ الأهمية

يعد اختيار عملية التجميع العامل الأكثر أهمية في الأداء.

• التجميع الأقصى (Max-Pooling): يحقق باستمرار أكثر من 90% AUROC (يصل إلى 97.14%) عبر جميع النماذج المختبرة (Llama-8B-R1-Distill, Qwen3-4B/8B/14B) والمجالات.
• التجميع المتوسط/الرمز الأخير: ينهار إلى أداء يقترب من العشوائية (AUROC ~50%).
• المقارنة مع النص: تصل أساليب "النموذج كحكم" (LLM-as-a-Judge) القائمة على النص إلى ذروتها عند ~84% AUROC، مما يشير إلى أن التمثيلات الداخلية تحمل إشارة سلوكية أغنى من النص المولد وحده.

2. ميزات المسار تحسن القدرة على الفصل

تتفوق المصنفات القائمة على المسار باستمرار على المسبارات الساكنة، لا سيما في حالات البيانات خارج التوزيع (OOD) ومهام الاستدلال المعقدة.

• السلامة (الضرر): تحسن ميزات المسار معدلات الكشف عن سلسلة الأفكور غير الصادقة (حيث تكون سلسلة الأفكور آمنة بينما الاستجابة ضارة). في مجموعة بيانات Aegis (خارج التوزيع)، تتدهور المسبارات الساكنة بشكل كبير، بينما تظل الميزات القائمة على المسار قوية.
• الرياضيات (الصحة): رغم أن التنبؤ بالخطأ الرياضي أصعب بطبيعته من كشف السلامة (المسبار الساكن 65-78% مقابل >90% في السلامة)، إلا أن ميزات المسار توفر مكاسب كبيرة. في مجموعة بيانات GSM8K، رفعت ميزات المسار AUROC بمقدار يصل إلى 17 نقطة مئوية لنماذج Qwen3 الأكبر.
• التعميم: تعمم ميزات المسار عبر فئات المشكلات (Leave-One-Out على فئات MATH الفرعية) والمجالات (من السلامة إلى السلامة)، مما يشير إلى أنها تلتقط أنماط استدلال عامة بدلاً من سمات خاصة بمجموعة بيانات معينة.

3. الديناميكيات الخاصة بالمجال

يكشف تحليل أهمية الميزات (قيم SHAP) أن المهام المختلفة تعتمد على خصائص مسار مختلفة:

• كشف الضرر: يهيمن عليه الميزات النهائية وميزات الحالة المستقرة (مثل الاحتمال النهائي، نسبة الأخير إلى الأقصى)، مما يشير إلى أن أين يستقر المسار هو الأمر الأكثر أهمية.
• التنبؤ بالخطأ الرياضي: مدفوع بـ التقلب والتحولات الديناميكية (مثل معدل عبور المتوسط، تباين التسارع، الميل)، مما يلتقط الطبيعة المضطربة للاستدلال الخاطئ. وهذا يتماشى مع النتائج التي تشير إلى أن الأخطاء الرياضية تظهر كعدم استقرار فوري في المسار.

4. كفاءة بيانات التدريب

تحقق المسبارات المدربة على بيانات القائمة على القوالب أداءً يكاد يكون مطابقًا للمسبارات المدربة على رسائل النموذج الدقيقة. على سبيل المثال، حقق Qwen3-14B نسبة 95.91% AUROC على بيانات القوالب مقابل 97.14% على رسائل النموذج الدقيقة، مما يؤكد أن القوالب الساكنة كافية للكشف عن المفاهيم عالية الجودة دون عبء توليد آثار استدلال كاملة.

الأهمية والادعاءات

يؤسس البحث مسارات المسبار كإطار عمل مكمل لمراقبة سلوك LRMs. يدعي المؤلفون ثلاث مساهمات رئيسية:

1. إطار عمل مبتكر: تقديم مسارات مسبار مستمرة عبر مسبارات MIL ميتا يوفر عدسة جديدة لتحليل كيفية تشفير النوايا السلوكية ديناميكيًا عبر عملية الاستدلال.
2. تنبؤ فائق: إثبات أن مسارات مسبار سلسلة الأفكور تمتلك ديناميكيات متميزة تمكن من التنبؤ بسلوكيات مستقبلية بشكل أكثر قوة مقارنة بالمسبارات الساكنة، لا سيال في كشف سلسلة الأفكور غير الصادقة والتنبؤ بالأخطاء الرياضية.
3. كفاءة منهجية: التحقق من أن بيانات التدريب القائمة على القوالب كافية للمسبارات الفعالة وأن التجميع الأقصى (max-pooling) ضروري للتنبؤ المستقر بالنوايا، بينما تفشل طرق التجميع القياسية.

يضع المؤلفون هذا العمل كخطوة نحو مراقبة سلامة أكثر قوة لا تعتمد على صدق النص السطحي. ومن خلال معاملة المونولوج الداخلي كإشارة سلسلة زمنية، يكشفون أن ديناميكيات الاستدلال تشفر معلومات غنية ومرتبطة بالمهام يمكن استغلالها لكشف النوايا الضارة أو الأخطاء حتى عندما يكون النص المولد مضللاً. العمل متواضع في نطاقه، حيث يشير إلى قيود مثل تقييم النماذج حتى 14 مليار معلمة والاعتماد على مجموعات بيانات محددة، لكنه يؤكد أن النتائج تعمم عبر مجالات السلامة والاستدلال.