ملخص تقني: التفكير المطابق (Conformal Thinking): التحكم في المخاطر عند التفكير ضمن ميزانية حوسبة

1. بيان المشكلة

تتيح نماذج اللغة الكبيرة (LLMs) القائمة على التفكير ما يسمى بـ "توسيع النطاق أثناء الاختبار" (test-time scaling)، حيث يتحسن الأداء مع زيادة ميزانية الرموز (tokens). ومع ذلك، يبرز تحدٍ عملي: تحديد متى يجب التوقف عن التفكير. تعتمد آليات التفكير التكيفية الحالية عادةً على عتبة عليا واحدة من الثقة (أو عدم اليقين) لإيقاف عملية التوليد بمجرد أن يبدو النموذج واثقاً. يواجه هذا النهج عدم كفاءة حرجين:

1. الإفراط في التفكير (Over-thinking): قد يستمر النماذج في التفكير بعد توفر إجابة صحيحة بالفعل، مما يهدر قدرات الحوسبة.
2. نقص التفكير في الحالات الصعبة (Under-thinking): في المسائل الصعبة أو غير القابلة للحل، قد لا تصل ثقة النموذج أبداً إلى العتبة العليا، مما يؤدي إلى استنفاد النظام لأقصى ميزانية رموز دون نجاح.

علاوة على ذلك، يمثل تحديد قيمة العتبة المحددة تحدياً عملياً؛ فالعلاقة بين قيمة العتبة ومعدل الخطأ الناتج غالباً ما تكون غير قابلة للتفسير، وتعتمد على الإشارة، وتتفاوت باختلاف المهام. تعتمد الطرق الحالية غالباً على حدود مقطوعة مضبوطة يدوياً أو مسوحات تجريبية (heuristics)، وهي تفتقر إلى الضمانات النظرية فيما يتعلق بمعدل الخطأ (المخاطرة) الفعلي المتكبد.

يعيد المؤلفون صياغة مشكلة تحديد ميزانية التفكير ليس كعملية ضبط لمعلمات فائقة (hyperparameters)، بل كمسألة تحكم في المخاطر (risk control). الهدف هو الحد من معدل الخطأ إلى حد التسامح الذي يحدده المستخدم ($\epsilon$) مع تقليل التكلفة الحوسبية إلى أدنى حد.

2. المنهجية: التفكير المطابق (Conformal Thinking)

يقدم إطار العمل المقترح، التفكير المطابق، آلية إيقاف ذات عتبة مزدوجة يتم التحكم فيها بواسطة خوارزميات تحكم في المخاطر خالية من التوزيع (distribution-free).

2.1 سياسة الإيقاف ذات العتبة المزدوجة

بدلاً من عتبة علوية واحدة، تستخدم الطريقة عتبتين لإدارة نوعين متميزين من المخاطر:

• العتبة العليا ($\lambda_+$): تتحكم في مخاطر الإيجاب الكاذب (False Positive Risk). فهي توقف التفكير عندما يكون النموذج واثقاً بما يكفي من أنه وجد الإجابة الصحيحة، مما يمنع هدر الرموز في الحالات القابلة للحل حيث تكون الإجابة معروفة بالفعل.
• العتبة الدنيا ($\lambda_-$): تتحكم في مخاطر السلب الكاذب (False Negative Risk). فهي توقف التفكير عندما لا تزداد ثقة النموذج بمعدل كافٍ، مما يشير إلى أن الحالة قد تكون غير قابلة للحل ضمن الميزانية المتبقية، وهذا يمنع هدر الرموز في الحالات المستعصية.

يتم تعريف زمن التوقف $\tau$ كالتالي:
$$\tau = \min \{ t \ge 1 : \tilde{s}_t \ge \lambda_+ \lor \tilde{s}_t \le \lambda_- \}$$
حيث $\tilde{s}_t$ هي إشارة عدم يقين مستقرة (مثل الثقة أو الإنتروبيا) عند الخطوة $t$.

2.2 العتبة الدنيا الديناميكية

الابتكار الرئيسي هو العتبة الدنيا البارامترية. بخلاف العتبة العليا الثابتة، فإن العتبة الدنيا هي دالة ديناميكية لخطوات التفكير (أو استخدام الرموز). فهي تفرض "جدولاً زمنياً" للتقدم: يجب أن يظهر النموذج زيادة منتظمة في الثقة للاستمرار.
يتم نمذجة العتبة الدنيا كدالة سيجمويد (sigmoid function):
$$\lambda_-(t; c, s, l, u) = \sigma(c (\omega_t - sB), l, u)$$
حيث $\omega_t$ هي الرموز التراكمية المولدة، و $B$ هي الميزانية الإجمالية، والمعلمات $c, s, l, u$ تتحكم في الميل، والإزاحة، والحدود. إذا فشل مسار ثقة النموذج في تلبية هذا الجدول الزمني الديناميكي، يتم إيقاف التفكير استباقياً.

2.3 دالات الخسارة

يحدد إطار العمل دالات خسارة محددة لقياس المقايضات:

• الخسائر التنبؤية:
  • $\ell_+$: تقيس الإيجاب الكبذب (التوقف المبكر عند إجابة خاطئة).
  • $\ell_-$: تقيس السلب الكاذب (التوقف في حالة كان من الممكن حلها لاحقاً). هذه الدالة "بعيدة النظر"، حيث تتحقق مما إذا كانت هناك إجابة صحيحة في أي خطوة مستقبلية $k \in (t, T]$.
• خسائر الكفاءة:
  • $J_+$: تقيس الرموز المهدرة بعد زمن التوقف "المثالي" (عندما أصبحت الإجابة صحيحة لأول مرة).
  • $J_-$: تقيس الرموز المهدرة في الحالات التي كانت غير قابلة للحل في النهاية.

2.4 التحكم في المخاطر عبر UCB

لاختيار العتبات ($\lambda_+$) والمعلمات الديناميكية ($c$) دون الإفراط في التخصيص (overfitting) لمجموعة تحقق (validation set) محدودة، يستخدم المؤلفون التحكم في المخاطر الخالي من التوزيع باستخدام خوارزمية الحد العلوي للثقة (UCB) (Bates et al., 2021).

1. المعايرة (Calibration): على مجموعة تحقق محجوزة، تحسب الخوارزمية تقديراً معدلاً للمخاطر يتضمن حداً لتصحيح العينات المحدودة.
2. الاختيار: تختار زوج الإشارة والعتبة الذي يحقق حد التسامح مع المخاطر المحدد من قبل المستخدم ($\epsilon$) مع احتمال عالٍ ($1-\delta$) مع تقليل خسارة الكفاءة المقدرة.
3. إجراء ذو خطوتين: تفصل الطريقة بين اختيار العتبة العليا والعتبة الدنيا لتبسيط التحسين، حيث يتم أولاً تثبيت العتبة العليا للتحكم في الإيجاب الكاذب، ثم اختيار معلمات العتبة الدنيا.

3. المساهمات الرئيسية

1. إطار التحكم في المخاطر: نهج مبدئي لوضع قواعد التوقف للتفكير التكيفي يربط مباشرة بين حدود المخاطر التي يحددها المستخدم ومعايير التوقف، بدلاً من ضبط العتبات الغامضة.
2. آلية العتبة المزدوجة: تقديم عتبة دنيا بارامترية جديدة توقف التفكير في الحالات غير القابلة للحل، لتكمل العتبة العليا القياسية.
3. تعريف دالات الخسارة: مجموعة من دالات الخسارة التي تلتقط كل من الأخطاء التنبؤية (الإيجاب/السلب الكاذب) وتكاليف الكفاءة (الرموز المهدرة) الخاصة بالتوقف المبكر في نماذج التفكير LLM.
4. التحقق التجريبي: إثبات أن هذا النهج يحقق أهداف المخاطر المحددة من قبل المستخدم باحتمالية عالية ويحسن الكفاءة الحوسبية مقارنة بالنماذج الأساسية أحادية العتبة أو البديهية.

4. النتائج التجريبية

قيم المؤلفون إطار العمل على مهام تفكير متنوعة (AIME, DeepScaleR, GPQA-Diamond, MathVision) باستخدام نماذج مثل Qwen3-8B/30B و DeepSeek-R1-Distill.

• صلاحية التحكم في المخاطر: أكدت التجارب أن الاختيار القائم على UCB يضمن بقاء المخاطر الفعلية في الاختبار تحت الهدف المحدد ($\epsilon$) باحتمالية عالية. في المقابل، أدى التحقق المتقاطع (cross-validation) البديهي غالباً إلى انتهاك أهداف المخاطر، خاصة بالنسبة لمخاطر السلب الكاذب التي تتحكم فيها العتبة الدنيا.
• مكاسب الكفاءة:
  • تجميع الإشارات (Ensembling Signals): يختار الإطار تلقائياً إشارة عدم اليقين الأكثر كفاءة (مثل الثقة، أو Probe، أو EAT) لمستوى خطر معين، متفوقاً بذلك على النماذج الأساسية أحادية الإشارة.
  • تأثير العتبة الدنيا: وفرت العتبة الدنيا وفورات كبيرة في الرموز، خاصة في مجموعات البيانات التي تحتوي على نسبة عالية من الحالات غير القابلة للحل. في السيناريوهات التي كانت فيها الحالات غير القابلة للحل شائعة (بنسبة 1:1 أو 1:3)، فشل نهج "العتبة العليا فقط" في توفير الرموز (حيث استمر حتى أقصى ميزانية)، بينما نجح نهج العتبة المزدوجة في إزاحة منحنى الدقة والحوسبة نحو اليسار بشكل كبير.
• المتانة (Robustness): ظل النهج متيناً تحت تغير التوزيع (مثل اختلاف صعوبة البيانات أو طول التفكير)، بينما عانت الطرق البديهية من مخاطر زائدة شديدة.

5. الأهمية والادعاءات

يزعم البحث أن التفكير المطابق يوفر تحولاً ضرورياً من ضبط العتبات التجريبي إلى إدارة المخاطر القابلة للتفسير. ومن خلال السماح للمستخدمين بتحديد معدل الخطأ المقبول (التسامح مع المخاطر) بدلاً من قيمة ثقة تعسفية، يجعل هذا الإطار التفكير التكيفي أكثر موثوقية وقابلية للنشر.

يؤكد المؤلفون أن طريقتهم لا تعيد تصميم عملية فك التشفير (decoding) أو تختار من بين المسارات المكتملة؛ بل توفر قاعدة إيقاف على مستوى الحالة (instance-level) لعملية التفكير الجارية. تكمن الأهمية في قدرتها على:

1. ضمان حدود المخاطر في حالات العينات المحدودة.
2. معالجة عدم الكفاءة المتمثل في الإفراط في التفكير ونقص التفكير في آن واحد.
3. تخصيص ميزانيات الحوسبة بناءً على صعوبة الحالة مع الالتزام بقيود السلامة/الخطأ الصارمة.

يشير المؤلفون إلى وجود قيود، بما في ذلك افتراض الرتابة (monotonicity) في دالات المخاطر، والقصر الحالي على مهام التفكير المنظم (الرياضيات/العلوم) حيث تكون إشارات عدم اليقين محددة جيداً. كما يُقترح العمل المستقبلي في أطر الوكلاء (agentic frameworks) وطرق توسيع النطاق أثناء الاختبار الأخرى.