ملخص تقني: متى تفكر، ومتى تتحدث: تعلم سياسات الإفصاح لنماذج الاستدلال في النماذج اللغوية الكبيرة (LLMs)

صياغة المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) الحالية ذات التدفق الواحد التوليدي (single-stream autoregressive) قيداً هيكلياً: وهو اقتران تحديثات الحالة الداخلية بالإفصاح العام. في الواجهات القياسية، كل رمز (token) يتم توليده يقوم في الوقت نفسه بتحديث الحالة الخفية للنموذج ويصبح التزاماً علنياً لا رجعة فيه. هذا يخلق "ضريبة الصمت" حيث يجب على المستخدمين الانتظار حتى تكتمل عملية الاستدلال بأكملها قبل رؤية المحتوى ذي الصلة بالمهمة، أو على العكس، المخاطرة بـ "الالتزامات المبكرة" إذا قام النموذج بالبث مبكراً، مما قد يؤدي إلى تحيز التوليدات اللاحقة بادعاءات غير مدعومة.

بينما تعمل تقنية "سلسلة الأفكار" (Chain-of-Thought - CoT) على تحسين الدقة من خلال استحضار الاستدلال الوسيط، إلا أنها تزيد من حدة هذا التوتر عبر إظهار التداول كتمهيدات طويلة مرئية للمستخدم. تعتمد الحلول الحالية إما على قوالب/خوارزاية ثابتة للإفصاح أو تحفز المخرجات المبكرة بطرق تشجع على الحشو منخفض المعلومات. المشكلة الجوهرية التي يتم معالجتها هي كيفية جعل توقيت الإفصاح متغيراً قرارياً قابلاً للتعلم ضمن عملية فك الترميز (decoding) القياسية، مما يضمن أن النص المرئي المبكر مدعوم بصرامة بما تم إنتاجه من استدلال حتى تلك اللحظة.

المنهجية: الاستدلال المتداخل جنباً إلى جنب (SxS)

يقترح المؤلفون إطار عمل الاستدلال المتداخل جنباً إلى جنب (Side-by-Side Interleaved Reasoning)، وهو إطار يعامل الرؤية كخاصية قابلة للتحكم ضمن تدفق رموز واحد. يختار النموذج بين إجراءين في كل خطوة:

1. التفكير (R): تداول خاص (غير معلن).
2. التحدث (A): إفصاح مواجه للمستخدم.

يحدث كلا الإجراءين ضمن نفس السياق التوليدي؛ حيث تشكل رموز "التحدث" بادئة للاستجابة النهائية التي يختار النموذج الكشف عنها في وقت مبكر، بينما تسمح رموز "التفكير" بمواصلة الصقل الخاص دون التناقض مع الالتزامات السابقة.

مسار التدريب

يستخدم النهج عملية تدريب مكونة من مرحلتين لتعلم الإيقاع دون تحفيز الحشو:

1. الضبط الدقيق الخاضع للإشراف المتوافق مع الاستلزام (Entailment-Aligned SFT):

   • بناء البيانات: يتم تحويل الثلاثيات القياسية $(x, r, a)$ (المدخل، الاستدلال، الإجابة) إلى مسارات متداخلة.
   • المواءمة: يقوم فاحص استلزام (تم تنفيذه عبر نموذج لغوي كبير) بتحديد أكبر بادئة للإجابة مدعومة من قبل بادئة الاستدلال المعطاة.
   • التداخل: يتم تدريب النموذج على إصدار كتل الإجابة فقط عندما يتقدم حد الاستلزام. يضمن هذا أن الإفصاح "المبكر" هو مرادف للإفصاح "المدعوم".
   • الاستدلال اللاحق: إذا كانت الإجابة الكاملة مدعومة قبل انتهاء تسلسل الاستدلال، يتم إلحاق الاستدلال المتبقي ككتلة لاحقة للحفاظ على سلوكيات ما بعد الحل (مثل عمليات التحقق الذاتي).

2. التعلم التعزيزي (RL):

   • الهدف: يقوم الـ SFT بتعليم دلالات العمل المزدوج، ولكن التنسيق المتداخل يسبب إزاحة في التوزيع يمكن أن تؤدي إلى تدهور دقة المهمة النهائية. يُستخدم التعلم التعزيزي لاستعادة أداء الاستدلال تحت التنسيق الجديد.
     ed. الخوارزمية: تُستخدم خوارزمية تحسين السياسة النسبي للمجموعات (GRPO) مع مكافأة تعتمد على النتيجة فقط (صحة الإجابة النهائية).
   • التحكم في الحبيبية (Granularity Control): يستكشف المؤلفون آلية اختيارية لتشكيل المكافأة باستخدام برنامج تربيعي لتشجيع كتل الاستدلال الأقصر (حبيبية أعلى) مع الحفاظ بصرامة على إشارة الصحة (الفصل بين المسارات الصحيحة والخاطئة).

المساهمات الرئيسية

1. الإفصاح كتحكم: تصيغ الورقة توقيت الإفصاح كمسألة قرار متسلسل (تفكير مقابل تحدث) ضمن فك الترميز التوليدي القياسي، مما يحول الرؤية إلى خاصية قابلة للتحكم دون الحاجة إلى تغييرات هيكلية أو نماذج منفصلة.
2. الإفصاح المبكر المبرر: من خلال بناء مسارات متداخلة متوافقة مع الاستلزام، تضمن الطريقة أن تكون الإفصاحات المبكرة آمنة للعرض، مما يتجنب الالتزامات المبكرة والحشو.
3. تعلم مقايضات باريتو: يظهر الجمع بين SFT و RL تحسناً في مقايضات الدقة والكمون عبر بنيات نماذج مختلفة (MoE مقابل Dense)، وأحجام، ومجالات مختلفة.

النتائج التجريبية

قيم المؤلفون تقنية SxS على بنيتي Qwen3 (وهما MoE Qwen3-30B-A3B و dense Qwen3-4B) عبر اختبارات داخل النطاق (AIME25) وخارج النطاق (GPQA-Diamond, LiveCodeBench, KOR-Bench).

• كسر ضريبة الصمت: تقلل تقنية SxS بشكل كبير من متوسط وقت الانتظار بين الاستجابات (AIRW)، وهو مقياس تقريبي للوقت الذي ينتظره المستخدم على مستوى الرموز. على سبيل المثال، في Qwen3-4B، انخفض AIRW من ~21,316 رمزاً (Standard CoT) إلى ~8,519 رمزاً (SxS)، مما يشير إلى إفصاحات جزئية أكثر تكراراً.
• استعادة الدقة: يتسبب الـ SFT في البداية في انخفاض الدقة (على سبيل المثال، انخفض Qwen3-30B-A3B من 76.9% إلى 50.8% بعد SFT) بسبب إزاحة التوزيع. ومع ذلك، نجحت مرحلة الـ RL اللاحقة في استعادة الدقة (إلى 79.2%) مع الحفاظ على الهيكل المتداخل.
• المتانة خارج النطاق: تخفف تقنية SxS من النسيان الكارثي في المهام خارج النطاق. في GPQA-Diamond، شهدت Standard CoT بعد التعلم التعزيزي الموجه للرياضيات انخفاضاً كبيراً (مثلاً، Qwen3-4B من 55.9% إلى 19.0%)، بينما احتفظت SxS بدقة أعلى بكثير (49.3%).
• استقرار الحبيبية: يظل السلوك المتداخل قوياً حتى تحت التعلم التعزيزي القائم على النتيجة فقط. وبينما يميل التعلم التعزيزي إلى تقليل وتيرة التداخل قليلاً، فإنه لا ينهار عائداً إلى كتلة استدلال واحدة ضخمة. يمكن التحكم في الحبيبية بنشاط عبر تشكيل المكافأة إذا لزم الأمر.

الأهمية والادعاءات

تضع الورقة وتيرة الاستجابة كبعد تحكم عملي وغير مستكشف بشكل كافٍ لنماذج الاستدلال. يدعي المؤلفون أن SxS يحسن مقايضة باريتو بين الدقة وتأخير المحتوى دون تعديلات هيكلية. من خلال جعل الإفصاح التزاماً مُتعَلماً مرتبطاً بشرط دعم ملموس (الاستلزام)، تسمح الطريقة للنماذج بالكشف عن التقدم الجزئي في وقت مبكر مع الحفاظ على الموثوقية.

تشير النتائج إلى أن المقايضة المتصورة بين التداول والاستجابة تتشكل إلى حد كبير من خلال عرف التدفق الواحد. تثبت تقنية SxS أن الإيقاع يمكن تعلمه كسياسة سلوكية مستقرة بدلاً من فرضه عبر خوارزميات تجريبية، مما يتيح "تفاعلاً في أي وقت" حيث يكشف النموذج عن التقدم الجزئي المبرر مبكراً ويواصل التداول بخصوصية. يشير المؤلفون إلى أنه بينما قد تكون مكاسب الدقة المطلقة متواضلة أحياناً، فإن التخفيض المستمر في التأخير بين التحديثات المرئية ذات المعنى يمثل تحسناً كبيراً في سرعة الاستجابة التي يدركها المستخدم.