Reasoning Models Don't Just Think Longer, They Move Differently

ملخص تقني: نماذج الاستدلال لا تكتفي بالتفكير لفترة أطول، بل تتحرك بشكل مختلف

بيان المشكلة
تخصص نماذج اللغات الكبيرة (LLMs) المدربة على الاستدلال (Reasoning-trained) وقت حوسبة أكبر أثناء الاختبار للمشكلات الأكثر صعوبة، مما يؤدي إلى سلاسل تفكير أطول بشكل ملحوفت. ومع ذلك، كافحت الأدبيات الحالية للتمييز ما إذا كانت هذه النماذج تقوم مجرد خطوات حوسبية أكثر أم أنها تغير جوهرياً مسار استدلالها الداخلي. هناك متغير مربك حرج في تحليل مسارات الحالة الخفية (hidden-state trajectories) وهو طول التوليد: المسارات الأطول هي بطبيعتها أقل مباشرة (أكثر "تعرجاً") بغض النظر عن المنطق الداخلي للنموذج. وبناءً على ذلك، فإن التحليلات الهندسية الخام غالباً ما تعزو الآثار الميكانيكية لطول المسار إلى صعوبة المشكلة أو بنية النموذج، مما يحجب ما إذا كان التدريب على الاستدلال يستحث ديناميكيات داخلية متميزة.

المنهجية
يستخدم المؤلفون تصميماً تجريبياً متوافقاً عبر ثلاثة مجالات: البرمجة التنافسية (Codeforces)، والرياضيات (MATH)، والرضا البولياني (SAT).

1. معايرة الصعوبة: لتأسيس مقياس صعوبة مستمر ومستقل عن التصنيفات الخاصة بكل منصة، استخدم المؤلفون نموذج راش (Rasch model - نظرية الاستجابة للمفردة) باستخدام أداء 32 نموذجاً عبر 1,500 عنصر. ينتج عن ذلك متغير صعوبة كامن ($b_i$) لكل مشكلة.
2. استخراج المسارات: يتم استخراج مسارات الحالة الخفية من التيار المتبقي (residual stream) عند خمس طبقات متباعدة بالتساوي أثناء توليد مقاطع الحل. بالنسبة لنماذج الاستدلال، هذا المقطع هو كتلة التفكير الصريحة؛ أما بالنسبة للنماذج المرجعية المضبوطة للتعليمات (instruction-tuned baselines)، فهو النص الذي يسبق الحد الفاصل المكتشف للإجابة.
3. المقاييس الهندسية: يتم حساب إحصائيتين رئيسيتين:
   • المباشرة ($D$): نسبة الإزاحة الصافية إلى طول المسار الإجمالي ($\Delta / L$)، وتقيس كفاءة نقطة النهاية.
   • تباين الانحناء ($V$): الانحراف المعياري لانحناء مينجر (Menger curvature) عبر الثلاثيات المتتالية، ويقيس عدم التجانس في الانحناء المحلي.
4. تصحيح الطول: إدراكاً منهم بأن الهندسة الخام يهيمن عليها طول التوليد ($N$)، أجرى المؤلفون إجراءً لتقليل البواقي (residualization). قاموا بملاءمة انحدار يعتمد على الطول فقط ($\bar{D} \sim \log N$) لكل نموذج وطبقة، ثم ربطوا البواقي ($D_\perp$) بصعوبة العنصر ($b_i$). هذا يعزل الارتباط بين الصعوبة والهندسة عن طول المسار.
5. التحليل المقارن: تقارن الدراسة ستة أزواج متطابقة من النماذج المدربة على الاستدلال (باستخدام تقطير R1، أو SFT+RL، أو تقطير o3-mini) مقابل النماذج المرجعية المضبوطة للتعليمات.
6. التحليلات المساعدة: يستخدم المؤلفون مجسات خطية (linear probes) لاختبار قابلية فك تشفير الصعوبة عند مرحلة المطالبة (prompt stage)، ويستخدمون حكام نماذج لغوية مستقلين لتوصيف سلوكيات الاستدضاء المولدة (مثل تغيير الاستراتيجية، ومراقبة اليقين).

النتائج الرئيسية

1. انعكاس الإشارة عبر تصحيح الطول: في المسارات الخام، تبدو المشكلات الأصعب أقل مباشرة لأنها تولد مسارات أطول. بعد تصحيح الطول، ينعكس هذه العلاقة عبر جميع المجالات الثلاثة: المشكلات الأصعب تستحث مسارات مصححة أكثر مباشرة. يشير هذا إلى أن الهندسة الخام هي نتاج هيكلي للطول، وليست تمثيلاً وفياً لتنظيم الاستدلال.
2. التباين المعتمد على المجال:
   • البرمجة التنافسية: يظهر التمييز الأكثر وضوحاً هنا. تُظهر جميع النماذج الستة المدربة على الاستدلال ارتباطاً موجباً قوياً بين الصعوبة والمباشرة المصححة ($\rho_{D_\perp} \approx +0.41$)، بينما تظل النماذج المرجعية المتطابقة قريبة من الصفر أو سالبة ($\approx -0.06$). كما تُظهر نماذج الاستدلال انخفاضاً في تباين الانحناء في المشكلات الصعبة.
   • الرياضيات: التمييز أضعف وغير متجانس ($\rho_{D_\perp} \approx +0.05$ للاستدلال مقابل $-0.07$ للمرجعية).
   • الرضا البولياني: تُظهر كل من نماذج الاستدلال والنماذج المرجعية ارتباطاً موجباً مصححاً، مما يشير إلى أن الارتباط بين الصعوبة والهندسة يمكن أن ينشأ في النماذج المضبوطة للتعليمات دون تدريب محدد على الاستدلال في هذا المجال.
3. الانفصال عن المجسات الخطية: لا تعكس المجسات الخطية في مرحلة المطالبة التمايز في المسارات الملاحظ في الهندسة المصححة. في مجال الكود، تكون الفجوة الهندسية كبيرة بينما يكون الفرق في قابلية فك تشفير الصعونة الخطية ضئيلاً. هذا يشير إلى أن التأثير ليس مجرد وصول خطي أقوى لمعلومات الصعوبة، بل هو تغيير في كيفية تطور المسار أثناء التوليد.
4. الارتباطات السلوكية: يتزامن الارتباط الهندسي المصحح القوي مع سلوكيات استدلال ملحوظة، وتحديداً "تغيير الاستراتيجية" و"مراقبة اليقين"، خاصة في نماذج R1-distilled. هذه التوصيفات هي ارتباطات وصفية تم قياسها من نفس المسارات، وليست آليات سببية.

الأهمية والادعاءات
تثبت الورقة أن طول التوليد هو متغير مربك هيكلي في تحليل مسار وقت التوليد، وأن تصحيح الطول هو شرط مسبق للتفسير الصحيح. يدعي المؤلفون أن التدريب على الاستدلال يرتبط بهندسة مسار مصححة متميزة، لكن هذا التأثير يعتمد على المجال، حيث يكون أكثر وضوحاً في البرمجة التنافسية.

تشير النتائج إلى أن نماذج الاستدلال لا تكتفي بـ "التفكير لفترة أطول" فحسب؛ بل تتبع مسارات داخلية مختلفة تصبح أكثر مباشرة وأقل عدم تجانس محلي مع زيادة صعوبة المشكلة، وتحديداً في المجالات التي تتطلب اختيار استراتيجية معقدة. تفترض الورقة أن هذه الإشارة الهندسية هي مكملة، وليست مجرد إعادة صياغة، لفك تشفير الصعوبة الخطي. أخيراً، يطلق المؤلفون أرشيف مسارات واسع النطاق يربط سلاسل التفكير مع مسارات الحالة الخفية المأخوذة لتسهيل الأبحاث المستقبلية في الديناميكيات الداخلية للاستدلال.

المحددات
يقر المؤلفون بأن التحليل يحدد ارتباطاً هندسياً قوياً وليس آلية سببية. يعتمد تقسيم مقاطع الحل على قواعد استدلالية (heuristics) للنماذج المرجعية، والتوصيفات السلوكية هي ارتباطات وصفية مستمدة من نفس البيانات، مما يمنع تقديم ادعاءات سببية حول كيفية دفع سلوكيات معينة للإشارة الهندسية. بالإضافة إلى ذلك، قد يؤدي أخذ العينات بخطوات ثابتة (fixed-stride sampling) إلى تفويت الهياكل الزمنية الأكثر دقة.