ملخص تقني: CoLT – الاستدلال باستخدام سلاسل استدعاء الأدوات الكامنة

بيان المشكلة

أثبت أسلوب "سلسلة الأفكب" (Chain-of-Thought - CoT) أهميته الجورية في تعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) من خلال تقسيم المشكلات المعقدة إلى خطوات متسلسلة. ومع ذلك، يتطلب أسلوب CoT الصريح توليد سلاسل الاستدلال خطوة بخطوة (token-by-token)، مما يؤدي إلى تكاليف حوسبة عالية أثناء الاستنتاج. وبينما تم اقتراح طرق CoT ضمنية (مثل COCONUT وCODI وCOLAR) للاستدلال في فضاء كامن مستمر لتقليل طول الرموز (tokens)، إلا أنها تعاني عموماً من قصورين حرجين:

1. الجمود الهيكلي: غالباً ما تتطلب تعديلات كبيرة في بنية النموذج وتدريباً مكثفاً.
2. قابلية التطبيق: تحد هذه القيود من اعتمادها على نطاق أوسع عبر المهام وهياكل النماذج المختلفة.

علاوة على ذلك، فإن طرق الاستدلال الكامنة الموجودة تعمل غالباً بالكامل في فضاء كامن "صندوق أسود"، مما قد يضحي بالقابلية للتفسير وقدرات الاستدلال المدربة مسبقاً للنموذج الأساسي.

المنهجية: إطار عمل CoLT

يقترح المؤلفون إطار عمل CoLT (سلسلة الأدوات الكامنة - Chain-of-Latent-Tools)، وهو إطار مبتدئ ينفذ الاستدلال الكامن كـ "استدعاءات أدوات بارامترية". بدلاً من الاستدلال بالكامل داخل الفضاء الكامن، يسمح CoLT للنموذج اللغوي الكبير الأساسي بالعمل في فضاء الرموز الصريح مع إسناد عملية توسيع خطوات الاستدلال إلى فك تشفير خارجي قابل للتفاضل.

الآلية الجوهرية

1. رموز البذرة واستدعاءات الأدوات الكامنة:
   خلال عملية الاستدلال، يولد النموذج اللغوي الكبير رموز "بذرة" (seed tokens) خاصة لتمثيل خطوة استدلال مكثفة. وتتكون هذه الرموز من:

   • رموز المتن (<BDY>): حاملة لتمثيلات كامنة (embeddings) تحتوي على المعلومات المضغوطة لخطوة الاستدلال.
   • رموز المحفز (<TRG>): مؤشرات تشير إلى نهاية استدعاء الأداة الكامنة وتحدد أي مفكك تشفير خارجي يجب استدعاؤه.

   يظهر تسلسل استدعاء الأداة الكامنة النموذجي كالتالي: [السؤال] [الخطوات السابقة] <BDY> ... <TRG>.

2. فك التشفير القابل للتفاضل:
   عند ظهور رمز المحفز، يتم استخراج الحالات الخفية (hidden states) لرموز البذرة وتمريرها إلى مفكك تشفير خارجي قابل للتفاضل (على سبيل المثال، Transformer خفيف الوزن، أو RNN، أو مفكك Multi-hot).

   • يقوم مفكك التشفير هذا بفك ضغط الحالات الخفية وإعادتها إلى رموز نصية صريحة كاملة (مثل المعادلات الرياضية).
   • يتم دمج هذه الرموز المفككة مع السياق، ويواصل النموذج اللغوي الكبير توليده التتابعي (autoregressive) مع السياق المحدث والقابل للقراءة.

3. أهداف التدريب:
   يتم تدريب إطار العمل بشكل كامل (end-to-end) باستخدام مكوني خسارة تحت الإشراف:

   • الخسارة الرئيسية ($L_{main}$): تضمن أن النموذج الأساسي يولد رموز البذرة وإشارات المحفز بشكل صحيح.
   • الخسارة الكامنة ($L_{lat}$): تضمن أن مفكك التشفير يعيد بناء الرموز النصية بشكل صحيح من تمثيلات البذرة الكامنة.
   • إجمالي الخسارة: $L_{sup} = L_{main} + L_{lat}$.

4. التوافق مع التعلم التعزيزي (RL):
   بما أن مفاتيح التشفير قابلة للتفاضل ويمكنها دعم أخذ العينات (sampling)، يمكن نمذجة عملية الاستدلال بأكملها كحوار متعدد الجولات. وهذا يسمح بتطبيق تحسين السياسة النسبي للمجموعات (GRPO) لاستكشاف مسارات استدلال متنوعة وتعزيز السلاسل الصحيحة دون حقن الضوضاء يدوياً.

المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم CoLT طريقة لتنفيذ الاستدلال الكامن كاستدعاءات للأدوات، مما يمكّن النموذج الأساسي من الاستدلال في فضاء النص المدرب مسبقاً مع ضغط الخطوات المتوسطة في رموز البذرة.
2. مرونة مفكك التشفير: صمم المؤلفون وقيموا هياكل مختلفة لمفكك التشفير (Transformer، RNN، Multi-hot)، موضحين أنه بينما يحقق Transformer أفضل أداء، فإن إطار العمل قابل للتكيف مع أشكال مختلفة.
3. الكفاءة والأداء: يحقق CoLT دقة أعلى وأطوال استدلال أقصر مقارنة بنماذج الاستدلال الكامنة المرجعية (بما في ذلك COCONUT وCODI وCOLAR وSIM-CoT)، ويتطلب دورات تدريبية أقل وتعديلات هيكلية أقل.
4. التكامل مع التعلم التعزيزي: ثبت توافق إطار العمل مع خوارزميات التعلم التعزيزي، مما يسمح بتحقيق مكاسب في الأداء على مجموعات البيانات الصعبة من خلال الاستكشاف.

النتائج التجريبية

قيم المؤلفون CoLT على أربعة معايير للاستدلال الرياضي: GSM8k، وGSM8k-hard، وSVAMP، وMultiArith.

• الدقة مقابل الطول: تفوق CoLT على النماذج المرجعية للاستدلال الكامن (بما في ذلك COCONUT وCODI وCOLAR وSIM-CoT) في كل من الدقة وطول سلسلة الاستدلال. على سبيل المثال، في GSM8k-Aug، حقق CoLT تحسناً في الدقة بنسبة 5% عن COLAR (2x) مع تقليل طول رموز الاستدلال من 12.7 إلى 7.73.
• التعميم: أظهر النموذج قدرة قوية على التعميم خارج النطاق، لا سيال في مجموعة بيانات MultiArith حيث تفوق على نموذج CoT الخاضع للإشراف.
• دراسات الاستئصال (Ablation Studies):
  • طبقات مفكك التشفير: أدى زيادة طبقات مفكك التشفير وطول رموز البذرة إلى تحسين الدقة، وإن كان ذلك بعوائد متناقصة بالنسبة للتكلفة الحوسبية.
  • هيكل مفكك التشفير: حققت مفكات التشفير من نوع Transformer أفضل أداء، تلتها RNNs. أما مفكات التشفير من نوع Multi-hot فقد كان أداؤها ضعيفاً، مما يشير إلى أن الهياكل التكرارية (recurrent structures) هي الأنسب لفك حزم البذور.
• التعلم التعزيزي: أدى تطبيق GRPO على نماذج CoLT على مجموعتي بيانات GSM8k-Aug وMATH (باستخدام DeepSeek-R1-Distill-Qwen-1.5B) إلى تعزيز الأداء بشكل أكبر، مما أثبت قدرة إطار العمل على التعلم من مسارات الاستدلال المتنوعة.

الأهمية والادعاءات

يزعم البحث أن CoLT يقدم حلاً عملياً للمفاضلة بين كفاءة الاستدلال وقدرة النموذج. ومن خلال تثبيت النموذج الأساسي في فضاء النص المدرب مسبقاً واستخدام مفكات تشفير خارجية للتعامل مع التوسع "الكامن"، يحافظ CoLT على قابلية تفسير سلاسل الاستدلال (المخرج النهائي هو نص كامل) مع تقليل تكاليف الاستنتاج بشكل كبير.

يؤكد المؤلفون أن CoCT يتطلب تعديلاً طفيفاً في بنية النموذج الأصلية، مما يجعله أكثر قابلية للتطبيق على نطاق واسع من طرق الاستدلال الكامنة السابقة التي تتطلب تغييرات هيكلية ثقيلة. بالإضافة إلى ذلك، فإن توافق إطار العمل مع التعلم التعزيزي يشير إلى مسار لتوسيع نطاق الاستدلال الكامن لمهام أكثر تعقيداً، بشرما يتم ضبط دقة استدعاءات الأدوات وهياكل مفكك التشفير لتناسب المجال المحدد. ويخلص البحث إلى أنه رغم تركيزه حالياً على الاستدلال الرياضي، فإن مفهوم استدعاء الأدوات الكامنة يحمل إمكانات لتطبيقات أوسع، بما في ذلك استرجاع الكيانات والاستدلال متعدد الوسائط.