ملخص تقني: الاستدلال في الذاكرة (Reasoning in Memory - RiM)

بيان المشكلة

تعتمد الأساليب الحالية لتعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) بشكل كبير على توسيع نطاق الحوسبة أثناء وقت الاختبار عبر توليد رموز (tokens) وسيطة قبل الإجابة النهائية، كما هو الحال في استدلال "سلسلة الأفكار" (Chain-of-Thought - CoT). ومع ذلك، يربط هذا النهج الحوسبة الداخلية مباشرة بالتوليد التلقائي للنصوص (autoregressive generation). ونتيجة لذلك، يُجبر النموذج على "التفكير بصوت عالٍ"، مما يخصص جزءًا كبيرًا من ميزانيته الحسابية لتوليد لغة طبيعية ذات سلاسة قواعدية بدلاً من التركيز على الاستدلال الداخلي الصرف.

بينما تحاول أساليب "الاستدلال الكامن" (latent reasoning) الحديثة تجاوز قيود اللغة الطبيعية باستخدام تمثيلات مستمرة، إلا أنها تظل متمسكة ببارادايم التوليد التلقائي المتسلسل. في هذه الأساليب، لا تزال الحوسبات الوسيطة تُخرج تسلسليًا قبل أن يتمكن الخطوة التالية من الشرطية عليها. تجادل هذه الورقة بأن الإدراك البشري يقدم مبدأ تصميميًا متفوقًا: الذاكرة العاملة. يمكن للبشر الاحتفاظ بالمعلومات ذات الصلة بالمهمة ومعالجتها داخليًا دون الحاجة إلى إخراج كل فكرة وسيطة. ويفترض المؤلفون أنه يمكن تدريب النماذج اللغوية الكبيرة لاستخدام مساحة عمل داخلية مماثلة، مما يفصل الاستدلال عن العائق التسلسلي لتوليد الرموز.

المنهجية: الاستدلال في الذاكرة (RiM)

يقدم المؤلفون الاستدلال في الذاكرة (Reasoning in Memory - RiM)، وهو طريقة استدلال كامن تستبدل التوليد التلقائي لخطوات الاستدلال بـ كتل ذاكرة ثابتة.

الآلية الجوهرية

بدلاً من توليد تسلسل من رموز الاستدلال، يتم تزويد النموذج بـ $K$ من كتل الذاكرة الثابتة، $m_{1:K}$. تتكون كل كتلة من تسلسل محدد مسبقًا من الرموز الخاصة:
$$m_k = [<b>, <m>, \dots, <m>, </b>]$$
حيث تحدد الرموز $<b>$ و $</b>$ حدود الكتلة، وتُشكل رموز $<m>$ مساحة العمل الكامنة.

• المدخلات الثابتة: يتم إلحاق هذه الكتل بالأسئلة كرموز ثابتة.
• تمريرة أمامية واحدة: نظرًا لأن الكتل هي مدخلات ثابتة وليست مخرجات مولدة، يتم معالجة التسلسل المعزز بالكامل (السؤال + كتل الذاكرة) في تمريرة أمامية واحدة. وهذا يلغي عائق التوليد المتسلسل المرتبط بالتوليد التلقائي.
• التمثيلات المتعلمة: بينما تظل هويات الرموز ومواقعها ثابتة، يتم تعلم تمثيلاتها السياقية لتكون معتمدة على المهمة، بحيث تشفر خطوات الاستدلال الوسيطة.

منهج تعليمي ذو مرحلتين

لتعليم النموذج كيفية استخدام هذه الكتل الثابتة كذاكرة عاملة، يستخدم RiM منهجًا تعليميًا يتكون من مرحلتين:

المرحلة الأولى: الإشراف على خطوة الاستدلال

• الهدف: ترسيخ كتل الذاكرة عبر تعيين دور حوسبي لها.
• الآلية: بالنسبة لتتبع استدلال يتكون من $T$ من الخطوات، يتم تدريب النموذج باستخدام $T$ من كتل الذاكرة. بعد كل كتلة $m_t$، يجب على النموذج التنبؤ بخطوة الاستدلال الصريحة التالية $r_{t+1}$.
• القيد: تضمن قناع الانتباه (attention mask) المخصص أن عملية القراءة لخطوة $t+1$ يمكنها الانتباه إلى السؤال وكتل الذاكرة السابقة، ولكن ليس إلى خطوات الاستدلال الصريحة السابقة. هذا يجبر النموذج على تشفير الحوسبة الضرورية داخل المساحة الكامنة لكتل الذاكرة.
• الإشراف: يستخدم هدف احتمالية سالبة لوغاريتمية موزونة مع جدول تناقصي لتقليل قوة الإشراف تدريجيًا.

المرحلة الثانية: صقل الإجابة النهائية

• الهدف: تحويل كتل الذاكرة الراسخة إلى مساحة عمل كامنة للتنبؤ بالإجابة النهائية.
• الآلية: يتم التخلص من تتبع الاستدلال الصريح. يستخدم النموذج عددًا ثابتًا من $K$ من كتل الذاكرة. بعد كل كتلة، يتم تدريب النموذج على التنبؤ بـ الإجابة النهائية مباشرة.
• الهدف: ينقل هذا الإشراف من التنبؤ بالخطوات الوسيطة إلى صقل الإجابة النهائية تدريجيًا مع توفر المزيد من كتل الذاكرة (الحوسبة الكامنة).
• الاستدلال: عند اختبار النموذج، يعالج النموذج السؤال وكتل الذاكرة في تمريرة واحدة، وتوفر قراءة الكتلة الأخيرة الإجابة.

قناع الانتباه (Attention Masking)

يعد قناع الانتباه السببي المخصص (الشكل 2 في الورقة) أمرًا بالغ الأهمية للطريقة. فهو يمنع تسرب المعلومات من خلال ضمان أن:

1. كتل الذاكرة تنتبه إلى السؤال وكتل الذاكرة السابقة.
2. عمليات القراءة المستهدفة (خطوات الاستدلال في المرحلة 1، والإجابة النهائية في المرحلة 2) تنتبه إلى السؤال وكتل الذاكرة المتاحة، ولكن ليس إلى الأهداف الأخرى.
   هذا يسمح بالتنبؤ بجميع الأهداف في تمريرة أمامية واحدة دون أن "يغش" النموذج عبر قراءة الحقيقة الأرضية (ground truth) المستقبلية.

المساهمات الرئيسية

1. الاستدلال في الذاكرة (RiM): طريقة استدلال كامن مبتكرة تفتح قدرة الذاكرة العاملة للنماذج اللغوية الكبيرة من خلال توفير مساحة عمل كامنة ثابتة ومخصصة للحوسبة الوسيطة، مما يفصلها عن التوليد التلقائي.
2. منهج تعليمي ذو مرحلتين: نهج تدريبي مهيكل يقوم أولاً بترسيخ كتل الذاكرة عبر الإشراف الصريح على الخطوات، ثم صقلها للتنبؤ بالإجابة النهائية، مما يتيح الاستخدام الفعال للمساحة الكامنة دون الحاجة إلى أهداف مساعدة معقدة.
3. الكفاءة والأداء: أدلة تجريبية تظهر أن RiM يضاهي أو يتجاوز نماذج الاستدلة الصريحة والكمنة الحالية مع الحفاظ على سرعة الاستدلال لنماذج الإجابة المباشرة (بدون عبء التوليد المتسلسل).

النتائج التجريبية

قيم المؤلفون RiM على معايير الاستدلال الرياضي GSM8K (داخل التوزيع) و GSM-Hard (خارج التوزيع) باستخدام نماذج GPT-2 و Llama-3.2 (بمعلمات 1 مليار و3 مليار).

• الأداء: تفوق RiM باستمرار على أقوى خط أساس للاستدلال الكامن (Coconut) وعلى الضبط الدقيق الموجه (SFT) للإجابة المباشرة.
  • في GSM8K (Llama-3.2-1B)، حقق RiM دقة جشعة بنسبة 42.1%، مقارنة بـ 36.9% لنموذج Coconut و 23.9% لنموذج SFT بدون CoT.
  • في GSM-Hard، حقق RiM نسبة 10.5%، متفوقًا على Coconut (8.5%) و SFT بدون CoT (5.3%).
  • أظهر RiX أيضًا درجات Pass@8 متفوقة، مما يشير إلى أن الحلول الصحيحة موزعة عبر المسار الكامن باحتمالية عالية.
• الكمون (Latency): حقق RiM سرعات استدلال مقاربة لسرعة SFT بدون CoT (وقت أول رمز تقريبًا 16 مللي ثانية لـ Llama-3.2-1B)، بينما كان Coconut أبطأ بـ ~7 مرات، و SFT مع CoT أبطأ بـ ~27 مرة بسبب التوليد التلقائي.
• تحليل التمثيل: أظهرت إسقاطات PCA لتمثيلات كتل الذاكرة أن النموذج يتعلم إنشاء مساحات عمل كامنة متميزة ومعتمدة على العينة؛ حيث تتطور التمثيلات بشكل منهجي أثناء التدريب، مما يؤكد أن الكتل ليست مجرد أماكن محجوزة ثابتة بل حالات حوسبية نشطة.
• المتانة: ظل الأداء مستقرًا عبر ميزانيات الذاكرة المختلفة وقت الاستدلال (عدد الكتل)، مما يشير إلى أن الطريقة متينة تجاه قيود النشر.

الأهمية والادعاءات

تدعي الورقة أن النماذج اللغوية الكبيرة يمكن تدريبها لاستخدام الذاكرة العاملة كآلية فعالة للاستدلال الكامن.

تكمن الأهمية الأساسية في فصل الحوسبة عن التواصل. من خلال استبدال توليد الأفكار الوسيطة بكتل ذاكرة ثابتة، يسمح RiM للنماذج بإجراء حوسبة داخلية كثيفة وقابلة للتوازي دون العبء الناتج عن توليد اللغة الطبيعية أو التمثيلات المستمرة المتسلسلة. وينتج عن ذلك طريقة تتميز بـ:

1. كفاءة حوسبية: تتجنب العائق التسلسلي للتوليد التلقائي، مما يسمح بالاستدلال في تمريرة واحدة.
2. الفعالية: تحقق أداءً رائدًا بين أساليب الاستدلال الكامن في المعايير الرياضية.
3. القابلية للتوسع: تعمل عبر عائلات وأحجام مختلفة من النماذج دون الحاجة إلى بنيات متكررة معقدة أو أهداف تدريب متعددة المسارات.

يخلص المؤلفون إلى أن هذا النهج يمثل مسارًا قابلًا للتطبيق نحو أنظمة استدلال أكثر كفاءة تحاكي كفاءة الإدراك البشري من خلال جعل عملية الاستدلال داخلية بدلاً من إخراجها كنص.