ملخص تقني: محولات التنبؤ بالكمون التالي تتعلم نماذج عالم مدمجة

بيان المشكلة

تستبدل بنيات المحولات (Transformer) القياسية التكرار (recurrence) بالانتباه الذاتي (self-attention) وآلية ذاكرة تتوسع مع طول التسلسل. وبينما يتيح ذلك توازيًا استثنائيًا وقدرة تنبؤية عالية، فإنه يزيل الانحياز الاستقرائي المتأصل لضغط التاريخ في حالات كمون (latent states) مدمجة ذات قواعد انتقال متسقة. ونتيجة لذلك، غالبًا ما تتعلم المحولات اختصارات معقدة خاصة بمهام معينة تناسب بيانات التدريب جيدًا ولكنها تعمم بشكل سيئ، وتفشل في تكوين "نماذج عالم" (world models) متماسكة أو حالات اعتقاد (belief states) ضرورية للتخطيط والاستدلال طويل الأمد. إن هدف التنبؤ بالرمز التالي (next-token prediction) القياسي لا يضمن أن الحالة الخفية للموديل تتطور كإحصائيات كافية للتاريخ الماضي، كما لا يضمن أن هذه الحالات يمكنها التنبؤ بالملاحظات المستقبلية بشكل تكراري.

المنهجية: التنبؤ بالكمون التالي (NextLat)

يقدم المؤلفون إطار عمل التنبؤ بالكمون التالي (NextLat)، وهو إطار يعزز تدريب الرمز التالي القياسي بتنبؤات ذاتية الإشراف في فضاء الكمون (latent space). الفكرة الجوهرية هي تدريب المحول على تعلم تمثيلات كمونية (تحديدًا الحالات الخفية للطبقة الأخيرة $h_t$) تكون قابلة للتنبؤ بحالة الكمون التالية عند إعطائها الرمز التالي.

الأساس النظري

يثبت البحث أنه إذا قام الموديل بتحسين كل من اتساق الرمز التالي (التنبؤ بـ $X_{t+1}$ من $h_t$) واتساق الانتقال (التنبؤ بـ $h_{t+1}$ من $h_t$ و $X_{t+1}$)، فإن الحالات الخفية $h_t$ ستتقارب نظريًا نحو حالات الاعتقاد (belief states). تُعرف حالة الاعتقاد بأنها إحصاء كافٍ للتاريخ $X_{1:t}$ للتنبؤ بالمستقبل $X_{t+1:T}$. وخلافًا للتدريب التكراري القياسي، الذي يسمح بالبحث المباشر (ad-hoc lookups) عن الرموز الماضية دون ضغط المعلومات، يفرض NextLat انحيازًا استقرائيًا تكراريًا حيث يجب أن تحتوي الحالة الكمونية على جميع المعلومات اللازمة للانتقال إلى الحالة التالية والتنبؤ بالرمز التالي.

التنفيذ

يعمل NextLat عن طريق إضافة هدف إضافي خفيف الوزن إلى حلقة تدريب المحول القياسية:

1. نموذج ديناميكيات الكمون (Latent Dynamics Model - $p_\psi$): يتم تدريب شبكة MLP بسيطة للتنبؤ بالحالة الخفية التالية $\hat{h}_{t+1}$ بناءً على الحالة الخفية الحالية $h_t$ والرمز التالي $X_{t+1}$.
2. دالة الخسارة (Loss Function): تجمع الخسارة الكلية بين:
   • خسارة الرمز التالي ($L_{next-token}$): الإنتروبيا المتقاطعة القياسية للتنبؤ بالرمز.
   • خسارة الحالة الخفية التالية ($L_{next-h}$): خسارة Smooth L1 التي تقوم بعملية الانحدار (regression) للحالة المتوقعة $\hat{h}_{t+1}$ مقابل الحالة الخفية الحالية الحقيقية $h_{t+1}$ (مع تطبيق stop-gradient على الهدف لمنع الانهيار التمثيلي).
   • خسارة تباعد KL ($L_{KL}$): هدف تكميلي يضمن أن توزيع الرموز المتوقع من الحالة الكمونية المتوقعة يطابق التوزيع من الحالة الكمونية الحقيقية، مما يعمل كإشارة إشراف ناعمة.
3. الإشراف متعدد الخطوات: يمكن تدريب الموديل على فك (unroll) ديناميكيات الكمون تكراريًا لـ $d$ من الخطوات، مما يوفر إشارات تدرج (gradient signals) أغنى للاعتمادات طويلة المدى.

الأهم من ذلك أن NextLat يترك بنية المحول، وإجراء الاستنتاج (inference)، وكفاءة التدريب المتوازي دون تغيير. يُستخدم نموذج ديناميكيات الكمون فقط أثناء التدريب لتشكيل التمثيلات؛ وأثناء الاستنتاج، يقوم الموديل بفك الترميز بشكل تكراري (autoregressively) كالمعتاد.

المساهمات الرئيسية

1. الضمان النظري: يثبت البحث أن التحسين من أجل اتساق الرمز التالي واتساق الكمون التالي يشكل تمثيلات المحولات في حالات اعتقاد بشكل مثبت، وهي خاصية لا يضمنها التنبؤ بالرمز التالي وحده.
2. إطار عمل عملي: يقدم NextLat هدفًا إضافيًا فعالًا من حيث الحوسبة يضخ انحيازًا استقرائيًا تكراريًا دون تغيير هيكل التدريب المتوازي أو الاستنتاج للمحول.
3. فك التشفير التخميني الذاتي متغير الطول: من خلال تعلم ديناميكيات كمونية متماسكة، يتيح NextLat التنبؤ التكراري في فضاء الكمون. هذا يسمح بـ فك تشفير تخميني ذاتي متغير الطول (variable-length self-speculative decoding)، حيث يمكن للموديل صياغة رموز تتجاوز الأفق الثابت للتدريب، مما يسرع الاستنتاج بشكل كبير.

النتائج التجريبية

قيم المؤلفون NextLat عبر أربعة مجالات: نمذجة العالم، الاستدلال، التخطيط، ونمذجة اللغة.

• نمذجة العالم (رحلات تاكسي مانهاتن): يتعلم NextLat خرائط داخلية أكثر اتساقًا مع نموذج العالم الحقيقي (طوبولوجيا الشوارع) مقارنة بنماذج GPT وMTP وJTP القياسية. يحقق ضغط تسلسل أعلى (0.71 مقابل 0.65 لـ GPT) ورتبة كمونية فعالة أقل بكثير (52.7 مقابل 160.1 لـ GPT)، مما يشير إلى تمثيلات أكثر دمجًا وكفاءة.
• الاستدلال (العد التنازلي): في مهمة الاستدلال الرياضي، يتفوق NextLat بشكل كبير على النماذج المرجعية (دقة 54.8% عند $d=1$ مقابل 33.1% لـ GPT). ويظهر قدرة فائقة على التخطيط الاستباقي (lookahead planning)، مما يقلل من "التنازلات المندمة" حيث تجبر النماذج المعادلات النهائية غير الصالحة لتطابق هدفًا معينًا.
• التخطيط (رسوم بيانية من نوع Path-Star): يحافظ NextLat على معدلات حل تقترب من 100% عبر مختلف طوبولوجيا الرسوم البيانية، بينما تفشل النماذج المرجعية مثل BST وJTP في الرسوم البيانية الأكبر ($G_{7,7}$). يشير هذا إلى أن NextLat يتجنب تعلم الاختصارات من نوع "Clever Hans" الشائع في التنبؤ بفضاء الرموز.
• نمذجة اللغة (FineWeb-Edu):
  • دقة المهام اللاحقة: يحافظ NextLat على دقة التنبؤ بالرمز التالي (perplexity) بشكل أفضل من MTP وJPT مع تحقيق مكاسب متواضعة في دقة الصفر-المعرفة (zero-shot accuracy) للمهام اللاحقة (متوسط 59.21% مقابل 58.82% لـ GPT).
  • سرعة الاستنتاج: بالاستفادة من فك التشفيد التخميني الذاتي متغير الطول، يحقق NextLat سرعة استنتاج تصل إلى 3.3 ضعف سرعة الاستنذج التكراري القياسي. وتستمر هذه السرعة حتى عند التخمين لما بعد أفق التدريب، وهي قدرة تفتقر إليها نماذج MTP وJTP بسبب آفاقها الثابتة في فضاء الرموز.

الأهمية والادعاءات

يضع البحث NextLat كنموذج بسيط وفعال لتعلم تمثيلات مدمجة، تنبؤية، وقابلة للتعميم في المحولات. تكمن أهميته الأساسية في توحيد الانحياز الاستقرائي التكراري لنماذج العالم المدمجة مع القابلية للتوسع والتوازي للمحولات.

يدعي المؤلفون أن NextLat يقدم حلاً للطبيعة "قاصرة النظر" (myopic) للتنبؤ بالرمز التالي، مما يشجع النماذج على تكوين حالات داخلية مهيكلة وتنبؤية بدلاً من الاعتماد على الارتباطات السطحية للرموز. ومن خلال تمكين فك التشفيد التخميني متغير الطول دون تغييرات في البنية، يوفر NextLat مسارًا عمليًا لاستنتاج أسرع واستدلال أفضل طويل الأمد. يخلص البحث إلى أن NextLat هو خطوة نحو أهداف تدريب تمنح النماذج ذاتية الانحدار (autoregressive models) تمثيلات أبسط، أكثر دمجًا، وبالتالي أكثر قابلية للتعميم للأنظمة المعقدة.

يظل المؤلفون متواضعين فيما يتعلق بالتوجهات المستقبلية، مشيرين إلى أنهم لم يستكشفوا بنيات ديناميكيات كمونية معقدة (باستخدام MLPs بسيطة فقط) وأن التصميم الأمثل للهدف (مثل ضرورة خسارة KL في المقاييس الأكبر) يتطلب دراسة منهجية إضافية. كما يقرون بأنه بينما يحسن NextLat التمثيلات، فإن تعقيد الدائرة (circuit complexity) الثابت لعمق المحول يظل محدودًا بفئة TC0، رغم أن نموذج ديناميكيات الكمون المشترك التدريب (RNN) يبدو قادرًا على التعميم خارج هذه الحدود.