ملخص تقني: إعادة التفكير في تتبع الحالة في النماذج المتكررة من خلال ديناميكيات التحكم في الخطأ

بيان المشكلة

ركز الإطار النظري السائد لتتبع الحالة في البنى المتكررة بشكل حصري تقريبًا على القدرة التعبيرية (Expressivity): أي تحديد ما إذا كان يمكن لبنية ثابتة، من الناحية النظرية، تحقيق مجموعة من قواعد الانتقال الرمزية. وبينما أثبتت الأعمال الحديثة القدرة النظرية لمختلف النماذج (مثل نماذج فضاء الحالة - SSMs، والاهتمام الخطي - Linear Attention) على تمثيل انتقالات رمزية محددة، إلا أن النتائج التجريبية تظهر فجوة كبيرة بين القدرة التعبيرية النظرية والمتانة العملية. فغالبًا ما تفشل النماذج في تتبع الحالات باستقرار عند التوسع في الطول (length extrapolation) أو عند التكرار المستمر (repeated rollout)، حتى عندما تمتلك القدرة النظرية للقيام بذلك.

تجادل هذه الورقة بأن التحكم في الخطأ (Error Control) — وهي الديناميكيات التي تحكم انحراف الحالة المخفية على طول الاتجاهات التي تميز الحالات الرمزية — هو محور تحليل لا يقل أهمية ولكنه مغفول عنه. وتتمثل المشكلة المركزية في أن القدرة التعبيرية النظرية لا تضمن القدرة على تصحيح الأخطاء المتراكمة التي تدفع الحالة المخفية نحو تمثيل رمزي خاطئ.

المنهجية

الإطار النظري

صاغ المؤلفون إطارًا لتتبع الحالة باستخدام تصنيف للنماذج المتكررة المعرفة بطبقة تكرارية:
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
وقد صنفوا النماذج إلى فئتين رئيسيتين بناءً على جاكوبي الحالة (state Jacobian):

1. النماذج التآلفية (Affine Models): يكون الانتقال في الحالة تآلفيًا بالنسبة لـ $h_{t-1}$ (أي أن الجاكوبي $\partial h_t / \partial h_{t-1}$ لا يعتمد على $h_{t-1}$). تشمل هذه الفئة نماذج فضاء الحالة (SSMs) مثل Mamba وAUSSM وLinear RNNs.
2. النماذج المعتمدة على الحالة (State-Dependent Models): يعتمد الانتقال بشكل غير خطي على الحالة الحالية (مثل RNNs ذات البوابات، أو tanh RNNs).

قدم المؤلفون فضاءً فرعيًا رمزيًا (Symbolic Subspace) $U$، وهو الفضاء الممتد عبر الفروقات بين التمثيلات للحالات الرمزية المتميزة ($U := \text{span}\{c_g - c_{g'}\}$). وأثبتوا أنه لأي تسلسل حافظ على الحالة (حيث يكون الفعل الرمزي هو المحايد)، يجب أن تعمل خريطة العودة التآلفية الدقيقة كمحايد على $U$. وبناءً على ذلك، فإن النماذج التآلفية لا يمكنها تقليص الأخطاء على طول $U$؛ فهي تحفظ تمثيل الحالة بدقة ولكنها لا توفر أي آلية لسحب حالة مضطربة للعودة إلى مركزها الصحيح.

المقاييس التحليلية

لقياس فشل المتتبعات التآلفية، عرّف المؤلفون نسبة التمييز (Distinguishability Ratio) $q(t)$:
$$q(t) = \frac{R(t)}{M(t)}$$
حيث أن:

• $R(t)$ هو الانتشار داخل الفئة (تباين الحالات المخفية حول مركز فئتها).
• $M(t)$ هو الفصل بين الفئات (الحد الأدنى للمسافة بين مراكز الفئات).
• يقيس $q(t)$ الانتشار بالنسبة للهامش.

وأوضحوا أن التتبع يظل "قابلًا للقراءة" فقط طالما ظل $q(t)$ تحت عتبة $\tau$ (تحديدًا $0.5$ لمفكك شفرة يعتمد على أقرب مركز - nearest-centroid decoder).

الإعداد التجريبي

قيم المؤلفون طيفًا من البنى المتكررة في مهام تتبع حالة المجموعات، والتي تتطلب الحفاظ على حاصل ضرب مستمر لعناصر المجموعة:

• المهام: الزوجية ($C_2$)، المجموعة الدورية ($C_6$)، والمجموعة المتناظرة ($S_3$). تعتبر $S_3$ غير تبادلية (non-Abelian)، مما يجعل التركيب الحساس للترتيب أمرًا لا مفر منه.
• النماذج: مجموعة متنوعة تشمل Mamba، Mamba-3، AUSSM، Negative Mamba، Linear RNNs، Token-gated RNNs، وtanh RNNs، وState-gated RNNs.
• البروتوكول: تم تدريب النماذج باستخدام التعلم المنهجي (curriculum learning) حتى الطول 60، وتم تقييمها للتوسع حتى الطول 1000. كما أجروا تجارب حقن الاضطراب لقياس ديناميكيات استعادة الخطأ.

المساهمات الرئيسية

1. الإثبات النظري للحياد التآلفي

أثبتت الورقة النظرية 1: إذا كانت الشبكة المتكررة التآلفية تحفظ الحالات الرمزية بدقة، فإن خريطة العودة الخاصة بها تعمل كمحايد على الفضاء الفرعي الرمزي $U$. وهذا يعني أن النماذج التآلفية لا يمكنها تقليص الأخطاء بشكل انتقائي على طول الاتجاهات التي تفصل بين الحالات الرمزية. بمجرد تحديد خريطة تآلفية حافظة للحالة، فإنها لا تملك أي "درجات حرية" متبقية لتصحيح الانحراف.

2. توصيف الفشل في الأفق المحدود

أظهر المؤلفون أنه بينما لا تستطيع النماذج التآلفية تصحيح الأخطاء، إلا أنها تستطيع الحفاظ على التتبع لفترة أفق محدد محكوم بالخطأ المتراكم.

• تُظهر النتيجة 1 (Corollary 1) أنه بالنسبة للمتتبعات التآلفية التقريبية، يتراكم الخطأ على طول $U$ خطيًا بمرور الوقت ($e_U(t) \approx e_U(0) + t\bar{\eta}$).
• ينهار التتبع عندما تتجاوز نسبة التمييز $q(t)$ عتبة القابلية للقراءة. وهذا الوقت الذي يحدث فيه التجاوز، $T_{cross}$، يتنبأ كميًا بأقصى طول نجاح ($mp$) للنموذج.
• تم تحديد نمطي فشل: التشبع (Saturation) (حيث يبدأ $q(t)$ فوق العتبة) والتسلق (Climb) (حيث ينمو $q(t)$ خطيًا حتى التجاوز).

3. التحقق التجريبي من ديناميكيات التحكم في الخطأ

من خلال تجارب مكثفة، أرست الورقة ثنائية:

• النماذج المعتمدة على الحالة (مثل tanh RNN، وState-gated RNN) تظهر تقلصًا مشروطًا للخطأ. يمكنها تقليص الاضطرابات بشكل انتقائي على طول $U$، والحفاظ على $q(t) < 0.5$ إلى ما لا نهاية وتحقيق تتبع قوي حتى أقصى طول مختبر (1000).
• النماذج التآلفية تفتقر إلى هذا التقلص الانتقائي. فهي إما تفشل فورًا (تشبع) أو تفشل بعد أفق يمكن التنبؤ به (تسلق) مع تآكل هامش الفصل بسبب تراكم الانتشار داخل الفئة.

4. تفكيك الفضاء الفرعي

من خلال تفكيك الانتشار داخل الفئة إلى مكونات موازية ($U$) ومتعامدة ($U^\perp$) للفضاء الفرعي الرمزي، أظهر المؤلفون أن فشل النموذج التآلفي مدفوع تحديدًا بنمو الانتشار داخل $U$. تنجح النماذج المعتمدة على الحالة في كبح الانتشار في $U$، مما يبقي الأخطاء في الفضاء الفرعي المتعامد حيث لا تؤثر على التمييز الرمزي.

النتائج

• فجوة المتانة: تتبع النماذج المعتمدة على الحالة الحالات الرمزية باستمرار حتى الطول 1000 عبر جميع المهام ($C_2, C_6, S_3$). في المقابل، تظهر النماذج التآلفية درجات متفاوتة من عدم الاستقرار. على سبيل المثال، تفشل نماذج Mamba وMamba-3 في مهمة $S_3$ حتى عند الأطوال القصيرة، بينما تظهر نماذج Negative Mamba وToken-gated RNNs آفاقًا ممتدة في $C_2$ و$S_3$ ولكنها تنهار في النهاية.
• القوة التنبؤية: ترتبط النقطة التي تتجاوز فيها نسبة التمييز $q(t)$ عتبة القابلية للقراءة ($T_{cross}$) ارتباطًا قويًا ($r \approx 0.87$) مع طول النجاح الأقصى اللاحق ($mp$) عبر 113 نموذجًا مدربًا.
• أهمية اللاخطية: تعتمد القدرة على التتبع بقوة على كون جاكوبي دالة التنشيط معتمدًا على الحالة. فاللاخطية النقطية (tanh, ReLU) والعمليات الزوجية (max/min, GroupSort) تمكن من التتبع القوي، بينما تفشل عمليات التطبيع لكامل المتجه (LayerNorm, sphere projection)، حيث تعمل فعليًا كخرائط تآلفية على الفضاء الفرعي الرمزي.
• حالة $C_2$ الاستثنائية: تشير الورقة إلى أن بعض النماذج التآلفية تنجح في مهمة الزوجية ($C_2$) ليس لأنها تصحح الأخطاء، بل لأن الهامش الثنائي كبير بما يكفي لتحمل "التذبذب المحايد" (الأخطاء التي تغير الإشارة ولكن تظل ضمن الهامش). وتتقلص هذه القدرة على التحمل مع زيادة ترتيب المجموعة، مما يفسر سبب فشل النماذج التآلفية في $C_6$ و$S_3$.

الأهمية والادعاءات

تدعي الورقة نقل النموذج من نظرية القدرة التعبيرية إلى نظرية التحكم في الخطأ.

• القصور النظري: يؤكد المؤلفون أن التتبع القوي للحالة لا يتحدد فقط بقدرة البنية على تمثيل القواعد الرمزية (القدرة التعبيرية)، بل يتحدد بشكل حاسم بقدرتها على التحكم في ديناميكيات الخطأ. النماذج التآلفية محدودة جوهريًا لأن الحفاظ على التمثيلات الرمزية يجبرها على أن تكون محايدة في نفس الاتجاهات التي تبرز فيها الحاجة لتصحيح الخطأ.
• الآثار العملية: إن فشل النماذج التآلفية (مثل SSMs) في التوسع في الطول ليس نقصًا في التدريب بل هو قيد هيكلي. فهي تتعلم "حلول الأفق المحدود" التي تحكمها الأخطاء المتراكمة بدلاً من تتبع الحالة القوي ذي الأفق اللانهائي.
• توجيهات التصميم: لتحقيق تتبع قوي، يجب أن تتضمن البنى انتقالات معتمدة على الحالة تسم matter لتقليص الأخطاء على طول الفضاء الفرعي الرمزي. وتقترح الورقة أن الشكل المحدد لعدم الخطية أقل أهمية من كونه يسمح بتعديل اتجاهات الحالة الرمزية.

يخلص المؤلفون إلى أنه بينما قد تكون النماذج التآفليّة كافية للمهام داخل النطاق أو للآفاق القصيرة، إلا أنها عاجزة هيكليًا عن التتبع القوي طويل الأمد للحالة المطلوب للاستدلال الرمزي المعقد دون آليات تصحيح الخطأ المعتمدة على الحالة.