ملخص تقني: VORT: ذاكرة القوة التكيفية للنماذج اللغوية الكبيرة (Transformers)

بيان المشكلة

تعتمد بنى الـ Transformer القياسية على آليات الانتباه التي تفرض اضمحلالاً شبه أسي ضمنياً لتأثير الرموز (tokens) البعيدة. هذا التصميم الحسابي يتعارض مع الطبيعة الإحصائية للغة الطبيعية، حيث تضمحل المعلومات المتبادلة بين الرموز وفقاً لقانون القوة ($I(\ell) \sim c \ell^{-\gamma}$ مع $\gamma \in (0, 1)$). يشير هذا "التفاوت الإحصائي" إلى أن النماذج الحالية غير مثالية في التقاط الاعتمادات طويلة المدى (عمليات الذاكرة الطويلة) الموجودة في اللغة الطبيعية، والتي يمكن التنبؤ بها إحصائياً بشكل أفضل عبر أوزان قانون القوة (كما هو موضح في عمليات ARFIMA).

تفشل الحلول الحالية للسياقات الطويلة — مثل مخازن الإخلاء (الإبقاء أو الإخلاء الثنائي)، أو نماذج فضاء الحالة ذات الارتدادات الأسية الثابتة، أو المخازن المكممة — في توفير آلية اضمحلال بقانون القوة لكل رمز (per-token) وتكون متكيفة مع المحتوى. علاوة على ذلك، بينما يوفر حساب التفاضل والتكامل الكسري (تحديداً مجموع Grünwald–Letnikov الموزون) الهيكل الرياضي الصحيح للذاكرة ذات قانون القوة، إلا أنه بطبيعته غير ماركوفي (non-Markovian)، مما يعني أنه لا يمكن اختزاله إلى تكرار ثابت الأبعاد دون تقريب.

المنهجية: آلية VORT

قدم المؤلفون محول الاحتفاظ متغير الرتبة (Variable-Order Retention Transformer - VORT)، وهو بنية ذاكرة مصممة لحل الطبيعة غير المار كوفية للحساب الكسري مع الحفاظ على الكفاءة الحسابية.

1. تقريب مجموع الأسيات (SOE)

لجعل مجموع Grünwald–Letnikov (GL) الكسري قابلاً للتطبيق حسابياً، يستخدم VORT تفكيك مجموع الأسيات (Sum-of-Exponentials).

• التمثيل التكاملي: يتم تمثيل أوزان GL $w^{(\alpha)}_j$ عبر تكامل من نوع Laplace يتضمن دالة كثافة $\rho_\alpha(\lambda)$.
• التربيع (Quadrature): يتم تقريب التكامل باستخدام تربيع Gauss–Laguerre (تحديداً Gauss–Legendre بعد تغيير متغير لوغاريتمي)، مما يفكك النواة إلى $S$ من الأسيات المتلاشية:
  $$\hat{w}^{(\alpha)}_j \approx \sum_{s=1}^S c_s^{(\alpha)} (\lambda_s^{(\alpha)})^j$$
• الارتداد الماركوفي: يسمح كل حد أسي بارتداد ماركوفي دقيق بخطوة واحدة. وهذا يسمح بتحديث الحالة الكسرية في زمن قدره $O(S d_v)$ لكل خطوة، حيث تكفي $S = O(\log(T/\varepsilon))$ من الحدود لتحقيق دقة $\varepsilon$-موحدة عبر أفق زمني $[1, T]$.

2. التوجيه متغير الرتبة

على عكس النماذج الكسرية ثابتة الرتبة، يخصص VORT رتبة كسرية $\alpha_i \in [\delta, 1]$ لكل رمز $x_i$.

• منطق التوجيه: يتم تحديد الرتبة عبر دالة لإنتروبيا السياق للرمز ومؤشر الكيان (المستخرج من فاحص NER سطحي).
  • الرموز ذات الإنتروبيا العالية/غير الكيانية: تتلقى $\alpha_i$ منخفضاً (ضغط عدواني).
  • رموز الكيانات: تتلقى $\alpha_i$ مرتفعاً (احتفاظ شبه كامل بدون فقدان).
• بنية البنوك: للحفاظ على الكفاءة، يتم توجيه الرموز إلى أحد $K$ من البنوك المتوازية، يعمل كل منها برتبة كسرية ثابتة $\alpha_k$. يقوم النظام بتجميع القيم في هذه البنوك باستخدام ارتداد SOE.

3. استرجاع الانتباه الخطي المفتاحي

يتم الاسترجاع عبر مجمع انتباه خطي. من خلال تقريب درجات انتباه softmax باستخدام سمات عشوائية $\phi(q)^\top \phi(k)$، يحافظ النظام على مصفوفات حالة صريحة $G_t$ ومتجهات $b_t$ تتطور عبر نفس ارتدادات SOE. يؤدي هذا إلى ارتداد دقيق بتكلفة $O(K S d_\phi d_v)$ لكل خطوة، متجنباً التكلفة التربيعية للانتباه القياسي.

المساهمات الرئيسية والنتائج النظرية

يؤسس البحث أربع نتائج نظرية رئيسية ونظرية تقارب واحدة:

1. نظرية تقريب SOE (النظرية 3.1): تثبت التقارب الهندسي لتقريب SOE. تعتمد حدود الخطأ على تحليل الدالة التكاملية بعد تغيير لوغاريتمي، مما يثبت أن $S = O(\log(T/\varepsilon))$ من الحدود كافية لدقة عالية.
2. حد التكميم (النظرية 4.1): يضع حداً للخطأ عند تكميم الرتبة الكسرية $\alpha$ على الفترة $[\delta, 1]$. ومن الأهمية بمكان أنه يقدم تحليلاً صحيحاً بالقرب من $\alpha = 0$، حيث تتقلص النواة إلى الصفر بدلاً من التباعد.
3. الحد الأدنى للقياس (الاستنتاج 4.2): حجة طاقة $L^2$ مباشرة تظهر أنه لأي رتبة كسرية $\alpha > 1/2$، فإن أي خليط من $M$ من الأسيات الثابتة مع حد أدنى لمعدل الاضمحلال $\Lambda > 0$ يتسبب في خطأ $L^2([1, T])$ ينمو مع $T \to \infty$. وهذا يثبت أن النماذج الأسية الثابتة (بما في ذلك نماذج فضاء الحالة) لا يمكنها مطابقة الاحتفاظ بقانون القوة أسياً للأفاق الطويلة.
4. تقارب لدونة التدرج (النظرية 5.1): توضح التقارب الخطي لقاعدة لدونة قائمة على التدرج لتنقية $\alpha_i$ تحت شرط Polyak–Łojasiewicz (PL).

النتائج التجريبية

يتحقق المؤلفون من البنية من خلال ثلاث تجارب اصطناعية وشبه اصطناعية:

1. الاسترجاع الموزع وفق توزيع Zipf: في مهمة حيث تم زرع الرموز المرجعية عند تأخيرات موزعة حسب Zipf، حافظ نموذج قانون القوة (PL) على دقة 79.4% عند التأخيرات الطويلة (>1000)، بينما انخفض النموذج الأسي إلى 52.3%. تحسن نموذج الخليط المكون من 5 عناصر (M5) إلى 61.8% لكنه فشل في سد الفجوة، وهو ما يتوافق مع الحد الأدنى النظري.
2. نسخ تسمية الكيان (تأخيرات موحدة): لاستبعاد "مطابقة الأولوية" (حيث ينجح النموذج فقط لأن توزيع التأخير يطابق النواة)، استخدمت مهمة ثانية تأخيرات موزعة بانتظام. تفوق نموذج قانون القوة مرة أخرى بشكل كبير على النموذج الأسي المرجعي (82.7% مقابل 58.4% عند التأخيرات الطويلة)، مما يؤكد أن الميزة هيكلية وليست توزيعية.
3. نمذجة اللغة PG-19: في مجموعة فرعية من مجموعة بيانات PG-19، حقق نموذج قانون القوة 1.56 بت لكل رمز (BPC) عند أطوال سياق >4096، مقارنة بـ 1.68 BPC للنموذج الأسي المرجعي. نمت هذه الميزة مع طول السياق.

السلوك المتعلم: أظهر تحليل توزيعات $\alpha_i$ تعلمت انفصالاً ثنائي المنوال: تجمعت رموز الكيانات حول $\alpha \approx 0.80$ (احتفاظ عالٍ)، بينما تجمعت كلمات الوظيفة والروابط حول $\alpha \approx 0.35$ (ضغط عالٍ)، مما يؤكد صحة آلية التوجيه التكيفية.

الأهمية والادعاءات

يزعم البحث أن VORT يوفر آلية فعالة حسابياً لتنفيذ ذاكرة قانون القوة، والتي تتوافق نظرياً مع الاعتمادات طويلة المدى للغة الطبيعية.

• التوافق النظري: يسد الفجوة بين الضرورة الإحصائية لأوزان قانون القوة للعمليات ذات الذاكرة الطويلة والمتطلبات الحسابية للارتدادات الماركوفية.
• الميزة المعمارية: باستخدام SOE، يحقق VORT تعقيداً خطياً $O(n)$ مع الحفاظ على خصائص الاحتفاظ ذات الذيول الثقيلة التي يفقدها النماذج الأسية عند المسافات الطويلة.
• التكيف: تسمح آلية الرتبة المتغيرة للنموذج بتخصيص موارد الذاكرة ديناميكياً، وضغط السياق غير ذي الصلة مع الاحتفاظ بالكيانات الحرجة.

يشير المؤلفون إلى وجود قيود، بما في ذلك أن إثبات تقارب اللدونة هو محلي، وأن الحد الأدنى للقياس ضيق بشكل أساسي لـ $\alpha > 1/2$، وأن التجارب الحالية هي تجارب أولية. ويرون أن التقييم الكامل على معايير مثل RULER و128K-context Needle-in-a-Haystack مطلوب للتحقق الشامل.