ملخص تقني: ذاكرة التنسور: حالة متكررة ثابتة الحجم لترانسفورمرز طويلة الأفق

1. بيان المشكلة

تعالج نماذج الترانسفورمر (Transformers) الصور والفيديوهات عن طريق تسطيح الأبعاد المكانية والزمانية إلى تسلسلات طويلة من الرموز (tokens). وبينما تعمل آليات الانتباه (attention mechanisms) وتخزين مفاتيح وقيم الذاكرة المخبأة (KV caching) على حفظ الميزات الماضية، إلا أنها تعاني من قصورين أساسيين مع نمو أفق التسلسل:

1. توسع الذاكرة: يعتمد الاستدلال العملي على تخزين المفاتيح والقيم الماضية، وهو ما يتناسب خطياً مع عدد الرموز. ويصبح هذا الأمر مكلفاً حوسبياً ومنهكاً للذاكرة عند التعامل مع فيديوهات أو مستندات طويلة جداً.
2. الافتقار إلى الحالة المستمرة: تفتقر نماذج الترانسفورمر التقليدية إلى حالة صريحة ومستمرة. فهي تنتبه إلى الميزات الماضية لكنها لا تحافظ على تمثيل مهيكل يمكن تحديثه والاستعلام عنه مع تغير المدخلات. يؤدي هذا إلى الهشاشة في حالات الحجب (occlusion)، أو الملاحظات المفقودة، والحاجة إلى إعادة بناء السياق العالمي بشكل متكرر من تاريخ ينمو باستمرار بدلاً من الحفاظ على حالة مدمجة ومستمرة.

غالباً ما تقوم النهج الحالية، مثل الانتباه المتفرق (sparse attention)، أو ضغط التاريخ، أو السياقات المعززة بالاسترجاع، بتمديد طول السياق ولكنها تخزن المعلومات كجموعات غير مهيكلة من ناقلات الرموز (token vectors) أو الفتحات (slots). وهي لا تحافظ صراحةً على البنية المكانية أو تحافظ على "حالة عالم" (world state) مدمجة مناسبة للمهام القائمة على الحالة مثل فهم الفيديو.

2. المنهجية: ذاكرة التنسور (Tensor Memory)

يقترح المؤلفون ذاكرة التنسور، وهي وحدة خفيفة الوزن تعزز كتل الترانسفورمر القياسية بـ تنسور ذاكرة ثلاثي الأبعاد متكرر وثابت الحجم. تفصل هذه الوحدة سعة الحالة عن طول المدخلات مع الحفاظ على انحياز استقرائي مكاني.

البنية الأساسية

تُعرف الذاكرة كزوج من الأحجام (الحالة المخفية $h_t$ وحالة الخلية $c_t$) بأبعاد $C \times D \times H \times W$، حيث تكون الأبعاد المكانية ثابتة بغض النظر عن طول المدخلات. تعمل الوحدة في دورة لكل كتلة رموز (chunk):

1. التقطيع (Chunking): يتم تجميع رموز المدخلات في كتل. يتم اشتقاق "استعلام القراءة" (read query) من أول رمز في الكتلة، و"ملخص الكتابة" (write summary) هو إسقاط متعلم لكامل الكتلة.
2. العنونة المستمرة (Continuous Addressing): يقوم متنبئ إحداثيات مشترك (باستخدام أوزان مترابطة) بتوليد إحداثيات ثلاثية الأبعاد مستمرة للقراءة ($\mu_{read}$) وللكتابة ($\mu_{write}$) داخل شبكة الفوكسل (voxel grid).
3. القراءة (أخذ العينات المستمر): تقرأ النموذج من الحالة المخفية $h_t$ عند $\mu_{read}$ باستخدام الاستيفاء ثلاثي الخطوط (trilinear interpolation). يتم إسقاط الميزة المسترجعة مرة أخرى إلى بُعد الرمز ودمجها في تدفق الرموز عبر اتصال متبقي بوابي (gated residual connection). يتحكم بوابة قياسية متعلمة $\gamma$ في قوة هذا الدمج، مما يسمح للنموذج بكبح مسار الذاكرة إذا لم يكن مفيداً لمهمة معينة.
4. الكتابة (الكتابة الناعمة القابلة للتفاضل): يكتب النموذج المعلومات عن طريق التنبؤ بمتجه محتوى ومعلم انتشار $\sigma$. يقوم النموذج بإيداع هذا المحتوى كـ حجم موزون غاوسياً حول الموقع ثلاثي الأبعاد المتوقع $\mu_{write}$. تتجنب هذه "الكتابة الناعمة" التعيين الصعب للفوكسل، مما يسمح للتدرجات بتشكيل مكان وضع المعلومات.
5. التحديث المتكرر: يتم دمج حجم الكتابة مع الحالة المخفية الحالية. يقوم عامل ثلاثي الأبعاد خفيف الوزن ومجزأ (عمليات التلافيف ثلاثية الأبعاد بعمق التلافيف متبوعة بمزيج نقطي) بحساب بوابات تشبه ConvLSTM ($i_t, f_t, o_t, g_t$). تقوم هذه البوابات بتحديث حالتي الخلية والحالة المخفية، مما يسمح للمعلومات بالاستمرار، والانتشار محلياً، والبقاء متاحاً حتى عندما تكون الملاحظات مفقودة.

الخيارات التصميمية الرئيسية

• حالة ثابتة الحجم: حجم تنسور الذاكرة ثابت، مما يمنع النمو الخطي للذاكرة المرتبط بتخزين KV cache.
• البنية المكانية: تحافظ شبكة الفوكسل ثلاثية الأبعاد صراحةً على العلاقات المكانية، على عكس فتحات الرموز غير المهيكلة.
• الكتابات الناعمة القابلة للتفاضل: يسمح استخدام الأحجام الموزونة غاوسياً بتحديثات سلسة ومستمرة بدلاً من التعيينات المنفصلة والصعبة.
• الدمج البوابي: تضمن البوابة المتعلمة $\sigma(\gamma)$ إمكانية ربط الوحدة بنماذج مدربة مسبقة دون زعزعة استقرار التدريب؛ فإذا كانت الذاكرة غير ضرورية، تقوم البوابة بكبح المسار.

3. المساهمات الرئيسية

• آلية ذاكرة مبتكرة: تقديم حالة فوكسل ثلاثية الأبعاد متكررة وثابتة الحجم يمكن للرموز الكتابة إليها والقراءة منها عبر إحداثيات مستمرة، مما يعمل كحالة مكانية صريحة.
• التكامل: تتكامل هذه الوحدة بسلاسة في خطوط تدريب الترانسفورمر القياسية ويمكن إلحاقها أو إزالتها من الكتل الموجودة دون تغييرات في البنية.
• مجموعة أدوات تشخيصية: تطوير مجموعة أدوات تشخيصية "لعبة" مضبوطة مصممة لعزل السيناريوهات التي تكون فيها الحالة المستمرة مفيدة (مثل ربط الإحداثيات، الحجب، بناء الخرائط) مقابل السيناريوهات التي لا تكون فيها كذلك.

4. النتائج التجريبية

قيم المؤلفون ذاكرة التنسور على معايير قياسية عبر مجالات اللغة، الصور، والفيديو، بالإضافة إلى المجموعة التشخيصية.

• نمذجة اللغة (WikiText-2): حققت ذاكرة التنسور أكبر المكاسب المطلقة، حيث خفضت الارتياب (perplexity) في الاختبار من 130.30 (الترانسفورمر الأساسي) إلى 100.07. وقد تفوقت على النماذج المرجعية بما في ذلك Transformer-XL، والانتباه المحلي (Local attention)، والانتباه الخطي (Linear attention).
• إعادة بناء رقع الصور (CUB-200-2011): في مهمة إعادة بناء الرقعة المقنعة، أظهر متغير ذاكرة التنسور (Spatial ViT) تحسناً مستمراً في PSNR وSSIM عبر نسب الأقنعة (25%، 50%، 75%) مقارنة بـ Base ViT، وLocal ViT، وRegisters ViT.
• التعرف على أفعال الفيديو (UCF-101): تفوق النموذج على كل من نموذج ترانسفورمر زماني-مكاني مشترك ونموذج مرجعي قوي من نوع "رموز السجل" (register token) في دقة Top-1 (89.21% مقابل 82.12%) ودقة Top-5. لاحظ المؤلفون أن هذا جاء على حساب وقت تدريب أطول بكثير بسبب التكرار الفوكسلي لكل خطوة.
• التشخيصات التجريبية:
  • ربط الإحداثيات: حافظت ذاكرة التنسور على دقة عالية (75-91%) مع زيادة عدد عمليات الكتابة، بينما انهارت النماذج المرجعية القائمة على الانتباه إلى أداء يقارب العشوائية (7-14%).
  • التحكم في عدم الضرر (No-Harm Control): في المهام التي لا تتطلب ذاكرة، ظلت البوابة المتعلمة $\sigma(\gamma)$ قريبة من قيمتها الابتدائية (كبح مسار الذاكرة)، وحققت جميع النماذج دقة 100%.
  • بناء الخرائط: تفوقت ذاكرة التنسور بشكل كبير على النماذج المرجعية في مهام الملاحة الشبكية طويلة الأفق حيث يجب الاحتفاظ بالمعلومات بمرور الوقت.

5. الأهمية والادعاءات

يزعم البحث أن ذاكرة التنسور توفر طريقة عملية للتعامل مع الأفق الطويل عبر تزويد نماذج الترانسفورمر بـ حالة صريحة، مدمجة، ومهيكلة.

• فك الارتباط بين السعة والطول: باستخدام تنسور ثابت الحجم، يتجنب النموذج النمو الخطي لذاكرة KV cache، مما يجعله نظرياً أكثر قابلية للتوسع للتعامل مع التسلسلات الطويلة جداً.
• المتانة تجاه الحجب: تسمح الحالة المستمرة للنموذج بالحفاظ على "حالة اعتقاد" (belief state) حول المشهد، مما يجعله أكثر متانة تجاه الملاحظات المفقودة أو الحجب مقارنة بالنماذج التي تعتمد فقط على إعادة بناء السياق من تدفق الرموز.
• تعدد الاستخدامات: رغم أن الدافع هو الفيديو طويل الأفق، فقد ثبت نفع الآلية للغة (تجميع السياق العالمي) والصور (التجميع المكاني المهيكل).
• أساس للعمل المستقبلي: ينظر المؤلفون إلى التنفيذ الحالي كقاعدة. ويقترحون اتجاهات مستقبلية تشمل ذاكرات ذات أبعاد أعلى (مثلاً 4D للذاكرة المكانية الواعية بالزمن)، وديناميكيات أغنى (مثل تشويه التدفق البصري)، وتحديثات متفرقة لتحسين الكفاءة.

يظل المؤلفون متواضعين بشأن القيود الحالية، حيث يقرون بأن تحديثات الفوكسل الكثيفة تشكل عائقاً أمام سرعة المعالجة، وأن الحالة ثابتة الحجم قد تصل إلى مرحلة التشبع إذا تطلبت المهمة تخزين عدد هائل من التفاصيل المتميزة. ومع ذلك، فإنهم يؤكدون أن إضافة حالة مهيكلة صغيرة هي مسار قابل للتطبيق نحو أنظمة إدراك واستدلال أكثر قدرة وطويلة الأفق.