QLAM: A Quantum Long-Attention Memory Approach to Long-Sequence Token Modeling

ملخص تقني: ذاكرة الانتباه الطويل الكمومية (QLAM): نهج لنمذجة الرموز ذات التسلسلات الطويلة

بيان المشكلة
لا تزال نمذجة الاعتمادات طويلة المدى في البيانات التسلسلية تشكل تحديًا مركزيًا في تعلم الآلة. فبينما تعاني الشبكات العصبية المتكررة (RNNs) من تلاشي أو انفجار التدرجات، مما يؤدي إلى تدهور القدرة على الاحتفاظ بالمعلومات طويلة المدى، تعالج نماذج المحولات (Transformers) هذه المشكلة عبر آليات الانتباه الذاتي، لكنها تتحمل تعقيدًا حسابيًا تربيعيًا بالنسبة لطول التسلسل، مما يحد من قابليتها للتوسع. أما نماذج الفضاء الحالة (SSMs)، فتقدم بديلًا بزمن خطي من خلال تطوير حالة كامنة عبر تحديثات متكررة؛ ومع ذلك، فإن ذاكرتها تتشكل عادةً عبر انتقالات إضافية أو خطية. هذا التراكم الإضافي الكلاسيكي يمكن أن يحد من القدرة على التقاط التفاعلات العالمية المعقدة وقد يؤدي إلى فقدان المعلومات مع نمو التسلسلات، حيث يجب ضغط البيانات التاريخية في متجه ذي أبعاد ثابتة.

المنهجية: ذاكرة الانتباه الطويل الكمومية (QLAM)
يقترح المؤلفون QLAM، وهو آلية ذاكرة هجينة كمومية-كلاسيكية تعيد هيكلة تمثيل الذاكرة باستخدام التراكب الكمومي والتطور الوحدوي. بخلاف النهج الكلاسيكية التي تخزن الذاكرة كتمثيلات للرموز (embeddings) أو أزواج مفتاح-قيمة، تمثل QLAM الحالة الخفية كحالة كمومية $|\psi_t\rangle$ في فضاء هيلبرت مركب.

• تمثيل الذاكرة: الذاكرة هي متجه طبيعي $|\psi_t\rangle \in \mathbb{C}^{2^n}$، حيث $n$ هو عدد الكيوبتات (qubits). يسمح هذا لـ QLAM بترميز تراكب متماسك من إشارات سياقية متعددة في آن واحد. ويشير المؤلفون إلى أن هذا التمثيل يوفر تعقيدًا للذاكرة قدره $O(n) \sim O(\log_2 d)$، مقارنة بتعقيد $O(d)$ لمتجهات الحالة الكلاسيكية.
• تطور الذاكرة: تتطور الحالة عبر دوائر كمومية معلمية (PQCs) مشروطة بالرمز المدخل $x_t$. تُعرف قاعدة التحديث كالتالي: $|\psi_t\rangle = U(x_t, \theta)|\psi_{t-1}\rangle$، حيث $U(x_t, \theta) = U_{var}(\theta)U_{enc}(x_t)$. ومن الأهمية بمكان أنه نظرًا لأن $U$ هو مؤثر وحدوي، فإن التحويل يحافظ على المعيار ($\||\psi_t\rangle\| = \||\psi_{t-1}\rangle\|$). وهذا يضمن انتشارًا مستقرًا للمعلومات عبر التسلسلات الطويلة، متجنبًا النمو أو التضاؤل الأسي الذي غالبًا ما يُلاحظ في الأنظمة الديناميكية الكلاسيكية.
• آلية القراءة: لاسترجاع المعلومات ذات الصلة بالمهمة، تستخدم QLAM قياسًا يعتمد على الاستعلام. فبدلاً من حساب التفاعلات الزوجية صراحة بين الرموز، يتم تطبيق مؤثر مراقب هيرميتي قابل للتعلم $O(q_t)$، مُعلم بواسطة الاستعلام $q_t$، على الحالة الكمومية. ويُشتق وزن الانتباه $\alpha_{t,s}$ من قيمة التوقع $\langle \psi_t | O(q_t) | \psi_t \rangle$. وهذا يسمح بالالتقاط الضمني للاعتمادات العالمية واستخراج معلومات محددة دون الحاجة لتخزين جميع التمثيلات التاريخية للرموز.

المساهمات الرئيسية

1. تجريد مبتكر للذاكرة: قدمت الورقة QLAM كواحدة من أولى الدراسات التي تسخر التراكب الكمومي لتعزيز نمذجة الحالة القائمة على الحالة، مما يستبدل بفعالية الذاكرة الإضافية الكلاسيكية بتمثيل قائم على التراكب الكمومي.
2. إطار عمل هجين: اقترح البحث بنية هجينة كمومية-كلاسيكية حيث تُخزن المعلومات السياقية وتُعالج مباشرة على جهاز كمومي (تمت محاكاته في هذا العمل)، وتتطور عبر تحويلات وحدوية ويتم استرجاعها عبر القياس.
3. تعميم الانتباه: تعمل الدراسة على تعميم آلية الانتباه في السياق الكمومي، حيث يتم الاسترجاع عبر قياسات تعتمد على الاستعلام بدلاً من حسابات التشابه الصريحة فوق المفاتيح والقيم المخزنة.
4. التحقق التجريبي: أجرى المؤلفون استكشافًا تجريبيًا لتقييم جدوى الذاكرة الكمومية في بيئات التعلم العملية، مظهرين أن الذاكرة الكمومية الهجينة هي اتجاه واعد لإعادة التفكير في نمذجة التسلسلات.

النتائج التجريبية
قيم المؤلفون QLAM على نسخ تسلسلية من معايير تصنيف الصور القياسية: sMNIST و sFashion-MNIST و sCIFAR-10. في هذه المهام، تم تسطيح الصور إلى تسلسلات رموز لإزالة الانحيازات الاستقرائية المكانية وفرض الاعتماد على الاستدلال التسلسلي.

• الأداء: عبر جميع مجموعات البيانات الثلاث، تفوقت QLAM باستمرار على النماذج المرجعية المتكررة (RNNs)، والنماذج القائمة على المحولات (Transformers)، ونماذج الفضاء الحالة (SSMs).
  • في sMNIST، حققت QLAM دقة بلغت 92.6%، متفوقة على المحولات (91.3%) ونماذج SSMs (91.2%).
  • في sFashion-MNIST، وصلت QLAＭ إلى 81.4%، متفوقة على المحولات (80.2%) و SSMs (79.6%).
  • في المهمة الأكثر تعقيدًا sCIFAR-10، حققت QLAM نسبة 53.6%، مقارنة بـ 53.0% للمحولات و 51.8% لـ SSMs.
• الاستقرار: أظهرت النتيات انحرافًا معياريًا منخفضًا عبر 10 تقييمات (10-fold evaluations)، مما يشير إلى أن QLAM لا توفر دقة أعلى فحسب، بل توفر أيضًا استقرارًا أكبر في التدريب ومتانة تجاه تقسيمات البيانات، خاصة في مجموعات البيانات المعقدة.
• الكفاءة: تم تحقيق هذه التحسينات دون زيادة في تعقيد النموذج، مما يشير إلى أن المكاسب نابعة من فعالية آلية الذاكرة نفسها.

الأهمية والادعاءات
تزعم الورقة أن QLAM توفر امتدادًا مبدئيًا لصيغ الفضاء الحالة حيث يحل التراكب الكمومي محل الذاكرة الإضافية الكلاسيكية. يتيح هذا النهج تمثيلات عالمية أغنى مع الحفاظ على التوسع الحسابي الزمني الخطي المفضل لنماذج SSMs. ومن خلال إعادة التفكير جذريًا في الذاكرة باعتبارها نظامًا كموميًا يتطور بنشاط بدلاً من كونها تخزينًا سلبيًا، تفتح QLAM مسارًا بحثيًا جديدًا لدمج الحوسبة الكمومية في التصميم الجوهري لآليات الذاكرة. ويخلص المؤلفون إلى أنه بينما تؤكد النتائج إمكانات الذاكرة القائمة على الحالة الكمومية، إلا أن هناك حاجة لمزيد من العمل لتعميق الفهم النظري، واستكشاف التنفيذ على أجهزة كمومية حقيقية، وتوسيع إطار العمل ليشمل مهام اللغة والمهام متعددة الوسائط واسعة النطاق.