Forget, Then Recall: Learnable Compression and Selective Unfolding via Gist Sparse Attention

إليك ملخص تقني مفصل لورقة البحث بعنوان "انسَ، ثم استعد: الضغط القابل للتعلم وفك التشفل الانتقائي عبر انتباه الجيست المتناثر (GSA)".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عقبة أساسية عند التوسع في السياقات الطويلة: وهي التعقيد الحسابي التربيعي ($O(n^2)$) لآليات الانتباه الكامل القياسية. وبينما توجد استراتيجيات تخفيف حالية، إلا أنها تعاني من قيود محددة:

• الانتباه المتناثر وقت الاستدلال (Inference-time Sparse Attention): تعتمد طرق مثل H2O أو StreamingLLM على طرد مدخلات ذاكرة الـ KV-cache بناءً على قواعد استدلالية (heuristics). وهي تعمل على نماذج تم تدريبها مسبقًا باستخدام الانتباه الكامل، مما يمنع النموذج من تعلم أنماط التناثر المثلى من الصفر.
• الانتباه المتناثر وقت التدريب (Training-time Sparse Attention): غالبًا ما تتطلب طرق مثل NSA (Native Sparse Attention) أو MoBA (Mixture of Blocks Attention) تعديلات معمارية، أو فهارس خارجية غير قابلة للتفاضل، أو بوابات توجيه غير قابلة للتفاضل (مثل متوسط التجميع/mean pooling)، مما يجعل من الصعب دمجها في أطر عمل Transformer القياسية أو تحسينها بشكل كامل (end-to-end).
• ضغط السياق (Context Compression): تقوم الطرق القائمة على "الجيست" (Gist-based) بضغط السياق في توكنات ملخصة، لكنها عادة ما تعامل الضغط كعملية ذات اتجاه واحد حيث يتم التخلص من التوكنات الخام، مما يؤدي إلى فقدان التفاصيل الدقيقة الضرورية للاستنتاج المعقد.

التحدي الجوهي: كيف يمكن إنشاء آلية قابلة للتكيف مع الاستعلام (query-adaptive)، وقابلة للتدريب بالكامل (end-to-end)، تقوم بضغط السياق لتقليل التعقيد ولكن يمكنها أيضًا "فك التشفل" (unfold) أو استعادة تفاصيل دقيقة محددة عند الحاجة، دون تعديل بنية النموذج.

2. المنهجية: انتباه الجيست المتناثر (GSA)

يقترح المؤلفون انتباه الجيست المتناثر (GSA)، وهو إطار عمل يربط بين ضغط السياق والانتباه المتناثر من خلال آلية تسمى فك التشفل الانتقائي (Selective Unfolding).

المفاهيم الأساسية

1. توكنات الجيست المتداخلة (Interleaved Gist Tokens):

   • يتم تقسيم تسلسل المدخلات إلى أجزاء (chunks) بطول $L$.
   • يتم إدراج توكن جيست قابل للتعلم ($g_m$) بعد كل جزء.
   • تُجبر قناع سببي (causal mask) كل توكن جيست على الانتباه فقط إلى الجزء الخاص به وإلى توكنات الجيست السابقة له. هذا يجبر توكن الجيست على تعلم ملخص عالي المستوى ومضغوط للجزء.

2. الجيست كإشارات توجيه (Routing Signals):

   • على عكس الملخصات الإحصائية البسيطة (مثل متوسط التجميع)، فإن توكنات الجيست هي تمثيلات قابلة للتعلم.
   • أثناء فك التشفير (decoding)، يقوم توكن الاستعلام الحالي ($q_t$) بحساب درجات الانتباه مقابل جميع توكنات الجيست ($g_m$).
   • تعمل هذه الدرجات كـ إشارات صلة (relevance signals)، لتقدير مدى صلة جزء معين بالاستعلام الحالي.

3. فك التشفل الانتقائي (آلية الاستعادة - The "Recall" Mechanism):

   • بناءً على درجات الصلة، يختار النموذج أفضل $k$ من الأجزاء الأكثر صلة.
   • فك التشفل (Unfolding): بالنسبة لهذه الأجزاء المختارة، يقوم النموذج بإعادة إدخال التوكنات الخام (وأزواج KV الخاصة بها) مرة أخرى في سياق الانتباه جنباً إلى جنب مع توكنات الجيست المقابلة لها.
   • التخلص (Discarding): تظل الأجزاء غير المختارة مضغوطة (توجد توكنات الجيست الخاصة بها فقط)، مما يؤدي فعليًا إلى تصفية المعلومات غير ذات الصلة.
   • الانتباه الهجين (Hybrid Attention): يتم حساب الانتباه النهائي على سياق هجين: $k$ من الأجزاء الخام + توكنات الجيست الخاصة بها + توكنات الجيست للأجزاء غير المختارة (التي تعمل كبدائل مدمجة).

إجراء التدريب

يتم تدريب GSA على مرحلتين باستخدام أهداف نمذجة اللغة ذاتية الانحدار القياسية:

1. الاستمرار في التدريب المسبق (مطلوب): يتعلم النموذج ضغط السياق في توكنات الجيست. يتم حساب الخسارة (loss) على لاحقة التوليد، مما يجبر توكنات الجيست على تشفير معلومات كافية للتنبؤ بالتوكن التالي.
2. الضبط الدقيق الانتقائي (اختياري): يتم تدريب النموذج صراحةً على آلية فك التشفل الانتقائي. يتم تعديل قناع الانتباه ديناميكيًا أثناء التدريب ليتجه فقط نحو أفضل $k$ من الأجزاء المختارة وتوكناتها الخام. هذا يعلم النموذج كيفية توجيه الانتباه بفعالية.

التوسيع الهرمي (H-GSA)

لتحقيق تعقيد لوغاريتمي خطي ($O(\log n)$) للسياقات الطويلة للغاية، قدم المؤلفون هيكل "جيست-من-الجيست" (gist-of-gist) متكرر:

• توكنات الميتا-جيست (Meta-Gist Tokens): يتم تجميع توكنات الجيست نفسها، وتقوم توكنات "ميتا-جيست" أعلى مستوى بتلخيص مجموعات من توكنات الجيست.
• الاختيار من الخشن إلى الناعم (Coarse-to-Fine Selection): يقوم النموذج أولاً بتقييم توكنات الميتا-جيست لاختيار الأجزاء ذات الصلة، ثم يقيم توكنات الجيست داخل تلك الأجزاء، وأخيرًا يفك تشفل التوكنات الخام. هذا يخلق مسار استرجاع متعدد الدقة.

3. المساهمات الرئيسية

1. آلية مبتكرة: اقتراح فك التشفل الانتقائي، الذي يستخدم توكنات الجيست المتداخلة كإشارات توجيه قابلة للتعلم لاستعادة التوكنات الخام ديناميكيًا عند الضرورة فقط. وهذا يجمع بين كفاءة الضغط ودقة الانتباه الكامل.
2. قابلية التدريب بالكامل (End-to-End Trainability): على عكس طرق الانتباه المتناثر السابقة (مثل NSA، DSA، MoBA)، لا يتطلب GSA أي تعديلات معمارية، ولا فهارس خارجية، ولا عمليات غير قابلة للتفاضل. فهو يعمل بالكامل ضمن إطار عمل Transformer القياسي.
3. القابلية للتوسع الهرمي: تقديم H-GSA، الذي يوسع الإطار لتحقيق تعقيد فك تشفير لوغاريتمي عبر ضغط "الجيست-من-الجيست" المتكرر، مما يسمح بالتعامل بكفاءة مع أطوال سياق غير محدودة.
4. أداء متفوق: أظهر تفوقًا مستمرًا على النماذج المرجعية (baselines) في مختلف نسب الضغط (من 8× إلى 32×).

4. النتائج التجريبية

قيم المؤلفون GSA على اختبارات LongBench (الأسئلة والأجوبة للسياقات الطويلة) و RAG (التوليد المعزز بالاسترجاع) باستخدام Qwen2-7B-Instruct و Llama3.2-1B.

• أداء LongBench:

  • تفوق GSA باستمرار على نماذج الضغط (ActivationBeacon، UniGist) وطرق الانتباه المتناثر التي تعمل في وقت الاستدلال فقط (H2O، StreamingLLM).
  • عند ضغط 8×، حقق GSA متوسط درجة 46.20 (مقابل 42.52 لـ ActivationBeacon) تحت ظروف الاستمرار في التدريب المسبق، مقتربًا جدًا من نموذج الانتباه الكامل (47.78).
  • مع الضبط الدقيق، تجاوز GSA نموذج الانتباه الكامل في مهام محددة (مثل MF-en)، مما يشير إلى أن آلية الاختيار تعمل كتحيز استقرائي (inductive bias) مفيد.

• أداء RAG (الأسئلة والأجوبة متعددة المستندات):

  • أظهر GSA أكبر المكاسب هنا. عند ضغط 8×، حقق 33.68، متفوقًا على النموذج الأصلي (27.99) ونماذج الضغط بأكثر من 11 نقطة.
  • السبب: في RAG، تكون معظم المستندات المسترجعة غير ذات صلة. الانتباه الكامل يشتت التركيز عبر جميع المستندات. نجحت آلية فك التشفل الانتقائي في GSA في تصفية المشتتات عبر التركيز فقط على أجزاء المستندات ذات الصلة.

• الكفاءة الهرمية:

  • أظهر H-GSA أداءً متفوقًا عند نسب الضغط العالية (16×، 32×) حيث تصبح تكاليف التوجيه أحادية المستوى باهظة، مما يثبت صحة استراتيجية الاختيار من الخشن إلى الناعم.

• إعادة استخدام ذاكرة الـ KV-Cache:

  • في السيناريوهات التي يتم فيها حساب وإعادة استخدام ذاكرة الـ KV-cache للمستندات مسبقًا، قام GSA بتوجيه الاستعلامات بفعالية إلى المستندات ذات الصلة عبر توكنات الجيست، متجنبًا الحاجة إلى مسح كامل ذاكرة الـ cache الخام.

5. الأهمية والأثر

• سد الفجوة: نجح GSA في توحيد اتجاهين بحثيين كانا منفصلين سابقًا: ضغط السياق (تقليل الذاكرة) و الانتباه المتناثر (تقليل الحوسبة).
• العملية: نظرًا لعدم حاجته لتغييرات معمارية، يمكن دمج GSA بسهولة في البنى التحتية الحالية للنماذج اللغوية الكبيرة والنماذج المدربة مسبقًا، مما يخفض حاجز الاعتماد لتطبيقات السياق الطويل.
• المقايضة بين الكفاءة والدقة: تثبت الطريقة أن "النسيان" (الضغط) يليه "الاستعادة" (فك التشفل الانتقائي) هو استراتيجية أكثر كفاءة من الانتباه الكامل أو الضغط الثابت. فهي تسمح للنماذج بالحفاظ على بصمة ذاكرة صغيرة مع الاحتفاظ بالقدرة على الوصول إلى التفاصيل الدقيقة عند الطلب.
• القابلية للتوسع: يوفر التوسيع الهرمي (H-GSA) مسارًا نظريًا وعمليًا لتوسيع النماذج اللغوية الكبيرة إلى أطوال سياق تصل إلى ملايين التوكنات بتعقيد لوغاريتمي، مما يعالج عقبة حرجة في أنظمة الذكاء الاصطناك القادمة.