🤖 machine learning

Online Vector Quantized Attention

تقدم هذه الورقة البحثية آلية انتباه التكميم المتجه عبر الإنترنت (OVQ)، وهي طبقة لخلط التسلسلات تحقق تكاليف حوسبة خطية وتكاليف ذاكرة ثابتة مع تحسين أداء السياق الطويل بشكل كبير من خلال تحديثات الذاكرة المتفرقة، مما يوفر بديلاً تنافسياً للانتباه الذاتي بجزء ضئيل من استهلاك الذاكرة.

المؤلفون الأصليون: Nick Alonso, Tomas Figliolia, Beren Millidge

نُشر 2026-05-18

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nick Alonso, Tomas Figliolia, Beren Millidge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Online Vector Quantized Attention" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: الدماغ "الضخم جدًا" و"الصغير جدًا"

تخيل أنك تحاول قراءة رواية ضخمة مكونة من 100,000 صفحة للإجابة على سؤال محدد حول شخصية ذُكرت في الصفحة 5.

الطريقة القديمة (Self-Attention): تشبه وجود مساعد فائق الذكاء يقرأ الكتاب بأكمله في كل مرة تطرح فيها سؤالاً. هو يتذكر كل كلمة بدقة متناهية. ولكن، للقيام بذلك، يحتاج إلى مكتبة بحجم مدينة لتخزين كل تلك الملاحظات. وكلما طال الكتاب، كبر حجم المكتبة وأصبح المساعد أبطأ. إنه دقيق، لكنه مكلف وبطيء.
الطريقة الفعالة (Linear Attention/SSMs): تشبه مساعداً لا يحتفظ إلا بكتيب ملاحظات صغير. هو يلخص الكتاب أثناء قراءته، محتفظاً بأهم الإحصائيات فقط. هو سريع للغاية ولا يحتاج سوى لكتيب صغير الحجم. ولكن، لأن دفتر الملاحظات صغير جداً، فإنه غالباً ما ينسى التفاصيل المحددة اللازمة للقصص الطويلة والمعقدة. هو يعاني لإيجاد تلك الشخصية التي ذُكرت في الصفحة 5 عندما يصل طول الكتاب إلى 100,000 صفحة.

الهدف: أراد المؤلفون بناء مساعد يكون سريعاً وفعالاً في استهلاك الذاكرة مثل "رجل دفتر الملاحظات الصغير"، ولكنه ذكي ومفصل مثل "رجل مكتبة المدينة".

الحل: "خزانة الملفات الذكية" (OVQ-Attention)

ابتكر المؤلفون طريقة جديدة تسمى Online Vector Quantized (OVQ) Attention. فكر فيها كأنها خزانة ملفات ذكية تُحدث نفسها في الوقت الفعلي.

إليك كيف تعمل، خطوة بخطوة:

1. القاموس (المجلدات)

بدلاً من تذكر كل كلمة بمفردها (مثل مكتبة المدينة) أو مجرد ملخص (مثل دفتر الملاحظات الصغير)، يستخدم هذا النظام قاموساً من المجلدات.

تخيل أن لديك خزانة تحتوي، على سبيل المثال، على 4,000 مجلد فارغ.
بينما يقرأ المساعد الكتاب، هو لا يكتب كل كلمة. بدلاً من ذلك، ينظر إلى الجملة الحالية ويسأل نفسه: "إلى أي من هذه المجلدات الـ 4,000 تنتمي هذه الجملة بشكل أفضل؟"
ثم يضع الجملة في ذلك المجلد.

2. سحر الـ "Online" (تحديث المجلدات)

في النسخ السابقة من هذه الفكرة، كانت المجلدات مكتوبة مسبقاً قبل أن يبدأ المساعد في القراءة. إذا استخدم الكتاب كلمات لم تتوقعها المجلدات، كان المساعد يصاب بالارتباك.

في OVQ-Attention، تكون المجلدات فارغة في البداية. وبينما يقرأ المساعد الكتاب:

يقوم بإنشاء مجلدات جديدة فوراً إذا رأى شيئاً فريداً.
يقوم بتحديث المجلدات الموجودة لتناسب ما يراه الآن بشكل أفضل.
الأمر الجوهري: هو يقوم فقط بتحديث المجلد المحدد الذي تنتمي إليه الجملة الحالية. هو لا يعيد كتابة الخزانة بأكملها. هذا يجعل العمل سريعاً (خطيّاً) ويحافظ على انخفاض استخدام الذاكرة.

3. التحديث "المتفرق" (الحيلة الفعالة)

عادةً، إذا أردت تذكر المزيد من التفاصيل، فأنت بحاجة إلى خزانة أكبر، مما يتطلب مساحة أكبر.

حيلة الورقة البحثية: أدرك المؤلفون أنه حتى لو كان لديك خزانة بها 100,000 مجلد، فإنك لن تلمس سوى عدد قليل منها في المرة الواحدة.
ولأن التحديثات متفرقة (أنت تلمس فقط المجلد المحدد ذي الصلة بالجملة الحالية)، فإن الجهد المبذول لتحديث الخزانة لا ينمو لمجرد أن الخزانة ضخمة.
النتيجة: يمكنك امتلاك خزانة ضخمة (سعة ذاكرة عالية) دون دفع "ضريبة الجهد" الخاصة بالخزائن الضخمة. أنت تحصل على أفضل ما في العالمين: تخزين هائل، وتكلفة منخفضة.

النتائج: ما مدى نجاح ذلك؟

اختبر المؤلفون هذه "الخزانة الذكية" في عدة تحديات:

اختبار "الإبرة في كومة قش" (In-Context Recall):
- المهمة: إخفاء زوج معين من (مفتاح-قيمة)، مثل رقم هاتف، داخل كتلة ضخمة من النص، ثم طلب العثور عليه من النموذج لاحقاً.
- النتيجة: فشلت نماذج "دفتر الملاحظات الصغير" القديمة فشلاً ذريعاً بعد طول معين. أما نماذج "مكتبة المدينة" فقد عملت بشكل مثالي ولكنها كانت بطيئة. نموذج OVQ-attention عمل بشكل يقارب كمال "مكتبة المدينة"، حتى مع بصمة ذاكرة أصغر بكثير، واستطاع التعامل مع نصوص تصل إلى 64,000 كلمة.
اختبار "التعلم أثناء القراءة" (In-Context Learning):
- المهمة: إعطاء النموذج مجموعة من الأمثلة لقاعدة جديدة (مثلاً: "إذا رأيت X، افعل Y") وطلب تطبيق هذه القاعدة على جمل جديدة لاحقاً في النص.
- النتيجة: تعلم نموذج OVQ القواعد تماماً مثل النماذج الثقيلة والبطيئة، بينما فشلت النماذج الفعالة ولكن "الغبية" في تعلم الأنماط المعقدة.
قراءة القصص الطويلة (Language Modeling):
- عندما طُلب من النموذج التنبؤ بالكلمة التالية في قصة طويلة (باستخدام مجموعة بيانات PG19)، كان أداء نموذج OVQ منافساً لأفضل النماذج القياسية، رغم استخدامه لجزء ضئيل من الذاكرة.

السر الكامن: انحدار الخليط الغاوسي (Gaussian Mixture Regression)

تشرح الورقة الرياضيات وراء هذا باستخدام مفهوم يسمى Gaussian Mixture Regression.

تشبيه بسيط: تخيل أنك تحاول تخمين حالة الطقس بناءً على سحابة.
- النماذج القياسية تحاول مطابقة السحابة مع كل سحابة مرت بها في الماضي.
- نظام OVQ-Attention يصنف السحب إلى "أنواع" (مثلاً: "سحابة عاصفة"، "سحابة قطنية").
- مع ظهور سحب جديدة، لا يكتفي النظام بحفظها فحسب، بل يعدل تعريف "السحابة العاصفة" لتناسب البيانات الجديدة بشكل أفضل. إنه يتعلم شكل أنواع السحب أثناء القراءة، مما يجعل توقعاته أكثر دقة على فترات طويلة.

الملخص

تقدم هذه الورقة OVQ-Attention، وهي طريقة جديدة للذكاء الاصطناعي لمعالجة النصوص الطويلة.

النماذج الفعالة القديمة: سريعة وصغيرة، لكنها تنسى بسرعة.
النماذج القوية القديمة: ذكية ومفصلة، لكنها بطيئة وتستهلك الكثير من الذاكرة.
OVQ-Attention: يستخدم نظام ملفات ديناميكي ذاتي التحديث. هو يحتفظ بكمية ثابتة وصغيرة من الذاكرة النشطة، ولكنه يستطيع تخزين كمية هائلة من المعلومات عن طريق تنظيمها في مجموعات (Clusters). هو يتعلم هذه المجموعات أثناء القراءة، مما يسمح له بأن يكون سريعاً وذكياً للغاية عبر سياقات طويلة جداً (تصل إلى 64 ألف توكن).

يخلص المؤلفون إلى أن هذا يمثل خطوة كبيرة للأمام في جعل نماذج الذكاء الاصطناعي فعالة وقادرة على التعامل مع المهام الطويلة والمعقدة دون الحاجة إلى حواسيب خارقة.

ملخص تقني: انتباه التكميم المتجهي عبر الإنترنت (Online Vector Quantized Attention)

1. بيان المشكلة

تواجه طبقات خلط التسلسل القياسية في النماذج اللغوية الكبيرة (LLMs) مقايضة جوهرية بين الكفاءة الحسابية والأداء في السياقات الطويلة.

الانتباه الذاتي (Self-Attention): رغم فعاليته العالية في مهام السياق الطويل (التعلم داخل السياق، والاستنتاج)، إلا أنه يتسبب في تكاليف حسابية تربيعية ( $O(T^2)$ ) وتكاليات ذاكرة تنمو خطياً ( $O(T)$ )، مما يجعله مكلفاً جداً للتسلسلات الطويلة للغاية.
الانتباه الخطي ونماذج فضاء الحالة (SSMs): توفر هذه النماذج تكاليف حسابية خطية ( $O(T)$ ) وذاكرة ثابتة ( $O(1)$ ). ومع ذلك، فهي تعاني من عجز كبير في الأداء في المهام التي تتطلب معالجة دقيقة للمعلومات بعيدة المدى بسبب قدرتها المحدودة على التذكر.
انتباه التكميم المتجهي (VQ-Attention): وهو نهج سابق (Lingle, 2023) يحقق حسابات خطية وذاكرة ثابتة عن طريق تكميم المفاتيح (Keys) في قاموس ثابت من المراكز (Centroids). ومع ذلك، كشفت الاختبارات الأولية أن انتباه VQ الأصلي يعاني في مهام السياق الطويل. وقد تم تحديد الاختناق الأساسي في قاموس المفاتيح الثابت والمُدرب مسبقاً ( $D_k$ )، والذي يفشل في نمذجة المفاتيح بفعالية أثناء عملية التمرير الأمامي (Forward Pass)، مما يؤدي إلى أخطاء في التكميم تضعف الأداء. كما أن زيادة حجم القاموس قدمت عوائد متناقصة.

2. المنهجية: انتباه التكميم المتجهي عبر الإنترنت (OVQ)

يقترح المؤلفون انتباه التكميم المتجهي عبر الإنترنت (OVQ)، وهو طبقة خلط تسلسل جديدة تتعلم كلاً من قاموس المفاتيح ( $D_k$ ) وقاموس القيم ( $D_v$ ) عبر الإنترنت أثناء عملية التمرير الأمامي.

الأساس النظري: انحدار الخليط الغاوسي (GMR)

يربط البحث بين OVQ-attention وانحدار الخليط الغاوسي (GMR).

الانتباه الذاتي كـ GKR: الانتباه الذاتي القياسي يكافئ انحدار النواة الغاوسية (GKR) تحت افتراضات محددة.
انتباه VQ كـ GMR: أثبت المؤلفون أن انتباه VQ (وبالتالي OVQ) يرتبط ارتباطاً وثيقاً بـ GMR. في GMR، يتم ملاءمة نموذج الخليط الغاوسي (GMM) لمجموعة بيانات من أزواج المدخلات والمخرجات (المفاتيح والقيم).
الربط: صيغة التنبؤ لـ GMR، تحت افتراضات وحدة المعيار للطلبات/المفات تجانس التباين، تبسط إلى معادلة انتباه VQ ذات الوقت الخطي:
$O_{ovq} = \text{softmax}(\beta Q D_k^\top + \log(c)) D_v$
حيث يمثل $c$ عدد المفاتيح المسندة إلى كل مركز.
الاستنتاج: على عكس انتباه VQ القياسي الذي يتعلم $D_k$ و $D_v$ بشكل منفصل (تدريب مسبق مقابل تعلم عبر الإنترنت)، فإن GMR يتعلم كلاهما في آن واحد لملاءمة نفس مجموعة البيانات. وهذا يحفز نهج OVQ في تعلم كلا القاموسين عبر الإنترنت لنمذجة التوزيع الشرطي $P(V|K)$ بدقة.

صياغة التعلم عبر الإنترنت

يعمل OVQ-attention ضمن إطار عمل تدريب وقت الاختبار باستخدام صياغة موازية للكتل (Chunk-parallel):

التنبؤ: لكل كتلة من الطلبات (Queries)، يحسب النموذج الانتباه باستخدام الحالة الحالية للقواميس ( $D_k, D_v$ ) ومتجهات العد ( $c$ ). بخلاف انتباه VQ الأصلي، لا يتم تكميم مفاتيح وقيم الكتلة الحالية قبل استخدامها في حساب الانتباه؛ بل تُدمج مباشرة في القواميس.
تحديث الحالة: بعد توليد التنبؤات، يقوم النموذج بتحديث القواميس باستخدام مفاتب وقيم الكتلة الحالية.
- نمو القاموس: ينمو عدد المراكز ( $N_t$ ) تقاربياً نحو حد أقصים $N$ باستخدام دالة نمو ذات استقرار مستوحاة من عملية ديريكليه (Dirichlet process). وهذا يسمح للنموذج بتكييف قدرة ذاكرته ديناميكياً.
- تهيئة المركز: يتم تهيئة المراكز الجديدة باستخدام مخطط "تعظيم الانتشار" (مشابه لـ k-means++)، حيث يتم اختيار نقاط البيانات ذات أقل نواتج الضرب النقطي مع المراكز الموجودة لضمان التنوع.
- قاعدة التحديث: يتم تحديث المراكز الموجودة عبر نسخة عبر الإنترنت من تحديث K-means الدفعي. وقد أثبت المؤلفون أنه تحت افتراضاتهم، فإن تحديث EM الدفعي الأول على GMM يكافئ تحديث نيوتن على السلب اللوغاريتمي (NLL)، مما يوفر تقريباً من الدرجة الثانية لتقليل الخسارة.

الخصائص الحسابية

الذاكرة: يحافظ OVQ على ذاكرة ثابتة ( $O(N)$ ) بغض النظر عن طول التسلسل، حيث يتم تعريف الحالة من خلال القواميس والعدّات، وليس التسلسل الكامل.
الحساب: تتضمن الطبقة تكاليف حساب خطية ( $O(T)$ ). عملية التحديث متفرقة (Sparse)؛ حيث يقوم كل رمز (Token) في الكتلة بتحديث صف واحد فقط من القواميس. وهذا يسمح بزيادة حجم الحالة ( $N$ ) بشكل كبير دون زيادة بصمة الذاكرة لتنسور التحديث، على عكس الانتباه الخطي حيث تتوسع تحديثات الحالة مع أبعاد الحالة.

3. المساهمات الرئيسية

اقتراح OVQ-Attention: طبقة خلط تسلسل جديدة تتعلم كلاً من قاموس المفاتيح والقيم عبر الإنترنت، متجاوزة بذلك محدودية القاموس الثابت في انتباه VQ السابق.
الإطار النظري: اشتقاق جديد يربط OVQ-attention بانحدار الخليط الغاوسي، مما يوفر أساساً مبدئياً لخوارزمية التعلم عبر الإنترنت، بما في ذلك نمو القاموس وقواعد التحديث المتفرقة.
التحقق التجريبي: اختبار شامل على مهام اصطناعية (استدعاء السياق الداخلي، واستدعاء التعلم داخل السياق) ونمذجة اللغة ذات السياق الطويل (PG19).

4. النتائج التجريبية

قيم المؤلفون OVQ-attention مقابل نماذج أساسية قوية، بما في ذلك الانتباه الذاتي الكامل، والانتباه الخطي، ونماذج فضاء الحالة (مثل Mamba و Gated Delta Net).

الاستدعاء داخل السياق الاصطناعي (ICR):
- تفوق OVQ-attention بشكل كبير على نماذج VQ-attention الأصلية ونماذج الانتباه الخطي في مهام "Basic ICR" و "Positional ICR".
- طابق أو اقترب من أداء نماذج الانتباه الذاتي الكامل حتى أطوال تسلسل تصل إلى 64 ألف، رغم استخدام حجم حالة يمثل 10-25% فقط من الحجم المستخدم في الانتباه الذاتي الكامل.
- تحسن الأداء مع أحجام القواميس الأكبر في وقت الاختبار، مما أظهر قدرة فعالة على الاستقراء الطولي.
التعلم داخل السياق الاصطناعي (ICL):
- في مهمة الانحدار الخطي طويلة السياق مع وظائف متعددة، نجح OVQ-attention في تعلم جميع الوظائف في سيناريوهات تحتوي على ما يصل إلى 128 وظيفة متميزة، محققاً أداء يطابق الانتباه الذاتي الكامل.
- فشلت نماذج VQ-attention الأصلية والانتباه الخطي في تعلم ولو وظيفة واحدة في هذه السيناريوهات الصعبة طويلة السياق.
نمذجة اللغة طويلة السياق (PG19):
- أدت البنى الهجينة التي تدمج OVQ مع طبقات النافذة المنزلقة (Sliding Window) إلى تحسين الأداء بشكل جذري مقارنة بنماذج النافذة المنزلقة النقية أو نماذج Gated Delta Net.
- طابق OVQ-attention أو تجاوز قليلاً نماذج الانتباه الذاتي القياسية في مجموعة بيانات PG19 عند طول سياق 16 ألف.
اختبارات السياق القصير:
- في معايض السياق القصيرة القياسية (PIQA، HellaSwag، إلخ)، كان أداء OVQ-attention مقارباً للانتباه الذاتي القياسي، مما يؤكد عدم تراجع الأداء في المهام التي لا تتطلب ضغطاً للمعلومات.

5. الأهمية والادعاءات

يزعم البحث أن OVQ-attention يمثل خطوة هامة للأمام في تحقيق التوازن بين الكفاءة والأداء لمعالجة السياق الطويل.

الكفاءة مقابل السعة: على عكس الانتباه الخطي ونماذج SSM، يستخدم OVQ-attention تحديثات ذاكرة متفرقة مستقلة عن الحجم الإجمالي للحالة. وهذا يسمح للنموذج باستخدام حالات ذاكرة كبيرة جداً (سعة عالية) مع الحفاظ على بصمة ذاكرة ثابتة وتكاليف حسابية خطية.
إمكانات التعلم المستمر: يشير المؤلفون إلى أن طبيعة التجميع (Clustering) المتفرقة وعبر الإنترنت لـ OVQ-attention تجعله بطبيعته أكثر صموداً أمام "النسيان الكارثي" مقارنة بتحديثات التدرج الكثيفة المستخدمة في الانتباه الخطي/SSM. وهذا يضع OVQ كمرشح واعد لسيناريوهات التعلم المستمر حيث تتغير توزيعات البيانات بمرور الوقت.
القابلية للتوسع: بينما تجرى التجارب الحالية على نطاق صغير نسبياً (أقل من 500 مليون معلمة)، فإن الخصائص النظرية لهذا الهيكل تشير إلى أنه مسار قابل للتطبيق لبناء نماذج لغوية كبيرة فعالة وطويلة السياق دون التكاليف التربيعية للانتباه الذاتي.

يخلص البحث إلى أن OV-attention يقدم بديلاً مقنعاً للانتباه الذاتي، حيث يحقق أداءً تنافسياً في مهام السياق الطويل بجزء بسيط من متطلبات الذاكرة، مما يمثل اتجاهاً بحثياً هاماً لنمذجة التسلسل الفعالة.