← أحدث الأبحاث
💻 computer science

One Vector Is All You Need for O(1) Self-Attention: The Ocean State

تقدم هذه الورقة البحثية "حالة المحيط" (Ocean State)، وهي طريقة تستبدل آلية الانتباه الذاتي القياسية بمتجه مستمر واحد لتحقيق تعقيد حسابي وذاكرة بمستوى O(1)، مع إظهار استقرار فائق في التدريب وعدم وجود أي علامات على النسيان حتى عند 10 ملايين خطوة من السياق.

المؤلفون الأصليون: SHUYUAN YU

نُشر 2026-09-04
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: SHUYUAN YU

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تعتمد تقنيات الذكاء الاصطناعي الحديثة غالبًا على نوع محدد من البرامج الحاسوبية يسمى "المحول" (Transformer)، والذي أصبح المعيار القياسي لمهام مثل كتابة النصوص، وترجمة اللغات، والإجابة على الأسئلة. تعمل هذه البرامج من خلال النظر في تسلسل من الكلمات وتحديد الكلمة التالية. وللقيام بذلك بدقة، يجب على البرنامج تذكر الكلمات التي رآها بالفعل. في التصميم الحالي، بينما يقرأ البرنامج جملة طويلة أو كتابًا كاملاً، فإنه يحتفظ بقائمة متزايدة من كل كلمة تمت معالجتها حتى الآن. تعمل هذه القائمة كبنك ذاكرة يتوسع مع كل كلمة جديدة. وبينما يعمل هذا بشكل جيد مع النصوص القصيرة، فإنه يصبح عبئًا ثقيلاً بالنسبة للنصوص الطويلة جدًا؛ إذ يجب على الحاسوب باستمرار مسح هذه القائمة المتنامية للعثور على المعلومات ذات الصلة، مما يتطلب قدرًا هائلًا من قوة المعالجة والذاكرة. ومع ازدياد طول النص، تنمو الجهد والوقت اللازمان لقراءته بسرعة أكبر بكثير من النص نفسه، مما يجعل من المستحيل في النهاية معالجة المستندات الطويلة جدًا بكفاءة.

اقترح باحث يدعى يو شويوان طريقة مختلفة للتعامل مع مشكلة الذاكرة هذه. فبدلاً من الاحتفاظ بقائمة متزايدة من كل كلمة، تقترح الطريقة الجديدة الاحتفاظ بمجرد متجه ملخص واحد، وهو ما يسميه المؤلف "حالة المحيط" (ocean state). تخيل هذه الحالة كحاوية واحدة كثيفة تحمل جوهر كل ما قرأه البرنامج حتى الآن. وبينما يقرأ البرنامج كلمة جديدة، فإنه يقوم بتحديث هذه الحاوية الواحدة لتشمل المعلومة الجديدة، مستبدلًا الملخص القديم بآخر جديد. ثم يستخدم البرنامج هذه الحاوية الواحدة للمساعدة في التنبؤ بالكلمة التالية. يغير هذا النهج الرياضيات الأساسية للمشكلة: فبدلاً من نمو الجهد مع طول النص، يظل الجهد ثابتًا بغض النظر عن مدى طول النص. يمكن للبرنامج قراءة مليون كلمة بنفس القدر من العمل لكل كلمة، ويستخدم قدرًا ثابتًا وضئيلًا من الذاكرة بغض النظر عن الطول.

الفكرة الجوهرية وراء هذا العمل هي سؤال بسيط: ماذا لو لم نتخلص من الملخص النهائي للجملة بعد استخدامه للتنبؤ بالكلمة التالية؟ في البرامج القياسية، يتم حساب هذا الملخص ثم التخلص منه. أما الطريقة الجديدة فتحتفظ به، وتعامله كذاكرة مستمرة تتدفق من خطوة إلى أخرى. يقرأ البرنامج الكلمة الحالية وهذا المتجه الملخص الواحد، ويجمعهما معًا، وينتج ملخصًا جديدًا. تتكرر هذه العملية لكل كلمة في النص. والأهم من ذلك، أن البرنامج يتعلم كيفية قراءة وتحديث هذا المتجه الواحد بمفرده تمامًا؛ فلم يخبره أحد بكيفية ضغط المعلومات في مكان واحد، بل تعلم القيام بذلك ببساطة أثناء التدريب لأن التصميم سمح بحدوث ذلك. وقد وجد الباحثون أن هذا المتجه الواحد قادر بشكل مذهل؛ إذ يمكنه حمل معلومات من تسلسل مكون من عشرة ملايين خطوة دون فقدان أي منها. وفي الاختبارات، استطاع البرنامج استدعاء كلمات محددة من بداية تسلسل مكون من عشرة ملايين خطوة بدقة تماثل دقة استدعائها من الخطوات الأولى، دون أي إشارة إلى النسيان.

اختبر الباحثون هذه الفكرة مقابل الطريقة القياسية باستخدام مجموعة كبيرة من البيانات النصية. قاموا بتدريب كلتا النسختين للتنبؤ بالكلمة التالية في جملة. وأظهرت النتائج أن الطريقة الجديدة، التي تستخدم متجهًا واحدًا فقط، تفوقت باستمرار على الطريقة القياسية التي تحتفظ بقائمة متزايدة. لم يكن هذا التفوق محض صدفة، بل ظهر عبر العديد من الإعدادات المختلفة، بما في ذلك أحجام النماذج المختلفة وأطوال النصوص المختلفة. وفي الواقع، كانت الطريقة الجديدة مستقرة للغاية لدرجة أنها استطاعت معالجة تسلسل من عشرة ملايين خطوة دون أي زيادة في الخطأ، في حين كانت الطريقة القياسية ستنفد من الذاكرة أو تستغرق وقتًا مستحيلاً لمعالجة حتى جزء بسيط من ذلك الطول. كما اختبر الباحثون مهمة محددة حيث كان على البرنامج تكرار كلمة بعد تأخير طويل؛ حيث أعادت الطريقة الجديدة الكلمة بفقد قدره 0.0006، بينما فشلت الطريقة القياسية تمامًا.

أحد المخاوف بشأن مثل هذا النوع من الذاكرة المضغوطة هو أنها قد تصبح غير مقروءة أو "ضبابية" بمرور الوقت، مما يؤدي إلى فقدان التفاصيل اللازمة لاتخاذ تنبؤات جيدة. ومع ذلك، أظهرت التجارب العكس تمامًا؛ إذ ظل المتجه الواحد حادًا وواضحًا، وقادرًا على استرجاع معلومات محددة حتى بعد ملايين الخطوات. كما استكشف الباحثون كيفية جعل هذه الطريقة أسرع على الحواسيب الحقيقية. ولأن الطريقة الجديدة تعالج الكلمات واحدة تلو الأخرى في تسلسل صارم، فقد تكون أبطأ في التدريب على آلة واحدة مقارنة بالطريقة القياسية التي يمكنها معالجة العديد من الكلمات في وقت واحد. ولحل هذه المشكلة، طور الباحثون طريقة لتقسيم العمل عبر طبقات مختلفة من البرنامج، مما يسمح بمعالجة خطوات متعددة في آن واحد. هذا التغيير الهندسي قلل بشكل كبير من الوقت اللازم لتدريب النموذج مع الحفاظ على نفس الأداء العالي.

تثبت هذه الدراسة أنه من الممكن بناء نظام يتذكر كمية هائلة من المعلومات باستخدام كمية ثابتة من الذاكرة وقوة المعالجة. لقد أظهر الباحثون أن البرنامج يتعلم تنظيم هذه المعلومات بكفاءة دون أي تعليمات خاصة. وبينما أجريت التجارب الحالية على مجموعة بيانات محددة ومع نماذج صغيرة نسبيًا، وظلت السلوكيات عند الأحجام الواقعية غير مختبرة، إلا أن النتائج تشير إلى أن المبدأ الأساسي قوي. تعمل هذه الطة من خلال إعادة تموضع كيفية تعامل البرنامج مع حالته الداخلية، محولةً الملخص الذي يتم التخلص منه إلى ذاكرة مستمرة. هذا التغيير يلغي التكلفة الهيكلية التي حدت من طول النصوص التي يمكن لأنظمة الذكاء الاصطناعي التعامل معها. وتشير النتائج إلى أنه مع هذا النهج، قد لا تعود قيود طول السياق عائقًا، مما يسمح للأنظمة بقراءة وفهم المستندات من أي حجم بسرعة ودقة ثابتتين.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →