🤖 machine learning

LT2: Linear-Time Looped Transformers

تقدم هذه الورقة البحثية LT2، وهي عائلة من المحولات الحلقية ذات الزمن الخطي التي تستبدل الانتباه التربيعي بمتغيرات خطية أو متفرقة فعالة، مما يثبت أن التكرار الحلقي يتآزر مع هذه الآليات لتحقيق أداء وقابلية توسع فائقين في مهام نمذجة اللغة.

المؤلفون الأصليون: Chunyuan Deng, Yizhe Zhang, Rui-Jie Zhu, Yuanyuan Xu, Jiarui Liu, T. S. Eugene Ng, Hanjie Chen

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chunyuan Deng, Yizhe Zhang, Rui-Jie Zhu, Yuanyuan Xu, Jiarui Liu, T. S. Eugene Ng, Hanjie Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ولكنه بطيء (نموذج الذكاء الاصطناعي) يحتاج إلى قراءة كتاب طويل جداً للإجابة على سؤال ما.

الطريقة القديمة: أمين المكتبة "الحلقي" (The Looped Librarian)
تقليدياً، لكي يصبح أمين المكتبة أكثر ذكاءً، كنا نجعله يقرأ الكتاب عدة مرات. هذا ما يسمى بـ المحول الحلقي (Looped Transformer). فبدلاً من توظيف المزيد من أمناء المكتبة (وهو أمر يكلف الكثير من المال/المعلمات)، كنا ببساطة نطلب من نفس أمين المكتبة قراءة الكتاب مرة أخرى، ثم مرة أخرى، ليصقل فهمه مع كل جولة.

المشكلة: كان أمين المكتبة يستخدم طريقة بطيئة جداً للتذكر فيما قرأه. في كل مرة يقلب فيها صفحة، كان عليه إعادة قراءة الكتاب بأكمله من البداية ليجد كلمة محددة. وإذا كان الكتاب طويلاً، كان ذلك يستغرق وقتاً طويلاً جداً. تطلق الورقة البحثية على هذا اسم "التعقيد التربيعي" (quadratic complexity). الأمر يشبه محاولة العثور على إبرة في كومة قش عن طريق فحص كل قطعة قش، مراراً وتكراراً، في كل مرة تخطو فيها خطوة.

الحل الجديد: LT2 (المحولات الحلقية ذات الوقت الخطي - Linear-Time Looped Transformers)
قدم المؤلفون LT2. لقد حافظوا على فكرة جعل أمين المكتبة يقرأ الكتاب عدة مرات (الحلقات)، لكنهم منحوه خدعة ذاكرة جديدة وسريعة للغاية.

استبدلوا طريقة "فحص كل شيء" البطيئة بطريقتين أسرع للتذكر:

الانتباه الخطي (Linear Attention): بدلاً من إعادة قراءة الكتاب بأكمله، يحتفظ أمين المكتبة بمذكرة ملخص مستمرة. ومع قراءته لصفحة جديدة، يقوم فقط بتحديث المذكرة. هذه الطريقة سريعة بغض النظر عن طول الكتاب.
الانتباه المتفرق (Sparse Attention): يكتفي أمين المكتبة بالنظر إلى الصفحات القليلة الأخيرة التي قرأها فقط، متجاهلاً بقية الكتاب في تلك اللحظة تحديداً.

التآزر السحري: لماذا تجعل "الحلقات" هذه الطرق السريعة أفضل؟
هذا هو الجزء الذكي الذي اكتشفته الورقة البحثية. عادةً، يكون لهذه الطرق السريعة نقاط ضعف.

الانتباه الخطي سريع ولكنه قد ينسى التفاصيل أحياناً.
الانتباه المتفرق سريع ولكنه لا يستطيع رؤية الأشياء البعيدة في الكتاب.

ولكن عندما تقوم بـ "الحلقات" (Looping) (أي تجعل أمين المكتبة يقرأ الكتاب عدة مرات)، تختفي نقاط الضعف هذه:

بالنسبة للانتباه الخطي: في كل مرة يعود فيها أمين المكتبة في حلقة جديدة، يحصل على فرصة لـ صقل ملاحظته الملخصة. الأمر يشبه قراءة مسودة، ثم قراءتها مرة أخرى لتصحيح القواعد، ثم مرة أخرى لتصحيح الحبكة. "الحلقة" تحول الملاحظة البسيطة إلى فهم عميق ومفصل.
بالنسبة للانتباه المتفرق: إذا كان أمين المكتبة ينظر فقط إلى آخر 10 صفحات، فلن يتمكن من رؤية البداية. ولكن إذا قام بـ 4 حلقات، فإنه يرى فعلياً 40 صفحة! "الحلقة" تمد نطاق رؤيته، مما يسمح له برؤية الكتاب بأكمله دون أن يبطئ.

أفضل ما في العالمين: النهج الهجين (The Hybrid Approach)
حاولت الورقة أيضاً دمج هذه الطرق. تخيل فريقاً من أمناء المكتبة حيث:

البعض يستخدم طريقة "مذكرة الملخص" السريعة.
والبعض الآخر يستخدم طريقة "النظر فقط في الصفحات القليلة الأخيرة".
وبعض الأمناء المميزين يستخدمون الطريقة القديمة والبطيئة "لفحص كل شيء" للأجزاء الأكثر أهمية فقط.

وجدوا أن الفريق الهجين هو الأفضل. فمن خلال وجود عدد صغير من الأمناء "البطيئين والدقيقين" ممزوجين مع الأمناء "السريعين"، حصلوا على سرعة الطرق السريعة ولكن بدقة الطرق البطيئة.

النتائج: أسرع، أذكى، وأرخص
اختبرت الورقة هذا النموذج على مهام متنوعة:

السرعة: كانت نماذجهم الجديدة قادرة على قراءة ومعالجة النصوص بشكل أسرع بكثير من النماذج الحلقية القديمة، خاصة للنصوص الطويلة. لم تتعطل أو تنفد ذاكرتها عندما أصبح الكتاب ضخماً.
الجودة: كانت جودتهم مساوية (أو حتى أفضل) في الإجابة على الأسئلة، وحل المسائل الرياضية، وتذكر الحقائق مقارنة بالنماذج الأبطأ القديمة.
الكفاءة: حققوا أداء نماذج ضخمة ومكلفة تبلغ 4 مليارات معلمة باستخدام نموذج صغير جداً يبلغ 1.4 مليار معلمة فقط، ولكنهم فعلوا ذلك بسرعة أكبر بكثير.

تجربة "أورو" (The "Ouro" Experiment)
أخيراً، أظهروا لك أنك لست بحاجة لبناء أمين مكتبة جديد من الصفر. يمكنك أخذ أمين مكتبة ذكي وبطيء (نموذج مدرب مسبقاً) و"تعليمه" خدع الذاكرة السريعة الجديدة هذه. هذا النموذج الذي تم تحويله تفوق في أدائه على النماذج الصغيرة الأخرى القياسية في الصناعة، مما يثبت أنه يمكنك ترقية الأنظمة القديمة لتصبح سريعة كالبرق دون فقدان ذكائها.

باختصار
تقول الورقة: "لقد وجدنا طريقة لجعل نماذج الذكاء الاصطناعي تقرأ الأشياء عدة مرات (لتصبح أكثر ذكاءً) دون أن تتعثر ببطء فحص كل شيء في كل مرة. من خلال استخدام خدع ذاكرة أسرع ودمجها مع الحلقات، نحصل على نماذج ذكية للغاية وسريعة للغاية في آن واحد".

ملخص تقني: LT2: المحولات الحلقية ذات الزمن الخطي (Linear-Time Looped Transformers)

1. بيان المشكلة

لقد برزت المحولات الحلقية (Looped Transformers - LT)، والمعروفة أيضًا باسم المحولات العالمية (Universal Transformers)، كبنية فعالة من حيث عدد المعلمات عبر إعادة استخدام نفس الأوزان عبر خطوات تكرارية متعددة ( $T$ ) قبل فك التشفير. وهذا يزيد فعليًا من عمق النموذج إلى $T \times N$ (حيث $N$ هو عدد الطبقات الفيزيائية) دون زيادة عدد المعلمات. ومع ذلك، تعتمد المحولات الحلقية القياسية على آلية انتباه "softmax" تربيعية كاملة. ونتيجة لذلك، تتوسع التكلفة الحسابية (FLOPs) وذاكرة الاستدلال (KV cache) تربيعيًا مع طول التسلسل ( $L^2$ ) وتتضاعف مع كل دورة حلقة، مما يجعل المحولات الحلقية مكلفة حسابيًا وغير عملية لسيناريوهات السياق الطويل، مما يخلق عنق زجاجة حيث تُلغي كفاءة آلية الانتباه فوائد مشاركة المعلمات.

2. المنهجية

يقدم المؤلفون LT2 (المحولات الحلقية ذات الزمن الخطي)، وهي عائلة من البنيات التي تستبدل آلية انتباه "softmax" التربيعية في الكتل الحلقية ببدائل خلط الرموز (token-mixing) ذات التعقيد دون التربيعي. تتضمن المنهجية الأساسية ثلاثة مكونات رئيسية:

2.1. متغيرات البنية

تستبدل LT2 طبقة "Multi-Head Attention (MHA)" الفرعية بآليات انتباه خطية أو متفرقة (sparse). يدرس المؤلفون متغيرين أساسيين:

LT2-linear: يستبدل MHA بآليات انتباه خطية (مثل GDN، وKDA، وMamba2، وRetNet). تحافظ هذه الآليات على حالة متكررة $S_t$ يتم تحديثها عبر عمليات رتبة-1 (rank-1) أو عمليات قطرية زائدة منخفضة الرتبة (DPLR)، مما ينتج عنه تعقيد قدره $O(L)$ .
LT2-sparse: يستبدل MHA بآليات انتباه متفرقة (مثل Windowed attention، وDSA، وNSA). تقيد هذه الآليات الانتباه بنطاق نافذة محلية أو بمجموعة فرعية مختارة من الرموز، محققة أيضًا تعقيدًا دون التربيعي.

2.2. التآزر النظري للحلقات (Looping)

يفترض البحث أن الحلقات تعزز هذه البدائل دون التربيعية بطريقتين فريدتين:

توسيع الرتبة في الانتباه الخطي: تقوم كتلة انتباه خطي واحدة من نوع DPLR بتحديث الرتبة-1 للحالة المتكررة. عند تكرار الكتلة $T$ من المرات، يصبح عامل انتقال الحالة التراكمي عبارة عن حاصل ضرب $T$ من هذه العوامل. نظريًا، إذا كانت المفاتيح (keys) عبر دورات الحلقة متعامدة، فإن الرتبة الفعلية لتحديث الذاكرة تتوسع من 1 إلى $T$ ، مما يزيد بشكل كبير من القدرة التعبيرية للنموذج وقدرته على تتبع الحالة.
توسيع المجال الاستقبالي في الانتباه المتفرق: تمتلك كتلة متفرقة واحدة بحجم نافذة $w$ مجالًا استقباليًا قدره $O(w)$ . تسمح الحلقات للمعلومات بالانتشار لمسافة أبعد مع كل تكرار. استقرائيًا، بعد $T$ من الدورات، يتوسع المجال الاستقبالي الفعلي إلى $O(Tw)$ ، مما يحول الحوسبة فعليًا إلى سياق دون زيادة المعلمات.

2.3. البنيات الهجينة (LT2-hybrid)

لموازنة الكفاءة والأداء، يستكشف المؤلفون تهجين مختلف بدائل الخلط ضمن الإطار الحلقي. وقد بحثوا في تكوينين محددين:

LT2-hybrid (GDN+DSA): يدمج بين شبكات دلتا المسورة (GDN، خطية) والانتباه المتفرق الديناميكي (DSA، متفرق). لا يحتوي هذا المتغير على أي طبقات انتباه كاملة.
LT2-hybrid (Full+GDN): يدمج نسبة صغيرة من طبقات الانتباه الكامل مع طبقات GDN. يهدف هذا إلى تعظيم الجودة مع الاحتفاظ بمعظم مكاسب الكفاءة.

2.4. استراتيجية التقطير (Distillation)

يقترح البحث طريقة لتحويل محولات الحلقة ذات الانتباه الكامل المدربة مسبقًا (تحديدًا Ouro) إلى نماذج LT2 دون التدريب من الصفر. يتضمن ذلك عملية تقطير متعددة المراحل:

المحاذاة الخطية المسبقة: محاذاة مخرجات الخلط الخطي مع التدفق المتبقي (residual stream) للمعلم.
تقطير اللوجيت الهجين: استخدام اختيار الطبقات الموجه بـ KL للاحتفاظ بمجموعة فرعية صغيرة من طبقات الانتباه الكامل (مثل 25%) مع تقطير اللوجيتات من المعلم.
الاستمرارية في السياق الطويل: مزيد من التدريب على بيانات السياق الطويل لضمان قدرات الاستقراء (extrapolation).

3. المساهمات الرئيسية

بنية LT2: عائلة جديدة من المحولات الحلقية تحقق تعقيدًا زمنيًا خطيًا ( $O(L)$ ) عن طريق استبدال الانتباه التربيعي ببدائل خطية ومتفرقة.
التحليل النظري: براهين رسمية توضح أن تكرار انتباه DPLR الخطي يزيد من رتبة تحديثات الحالة إلى $T$ ، وأن تكرار الانتباه المتفرق يوسع المجال الاستقبالي إلى $O(Tw)$ .
التصاميم الهجينة: تحديد تكوينين هجينين واعدين (GDN+DSA و Full+GDN) يتنقلان في جبهة باريتو (Pareto frontier) بين الجودة والكفاءة.
مسار التقطير: وصفة ناجحة لتحويل النماذج الحلقية المدربة مسبقةً إلى متغيرات زمن خطي، مما يحافظ على الأداء مع تقليل تكاليف الاستدلال بشكل جذري.
آليات الاستقرار: تقديم بوابة مخرجات SDPA للتخفيف من تراكم "بالوعة الانتباه" (attention sink) والنمو الهائل في التنشيط عبر دورات الحلقة، وهي أمور بالغة الأهمية لاستقرار التدريب في الحلقات المشتركة الأوزان.

4. النتائج التجريبية

قيم المؤلفون LT2 في نمذجة اللغة، والمهام الاصطناعية، واختبارات استرجاع السياق الطويل.

نمذجة اللغة:
- عند 1.3 مليار معلمة، حقق نموذج LT2-hybrid (Full+GDN) متوسط أداء صفري (zero-shot) بنسبة 62.89%، متفوقًا على المحول الحلقي القياسي (59.27%) مع الحفاظ على كفاءة الزمن الخطي.
- حقق LT2-hybrid (GDN+DSA) جودة تماثل المحول الحلقي القياسي (59.3% متوسط) ولكنه قدم إنتاجية فك تشفير أعلى بنحو 5.7 مرة عند سياق 8k (125 مقابل 22 رمزًا في الثانية).
الكفاءة:
- ألغت متغيرات LT2 "منحدر فك التشفيد" (decode cliff) الذي تظهره المحولات الحلقية القياسية. بينما تفقد المحولات الحلقية القياسية أكثر من 50% من إنتاجية فك التشفير بين سياق 4k و32k، حافظت متغيرات LT2 على إنتاجية ثابتة عبر جميع أطوال التسلسل وأحجام الدفعات (batch sizes).
- تمكنت نماذج LT2 من معالجة تسلسلات 32k بحجم دفعة 8، بينما نفدت ذاكرة المحولات الحلقية القياسية (OOM) عند 8k.
المهام الاصطناعية (تتبع الحالة والاستدعاء):
- عززت الحلقات بشكل كبير أداء بدائل الخلط دون التربيعية. بينما استقرت المحولات الحلقية القياسية عند مرحلة منهجية (curriculum stage) 4 ( $n=64$ )، وصلت الهجن دون التربيعية (مثل Looped GDN+NSA) إلى المرحلة 5 ( $n=128$ )، مما ضاعف حجم المشكلة القصوى القابلة للحل.
نتائج التقطير:
- نموذج Ouro-Hybrid-1.4B المحول، والذي تم تدريبه باستخدام حوالي 1 مليار رمز فقط من التدريب المستمر، تفوق على نماذج الـ 1 مليار معلمة المماثلة في الصناعة، وكان منافسًا لنماذج الـ 4 مليار معلمة في اختبارات الأداء الصفري، مع الاحتفاظ بفوائد السرعة للانتباه الخطي.

5. الأهمية والادعاءات

يزعم البحث أن LT2 يوفر مسارًا واضحًا لجعل المحولات الحلقية بنية قابلة للتوسع لنمذجة اللغة. من خلال فصل "العمق الفعال" (الذي توفره الحلقات) عن "التكلفة التربيعية" (التي يوفرها الانتباه)، تتيح LT2 ما يلي:

التكرار القابل للتوسع: جعل الاستدلال العميق والمتكرر أمرًا ممكنًا للسياقات الطويلة دون تكاليف حوسبة باهظة.
النماذج الصغيرة الفعالة: إثبات أن النماذج الصغيرة (في نطاق 1B–4B) يمكن أن تحقق أداءً منافسًا للنماذج الأكبر بكثير في الصناعة إذا استخدمت بدائل خلط رموز فعالة وبنيات حلقية.
الاعتماد العملي: القدرة على تقطير النماذج المدربة مسبقةً إلى متغيرات LT2 تقلل من حواجز الدخول، مما يسمح للممارسين بتبني هذه البنيات الفعالة دون الحاجة لإعادة التدريب من الصفر.

يخلص المؤلفون إلى أن بدائل خلط الرموز الفعالة يمكن أن تجعل العمق التكراري محور توسع عملي لنماذج اللغة المستقبلية، مما يعزز تطوير نماذج لغوية صغيرة، فعالة، وقادرة.