🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

تقدم هذه الورقة نموذج "المحول المتكرر الكامن" (LRT)، وهو بنية خفيفة الوزن تعزز النماذج ذات التوليد الذاتي عبر إعادة استخدام الحالات الخفية عالية المستوى كذاكرة متكررة دون زيادة عمق الاستدلال، وتقترح استراتيجية تدريب متوازية متداخلة لزيادة نطاق هذا النهج بكفاءة، مما يؤدي إلى تحسين أداء نمذجة اللغة والتعلم في السياق مع حد أدنى من الزيادة في عدد المعلمات.

المؤلفون الأصليون: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كتابة قصة، كلمة بكلمة. في الطريقة المعتادة للقيام بذلك (والتي تسمى "المحول التكراري ذاتي الانحدار" - Autoregressive Transformer)، ينظر الروبوت إلى الكلمات التي كتبها بالفعل، ويفكر فيها، ثم يختار الكلمة التالية. وبمجرد اختيار تلك الكلمة، ينتقل فوراً لما بعدها. الأمر يشبه خط تجميع في مصنع: كل قطعة تمر عبر الآلة مرة واحدة سريعة، ثم تنتهي المهمة.

تقدم هذه الورقة فكرة جديدة تسمى المحول المتكرر الكامن (Latent Recurrent Transformer - LRT). وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

١. المشكلة: "فقدان الذاكرة" في خط التجميع

في الروبوت القياسي، بمجرد أن ينتهي من معالجة كلمة ما، فإنه ينسى أفكاره العميقة وعالية المستوى التي كانت لديه حول تلك الكلمة. هو يحتفظ فقط بـ "ملاحظة" أساسية (الحالة الخفية) لمساعدته في الكلمة التالية. إذا احتاج الروبوت لتذكر فكرة معقدة من بضع كلمات مضت لفهم الجملة الحالية، فعليه أن يبحث في كومة من الملاحظات الأساسية. الأمر يشبه محاولة تذكر حبكة فيلم من خلال النظر فقط إلى تذاكر الدخول، وليس إلى المشاهد الفعلية.

٢. الحل: "الدفتر الذكي" (LRT)

يمنح نظام (LRT) الروبوت دفتراً ذكياً.

كيف يعمل: عندما ينتهي الروبوت من معالجة الكلمة رقم ١، فإنه لا يكتفي فقط برمي أفكاره العميقة؛ بل يكتب "ملخصاً رفيع المستوى" لتلك الأفكار في دفتره.
السحر: عندما يبدأ العمل على الكلمة رقم ٢، فإنه يفتح الدفتر فوراً ويقرأ الملخص الخاص بالكلمة رقم ١. يستخدم هذا الملخص كـ "دفعة ذاكرة" لمساعدته في معالجة الكلمة رقم ٢.
النتيجة: يحصل الروبوت على رأي ثانٍ من "نفسه الماضية" دون الحاجة إلى إيقاف خط التجميع أو القيام بعمل إضافي. الأمر يشبه الطاهي الذي، بينما يقوم بتقطيع الخضروات التالية، يلقي نظرة على الملاحظات التي كتبها للتو عن الخضروات السابقة لضمان بقاء نكهة الطعام متسقة.

٣. الحيلة: كيف تتعلم دون أن تعلق في مكانك

قد تسأل: "إذا كان الروبوت يحتاج لقراءة الدفتر من الماضي ليتعلم، ألا يعني ذلك أنه يجب أن ينتظر الماضي حتى ينتهي قبل البدء في المستقبل؟ ألا يجعل ذلك التدريب بطيئاً للغاية!"

عادةً، نعم. إذا حاولت تعليم الروبوت خطوة بخطوة (الكلمة ١، ثم الكلمة ٢، ثم الكلمة ٣)، فستفقد القدرة على القيام بكل شيء في وقت واحد (التوازي)، مما يجعل التدريب يستغرق وقتاً طويلاً جداً.

لقد ابتكر المؤلفون حيلة تدريب ذكية تسمى التدريب المتداخل المتوازي (Interleaved Parallel Training). فكر في الأمر كأنه سباق تتابع بلمسة مبتكرة:

الخطوة ١ (الإحماء): يركض الروبوت عبر السباق بأكله (الجملة بأكملها) بالسرعة العادية فقط للحصول على مسودة أولية للملاحظات.
الخطوة ٢ (سباق التتابع): بدلاً من ركض السباق بأكمله مرة أخرى، يقسم الروبوت السباق إلى مجموعتين من العدائين: العداؤون "الزوجيون" والعداؤون "الفرديون".
- أولاً، يحصل العداؤون "الزوجيون" على فرصة للاطلاع على ملاحظات العدائين "الفرديين" (الذين أنهوا مرحلة الإحماء) وتحسين أدائهم الخاص.
- بعد ذلك، يلقي العداؤون "الفرديون" نظرة على الملاحظات "المحسنة" من العدائين "الزوجيين" ويحسنون أداءهم.
الفائدة: بهذه الطريقة، تحصل كل كلمة على فرصة للتعلم من جيرانها، ولكن لا يزال بإمكان الكمبيوتر القيام بالكثير من العمل في نفس الوقت. الأمر يشبه مجموعة من الطلاب يدرسون معاً: هم لا ينتظرون حتى ينهي شخص واحد الكتاب بأكمله؛ بل يتبادلون الملاحظات في مجموعات صغيرة ليتعلموا بشكل أسرع.

٤. النتائج: أكثر ذكاءً بتكلفة أقل

اختبرت هذه الورقة الروبوت الجديد ضد الروبوت القياسي القديم.

الكفاءة: تعلم الروبوت الجديد (LRT) الكتابة بشكل أفضل (معدلات خطأ أقل) وفهم السياق بشكل أفضل (براعة أكبر في الإجابة على الأسئلة) من الروبوت القديم، حتى عندما مُنحوا نفس القدر من "قوة المعالجة" (وقت الحوسبة).
تطوير ضئيل: لم يحتج الروبوت الجديد إلا لإضافة كمية ضئيلة جداً من الذاكرة الإضافية (حوالي ٠.٣٪ زيادة في الحجم) للحصول على هذه التحسينات الكبيرة. الأمر يشبه إضافة جهاز GPS قوي وصغير للسيارة بدلاً من شراء محرك جديد بالكامل.
النقطة المثالية: وجدوا أن "الدفتر" الأفضل لم يكن آخر فكرة خطرت للروبوت (والتي كانت مركزة جداً على الكلمة التالية فقط)، بل كانت فكرة من منتصف "عقله". كانت عالية المستوى بما يكفي لتكون مفيدة، ولكنها ليست متخصصة للغاية.

ملخص

المحول المتكرر الكامن (LRT) هو وسيلة لجعل نماذج الذكاء الاصطناعي أكثر ذكاءً من خلال السماح لها بإعادة استخدام "أفكارها عالية المستوى" من الكلمة السابقة لمساعدة معالجة الكلمة التالية. لقد حققوا ذلك دون إبطاء عملية التدريب باستخدام طريقة "سباق التتابع" الذكية. والنتي نتيجة لذلك، نموذج يتعلم بشكل أسرع ويؤدي بشكل أفضل دون الحاجة لأن يكون أكبر حجماً بكثير.

ملخص تقني: المحول المتكرر الكامن (Latent Recurrent Transformer - LRT)

بيان المشكلة

تُعد المحولات ذات التوليد الذاتي (Autoregressive Transformers) هي المعيار القياسي لنمذجة اللغة، ومع ذلك فهي تعتمد على عمليات تغذية أمامية ذات عمق ثابت لكل رمز (token) يتم توليده. وبينما يمكن للتكرار (recurrence) نظرياً أن يزيد من القدرة الحسابية من خلال الصقل المتكرر، فإن الأساليب الحالية تفرض تكاليف استدلال (inference) باهظة. فالطرق التي تضيف التكرار في العمق (تطبيق الكتل بشكل متكرر على نفس الرمز) أو في الزمن (إدراج رموز توقف أو تفكير) تزيد من زمن تأخير الاستدلال عبر خطوات فك تشفير إضافية أو تطبيقات للكتل.

لاحظ المؤلفون أن فك التشفيد الذاتي التوليدي يقوم بالفعل بحساب إشارات متكررة عالية المستوى "مجاناً": وهي الحالات الخفية (hidden states) للرمز السابق. وتحديداً، تحتوي حالات الطبقات العليا المدربة للتنبؤ بالرمز التالي على سياق كامن مفيد. وسؤال البحث الجوهري هو ما إذا كان يمكن إعادة استخدام هذه التمثيلات عالية المستوى المحسوبة بالفعل من الرمز السابق كذاكرة متكررة للرمز التالي دون إضافة خطوات فك تشفير إضافية.

المنهجية

البنية: المحول المتكرر الكامن (LRT)

إن LRT هو تعزيز خفيف الوزن للمحولات القياسية ذات التوليد الذاتي، حيث يقدم مساراً كامناً عابراً للطبقات وعابراً للرموز.

الآلية: عند موضع الرمز $t$ ، يعيد LRT استخدام حالة خفية من طبقة مصدر من الموضع السابق، $m_{t-1} = h^{\ell_{src}}_{t-1}$ ، كذاكرة متكررة. هنا، $\ell_{src}$ هي طبقة مصدر مختارة (عادةً ما تكون طبقة عليا-وسطى).
الحقن (Injection): يتم حقن الذاكرة $m_{t-1}$ $m_{t - 1}$ في طبقات المحول للرمز الحالي $t$ $t$ عبر آليتين متكاملتين:
1. إسقاط المفتاح-القيمة (KV Projection): يقوم بإسقاط الذاكرة في فضاءات المفتاح والقيمة للانتباه ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) ودمجها مع المفاتيح/القيم المحلية باستخدام بوابات تعتمد على المدخلات. يوفر هذا مساراً مباشراً لتمثيل الرمز السابق إلى آلية الانتباه.
2. الحقن المتبقي (Residual Injection): يضيف الذاكرة مباشرة إلى التدفق المتبقي ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ )، مما يعرض الكتلة بأكملها للإشارة المتكررة.
كفاءة الاستدلال: من الضروري أن يحافظ LRT على الهيكل الأساسي للمفكك (decoder-only) وآلية الانتباه وواجهة ذاكرة التخزين المؤقت (KV-cache). فهو لا يُدرج رموز ذاكرة، أو رموز توقف، أو حلقات عمق. لا يزال كل رمز يتم توليده يستخدم تمريرة أمامية واحدة عادية للمحول، حيث يتم ببساء تحديث الحالة المتكررة وتمريرها إلى الخطوة التالية. النسخة الافتراضية تضيف فقط 0.3% من المعلمات.

استراتيجية التدريب: التدريب المتوازي المتداخل (Interleaved Parallel Training)

يعد تدريب هذا التكرار على نطاق واسع تحدياً كبيراً. فالتدريب الدقيق يتطلب فك نشر (unrolling) المحول تسلسلياً عبر التسلسل الكامل (الانتشار العكسي عبر الزمن - BPTT)، مما يدمر التوازي الضروري لتدريب المحولات بكفاءة. أما التدريب بنظام القطع (chunked training) (معالجة الكتل المتصلة تسلسلياً) فيحافظ على بعض التوازي ولكنه ينشر الذاكرة عبر حدود القطع فقط، مما يقدم تقريباً خشناً.

قدم المؤلفون التدريب المتوازي المتداخل لتقريب التكرار على مستوى الرمز مع الحفاظ على الحوسبة المتوازية:

تمريرة التهيئة: تمريرة أمامية واحدة لكامل التسلسل تبني مخزناً مشتركاً يحتوي على المفاتيح، والقيم، والحالات الخفية لطبقة المصدر لجميع المواضع.
تمريرات الصقل: يتم تقسيم مواضع التسلسل إلى $S$ من المجموعات الفرعية المنفصلة (على سبيل المثال، تقسيمات متدرجة). يتم صقل هذه المجموعات بالتوازي.
إعادة الكتابة (Write-Back): يتم كتابة الحالات المحدثة من مجموعة فرعية إلى المخزن المشترك. ويمكن للمجموعات اللاحقة استهلاك الذاكرة المصقولة من المجموعات السابقة.
الهدف: الخسارة هي متوسط خسارة التهيئة وخسائر الصقل لكل مجموعة فرعية.

تضمن هذه الاستراتيجية أن يتلقى كل رمز خطوة إشراف مدركة للذاكرة المتكررة. ومن حيث الحوسبة، فإنها تكلف حوالي 2× تحديث المحول القياسي (تهيئة واحدة + صقل فعال واحد)، ولكنها تحاكي التكرر على مستوى الرمز بشكل أقرب من التدريب بنظام القطع.

المساهمات الرئيسية

بنية LRT: امتداد متكرر خفيف الوزن يعيد استخدام الحالات الخفية لطبقة المصدر عالية المستوى من الرمز السابق كذاكرة، مما يسمح بالتكرار عبر الطبقات دون خطوات فك تشفير إضافية أو تغييرات في واجهة ذاكرة التخزين المؤقت (KV-cache).
التدريب المتوازي المتداخل: تقريب تدريب متوازٍ يصقل المجموعات الفرعية للرموز المنفصلة لمحاكاة التكرر على مستوى الرمز تحت ميزانية حوسبة ثابتة، متجنباً فك النشر التسلسلي المطلوب في تدريب نمط RNN التقليدي.
التحقق التجريبي: إثبات أن LRT يحسن المقايضة بين الحوسبة والجودة عبر مختلف أحجام النماذج وميزانيات الرموز لكل معلمة، حيث تضيف نسخة الإسقاط المشترك الافتراضية حداً أدنى من الزيادة في المعلمات بنسبة 0.3%.

النتائج

أُجريت التجارب على نماذج GPT من طراز nanochat (بـ 20 و24 طبقة) مدربة مسبقاً على FineWeb-Edu.

سلوك القياس (Scaling Behavior): في ظل حساب الحوسبة المكافئ للأساس (مع مراعاة تكلفة 2× للتدريب المتداخل)، ينقل LRT منحنيات القياس نحو قيم أقل لـ البايت لكل بايت (BPB) وقيم أعلى لـ CORE (مقياس للتعلم داخل السياق عبر 22 مهمة).
مكاسب الأداء:
- على هيكل 24L عند حوسبة 80 مكافئة للأساس، حققت نسخة LRT-shared قيمة 0.695 BPB مقارنة بـ 0.699 للأساس.
- تحسن التعلم داخل السياق (CORE) أيضاً؛ فعلى هيكل 20L عند حوسبة 80، حققت نسخة LRT-shared قيمة 0.274 مقابل 0.271 للأساس.
نتائج الدراسة الاستقصائية (Ablation):
- طبقة المصدر: أدت الطبقة العليا-الوسطى (مثل الطبقة 12 في نموذج 20L) أداءً أفضل من الطبقة النهائية، مما يشير إلى أن الذاكرة المفيدة يجب أن تكون عالية المستوى ولكن ليست متخصصة للغاية في الـ logits.
- المصدر الزمني: الحالة التي تسبق الموضع مباشرة ( $m_{t-1}$ ) هي أقوى مصدر ذاكرة منفرد يحافظ على قيد التمريرة الواحدة للأمام.
- الحقن: إسقاط KV والحقن المتبقي يكملان بعضهما البعض؛ واستخدام كليهما يعطي أفضل النتائج.
- التدريب: يتفوق التدريب المتوازي المتداخل بشكل كبير على التدريب بنظام القطع، الذي يقدم تقريباً أخشن للتكرار.

الأهمية والادعاءات

يدعي البحث أن LRT ينجح في تغيير مقايضة الحوسبة-الجودة للمحولات ذات التوليد الذاتي. فمن خلال إعادة استخدام الإشارات عالية المستوى "المجانية" من الرمز السابق وتدريبها عبر تقريب متوازٍ، يتيح LRT الصقل المتكرر واستخدام السياق بشكل أفضل دون تحمل عقوبات زمن تأخير الاستدلال المرتبطة بطرق العمق المتكرر أو رموز التوقف.

يؤكد المؤلفون أن LRT هو تعزيز خفيف الوزن يحافظ على واجهة المحول القياسية. وتُعزى المكاسب إلى آلية الذاكرة المتكررة نفسها بدلاً من مجرد إضافة معلمات أو بوابات إضافية، حيث أن الإضافات المعمارية العامة (مثل الانتباه المبوب أو قياس الطبقات) على نفس الأساس القوي لم تحقق سوى تحسينات ضئيلة. ويشير العمل إلى أن الذاكرة المتكررة المفيدة يجب أن تكون عالية المستوى ولكن ليست الطبقة النهائية المتخصصة في الـ logits، وأن التكرر على مستوى الرمز يمكن تقريبه بفعالية بالتوازي أثناء التدريب المسبق.