💬 NLP

LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation

تقدم الورقة البحثية LoopFormer، وهي بنية Transformer حلقية مبتكرة تستخدم مخطط تدريب متسق مع الاختصارات وتعديلاً مشروطاً بالزمن لتمكين الاستدلال المرن والمدرك للميزانية من خلال تكييف عمقها الحسابي مع القيود المتغيرة مع الحفاظ على تمثيلات متسقة ومتطورة.

المؤلفون الأصليون: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب، مثل مسألة رياضية معقدة أو أحجية. لديك طريقتان للتعامل معه:

طريقة "الكومة العميقة" (Deep Stack): تقوم بتعيين فريق مكون من 24 خبيرًا مختلفًا. تمرر اللغز من الخبير 1 إلى الخبير 2، ثم إلى الخبير 3، وصولاً إلى الخبير 24. يضيف كل شخص لمحة بسيطة من البصيرة. هذه الطريقة قوية، لكنها مكلفة لأنك تضطر لدفع أجر (حوسبة) لجميع هؤلاء الـ 24 شخصًا في كل مرة، حتى لو كان اللغز سهلاً.
الطريقة "الحلقية" (Looped): تعين خبيرًا واحدًا فقط شديد الذكاء. تطلب منه النظر إلى اللغز، والتفكير، ثم النظر إليه مرة أخرى بفهم جديد. يكرر هذه العملية، ويصقل إجابته خطوة بخطوة. هذه الطريقة أرخص لأنك تدفع لشخص واحد فقط، ولكن يمكنك أن تطلب منه التفكير لعدد المرات التي تحتاجها.

المشكلة في الطريقة "الحلقية" حتى الآن:
حتى الآن، كانت هؤلاء الخبراء "الحلقيين" جامدين بعض الشيء. إذا دربتهم على التفكير 8 مرات بالضبط، فسيصبحون بارعين في 8 خطوات. ولكن إذا طلبت منهم فجأة التوقف بعد خطوتين فقط (لتوفير المال)، فستكون إجابتهم سيئة ومربكة. الأمر يشبه طالبًا حفظ رقصة مكونة من 8 خطوات بدقة؛ إذا طلبت منه التوقف عند الخطوة الثانية، فسيتجمد ولا يعرف ماذا يفعل. لم يكن بمقدورهم التكيف مع "ميزانيات" مختلفة من الوقت أو المال.

إليك LoopFormer: المفكر "المرن"

تقدم الورقة البحثية LoopFormer، وهو نوع جديد من الذكاء الاصطناعي يحل مشكلة الجمود هذه. فكر في LoopFormer ليس كروبوت يتبع نصًا ثابتًا، بل كـ متسلق جبال.

الفكرة الجوهرية: تشبيه المتسلق

تخيل أن الذكاء الاصطناعي هو متسلق جبال يحاول الوصول إلى القمة (الإجابة الصحيحة).

الجبل: هو المسار من "الارتباك" إلى "الذكاء".
الخطوات: في كل مرة يقوم فيها الذكاء الاصطناعي بعملية "الحلقة" (loop)، فإنه يأخذ خطوة للأعلى في الجبل.
الميزانية: أنت (المستخدم) من يقرر مقدار الطاقة (الحوسبة) التي تملكها. ربما ليس لديك سوى وقت لرحلة قصيرة (خطوتان)، أو ربما لديك يوم كامل (24 خطوة).

الطريقة القديمة: كان المتسلق مدربًا فقط على اتخاذ 24 خطوة صغيرة ودقيقة. إذا أخبرته أن يتوقف بعد خطوتين، فسيقف في منتصف مكان مجهول، ويبدو تائهًا.

طريقة LoopFormer:
تم تدريب LoopFormer ليكون متسلقًا مرنًا. لقد تعلم أن الجبل يمكن تسلقه بطرق عديدة:

تدريب "الاختصار": أثناء التدريب، يُطلب من الذكاء الاصطناعي تسلق الجبل بطرق مختلفة. أحيانًا يأخذ 24 خطوة صغيرة، وأحيانًا يأخذ 4 قفزات عملاقة، وأحيانًا يأخذ 8 خطوات متوسطة.
نظام تحديد المواقع (GPS) لـ "الزمن" و"حجم الخطوة": من المهم جدًا أن يتم تزويد الذكاء الاصطناعي بنظام GPS يخبره بشيئين عند كل خطوة:
1. أين أنا في الزمن؟ (هل نحن في البداية، أم المنتصف، أم النهاية؟)
2. ما هو حجم خطوتي؟ (هل آخذ قفزة عملاقة أم مجرد خطوة صغيرة؟)

لأن الذكاء الاصطناعي يعرف أين هو وحجم خطوته، يمكنه اتخاذ قفزة عملاقة في البداية ومع ذلك يظل عارفًا بمكانه بالضبط على الخريطة. إذا أوقفت الرحلة مبكرًا (ميزانية منخفضة)، فسيظل الذكاء الاصطناعي في نقطة ذات مغزى وعالية الجودة على الجبل، وليس تائهًا في الضباب.

السر الكامن: "اتساق الاختصار" (Shortcut Consistency)

كيف نعلم الذكاء الاصطناعي القيام بذلك؟ يستخدم المؤلفون حيلة تدريب ذكية تسمى اتساق الاختصار.

تخيل أنك تعلم طالبًا حل مسألة ما:

تعرض عليه الحل الكامل (باتخاذ 24 خطوة).
ثم تطلب منه حلها مرة أخرى، ولكن هذه المرة تجبره على اتخاذ اختصار (4 خطوات فقط).
القاعدة: يجب أن تبدو إجابة "الاختصار" تمامًا مثل الجزء الأخير من الإجابة الكاملة المكونة من 24 خطوة.

من خلال إجبار النسخة "القصيرة" على مطابقة النسخة "الطويلة"، يتعلم الذكاء الاصطناعي أن حتى المسودة السريعة والخشنة تحتوي على الجوهر الحقيقي. إنه يتعلم ضغط تفكيره دون فقدان الجودة. هذا يشبه طريقة عمل نماذج الانتشار (Diffusion Models) (مثل الذكاء الاصطناعي الذي ينشئ الصور): حيث يتعلم الانتقال من صورة ضبابية إلى صورة واضحة، ويمكنه إيقاف العملية مبكرًا إذا كنت تريد فقط "مسودة جيدة بما يكفي".

لماذا هذا مهم؟

صديق للميزانية: يمكنك أن تقول لـ LoopFormer: "اتصال الإنترنت لدي بطيء اليوم، أعطني إجابة سريعة باستخدام حلقتين فقط"، وسيعطيك إجابة جيدة بشكل مفاجئ. لاحقًا، إذا أصبح لديك اتصال سريع، يمكنك القول: "أعطني أفضل إجابة ممكنة باستخدام 24 حلقة"، وسيقوم بتنقيح تلك الإجابة نفسها بشكل أكبر.
لا حاجة لإعادة التدريب: لا تحتاج لتدريب نموذج جديد لكل ميزانية. نموذج واحد يناسب الجميع.
تفكير أفضل: توضح الورقة البحثية أن هذا "التفكير المرن" يساعد الذكاء الاصطناعي على التفكير بشكل أفضل في الواقع. إنه لا يكتفي بتخطي الخطوات فحך، بل يتعلم كيفية صقل أفكاره ديناميكيًا، تمامًا كما يفعل البشر عند التفكير في مسألة ما.

باخت-صار

LoopFormer هو ذكاء اصطناعي ذكي يتعلم التفكير بأي سرعة. سواء منحته 5 ثوانٍ أو 5 دقائق، فهو يعرف تمامًا كيف يستخدم هذا الوقت ليعطيك أفضل إجابة ممكنة، دون أن يرتبك أو "ينكسر" عندما تغير القواعد. إنه يحول الذكاء الاصطناعي الجامد الذي يتبع "نموذجًا واحدًا للجميع" إلى شريك مرن يدرك قيمة الميزانية المتاحة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LoopFormer: نماذج المحولات الحلقية ذات العمق المرن عبر تعديل المسارات المختصرة".

1. بيان المشكلة

محدودية نماذج المحولات الحلقية ثابتة العمق:
أظهرت نماذج المحولات الحلقية (أو المتكررة)، التي تشترك في المعلمات عبر عدة تكرارات (حلقات) لكتلة واحدة، وعوداً في مجالات الاستدلال الكامن والمهام الخوارزمية. ومع ذلك، تعاني النهج الحالية من جمود حرج: فهي تُدرب وتُقيّم بعدد ثابت من تكرارات الحلقة.

الانهيار خارج التوزيع (Off-Distribution Collapse): عندما يتم تقييم هذه النماذج عند أعماق مختلفة عن عمق التدريب (على سبيل المثال، عدد حلقات أقل للسرعة أو أكثر للدقة)، فإن تمثيلاتها الداخلية غالباً ما تنهار أو تتوقف عن التطور. فالمسارات الأقصر تفشل في إنتاج حالات غنية بالمعلومات، بينما المسارات الأطول لا تعمل على صقلها بشكل أكبر.
الافتقار إلى الوعي بالميزانية: لا تستطيع النماذج الحالية التكيف مع ميزانيات الحوسبة المتغيرة أثناء الاستنتاج دون إعادة تدريب. وهي بذلك تضيع إمكانات "العمق المرن"، حيث يمكن لنموذج واحد أن يعدل تكلفته الحسابية ديناميكياً بناءً على قيود المستخدم مع الحفاظ على الأداء.

الهدف:
تطوير محول حلقي يدعم العمق المرن: نموذج واحد قادر على إنتاج تمثيلات عالية الجودة عبر مجموعة من ميزانيات الحوسبة التي يحددها المستخدم (عدد الحلقات) دون الحاجة لإعادة التدريب، مما يضمن أن تظل المسارات الأقصر غنية بالمعلومات وأن تستمر المسارات الأطول في عملية الصقل.

2. المنهجية: LoopFormer

يقترح المؤلفون LoopFormer، وهو نموذج لغوي حلقي معدل عبر المسارات المختصرة، يعامل صقل التمثيل التكراري كمسار في فضاء التمثيل، مستلهماً ذلك من نماذج الانتشار (Diffusion Models) والمعادلات التفاضلية العادية العصبية (Neural ODEs).

أ. البنية الأساسية والاشتراط (Conditioning)

على عكس النماذج الحلقية القياسية التي تعامل كل تكرار بشكل متماثل أو تشترط فقط على مؤشر الحلقة، يقوم LoopFormer بالاشتراط في كل خطوة حلقة $i$ على متغيرين:

الزمن الموحد ( $t_{i-1}$ ): التقدم التراكمي عبر المسار (يتراوح من 0 إلى 1).
حجم الخطوة ( $\Delta_i$ ): درجة دقة الخطوة الحالية (حجم "القفزة").

الآلية:

يتم ترميز هذه القيم القياسية عبر تضمينات التردد (sine-cosine frequency embeddings) وإسقاطها عبر شبكات MLP صغيرة.
تقوم الإشارة الناتجة بتعديل كتلة LoopFormer (وهي كتلة Transformer قياسية) باستخدام آلية AdaLN-style (التطبيع الطبقي التكيفي).
على وجه التحديد، تولد إشارة الاشتراط عوامل القياس ( $\gamma$ ) لطبقات RMSNorm وعوامل البوابة ( $\alpha$ ) للاتصالات المتبقية (residual connections) لآلية الانتباه متعدد الرؤوس (MHSA) وشبكة التغذية الأمامية (FFN).
النتيجة: كل حلقة تدرك بوضوح موقعها و"خشونة" المسار، مما يسمح للنموذج بالتصرف باتساق سواء كان يتخذ قفزة كبيرة (خطوات قليلة) أو خطوة صغيرة (خطوات كثيرة).

ب. استراتيجية التدريب: اتساق المسار المختصر (Shortcut-Consistency)

لتدريب النموذج على التعامل مع مسارات متغيرة الطول، قدم المؤلفون مخطط تدريب اتساق المسار المختصر:

أخذ عينات المسار: أثناء التدريب، لكل دفعة (batch)، يأخذ النموذج عينة لمسار "مختصر" بطول عشوائي $S < L$ (حيث $L$ هو العمق الأقصى).
دالة الهدف: تجمع دالة الخسارة بين ثلاثة مكونات:
1. $L_L$ (خسارة المسار الطويل): خسارة التنبؤ بالرمز التالي القياسية لمسار الـ $L$ -خطوة الكامل.
2. $L_S$ (خسارة المسار المختصر): خسارة التنبؤ بالرمز التالي لمسار الـ $S$ -خطوة الأقصر المأخوذ عينة.
3. $L_{cons}$ (خسارة الاتساق): خسارة تعتمد على إيقاف التدرج (stop-gradient)، والتي تجبر التمثيلات النهائية (اللوجيتس - logits) للمسار الأقصر على التوافق مع تمثيلات المسار الكامل.
الأثر: يعمل هذا كشكل من أشكال التقطير الذاتي داخل الحلقة. فهو يعلم النموذج أن المسار القصير والخشن يجب أن يقترب من نقطة نهاية المسار الدقيق والطويل، مما يمنع انهيار التمثيل عند الأعماق الضحلة.

ج. الاستنتاج (العمق المرن)

عند الاستنتاج، يحدد المستخدم ميزانية الحوسبة $M$ (عدد الحلقات) وجدول الخطوات $\Delta_M$ . ينفذ النموذج $M$ من التكرارات باستخدام الاشتراط المتعلم. وبفضل هدف التدريب، ينتج النموذج مخرجات عالية الجودة حتى عندما يكون $M \ll L$ ، ويتصاعد الأداء بسلاسة مع زيادة $M$ .

3. المساهمات الرئيسية

صياغة العمق المرن: تقديم فئة من المحولات الحلقية التي تشترط على الزمن الموحد وحجم الخطوة، مما يتيح لنموذج واحد العمل بقوة عبر ميزانيات حوسبة عشوائية دون إعادة تدريب.
تدريب اتساق المسار المختصر: اقتراح بروتوكول تدريب مبتكر يستخدم مسارات مأخوذة عينات وخسارة اتساق لمحاذاة التمثيلات عبر أعماق مختلفة، مما يحل مشكلة "الانهيار خارج التوزيع" في النماذج الحلقية.
تحليل ديناميكيات التمثيل: تقديم تحليل هندسي ومعلوماتي (باستاستخدام الانحناء، والتباين/Anisotropy، والاعتلاج/Entropy، وCKA) يوضح أنه بينما تعاني نماذج الخروج المبكر الساذجة من ركود تمثيلي، يحافظ LoopFormer على حالات متطورة وغير متدهورة عبر الأعماق.
التحقق التجريبي: إثبات أن LoopFormer يحقق أداءً قوياً لكل وحدة حوسبة، متفوقاً على النماذج الحلقية ثابتة العمق والأساليب الأخرى، ومقلصاً الفجوة مع النماذج غير الحلقية ذات عدد العمليات الحسابية (iso-FLOP) المتساوي.

4. النتائج التجريبية

قيم المؤلفون LoopFormer في مهام نمذجة اللغة (Pile, FineWeb-Edu) واختبارات الاستدلال الصفري (COPA, HellaSwag, ARC, إلخ) باستخدام نموذج بمليار معلمة مع عدد متغير من الكتل ( $k$ ) وأعماق حلقات ( $L$ ).

الارتباك (Perplexity) والاستدلال:
- يتفوق LoopFormer بشكل كبير على النماذج الحلقية الساذجة ومتغيرات الخروج المبكر (مثل Base-Loop-EE, TMLT-EE) عبر جميع الميزانيات.
- عند الميزانيات المنخفضة (مثل 6x أو 12x FLOPs)، يحافظ LoopFormer على فائدة عالية، بينما تعاني النماذج الحلقية الأخرى من انخفاض حاد في الأداء.
- يتوسع النموذج بسلاسة: حيث تؤدي إضافة المزيد من الحلقات باستمرار إلى تحسين الارتباك ودقة الاستدلال دون "الانهيار" الذي تشهده نماذج العمق المرن الأخرى.
استقرار التمثيل:
- تشابه CKA: تظهر النماذج المرجعية تشابهاً عالياً في CKA بين الخطوات (مما يشير إلى الركود)، بينما يظهر LoopFormer انزياحاً تدريجياً، مما يشير إلى صقل نشط.
- الانحناء والاعتلاج (Curvature & Entropy): يظهر LoopFormer انحناءً واعتلاجاً متزايداً في الأعماق المتوسطة، مما يشير إلى تعلم وصقل نشط، قبل أن يتراجع قرب النهاية.
حساسية المسار: وجدت الورقة أنه حتى مع ميزانية ثابتة، فإن اختيار جدول الخطوات أمر مهم. تخصيص خطوات خشنة في البداية وخطوات دقيقة في النهاية يؤدي عموماً إلى أداء أفضل.

5. الأهمية والأثر

نماذج لغوية ضخمة قابلة للتحكم: يفتح LoopFormer مساراً نحو نماذج لغوية ضخمة واعية بالميزانية. يمكن للمستخدمين المقايضة بين زمن الاستجابة/التكلفة والدقة ديناميكياً عند الاستنتاج باستخدام نموذج واحد، بدلاً من الحاجة لنماذج متعددة أو آليات توجيه معقدة.
الاستدلال الكامن: يعزز هذا العمل الفرضية القائلة بأن البنى الحلقية تمتلك انحيازاً استقرائياً للاستدلال الكامن. ومن خلال تثبيت هذه المسارات، يمكن للنموذج استيعاب مهارات الاستدلال التي تزداد صقلاً مع زيادة الحوسبة.
الكفاءة: يقدم بديلاً أكثر قوة للحوسبة الديناميكية على مستوى الرمز (مثل الخروج المبكر أو توجيه MoE)، والتي غالباً ما تؤدي إلى حالات متدهورة. يحقق LoopFormer المرونة على مستوى المسار/التسلسل، مما يضمن بقاء مسار الحوسبة بأكمله متماسكاً.
العبء التدريبي: يتسبب الأسلوب في عبء تدريبي طفيف (حوالي 1.5x FLOPs بسبب أخذ عينات المسار المزدوج) ولكنه يلغي الحاجة لإعادة التدريب عند تغيير قيود الاستنتاج، مما يجعله عملياً للغاية للنشر.

باختصار، يحول LoopFormer المحولات الحلقية من بنى ثابتة العمق وجميدة إلى أنظمة مرنة ذات عمق متغير قادرة على الاستدلال التكيفي، مما يسد الفجوة بين كفاءة مشاركة المعلمات ومتانة المجموعات العميقة غير المشتركة.