💬 NLP

From Growing to Looping: A Unified View of Iterative Computation in LLMs

توحد هذه الورقة بين نمو العمق وتكرار الطبقات كطريقتين متكاملتين لاستحثاث الحوسبة التكرارية في النماذج اللغوية الكبيرة، مما يثبت اشتراكهما في سمات ميكانيكية متقاربة وإمكانية دمجهما بفعالية لتعزيز قدرات الاستدلال بشكل كبير.

المؤلفون الأصليون: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية حل مسألة رياضية معقدة أو لغز منطقي. لديك طريقتان رئيسيتان لجعله أكثر ذكاءً: يمكنك إما إعطاؤه دماغاً أكبر (أجزاء فريدة أكثر) أو تعليمه التفكير لفترة أطول (إعادة استخدام نفس الأجزاء مراراً وتكراراً).

تستكشف هذه الورقة طريقتين محددتين لجعل النماذج اللغوية الكبيرة (LLMs) أفضل في التفكير، وتكتشف أنهما في الواقع وجهان لعملة واحدة.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الاستراتيجيتان: "التكرار" مقابل "النمو"

تخيل الشبكة العصبية كخط تجميع في مصنع حيث ينتقل المنتج (الإجابة) من محطة إلى أخرى.

الاستراتيجية (أ): التكرار (طريقة "إعادة الاستخدام")
تخيل مصنعاً يحتوي فقط على 4 محطات، ولكنك تأمر المنتج بالمرور عبر هذه المحطات الأربع نفسها 6 مرات متتالية.
- كيف تعمل: يستخدم النموذج نفس "خلايا الدماغ" (الأوزان) بشكل متكرر. الأمر يشبه طالباً يقرأ نفس الفصل من الكتاب المدرسي مراراً وتكرماً ليفهمه حقاً.
- الفائدة: تحصل على مفكر عميق جداً دون الحاجة لبناء مصنع ضخم. أنت توفر المال في بناء المصنع (المعلمات/Parameters) ولكنك تستهلك المزيد من الكهرباء (الحوسبة/Compute) لتشغيل حزام النقل لفترة أطول.
الاستراتيجية (ب): نمو العمق (طريقة "التوسع")
تخيل أنك تبدأ بمصنع صغير يحتوي على 4 محطات. وبينما يتحرك المنتج لأسفل الخط، تقوم فجأة بـ نسخ ولصق المحطات الوسطى لجعل الخط أطول.
- كيف تعمل: تبدأ بتدريب نموذج صغير، وفي منتصف العملية، تقوم بمضاعفة طبقاته الوسطى لجعله أكثر عمقاً.
- الفائدة: لأنك بدأت صغيراً ثم كبرت، لم تكن بحاجة لبناء المصنع الضخم بأكمله من الصفر. هذا يوفر الكثير من الكهرباء (حوسبة التدريب) بينما ينتهي بك الأمر بامتلاك مصنع عميق.

2. الاكتشاف الكبير: إنهما "أبناء عمومة"

لفترة طويلة، اعتقد العلماء أن هاتين الطريقتين مجرد خدعتين مختلفتين. لكن هذه الورقة تقول: "انتظر لحظة، إنهما يقومان بنفس الشيء داخلياً."

عندما نظر الباحثون داخل "دماغ" كلا النموذجين، وجدوا بصمة مشتركة:

"المتأخرون في النمو": في كلا النموذجين، يحدث التفكير الأكثر أهمية في نهاية الخط تماماً. المحطات الأولى تقوم فقط بالأعمال التحضيرية الأساسية؛ أما المحطات النهائية فهي التي تقوم بالعمل الشاق.
"الإيقاع": طور كلا النموذجين نمطاً متكرراً. تماماً مثل أغنية لها "لازمة" تتكرر، تمتلك هذه النماذج إيقاعاً محدداً حيث تقوم بصقل إجابتها في دورات.

التشبيه:
فكر في حل لغز.

النموذج "المكرر" (Looped): يشبه المحقق الذي يقرأ الأدلة، يفكر، ثم يقرأها مرة أخرى، يفكر بعمق أكبر، ثم يقرأها للمرة الثالثة.
النموذج "النامي" (Grown): يشبه المحقق الذي يبدأ بدفتر ملاحظات صغير، ثم يضيف صفحات سحرية في منتصف الدفتر أثناء عمله، مما يسمح له بتدوين المزيد من الأفكار في منتصف العملية.
استنتاج الورقة: على الرغم من اختلافهما في المظهر الخارجي، إلا أن كلا المحققين ينتهي بهما الأمر باستخدام نفس "إيقاع التفكير" لحل اللغز. كلاهما مجرد مفكرين تكراريين (خطوة بخطوة).

3. القوة الخارقة: المزج والربط

الجزء الأكثر إثارة في الورقة هو أنه نظراً لأن هاتين الطريقتين متشابهتان جداً، يمكنك مزجهما للحصول على أفضل ما في العالمين.

"النمو أولاً، ثم التكرار لاحقاً":
أخذ الباحثون نموذجاً "نامياً" (توسع أثناء التدريب)، وبعد انتهائه من التدريب، أمروا الجزء الأوسط منه بـ التكرار (الدوران) أثناء الاختبار الفعلي.
- النتيجة: أصبح النموذج أكثر ذكاءً بمرتين في حل الألغاز المنطقية، رغم أنه لم يُدرب على القيام بذلك! الأمر يشبه تعليم طالب دراسة فصل معين، ثم تقول له: "مهلاً، في الاختبار، اقرأ نفس الفصل مرة أخرى قبل كتابة الإجابة."

4. لماذا يهم هذا؟

هذا يغير قواعد اللعبة من حيث الكفاءة:

تدريب أرخص: النماذج "النامية" أرخص في التدريب لأنك لا تحتاج لبناء النموذج الكبير بالكامل منذ اليوم الأول.
تفكير أذكى: "التكرار" يجعل النماذج أفضل في المنطق دون الحاجة لمزيد من الذاكرة.
أفضل ما في الاثنين: من خلال تنمية نموذج أولاً ثم السماكنه على "التكرار" في قسم معين أثناء الاختبار، تحصل على نموذج عالي الكفاءة في التدريب ولكنه قوي للغاية في التفكير المنطقي.

ملخص في جملة واحدة

تثبت هذه الورقة أن جعل النموذج يفكر عن طريق تكرار خطواته (Looping) أو عن طريق تنمية خطواته (Depth-growing) يخلق نفس "إيقاع التفكير" القوي، وأن دمج هاتين الخدعتين يسمح لنا ببناء ذكاء اصطناعي أكثر ذكاءً، وأرخص في التدريب، وأفضل في حل المشكلات الصعبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "من النمو إلى التكرار: رؤية موحدة للحوسبة التكرارية في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

عادةً ما تعمل النماذج اللغوية الكبيرة (LLMs) على تحسين قدرات الاستدلال من خلال توسيع المعلمات (parameters) والبيانات. ومع ذلك، فإن الاستدلال لا يتوسع خطياً مع عدد المعلمات وحده. وبينما تعمل تقنيات مثل "سلسلة الأفكار" (Chain-of-Thought - CoT) على توليد آثار نصية أطول، إلا أنها تزيد من تكلفة الحوسبة أثناء الاستنتاج عبر توليد الرموز (tokens) بدلاً من تعزيز الحوسبة الكامنة الداخلية.

لقد ظهر نهجان معماريان متميزان لتحفيز الحوسبة التكرارية (أي صقل التمثيلات عبر خطوات متعددة داخل تمريرة النموذج الأمامية):

التكرار (النماذج المحولة العالمية - Universal Transformers): إعادة استخدام كتلة من الطبقات عبر العمق عن طريق ربط الأوزان، مما يسمح بحوسبة عميقة دون زيادة في المعلمات الفريدة.
نمو العمق (Depth Growing): تدريب نماذج من ضحلة إلى عميقة عبر تكرار الطبقات الوسطى أثناء التدريب، مما يقلل من تكاليف الحوسبة أثناء مرحلة ما قبل التدريب.

السؤال الجوهري: هل مكاسب الاستدلال الملحوظة في كل من النماذج المكررة والنامية تنبع من نفس الآلية الأساسية، أم أنها متشابهة ظاهرياً ولكنها متباينة ميكانيكياً؟ علاوة على ذلك، هل يمكن الجمع بين هذه التقنيات لإنشاء نماذج استدلال أكثر قوة وقابلية للتوسع؟

2. المنهجية

أجرى المؤلفون تحليلاً تجريبياً وميكانيكياً شاملاً يقارن بين النماذج القياسية، والمكررة، والنامية في العمق عند مقياسين (360 مليون و1.7 مليار معلمة).

أ. معماريات النماذج

الأساس القياسي (Standard Baseline): محول قياسي بأوزان غير مرتبطة عبر جميع الطبقات.
النماذج المكررة (Looped Models):
- المكررة بالكامل (Fully Looped): يتم تكرار كتلة من $L$ طبقة فريدة $k$ من المرات (مثلاً: Loop(4×6) = 4 طبقات فريدة، وعمق فعلي 24).
- المكررة الهجينة (Hybrid Looped): كتل مشفر/فك تشفير فريدة مع كتلة متكررة في المنتصف (مثلاً: Loop(4-4×4-4)).
النماذج النامية في العمق (Depth-Grown Models):
- MIDAS: تكرر الكتلة الوسطى أثناء التدريب.
- LIDAS: تكرر الطبقة الوسطى بدقة (نمو متماثل)، وقد أظهرت تفوقاً.
- بروتوكول التدريب: تبدأ النماذج ضحلة ثم تنمو في العمق عبر التكرار، مما يقلل إجمالي عمليات الحوسبة (FLOPs) أثناء ما قبل التدريب.

ب. معايير التقييم

تقيم الدراسة 22 مهمة، مع تركيز خاص على بدائيات الاستدلال (مثل تعيين المتغيرات، نسخ التسلسلات)، والمسائل الرياضية اللفظية، والأسئلة والأجوبة (مفتوحة/مغلقة المصدر)، ونمذجة اللغة (Lambada, HellaSwag).

ج. التشخيصات الميكانيكية

لفهم كيفية حوسبة هذه النماذج، استخدم المؤلفون:

تشخيصات استغلال العمق: درجات العمق، وتداخل أفضل 5 مفردات، ودقة الخروج المبكر لعدسة الضبط (Tuned Lens) لقياس الاعتماد على الطبقات المتأخرة.
تحليل تيار البقايا (Residual Stream Analysis): قياس معايير L2 ومساهمات الطبقات الفرعية (الانتباه مقابل MLP) للكشف عن الأنماط الدورية.
تجارب التدخل:
- تبديل الطبقات: اختبار المتانة تجاه إعادة ترتيب الطبقات.
- إزالة التأثير المحلي: إزالة مساهمة طبقة ما في الطبقات اللاحقة لقياس التبعية.
توسع وقت الاستنتاج: تكرار الكتل الوسطى أثناء الاستنتاج دون إعادة التدريب.

3. المساهمات الرئيسية

1. المقايضات التجريبية

التكرار (Looping): يحسن الاستدلال تحت ميزانيات المعلمات الثابتة (iso-param) وهو منافس تحت ميزانيات الاستنتاج الثابتة (iso-inference). إنه يقايض المعلمات الفريدة بالحوسبة المتسلسلة.
نمو العمق (Depth Growing): يحقق أداء استدلال مماثل أو أفضل مع تكلفة حوسبة أقل بكثير (حوالي 80% من عمليات الحوسبة الأساسية لما قبل التدريب) مع الحفاظ على القدرات الواسعة.

2. التوحيد الميكانيكي

تقدم الورقة دليلاً على أن التكرار والنمو يشتركان في بصمة عمق متقاربة:

الاعتماد على الطبقات المتأخرة: كلا النهجين ينقلان الحوسبة الضرورية إلى الطبقات المتأخرة، على عكس النماذج القياسية حيث غالباً ما تستقر الطبقات المبكرة.
الأنماط الدورية: يُظهر كلاهما أنماطاً متكررة في تحديثات تيار البقايا ومساهمات الطبقات الفرعية بما يتماشى مع حجم الكتلة (على سبيل المثال، دورة من 4 طبقات). يشير هذا إلى أن كلاهما يحفز شكلاً من أشكال الصقل التكراري داخل الفضاء الكامن.

3. المتانة ومبادئ التصميم

الحساسية للترتيب: النماذج المكررة بالكامل حساسة جداً لترتيب الطبقات (تبديل الطبقات يؤدي إلى تدهور الأداء بشكل كبير).
متانة الهجين: النماذج النامية في العمق والنماذج المكررة الهجينة (مع طبقات مشفر/فك تشفير فريدة) أكثر متانة تجاه تبديل الطبقات. يشير هذا إلى أن الطبقات الخارجية الفريدة تعمل على استقرار الشبكة، بينما يعمل المنتصف كقلب تكراري مرن.

4. القابلية للتكيف والتركيب

تكيّف أفضل: تتكيف كل من النماذج المكررة والنامية بكفاءة أكبر مع التعلم في السياق (ICL) والضبط الدقيق تحت الإشراف (SFT) مقارنة بالنماذج القياسية.
"انمُ أولاً، ثم كرر لاحقاً": اكتشاف جديد هو أن النماذج النامية في العمق (التي تم تدريبها بدون ربط الأوزان) يمكن تكييفها لتصبح مكررة أثناء الاستنتاج. تكرار كتلة متوسطة مكونة من 4 طبقات أثناء الاستنتاج يحسن دقة الاستدلال بمقدار يصل إلى 2 ضعف في البدائيات، رغم أنها لم تُدرب أبداً على التكرار.

4. التآزر مع مرحلة التبريد (Cooldown Synergy)

تحقق النماذج النامية في العمق أكبر المكاسب عندما تتعرض لمزيج بيانات عالية الجودة وكثيفة رياضياً خلال مرحلة "التبريد" (مرحلة التدريب النهائية). الجمع بين هذا وبين التكرار المكيّف ينتج أقوى أداء استدلال.

4. النتائج الرئيسية

أداء الاستدلال: في بدائيات الاستدلال، تتفوق النماذج المكررة (مثل Loop(4-4×4-4)) والنماذج النامية (LIDAS) بشكل كبير على النماذج القياسية ذات الحجم المماثل.
توسع الاستنتاج: تكرار كتلة وسطى مكونة من 4 طبقات في نموذج نامٍ يعزز الدقة في مهام مثل "نسخ الكلمات الحقيقية" و"تعيين المتغيرات" بمقدار يصل إلى 2 ضعف. النماذج القياسية لا تظهر أي فائدة تذكر من ذلك.
الضبط الدقيق: باستخدام 64 مثالاً فقط من الضبط الدقيق، تتجاوز نماذج LIDAS والنماذج المكررة الهجينة مستوى الصدفة في مهام تعيين المتغيرات، بينما تظل النماذج الأساسية قريبة من العشوائية حتى مع 128 مثالاً.
تبريد الرياضيات: استخدام بيانات رياضية عالية الجودة (Nemotron-CC-Math-4+) خلال مرحلة التبريد يعزز الاستدلال بشكل كبير. تحقيق (LIDAS + Math Cooldown + Retrofitted Looping) أعلى الدرجات في GSM8K والمسائل الرياضية اللفظية.

5. الأهمية والخاتمة

تضع هذه الورقة إطاراً نظرياً موحداً للحوسبة التكرارية في النماذج اللغوية الكبيرة، حيث تثبت أن نمو العمق والتكرار هما أسلوبان متكاملان يحفزان آليات داخلية متشابهة (الصقل التكراري عبر أنماط دورية العمق).

الآثار العملية:

الكفاءة: يوفر نمو العمق مساراً لنماذج ذات استدلال عالٍ بتكاليف تدريب مخفضة.
القابلية للتوسع: يسمح التكرار بتوسيع الاستنتاج (زيادة العمق أثناء الاستنتاج) دون إعادة التدريب، وهو فعال بشكل خاص عند تطبيقه على الكتل الوسطى للنماذج النامية.
وصفة الاستدلال: يقترح المؤلفون استراتيجية "انمُ أولاً، ثم كرر لاحقاً":
- تدريب نموذج باستخدام نمو العمق (مثل LIDAS) لتقليل الحوسبة.
- تطبيق بيانات رياضية عالية الجودة خلال مرحلة التبريد.
- تكييف التكرار (Looping) للكتلة الوسطى خلال المراحل النهائية أو أثناء الاستنتاج.

هذا النهج يحقق أقوى أداء استدلال تحت قيود البيانات والاستنتاج المتطابقة، مما يشير إلى أن تحفيز الحوسبة التكرارية هو عامل حاسم لتوسيع قدرات الاستدلال في النماذج اللغوية الكبيرة، بغض النظر عن التنفيذ المعماري المحدد (النمو مقابل التكرار).