🤖 machine learning

Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization

تقدم هذه الورقة نموذج "ترانسفورمر" متكرر العمق يفصل بين العمق الحسابي وعدد المعلمات من خلال كتل تكرارية مشتركة الأوزان وآليات استقرار، مما يثبت أن توسيع خطوات الاستدلال أثناء الاستنتاج يتيح تعميماً تركيبياً قوياً عبر مهام متنوعة من خلال إنشاء حدود حسابية واضحة بين الأداء العشوائي والأداء شبه المثالي.

المؤلفون الأصليون: Hung-Hsuan Chen

نُشر 2026-03-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hung-Hsuan Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: التفكير بعمق، لا بطول الكلام

تخيل أنك تحاول حل متاهة معقدة للغاية.

الطريقة القديمة (الذكاء الاصطناعي القياسي):
تحل نماذج الذاء الاصطناعي الحالية (مثل تلك التي تدردش معها) المشكلات عن طريق "التفكير بصوت عالٍ". فهي تكتب كل فكرة من أفكارها ككلمة جديدة في جملة.

المشكلة: إذا كانت المتاهة ضخمة، ستصبح الجملة طويلة بشكل لا يصدق. وفي النهاية، سينفد من الذكاء الاصطناعي المساحة للكتابة (حد "نافذة السياق"). كما أنه إذا ارتكب خطأً صغيراً في الجملة الأولى، فإن هذا الخطأ سيستمر في التراكم، مما يجعل بقية الحل خاطئاً. الأمر يشبه محاولة حل مسألة رياضية عبر كتابة مقال من 50 صفحة؛ إذا أخطأت في الصفحة الأولى، فسيُفسد ذلك العمل بأكمله.

الطريقة الجديدة (حل هذه الورقة البحثية):
يقترح المؤلفون نموذجاً يفكر في صمت. فبدلاً من كتابة المزيد من الكلمات، يحتفظ النموذج بنفس "لوحة الملاحظات" ويعود للدوران حولها، ليعيد صقل إجابته مراراً وتكراراً.

التشبيه: تخيل محققاً يحل لغزاً. بدلاً من كتابة تدوينة يومية جديدة لكل دليل، يغمض المحقق عينيه، ويعيد تشغيل السيناريو في ذهنه، ويتساءل: "مهلاً، ماذا لو نظرت إلى هذا الدليل من زاوية مختلفة؟". يفعل ذلك 20 مرة في عقله قبل أن ينطق بالإجابة النهائية.
الفائدة: يمكنه التفكير بالعمق الذي يحتاجه دون أن تنفد منه الأوراق (الرموز/Tokens) أو يقع في أخطاء الكتابة.

الأسرار الثلاثة لجعل "التفكير الصامت" يعمل

أدرك المؤلفون أنك إذا طلبت من الكمبيوتر ببساطة أن "يعود للدوران" 20 مرة، فإنه عادة ما يرتبك أو يتعطل (من الناحية الرياضية، تصبح الإشارات مشوشة جداً أو تتلاشى). ولإصلاح ذلك، أضافوا ثلاثة مكونات خاصة:

1. قاعدة "التفكير الصامت" (لا للغش)

المشكلة: إذا قمت بتقييم طالب بعد كل خطوة من خطوات مسألة رياضية، فقد يتعلم التخمين بسرعة للحصول على درجة جيدة في الخطوة الأولى، بدلاً من حل المسألة بأكملها فعلياً.
الحل: يتم تقييم النموذج بناءً على الإجابة النهائية فقط. يجب عليه اكتشاف سلسلة المنطق الكاملة بمفرده دون أن يُقال له: "أحسنت في الخطوة 3!". هذا يجبر الذكاء الاصطناعي على بناء مسار منطقي عميق وحقيقي بدلاً من اتخاذ طرق مختصرة.

2. "شبكة الأمان" (LayerScale)

المشكلة: عندما تبدأ دورة تفكير عميقة، يمكن للأخطاء العشوائية الصغيرة في الإعدادات الأولية للكمبيوتر أن تتضخم حتى ينفجر النظام بالكامل.
الحل: تخيل ميزاناً حساساً للغاية. في البداية، وضع المؤلفون "مخمداً" صغيراً على الميزان بحيث يكاد لا يتحرك. هذا يحمي المنطق الدقيق أثناء تعلم الذكاء الاصطناعي. ومع زيادة ذكاء الذكاء الاصطناعي، يتم إزالة المخمد ببطء، مما يسمح له بالتفكير بحرية أكبر.

3. "مرساة الذاكرة" (Identity-Biased Recurrence)

المشكلة: إذا حاولت تذكر قصة لمدة 20 ثانية، فقد تنسى البداية بحلول الوقت الذي تصل فيه إلى النهاية.
الحل: تمت برمجة النموذج لـ التمسك بأفكاره السابقة بقوة شديدة. الأمر يشبه شخصاً يقول: "سأحتفظ بـ 88% مما فكرت فيه للتو، وسأغير 12% فقط بناءً على المعلومات الجديدة". هذا يخلق "طريقاً سريعاً" لتنتقل عبره الإشارة بعمق دون أن تتلاشى.

الاختبارات الثلاثة: مدى نجاح الأمر؟

اختبر المؤلفون هذا "المفكر الصامت" في ثلاثة أنواع مختلفة من الألغاز، تزداد صعوبة في كل منها:

1. متاهة الرسم البياني (قواعد صارمة)

المهمة: إيجاد مسار من النقطة (أ) إلى النقطة (ب) على خريطة.
النتيجة: كان النموذج دقيقاً تماماً ولكنه هش. إذا كان المسار يتطلب 5 خطوات، احتاج النموذج إلى 5 "دورات تفكير" بالضبط ليحلها. إذا كان لديه 4 دورات فقط، فقد فشل تماماً.
الدرس: عندما تكون القواعد صارمة (مثل خريطة فيزيائية)، يتبعها النموذج مثل الروبوت. إنه رائع، لكنه لا يستطيع التخمين إذا لم يكن لديه عدد كافٍ من "الدورات".

2. لغز المنطق المتداخل (قواعد هشة)

المهمة: حل جملة معقدة مثل NOT (TRUE AND FALSE).
النتيجة: كان النموذج قوياً ومرناً. حتى لو كان لديه دورات تفكير أكثر من اللازم، لم يرتبك. استطاع التعامل مع ألغاز أصعب بكhen بكثير مما تدرب عليها.
الدرس: عندما يكون الهيكل هرمياً (مثل طبقات البصل)، يمكن للنموذج أن "يفكر بشكل مفرط" بأمان ويصل إلى الإجابة الصحيحة.

3. النص غير المهيكل (بلا قواعد)

المهمة: قراءة قائمة مبعثرة من العلاقات العائلية (مثلاً: "أليس هي أم بوب"، "بوب هو والد تشارلي") ومعرفة كيف ترتبط أليس وتشارلي ببعضهما، حتى لو كانت الجمل بترتيب عشوائي.
النتيجة: استطاع النموذج حلها من تلقاء نفسه. لم تكن هناك خرائط أو هياكل واضحة هنا. كان على النموذج ابتكار طريقته الخاصة لربط النقاط في عقله "الصامت".
الدرس: هذا هو الجزء الأكثر إثارة للإعجاب. تعلم النموذج كيفية "توجيه" المعلومات داخلياً، حيث عمل كإنسان يمكنه تجاهل الضجيج وإيجاد الرابط.

"الحدود الحسابية"

اكتشفت الورقة نمطاً رائعاً يسمى الحدود الحسابية (Computational Frontier).

تخيل خريطة حيث يمثل المحور الأفيد (X) "مدى صعوبة اللغز" ويمثل المحور الرأسي (Y) "عدد مرات تفكير النموذج".

تحت الخط: يخمن النموذج عشوائياً (دقة 50%).
فوق الخط: يحل النموذج اللغز بشكل مثالي (دقة 100%).

السحر يحدث مباشرة عند الخط القطري. إذا أعطيت النموذج خطوة تفكير واحدة إضافية عما يتطلبه اللغز، فإنه يقفز من حالة "الجهل" إلى حالة "العبقرية". هذا يثبت أن النموذج لا يقوم بمجرد حفظ الإجابات؛ بل يقوم فعلياً بإجراء العملية الحسابية التي يحتاجها لحل المشكلة.

لماذا يهم هذا؟

الذكاء الاصطناعي الحالي بارع في توليد النصوص، لكنه يعاني في المنطق العميق متعدد الخطوات لأنه ينفد من المساحة أو يرتكب أخطاء أثناء الكتابة.

تشير هذه الورقة إلى مستقبل جديد للذكاء الاصطناعي: سلسلة التفكير الرأسية (Vertical Chain-of-Thought). بدلاً من جعل الذكاء الاصطناعي يتحدث أكثر (مما يكلف مالاً ومساحة)، نجعل الذكاء الاصطناعي يفكر بعمق أكبر في صمت. قد يؤدي هذا إلى ذكاء اصطناعي يمكنه حل براهين رياضية معقدة، أو تخطيط استراتيجيات دقيقة، أو تصحيح الأخطاء البرمجية دون الحاجة أبداً لكتابة كلمة واحدة إضافية.

باختصار: نحن نعلم الذكاء الاصطناعي كيف يتوقف عن الصراخ بأفكاره ويبدأ في التأمل فيها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التفكير بعمق أكبر، لا بمدة أطول: المحولات المتكررة العمق للتعميم التركيبي."

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية على سلسلة التفكير الأفقية (HCoT)، حيث يتم إخراج عملية الاستدلال عبر توليد تسلسل من الرموز (tokens). يواجه هذا النموذج ثلاثة قيود جوهرية:

استنفاد نافذة السياق: تستهلك كل خطوة استدلال عددًا من الرموز، مما يؤدي إلى استنزاف سريع لنافذة السياق المحدودة.
العمق الحسابي الثابت: يتم تحديد عمق المعالجة بواسطة عدد طبقات المحول (Transformer layers) (مثل 32 طبقة)، بغض النظر عن تعقيد المهمة. فالمهمة البسيطة تتلقى نفس عمق المعالجة الذي تتلقاه مهمة تكرارية معقدة.
انتشار الخطأ: يتم توليد خطوات الاستدلال المتوسطة بلغة طبيعية، مما يجعلها عرضة للهلوسة والأخطاء المنطقية المتراكمة.

تجادل الورقة بأنه لحل المهام التي تتطلب استدلالاً متغير العمق (مثل التنقل في الرسوم البيانية متعدد الخطوات، أو المنطق المتداخل)، تحتاج النماذج إلى سلسلة تفكير عمودية (VCoT): أي زيادة العمق الحسابي في الفضاء الكامن (latent space) دون توليد رموز إضافية.

2. المنهجية: المحولات المتكررة العمق (Depth-Recurrent Transformers)

يقترح المؤلفون بنية محول متكرر العمق تعمل على فصل العمق الحسابي عن عدد المعلمات (parameters) وطول السياق. يقوم النموذج بتطبيق كتلة محول واحدة مشتركة الأوزان بشكل تكراري في الفضاء الكامن لعدد $T$ من الخطوات.

مكونات البنية الأساسية

تتكون البنية من واجهة إدراك (Perception Interface) خاصة بالمهمة (لتشفير المدخلات) ونواة استدلال (Reasoning Core) ثابتة للمهام (للتحسين التكراري).

أ. نواة الاستدلال الثابتة (آليات الاستقرار)
لتمكين التوسيع المستقر (unrolling) لأكثر من 20 خطوة، تم تقديم ثلاث آليات محددة:

هدف التفكير الصامت (Silent Thinking Objective):
- الآلية: يتم تطبيق الإشراف (Cross-Entropy loss) فقط عند خطوة التكرار النهائية ( $T$ ). لا تُستخدم أي خسائر مساعدة وسيطة.
- الغرض: منع النموذج من تعلم "الاختصارات الاستدلالية" (التخمينات الإحصائية) لاستيفاء الإشراف لكل خطوة. هذا يجبر الشبكة على تطوير مسارات استدلال حقيقية متعددة الخطوات.
تهيئة مقياس الطبقة (LayerScale Initialization):
- الآلية: تُستخدم ناقلات قياس ( $\Gamma$ ) قابلة للتعلم لكل قناة، وتُهيأ عند $10^{-4}$ وتُطبق بعد طبقات الانتباه والتغذية الأمامية.
- الغرض: خلال التدريب المبكر، تجبر هذه الآلية الشبكة على العمل كخريطة هوية (identity mapping) تقريباً، مما يحمي الحالات الخفية الهشة من ضجيج الأوزان العشوائية. ومع تقدم التدريب، تزداد القيمة لتنشيط قدرة الاستدلال.
التكرار ذو البوابة المنحاز للهوية (Identity-Biased Gated Recurrence):
- الآلية: تجمع بوابة تشبه GRU بين الحالة المرشحة الجديدة $\tilde{H}^{(t)}$ والحالة السابقة $H^{(t-1)}$ . يتم تهيئة انحياز البوابة ( $b_z$ ) عند $-2.0$.
- الغرض: بما أن $\sigma(-2.0) \approx 0.12$ ، فإن النموذج يعود افتراضياً للاحتفاظ بحوالي $88\%$ من الحالة السابقة. هذا يخلق "طريقاً سريعاً للتدرج" (gradient highway)، مما يضمن بقاء انتشار الإشارة مستقراً عبر التوسيع الزمني العميق ويمنع تلاشي التدرجات.

ب. واجهات الإدراك الخاصة بالمهام
تختبر الورقة ثلاث واجهات ذات انحيازات استقرائية متناقصة:

القناع الطوبولوجي (الرسم البياني): يستخدم قناع مجاورة (adjacency mask) في الانتباه الذاتي لفرض تمرير الرسائل بصرامة على طول حواف الرسم البياني.
الترميز الموضعي النسبي (المنطق): يستخدم ترميز الموضع الدوار (RoPE) للتعامل مع الهياكل الهرمية بناءً على المسافة النسبية.
انتباه التسلسل القياسي (النصوص غير المهيكلة): يزيل الأولويات الهيكلية؛ حيث يتم خلط الحقائق المدخلة، مما يجبر النواة على اكتشاف مسارات التوجيه الكامنة ذاتياً دون تلميحات هيكلية.

3. المساهمات الرئيسية

الابتكار المعماري: محول متكرر العمق يحقق تكراراً مستقراً لأكثر من 20 خطوة بأقل من مليون معلمة، مما يفصل العمق عن عدد المعلمات.
نموذج التفكير الصامت: يثبت أن الإشراف الوسيط يضر بالاستدلال الخوارزمي، مما يؤدي إلى انهيار النماذج إلى اختصارات استدلالية. الإشراف في الخطوة النهائية فقط ضروري للتعميم خارج نطاق التوزيع (OOD).
الحدود الحسابية: يحدد حداً متميزاً في خريطة الحرارة للدقة (خطوات التفكير $\times$ تعقيد المهمة) حيث ينتقل الأداء بشكل حاد من الصدفة إلى المثالية مع زيادة عمق الحوسبة مع صعوبة المهمة.
ملفات التعميم: يكشف أن نفس نواة الاستدلال تظهر سلوكيات مختلفة نوعياً بناءً على واجهة الإدراك:
- الرسم البياني: دقيق ولكنه هش (قيد صارم: خطوة واحدة = قفزة واحدة).
- المنطق: تقريبي ولكنه قوي (تدهور تدريجي).
- النص: توجيه كامن ذاتي (اكتشاف المؤشرات في البيانات غير المهيكلة).

4. النتائج التجريبية

تم تقييم النموذج في ثلاث مهام استدلال تركيبي مع اختبار خارج نطاق التوزيع (OOD):

المهمة	نطاق التدريب	تقييم OOD	النتيجة الرئيسية
الوصول في الرسم البياني (Graph Reachability)	1–5 قفزات (5–8 خطوات)	حتى 12 قفزة	حد حاد: يحقق دقة 100% حتى 8 قفزات (1.6 ضعف OOD) لكنه ينهار فجأة عند 10 قفزات. يثبت القيود الفيزيائية الصارمة لقناع المجاورة.
المنطق البولياني المتداخل (Nested Boolean Logic)	العمق 1–8 (4–16 خطوة)	حتى العمق 14	حد تدريجي: يحقق دقة >90% عند العمق 14. يظل الأداء مستقراً حتى 24 خطوة، مما يؤكد صحة البوابة المنحازة للهوية.
النص العلاقي (CLUTRR)	العمق 2–5 (1–12 خطوة)	حتى العمق 9	التوجيه الذاتي: رغم خلط المدخلات وعدم وجود تلميحات هيكلية، يعمم النموذج على أعماق 6–7 ويتحسن مع زيادة الخطوات (حتى 20)، مما يثبت قدرته على تعلم تتبع المؤشرات في اللغة الطبيعية.

دراسة الاستئصال (الإشراف الوسيط):
عند تطبيق الإشراف الوسيط على مهمة الرسم البياني، حقق النموذج دقة ~73% في مسارات 12 قفزة في خطوة واحدة فقط (وهو أمر مستحيل تحت الطوبولوجيا الصارمة). أكد هذا أن النموذج تعلم اختصارات إحصائية (مثل التخمين بناءً على درجة العقدة) بدلاً من الاستدلال الحقيقي، مما أدى إلى انهيار كامل في التعميم خارج نطاق التوزيع (OOD).

5. الأهمية والعمل المستقبلي

الرؤية الآلية: تقدم الورقة رؤية آلية للاستدلال "العمودي"، مقارنة بالاستدلال "الأفقي" السائد (توليد الرموز). تشير إلى أنه بالنسبة للمهام الخوارزمية، فإن الحالات الوسيطة هي حسابات كامنة وليست سمات دلالية، وبالتالي لا ينبغي الإشراف عليها.
الكفاءة: تقدم مساراً لزيادة الحوسبة وقت الاختبار دون زيادة استخدام نافذة السياق أو تكاليف توليد الرموز.
القيود: النماذج الحالية صغيرة (<1 مليون معلمة)، وواجهات الإدراك مصممة يدوياً، ولم يتم إثبات حدود التعميم النظرية بشكل رسمي.
الاتجاه المستقبلي: دمج هذه النواة المتكررة العمق مع النماذج اللغوية الكبيرة (LLMs) المدربة مسبقاً للجمع بين قدرات الاستدلال لـ VCoT والطلاقة اللغوية للمحولات القياسية.

باختصار، تقترح هذه الورقة أن "التفكير بعمق أكبر" (التكرار الكامن المتكرر) هو نموذج أكثر قوة وكفاءة للتعميم التركيبي من "التفكير بمدة أطول" (توليد المزيد من الرموز)، بشرط استقرار البنية ضد مشاكل التدرج والتدريب بدون إشراف وسيط.