💬 NLP

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning

تُثبت هذه الورقة نظرياً وهيكلياً أن التدريب على "سلسلة الأفك‏ر" (Chain-of-Thought) يعزز قدرة النماذج اللغوية الكبيرة على التعميم التركيبي من خلال تفكيك حدود التعميم إلى مكونات داخل التوزيع وخارج التوزيع، واستدخال الاستدلال في دائرة مكونة من مرحلتين تُعلّم النماذج كيفية التفكير عبر دمج المهارات المتعلمة بدلاً من مجرد حفظ الإجابات.

المؤلفون الأصليون: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

نُشر 2026-02-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التعميم التركيبي عبر المهارات المتعلمة من خلال تدريب سلسلة الأفكام (CoT)"، مترجمة إلى لغة بسيطة وعملية مع تشبيهات إبداعية.

الفكرة الكبرى: تعليم طفل الطبخ مقابل إعطائه وصفة

تخيل أنك تحاول تعليم روبوت (أو نموذج لغوي كبير) كيفية حل مشكلات معقدة.

الطريقة القديمة (بدون سلسلة الأفكار - No Chain-of-Thought):
تُظهر للروبوت صورة لطبق "لازانيا" جاهز وتقول له: "هذا هو شكل اللازانيا. الآن، اصنع لي واحدة".
ينظر الروبوت إلى الصورة، ويحفظ النمط، ويحاول تقليده. إذا طلبت منه "لازانيا" بمكونات مختلفة قليلاً (مثل استخدام الكوسا بدلاً من المعكرونة)، سيصاب الروبوت بالارتباك. هو لا يعرف كيف يطبخ؛ هو يعرف فقط كيف يبدو الطبق النهائي. إذا تغير الموقف ولو قليلاً، سيفشل. هذا يشبه حفظ الإجابات.

الطريقة الجديدة (سلسلة الأفكار أو CoT):
بدلاً من مجرد إظهار اللازانيا، أنت تُظهر للروبوت العملية. تقول له: "أولاً، اسلق المعكرونة. ثم، قطع الطماطم. ثم، ضع الطبقات فوق بعضها".
أنت تعلم الروبوت المهارات (السلق، التقطيع، وضع الطبقات) وكيفية دمجها.
الآن، إذا طلبت منه "لازانيا" باستخدام الكوسا، لن يصاب الروبوت بالذعر. سيفكر: "حسناً، أنا أعرف كيف أسلق المعكرونة. أعرف كيف أضع الطبقات. سأستبدل المعكرونة بالكوسا وأتبع نفس الخطوات". لقد تعلم كيف يفكر، وليس فقط بماذا يفكر.

تثبت هذه الورقة البحثية أن طريقة "تعليم الخطوات" هذه (تدريب سلسلة الأفكار - CoT) هي "الخلطة السرية" التي تجعل الذكاء الاصطناعي ذكياً بما يكفي للتعامل مع مشكلات جديدة، غريبة، أو معقدة لم يسبق له رؤيتها.

الجزء الأول: النظرية (لماذا تنجح؟)

استخدم المؤلفون الرياضيات لإثبات سبب نجاح ذلك. لقد نظروا في نوعين من المشكلات:

داخل التوزيع (In-Distribution - ID): مشكلات تشبه تماماً تلك التي تدرب عليها الروبوت.
خارج التوزيع (Out-of-Distribution - OOD): مشكلات جديدة، غريبة، أو تستخدم مكونات مختلفة عما تم التدرب عليه.

النتيجة:

بدون سلسلة الأفكار (No CoT): يكون الروبوت بارعاً في مشكلات (ID) (لأنه حفظ النمط)، لكنه سيء جداً في مشكلات (OOD). إنه يشبه طالباً حفظ إجابات اختبار رياضيات محدد، لكنه فشل عندما غيرت رقماً واحداً في السؤال.
مع سلسلة الأفكار (With CoT): يتعلم الروبوت تفكيك المشكلات الكبيرة إلى مهارات صغيرة وبسيطة. وعندما تأتي مشكلة جديدة، يسحب "المهارات" المناسبة من صندوق أدواته ويجمعها معاً. إنه مثل الطاهي الذي يعرف كيف يشوح، ويخبز، ويقلي؛ يمكنه طبخ أي وجبة، حتى لو لم يرَ تلك الوصفة المحددة من قبل.

اختبار "الضجيج" (Noise Test):
اختبر الباحثون أيضاً ماذا يحدث إذا كانت بيانات التدريب غير دقيقة (على سبيل المثال، الوصفة تقول "اسلق لمدة 5 دقائق" ولكن الروبوت يرى أحياناً "اسلق لمدة 50 دقيقة").

النتيجة: حتى مع وجود بعض البيانات الفوضوية، لا يزال الروبوت يتعلم الطريقة العامة! طالما أن الأخطاء ليست خاطئة بنسبة 100%، فلا يزال بإمكان الروبوت فهم المنطق. هذا خبر رائع لأنه يعني أننا لسنا بحاجة إلى بيانات مثالية مكتوبة بشرياً لكل خطوة؛ نحتاج فقط إلى خطوات صحيحة في أغلبها.

الجزء 2: البنية الداخلية (كيف يتغير دماغ الروبوت؟)

لم ينظر المؤلفون إلى النتائج فحسب، بل نظروا داخل "دماغ" الروبوت (طبقات الشبكة العصبية) ليروا كيف تتغير عملية التفكير.

تشبيه "الدائرة ذات المرحلتين" (Two-Stage Circuit):
تخيل أن دماغ الروبوت عبارة عن خط تجميع في مصنع يتكون من 8 محطات (طبقات).

بدون سلسلة الأفكات (No CoT): يحاول الروبوت القيام بكل شيء في نهاية الخط تماماً. ينتظر حتى المحطة الأخيرة ليفهم الخطوات المتوسطة. الأمر يشبه محاولة بناء منزل عبر الانتظار حتى يتم تركيب السقف لتقرر أين ستوضع الجدران. إنه أمر فوضوي وبطيء.
مع سلسلة الأفكار (With CoT): يبني الروبوت خط تجميع من مرحلتين:
- المرحلة الأولى (المحطات المبكرة): يحل الجزء الأول من المشكلة (مثلاً: "ما هي عاصمة فرنسا؟"). ويكتب هذه الإجابة على ملاحظة لاصقة (نتيجة وسيطة) في وقت مبكر من العملية.
- المرحلة الثانية (المحطات المتأخرة): يأخذ تلك الملاحظة اللاصقة ويستخدمها لحل الجزء الثاني من المشكلة (مثلاً: "من هو رئيس فرنسا؟").

لماذا هذا مهم؟
من خلال حل الخطوة الأولى مبكراً، يحرر الروبوت المحطات اللاحقة لتركز بالكامل على الخطوة التالية. إنه يشبه الإنسان الذي يحل مسألة رياضية: تكتب "10 + 5 = 15" على ورقة حتى لا تضطر للاحتفاظ بهذا الرقم في ذاكرتك أثناء القيام بعملية الضرب التالية. هذا يجعل الروبوت أسرع، وأكثر دقة، وقادراً على التعامل مع مشكلات أصعب.

الجزء 3: الاختبار الواقعي

أخيراً، اختبروا هذا على مسائل رياضية حقيقية (مثل تلك الموجودة في الكتب المدرسية).

النتيجة: عندما علموا النماذج إظهار خطوات عملها (CoT)، أصبحت النماذج أفضل بكثير في الرياضيات.
مفاجأة "البيانات الفوضوية": حتى عندما وضعوا أخطاءً عمداً في مسائل الرياضيات التدريبية (مثل كتابة "2 + 2 = 5" في منتصف حل طويل)، لا يزال النماذج قادرة على حل المسائل بشكل صحيح، طالما أن الأخطاء لم تكن طاغية.

الخلاصة

تخبرنا هذه الورقة البحثية أنه لجعل الذكاء الاصطناعي أكثر ذكاءً، لا ينبغي لنا فقط تغذيته بمزيد من البيانات أو مطالبته بالإجابة النهائية. نحن بحاجة لتعليمه كيف يفكك الأشياء.

لا تعطِ الإجابة فقط: بل أظهر الخطوات.
لا تخشَ الأخطاء: إذا كانت الخطوات صحيحة في معظمها، يمكن للذكاء الاصطناعي تعلم المنطق حتى لو كانت البيانات "مشوشة" قليلاً.
النتيجة: ذكاء اصطناٍ يمكنه أخذ مهارات بسيطة تعلمها اليوم ودمجها لحل مشكلات معقدة وجديدة كلياً غداً.

باختصار: تدريب سلسلة الأفكار (CoT) يحول الروبوت من مجرد حافظ للحقائق إلى روبوت يفهم المنطق.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعميم التركيبي من المهارات المتعلمة عبر تدريب سلسلة الأفكر (CoT): تحليل نظري وهيكلي للاستدلال" (ICLR 2026).

1. بيان المشكلة

بينما أدت تقنيات تحفيز وتدريب "سلسلة الأفكار" (Chain-of-Thought - CoT) إلى تحسين قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs) بشكل كبير، إلا أن الآليات الكامنة وراء هذا التحسن لا تزال غير مفهومة بشكل جيد. وتحديداً، لا يزال هناك سؤالان حاسمان دون إجابة:

نطاق التعميم: هل يحسن تدريب CoT من تعميم الاستدلال في كل من سيناريوهات التوزيع المتماثل (In-Distribution - ID) والتوزيع غير المتماثل (Out-of-Distribution - OOD)؟ وإذا كان الأمر كذلك، فما هي المبادئ النظرية التي تحكم هذه القدرة؟
الآلية الداخلية: كيف تتحقق قدرة التعميم هذه داخل التمثيلات الداخلية والدوائر الحسابية للنموذج؟

تشير الأدبيات الحالية إلى أنه بدون CoT، غالباً ما تفشل نماذج المحولات (Transformers) في التعميم المنهجي لمهام الـ OOD (فجوة التركيب)، حيث تعتمد بدلاً من ذلك على خرائط الإدخال والإخراج المحفوظة. تهدف هذه الورقة إلى صياغة السبب الذي يجعل تدريب CoT يسد هذه الفجوة.

2. المنهجية

يستخدم المؤلفون نهجاً موحداً يجمع بين التحليل القائم على نظرية المعلومات والتفسير الآلي (التحليل الهيكلي).

أ. الإطار النظري

توزيع البيانات: يعرّف المؤلفون توزيعات البيانات بناءً على الأنماط التركيبية. تشترك بيانات ID في نفس الأنماط التركيبية (العلاقات) مع بيانات التدريب، بينما تقدم بيانات OOD تركيبات جديدة للمهارات الذرية المتعلمة.
حدود التعميم: باستخدام حدود نظرية المعلومات القائمة على تباعد كولباك - ليبلر ( $D_{KL}$ $D_{K L}$ )، قاموا بتفكيك خطأ التعميم المتوقع إلى مكونات ID وOOD.
- قاموا بنمذجة عملية توليد البيانات كـ $P(Y|X) = \sum_C P(Y|X,C)P(C|X)$ ، حيث تمثل $C$ سلسلة الاستدلال (المهارات).
- بدون CoT: يفشل النموذج في تعلم $P(C|X)$ ، ويعاملها كاحتمال مسبق منتظم، مما يؤدي إلى ارتفاع $D_{KL}$ في مهام OOD.
- مع CoT: يتعلم النموذج صراحةً كلاً من توزيع خطوات الاستدلال $P(C|X)$ والمخرج النهائي بناءً على الخطوات $P(Y|X,C)$ .
تحليل الضجيج: تم توسيع الحدود النظرية لتشمل حقن الضجيج في بيانات التدريب لتحليل المتانة.

ب. التحليل الهيكلي (التفسير الآلي)

النماذج: تستخدم التجارب مجموعات بيانات اصطناعية محكومة (حقائق ذرية واستدلال متعدد الخطوات) ومجموعات بيانات من العالم الحقيقي (GSM8K, MetaMathQA). تتراوح النماذج من 2 إلى 8 طبقات من المحولات.
التقنيات:
- عدسة اللوجيت (Logit Lens): تقوم بإسقاط الحالات الخفية المتوسطة إلى مساحة المفردات لتحديد متى وأين يتم حل نتائج استدلال محددة (مثل الكيانات الجسرية/الوسيطة).
- التتبع السببي (Causal Tracing): تتدخل في الحالات الخفية لتحديد المساهمات السببية للمخرج النهائي، مما يرسم "دائرة" الاستدلال.
الإعداد التجريبي:
- محكوم: بيانات علاقات اصطناعية حيث يتم ترميز الكيانات والعلاقات بشكل فريد. يتضمن التدريب حقائق ذرية (خطوة واحدة) وحقائق متعددة الخطوات (خطوتان أو أكثر).
- واقعي: ضبط دقيق لنموذجي LLaMA-3.1-8B وQwen2.5-3B على مسائل رياضية لفظية مع وبدون ملاحظات CoT، بما في ذلك خطوات استدلال مشوشة.

3. المساهمات الرئيسية

1. نظرياً: تفكيك خطأ التعميم

تثبت الورقة أن تدريب CoT يغير مشهد التعميم بشكل جذري:

تعميم ID: يمكن لكل من نماذج CoT والنماذج غير المزودة بـ CoT تحقيق خطأ يقترب من الصفر في مهام ID مع التدريب الكافي (حفظ الأنماط).
تعميم OOD: تفشل نماذج غير الـ CoT في مهام OOD لأنها لا تستطيع تركيب الأنماط غير المرئية. بينما تنجح النماذج المدربة بـ CoT لأنها تتعلم الجمع المنهجي بين المهارات الأبسط المتعلمة ( $P(C|X)$ و $P(Y|X,C)$ ).
المتانة: تظهر الحدود النظرية أن تدريب CoT يحافظ على التعميم حتى مع وجود مستويات مقبولة من الضجيج في خطوات الاستدلال، بينما يكون التدريب بدون CoT حساساً للغاية لتغير التوزيع.

2. هيكلياً: الدائرة التركيبية ثنائية المرحلة

من خلال التتبع السببي وتحليل عدسة اللوجيت، حدد المؤلفون بنية داخلية متميزة في النماذج المدربة بـ CoT:

دائرة ثنائية المرحلة: يحفز تدريب CoT دائرة حسابية متفرقة وثنائية المرحلة تقابل خطوات الاستدلال الصريحة.
- المرحلة 1: يقوم النموذج بحل النتيجة الوسيطة (الكيان الجسري) في طبقة ضحلة (على سبيل المثال، الطبقة 3 في نموذج مكون من 8 طبقات للمهام ذات التوزيع المتماثل ID).
- المرحلة 2: تعالج الطبقات الأعمق الخطوة الثانية باستخدام النتيجة الوسيطة.
الكفاءة: تتطلب نماذج غير الـ CoT طبقات أعمق (مثل الطبقة 5) لحل النتائج الوسيطة، مما يترك طبقات أقل للاستدلال اللاحق، وهو ما يحد من أداء OOD. تدريب CoT "يحرر" الطبقات الأعمق للاستدلال المعقد.
تركيب المهارات: تعكس الدائرة استيعاب "كيفية التفكير" (الاستدلال التركيبي) بدلاً من مجرد "ماذا تفكر" (الخرائط الثابتة).

3. التحقق التجريبي

التقارب: يسرع تدريب CoT التقارب بشكل كبير ويحقق دقة شبه مثالية في مهام OOD، بينما تظهر النماذج غير المزودة بـ CoT تعميماً متأخراً أو معدوماً لـ OOD (حتى بعد ملايين الخطوات).
المتانة ضد الضجيج: تظل نماذج CoT متينة تجاه خطوات الاستدلال المشوشة (بنسبة ضجيج تصل إلى ~20%) في بيانات التدريب، مع الحفاظ على التعميم المنهجي.
التحقق من العالم الحقيقي: في مهام GSM8K والاستدلال متعدد الخطوات القائم على Wikidata، يتفوق الضبط الدقيق لـ CoT بشكل كبير على الضبط الدقيق للإجابة فقط، حتى عندما تحتوي بيانات التدريب على خطوات وسيطة خاطئة.

4. ملخص النتائج

الجانب	التدريب بدون CoT	التدريب بـ CoT
تعميم ID	يتحقق بعد تدريب مفرط طويل (Grokking).	يتحقق بسرعة.
تعميم OOD	يفشل. يعتمد على الأنماط المحفوظة؛ لا يمكنه تركيب علاقات جديدة.	ينجح. يجمع المهارات الذرية المتعلمة بشكل منهجي.
الدائرة الداخلية	مرحلة واحدة؛ تُحل النتائج الوسيطة في طبقات أعمق (مثلاً الطبقة 5).	ثنائية المرحلة. تُحل النتائج الوسيطة في طبقات ضحلة (مثلاً الطبقة 3)، مما يفرغ العمق للخطوات اللاحقة.
الحساسية للضجيج	حساسية عالية؛ يتدهور الأداء بسرعة.	متين. يحافظ على التعميم مع مستويات منخفضة إلى متوسطة من الضجيج.
العالم الحقيقي (GSM8K)	الضبط الدقيق قد يقلل من أداء النموذج الأساسي (مثلاً 33% $\leftarrow$ 22%).	تحسن كبير (مثلاً 33% $\leftarrow$ 74%).

5. الأهمية والآثار المترتبة

إعادة تعريف دور CoT: تفترض الورقة أن تدريب CoT ليس مجرد تقنية لزيادة البيانات، بل هو آلية أساسية تعلم النماذج الاستدلال التركيبي. إنه ينقل هدف التعلم من مطابقة أزواج الإدخال والإخراج إلى تعلم توزيع خطوات الاستدلال وتركيبها.
جودة البيانات مقابل كميتها: تشير النتائج إلى أنه بالنسبة لتدريب CoT، فإن وضوح وتفكيك خطوات الاستدلال أكثر أهمية من المثالية المطلقة للبيانات. يمكن للنماذج تعلم دوائر متينة حتى من بيانات مشوشة، طالما أن نسبة الضجيج ضمن نطاق مقبول.
الرؤية الهيكلية: يوفر اكتشاف "الدائرة ثنائية المرحلة" عدسة جديدة لفهم عمق المحولات. فهو يشير إلى أن خطوات الاستدلال الصريحة تسمح للنماذج باستخدام عمقها بكفاءة أكبر من خلال حل المهام الفرعية في وقت مبكر من الشبكة.
التوجيه العملي: لتصميم استراتيجيات تدريب النماذج اللغوية الكبيرة (مثل OpenAI's O1 أو DeepSeek-R1)، توصي الورقة بإعطاء الأولوية لتضمين سلاسل استدلال صريحة ومفككة في هدف التدريب، حتى لو كانت تحتوي على أخطاء طفيفة، لأن ذلك يعزز قدرة "كيفية التفكير" المطلوبة للتعميم القوي في حالات OOD.

ختاماً، تقدم هذه العمل ورقة تفسيراً نظرياً وهيكلياً صارماً لسبب عمل تدريب CoT، حيث تثبت أنه يمكّن النماذج من استيعاب دائرة تركيبية تسمح بالتعميم المنهجي للمشكلات الجديدة والمعقدة.