📊 statistics

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

تُثبت هذه الورقة نظرياً أنه بينما يُمكّن كل من التعلم التعزيزي مع مكافآت العمليات والضبط الدقيق الخاضع للإشراف نماذج "ترانسفورمر" ذات الطبقة الواحدة من تعلم الدوال البولينية المتفرقة عبر استدلال "سلسلة الأفكار"، إلا أنهما يختلفان جوهرياً في ديناميكيات التعلم، حيث يستحوذ التعلم التعزيزي على سلسلة الاستدلال بأكملها في آن واحد، بينما يتعلم الضبط الدقيق الخاضع للإشرافها خطوة بخطوة.

المؤلفون الأصليون: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً ذكياً جداً ولكنه مرتبك قليلاً (وهو نموذج Transformer) يحتاج إلى حل لغز معقد. اللغز هو عبارة عن دالة بولية (Boolean function)، وهي مجرد طريقة معقدة لقول مسألة منطقية تكون إجابتها إما "نعم" (+1) أو "لا" (-1). وتحديداً، تتناول الورقة الألغاز "الخفيفة" (sparse)، مما يعني أن الإجابة تعتمد فقط على قطع محددة من المعلومات مخبأة وسط الكثير من الضجيج.

لحل هذه الألغاز، يستخدم الروبوت استراتيجية تسمى سلسلة الأفكال (Chain-of-Thought - CoT). فبدلاً من القفز مباشرة إلى الإجابة، يقوم بتفكيك المشكلة إلى سلسلة من الخطوات الصغيرة والمتوسطة، تماماً كما يفعل الإنسان عندما يفكر في مسألة رياضية خطوة بخطوة على ورقة جانبية.

تستقصي الورقة طريقتين مختلفتين لتعليم هذا الروبوت استخدام (CoT) بفعالية: الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL). وتثبت الورقة أن كلتا الطريقتين تعملان، لكنهما تعلمان الروبوت بطرق مختلفة جوهرياً.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. اللغز: التفكيك المتكرر (Recursive Decomposition)

تخيل أن اللغز عبارة عن شجرة عملاقة. لكي تجد الإجابة في القمة، يجب عليك حل مسائل منطقية صغيرة مكونة من قطعتين في الأسفل، ثم دمج تلك الإجابات لحل مسائل أكبر قليلاً مكونة من قطعتين، وهكذا صعوداً حتى تصل إلى القمة.

الهدف: يحتاج الروبوت إلى تعلم النظر فقط إلى القطعتين المحددتين من المعلومات (الأوراق "ذات الصلة") المطلوبة لكل خطوة، وتجاهل بقية الضجيج.

2. المعلمان

المعلم أ: مدرب التدريبات الصارم (SFT)

الضبط الدقيق الخاضع للإشراف (SFT) يشبه معلماً يعطي الروبوت نموذج الإجابة المثالي لكل خطوة من خطوات اللغز.

كيف يعمل: يقول المعلم: "بالنسبة للخطوة 1، الإجابة هي X. وبالنسبة للخطوة 2، الإجابة هي Y".
العقبة: يجب على الروبوت توليد الإجابة للخطوة 2 بناءً على ما كتبه للتو في الخطوة 1.
النتيجة (التعلم خطوة بخطوة): تثبت الورقة أن هذا الروبوت يتعلم خطوة واحدة في كل مرة.
- تشبيه: تخيل أنك تحاول تعلم رقصة معينة. إذا أخطأت في الحركة الأولى، فلن تتمكن من تعلم الحركة الثانية لأن وضعية البداية لديك خاطئة. يجب على الروبوت إتقان الخطوة 1 تماماً قبل أن يبدأ حتى في تعلم الخطوة 2. يتطلب الأمر جلسة تدريبية واحدة لإصلاح الخطوة 1، ثم جلسة أخرى لإصلاح الخطوة 2، وهكذا. إنها عملية بطيئة وخطية.

المعلم ب: مدرب العمليات (RL مع مكافآت العمليات)

التعلم التعزيزي (RL) يشبه مدرباً لا يكتفي بالنظر إلى النتيجة النهائية فحسب، بل يقدم ملاحظات على كل حركة يقوم بها الروبوت.

كيف يعمل: يحاول الروبوت حل اللغز. إذا أصاب في خطوة صغيرة، يمنحه المدرب مكافأة "عمل جيد" فوراً. وإذا أخطأ، يتلقى عقوبة.
النتيجة (التعلم المتزامن): تثبت الورقة أن هذا الروبوت يتعلم سلسلة الخطوات بأكملها في وقت واحد.
- تشبيه: تخيل مدرباً يصرخ: "حركة قدم جيدة في الخطوة 1! وضعية يد جيدة في الخطوة 5! مرفق سيء في الخطوة 3!"، وكل ذلك في نفس الوقت. ولأن الروبوت يتلقى ملاحظات محددة لكل خطوة بغض النظر عما إذا كانت الخطوات السابقة مثالية أم لا، فإنه يستطيع تعديل رقصته بأكملها في جلسة تدريبية واحدة. إنه يتعلم الرقصة بأكملها بشكل متزامن.

3. الاكتشاف الكبير: "العملية" مقابل "النتيجة"

تسلط الورقة الضوء على فرق جوهري في كيفية تقديم هذين المعلمين للتغذية الراجعة:

SFT يعتمد على مخرجات الروبوت السابقة. إذا أخطأ الروبوت في البداية، تصبح "الحقيقة الأرضية" (ground truth) للخطوة التالية عبارة عن ضجيج مربك. وهذا ما يفرض التعلم خطوة بخطوة.
RL (تحديداً مع مكافآت العمليات) يعطي الروبوت "الحقيقة الأرضية" الصحيحة لكل خطوة بشكل مستقل. لا يهم إذا أخطأ الروبوت في الخطوة 1؛ فالمدرب لا يزال يعرف ما يجب أن تكون عليه الخطوة 2 ويقوم بمكافأة أو معاقبته بناءً على ذلك. وهذا ما يسمح بالتعلم "الكل في وقت واحد".

4. ماذا عن الألغاز "الصعبة"؟

اختبرت الورقة ذلك على ثلاثة أنواع محددة من الألغاز المنطقية:

k-PARITY: مثل التحقق مما إذا كان لدى مجموعة من المفاتيح عدد زوجي أو فردي من وضعيات "التشغيل". (وهذا أمر صعب للغاية على الذكاء الاصطناعي تعلمه بدون مساعدة).
k-AND: التحقق مما إذا كانت جميع المفاتيح المحددة في وضع "التشغيل".
k-OR: التحقق مما إذا كان واحد على الأقل من المفاتيح المحددة في وضع "التشغيل".
تثبت الورقة رياضياً أنه بالنسبة لجميع هذه الألغاز الثلاثة، تعمل كلتا الطريقتين، بشرط أن يتمكن الروبوت من التمييز بين قطع المعلومات "المهمة" وبين "الضجيج".

ملخص النتائج

كلاهما يعمل: يمكنك تعليم نموذج Transformer التفكير المنطقي المعقد باستخدام كل من SFT أو RL.
إنهما مختلفان:
- SFT يشبه طالباً يجب أن يتقن الأساسيات قبل الانتقال لما بعدها. إنه يتعلم خطوة بخطوة.
- RL (مع مكافآت العمليات) يشبه طالباً يتلقى ملاحظات فورية على كل جزء محدد من المشكلة. إنه يتعلم السلسلة بأكملها في وقت واحد.
التحذير: إذا قارنت بين SFT و RL في الحياة الواقعية، فعليك أن تكون حذراً. إذا غيرت طريقة تقديم المعلم للتغذية الراجعة (على سبيل المثال، باستخدام "مكافأة نهائية" فقط في النهاية بدلاً من "مكافآت العمليات" عند كل خطوة)، فإن سلوك التعلم سيتغير تماماً. تشير الورقة إلى أن مقارنة هاتين الطريقتين تتطلب ضبط كيفية تصميم المكافآت، وليس فقط الطريقة نفسها.

باختختصار، تظهر الورقة أنه بينما يمكن لكلا الطريقتين تعليم الروبوت التفكير منطقياً، إلا أنهما يقومان بذلك بـ "سرعات تعلم" و"أساليب تدريس" مختلفة، وفهم هذه الاختلافات هو المفتاح لبناء ذكاء اصطناعي أفضل.

ملخص تقني: المحولات (Transformers) مع التعلم المعزز (RL) أو الضبط الدقيق تحت الإشراف (SFT) تتعلم دوال بولية متفرقة بشكل مثبت، ولكن بطرق مختلفة

بيان المشكلة
أظهرت النماذج اللغوية الكبيرة (LLMs) القائمة على بنية المحولات (Transformer) قدرات استدلال مذهلة من خلال تحفيز "سلسلة الأفك‏ر" (Chain-of-Thought - CoT). وبينما يعد الضبط الدقيق تحت الإشراف (SFT) والتعلم المعزز (RL) الطريقتين الرئيسيتين لتعزيز هذه القدرات، إلا أن الآليات النظرية الكامنة وراء ديناميكيات التعلم لديهما لا تزال غير مفهومة بشكل جيد. وتحديداً، هناك نقص في التحليل الصارم الذي يقارن بين كيفية تمكين كل من RL (خاصة مع مكافآت العمليات) وSFT (تحديداً بدون فرض المعلم) للمحولات من تعلم الدوال البولية المتفرقة (sparse Boolean functions) المعقدة التي يصعب تعلمها بطريقة نهاية إلى نهاية (end-to-end). يعالج هذا العمل هذه الفجوة من خلال استقصاء قابلية تعلم الدوال البولية ذات التفرق $k$ (أي الدوال التي تحددها مجموعة فرعية صغيرة من $k$ من البتات المدخلة) باستخدام محول مكون من طبقة واحدة مزود بخطوات استدلال وسيطة.

المنهجية
يقترح المؤلفون إطاراً نظرياً موحداً لتحليل ديناميكيات التعلم لكل من RL وSFT على فئة محددة من الدوال البولية المتفرقة $k$ . هذه الدوال قابلة للتفكيك بشكل متكرر إلى دوال بولية ثابتة ذات تفرق 2 (مثل Parity، وAND، وOR)، مما يشكل سلسلة استدلال تشبه "سلسلة الأفكار" (CoT).

بنية النموذج: تستخدم الدراسة نموذج محول مبسط مكون من طبقة واحدة يتألف من ترميز موضعي (positional encoding)، وطبقة انتباه ذاتي (self-attention)، وطبقة تغذية أمامية (feedforward). تم تصميم النموذج لتوليد خطوات استدلال وسيطة ( $y^{(t)}$ ) بشكل تكراري قبل إنتاج الإجابة النهائية.
قناع "ما قبل التدريب" (Pretrained Mask): لضمان القابلية للمعالجة النظرية ومحاكاة الأولويات الهيكلية المكتسبة من مرحلة ما قبل التدريب، يفرض المؤلفون قناعاً محدداً لوزن الانتباه. يقيد هذا القناع انتباه رموز الاستدلال إلى عقدها التابعة ذات الصلة (كما هو محدد في التفكيك المتكرر) والتسلسل المدخل، مما يتحكم فعلياً في انتشار الخطأ.
نماذج التعلم:
- التعلم المعزز (RL) مع مكافأة العملية: يتم تحسين المحول عبر "تدرج السياسة" (policy gradient) لتعظيم دالة المكافأة حيث يتم تخصيص مكافآت لكل خطوة استدلال وسيطة ( $r_t$ )، بدلاً من الاكتفاء بالنتيجة النهائية فقط.
- الضبط الدقيق تحت الإشراف (SFT) بدون فرض المعلم (Teacher Forcing): يتم تدريب المحول لتقليل خسارة (خسارة المفصلة - hinge loss) عبر سلاسل الاستدلال المولدة مقارنة بالملصقات الحقيقية (ground-truth labels). ومن الأهمية بمكان أن النموذج يولد خطواته الوسيطة الخاصة أثناء التدريب (التوليد ذاتي الانحدار - autoregressive generation) بدلاً من تلقي مقدمات من البيانات الحقيقية (فرض المعلم)، مما يعالج عدم التطابق بين التدريب والاستدلال.
الأداة التحليلية الأساسية: يقدم المؤلفون "مكون التدرج الحرج" ( $\gamma$ ). ويوضحون أن فصل هذا المكون — حيث يكون إشارة التدرج للمواقع ذات الصلة (العقد التابعة) أكبر بصرامة من المواقع غير ذات الصلة — يعمل كشرط كافٍ لقابلية التعلم المثبتة.

المساهمات والنتائج الرئيسية
يضع البحث الشروط الكافية التي يمكن بموجبها لمحول مكون من طبقة واحدة تعلم الدوال البولية المتفرقة $k$ عبر كل من RL وSFT. وتتمثل النتائج الرئيسية فيما يلي:

شرط قابلية التعلم الموحد: ينجح كل من RL وSFT إذا قام مكون التدرج الحرج بفصل المواقع ذات الصلة عن غير ذات الصلة. وقد تم التحقق من هذا الشرط لثلاثة أمثلة أساسية: $k$ -PARITY، و $k$ -AND، و $k$ -OR.
ديناميكيات تعلم متميزة:
- التعلم المعزز (RL - مكافأة العملية): في ظل شرط الفصل، يتعلم RL سلسلة استدلال CoT بأكملها في وقت واحد في تحديث تدرج واحد. توفر مكافأة العملية إشارات معلوماتية لجميع الخطوات بغض النظر عن الحالة الراهنة للخطوات الأخرى، مما يسم يسمح للنموذج باكتساب قدرة الاستدلال الكاملة فوراً.
- الضبط الدقيق تحت الإشراف (SFT - بدون فرض المعلم): في المقابل، يُظهر SFT سلوك تعلم خطوة بخطوة. ونظراً للطبيعة ذاتية الانحدار للتوليد، لا يمكن للنموذج تعلم الخطوة $t$ بشكل موثوق حتى يتم توليد الخطوة $t-1$ بشكل صحيح. وبناءً على ذلك، يتطلب SFT عدد $T$ من تحديثات التدرج (حيث $T$ هو طول السلسلة) لتعلم السلسلة بأكملها، حيث يحل خطوة واحدة في كل تحديث.
صعوبة المكافأة النهائية: يثبت البحث أن RL المحسن باستخدام مكافأة نهائية فقط (قائمة على النتيجة) يفشل في تعلم هذه الدوال بكفاءة. حيث يكون تباين تدرج السياسة صغيراً بشكل أسّي، مما يؤدي إلى غرق الإشارة في الضجيج، وهو ما يفسر ضرورة وجود مكافآت العمليات لمهام الاستدلال المعقدة.
التوسع في سلسلة الأفك (Serial CoT): تم توسيع التحليل ليتجاوز التفكيك الشجري الثنائي ليشمل هياكل سلسلة الأفك (Serial CoT) (الشائعة في النماذج اللغوية الكبيرة العملية)، مما يؤكد أن نفس ديناميكيات التعلم (التعلم المتزامن لـ RL، والتعلم المرحلي لـ SFT) تظل قائمة تحت نظام القناع المناسب.

الأهمية والادعاءات
يزعم المؤلفون أن هذا العمل يوفر أول توصيف نظري لديناميكيات تعلم RL مع مكافآت العمليات للمحولات، مما يسد فجوة حرجة في الأدبيات. ومن خلال إزالة "فرض المعلم" واستراتيجيات تعزيز البيانات المستخدمة غالباً في الأعمال النظرية السابقة (مثل Kim & Suzuki, 2025)، تقدم الدراسة مقارنة أكثر واقعية بين RL وSFT.

تكمن الأهمية في الكشف عن أنه بينما يمكن لكلا الطريقتين تحقيق قابلية التعلم، إلا أنهما تحققان ذلك من خلال آليات مختلفة جوهرياً:

يحاكي RL مع مكافآت العمليات كفاءة SFT مع فرض المعلم من خلال تعلم السلسلة بأكملها في وقت واحد.
يفرض SFT بدون فرض المعلم بطبيعته منهجاً تعليمياً مرحلياً (step-wise curriculum)، وهي خاصية متأصلة في التدريب ذاتي الانحدار لا تتطلب تعلم منهج خارجي أو تصفية للبيانات.

يخلص البحث إلى أن المقارنات التجريبية بين RL وSFT يجب أن تتحكم بعناية في عوامل مثل تصميم المكافأة (العملية مقابل النتيجة) وأنظمة التدريب (فرض المعلم مقابل التوليد ذاتي الانحدار)، حيث أن هذه العوامل تغير ديناميكيات التعلم بشكل كبير وقد تؤدي إلى خلط نتائج مقارنة أساليب التحسين نفسها.