💬 NLP

Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

تقدم هذه الورقة "البرمجة عبر الانتشار العكسي" (PBB)، وهو نظام تدريب يُمكّن النماذج اللغوية الكبيرة من اكتساب سلوكيات إجرائية قابلة لإعادة الاستخدام بكفاءة من التعليمات التصريحية، محققةً كفاءة في العينات تصل إلى 100 ضعف مقارنة بالتعلم من أمثلة التوضيح وحدها.

المؤلفون الأصليون: Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

نُشر 2026-02-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي للغاية ولكنه حرفي التفكير كيفية الطبخ.

الطريقة القديمة (التدريب القياسي):
عادةً، لتعليم الروبوت وصفة جديدة، عليك أن تريه الطبخة وهي تُعد خطوة بخطوة. تقول له: "شاهدني وأنا أقطع البصل، ثم أقلي البصل، ثم أضيف التوابل". عليك القيام بذلك مئات المرات ليحفظ الروبوت النمط. إذا أردت تعليمه طبقاً جديداً، فعليك أن تريه ذلك الطبق تحديداً مئات المرات أيضاً. هذه العملية بطيئة، وتستهلك الكثير من البيانات، ومكلفة.

الطريقة الجديدة (البرمجة عبر الانتشار العكسي - PBB):
تقدم هذه الورقة البحثية طريقة جديدة تسمى البرمجة عبر الانتشار العكسي (Programming by Backprop - PBB). بدلاً من إظهار عملية الطبخ للروبوت 100 مرة، أنت فقط تسلمه الوصفة المكتوبة (التعليمات) وتقول له: "هذه هي القاعدة. تعلمها".

العنوان الرئيسي لهذه الورقة هو: "تعليمات واحدة تعادل 100 مثالاً".

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. الفكرة الجوهرية: "ترجمة المعرفة إلى كود" (Compiling Knowledge)

فكر في برنامج الكمبيوتر. يمكنك كتابة كود (التعليمات)، ويقوم الكمبيوتر بتشغيله في كل مرة.

الذكاء الاصطناعي القياسي: يتعلم الذكاء الاصطناعي من خلال مشاهدتك وأنت تشغل الكود 100 مرة. إنه يحفظ الأفعال.
الـ PBB: يقرأ الذكاء الاصطناعي الكود مرة واحدة، ويفهم المنطق، ثم "يترجمه" (Compiles) مباشرة إلى دماغه (أوزانه الداخلية). الآن، عندما تطلب منه القيام بالمهمة، فإنه لا يحتاج للنظر إلى الكود مرة أخرى؛ فالمنطق أصبح مبنياً بالفعل داخل خلاياه العصبية.

2. وصفتي التدريب (المناهج التعليمية)

وجد المؤلفون أنك لا تستطيع مجرد إلقاء الوصفة على الروبوت وتوقع أن يعمل فوراً. أنت بحاجة إلى جدول تدريبي محدد. لقد اختبروا نهجين:

أ. الـ PBB الاستباقي (منهج "المتدرب")

الخطوة 1: تعلم الروبوت مجموعة من الوصفات المختلفة (التعليمات) جنباً إلى جنب مع الطبخ الفعلي (الأمثلة). يتعلم الروبوت الارتباط بين "قراءة الوصفة" و"القيام بالطبخ".
الخطوة 2: تعطي الروبوت وصفة جديدة لم يسبق له رؤيتها من قبل، ولكنك لا تريه عملية الطبخ. أنت فقط تقول له: "هذا هو النص، استنتجه بنفسك".
النتيجة: لأن الروبوت تعلم بالفعل كيف يتعلم من الوصفات في الخطوة 1، يمكنه فوراً "ترجمة" الوصفة الجديدة إلى دماغه وتنفيذها.

ب. الـ PBB اللاحق (منهج "النظرية أولاً")

الخطوة 1: تغمر الروبوت بآلاف الوصفات (التعليمات) ولكن بدون أمثلة طبخ. يحفظ الروبوت نصوص الوصفات لكنه لا يعرف كيف يطبخ بعد. الأمر يشبه قراءة كتاب طبخ من الغلاف إلى الغلاف ولكن دون دخول المطبخ أبداً.
الخطوة 2: بعد ذلك، تري الروبوت كيف يطبخ بعض الأطباق المحددة.
النتيجة: فجأة، "يستيقظ" الروبوت. تعمل أمثلة الطبخ كـ "مفتاح" يفتح المعرفة التي خزنها في الخطوة 1. يدرك الروبوت: "أوه! هذه الوصفة التي حفظتها سابقاً تعني أن عليّ فعل هذا!". يمكنه بعد ذلك تطبيق ذلك المنطق على وصفات جديدة لم يرها من قبل.

3. لماذا هذا مهم (السحر)

كفاءة فائقة: في تجاربهم، كان إعطاء الذكاء الاصطناعي تعليمات واحدة فقط يعطي نتيجة تقارب إعطاءه 100 مثال. هذا يوفر وقتاً هائلاً وبيانات ضخمة.
إصلاح الانحيازات: تخيل أنك تظهر للروبوت فقط كيف يطبخ باستخدام "الملح" لأن هذا هو كل ما تملكه في مطبخك. سيعتقد الروبوت أن كل الطعام يحتاج إلى ملح. ولكن إذا أعطيته التعليمات "تبّل حسب الذوق"، فسيتعلم القاعدة العامة ولن ينحاز للملح فقط. يساعد الـ PBB النماذج على تعلم القاعدة بدلاً من مجرد نسخ الأمثلة.
الكود مقابل الكلمات: وجدت الورقة أن الروبوت يتعلم بشكل أفضل عندما تكون التعليمات مكتوبة بصيغة كود (مثل لغة بايثون) بدلاً من اللغة الطبيعية (مثل الجمل الإنجليزية). الأمر يشبه أن الروبوت يفهم "رياضيات" التعليمات بشكل أفضل من "القصة". ومع ذلك، مع كبر حجم الروبوتات وزيادة ذكائها، أصبحت أفضل في فهم تعليمات اللغة الطبيعية أيضاً.

4. العقبة (الجانب السلبي)

تعترف الورقة بأن هذه المعرفة "المترجمة" ليست مثالية بعد.

إذا أعطيت الروبوت التعليمات الآن (في الدردشة)، فإنها تعمل بشكل مثالي.
إذا اعتمدت على كون الروبوت قد "حفظ" التعليمات من مرحلة التدريب (PBB)، فإنها تعمل بنسبة 80-90% تقريباً. إنها "مشوشة" قليلاً، مثل راديو به بعض التشويش، لكنها تؤدي المهمة.

الصورة الكبيرة

تشير هذه الأبحاث إلى أننا لسنا بحاجة لتغذية الذكاء الاصطناعي بملايين الأمثلة لكل مهمة على حدة. بدلاً من ذلك، يمكننا تعليمهم القواعد والمنطق لكيفية القيام بالأشياء.

تحذير سلامة:
هذا سلاح ذو حدين. إذا استطعنا "برمجة" السلوكيات في الذكاء الاصطناعي بمجرد كتابة تعليمات في بيانات التدريب الخاصة به، فيجب أن نكون حذرين للغاية. إذا أدرجنا تعليمات خطيرة بالخطأ في بيانات التدريب، فقد يقوم الذكاء الاصطناعي بـ "ترجمة" هذا السلوك الخطير في دماغه وتنفيذه لاحقاً، حتى لو لم نخبره صراحةً بفعل ذلك أثناء الدردشة.

باختصار: الـ PBB يشبه تعليم طالب مبادئ الرياضيات حتى يتمكن من حل أي مسألة، بدلاً من جعله يحفظ إجابات 1000 سؤال واجب منزلي محدد. إنه أسرع، وأذكى، ويغير طريقة تفكيرنا في التدريب.

إليك ملخص تقني مفصل للورقة البحثية "البرمجة عبر الانتشار العكسي: التعليمات تساوي 100 مثال عند الضبط الدقيق للنماذج اللغوية الكبيرة" (ICLR 2026).

1. بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) عادةً على اكتساب السلوكيات من خلال العروض التوضيحية (أزواج المدخلات والمخرجات) أو الخبرة (التعلم المعزز). ومع ذلك، فإن جزءاً كبيراً من بيانات التدريب يتكون من معرفة تقريرية: تعليمات مجردة، قواعد، خوارزميات، وأوصاف تحدد ماذا يجب فعله دون شرح كيفية تنفيذه على مدخلات ملموسة.

السؤال البحثي الجوهري هو: هل يمكن للنماذج اللغوية الكبيرة اكتساب معرفة إجرائية (سلوكيات قابلة لإعادة الاستخدام والتنفيذ) مباشرة من التعليمات التقريرية في بيانات التدريب، بدلاً من الحاجة إلى عروض توضيحية صريحة لكل مهمة جديدة؟

تشمل القيود الحالية ما يلي:

عدم كفاءة البيانات: غالباً ما يتطلب تعلم خوارزمية جديدة مئات من أمثلة المدخلات والمخرجات.
فجوة "المعرفة مقابل الفعل": قد "تعرف" النماذج قاعدة ما (عبر التلقين داخل السياق) لكنها تفشل في استيعابها في أوزانها للتنفيذ بدون التلقين.
الانحياز: يؤدي التدريب على بيانات عرض توضيحي منحازة (مثل إزاحات شفرات معينة) إلى ضعف التعميم على المتغيرات غير المرئية.

2. المنهجية: البرمجة عبر الانتشار العكسي (PBB)

يقدم المؤلفون البرمجة عبر الانتشار العكسي (Programming by Backprop - PBB)، وهو نظام تدريبي مصمم لـ "ترجمة" (Compile) التعليمات التقريرية إلى بارامترات النموذج. المبدأ الأساسي هو فصل تعلم كيفية ربط التعليمات بالسلوك عن استيعاب التعليمات الجديدة.

يتم تطبيق PBB من خلال منهجين تعليميين متعددي المراحل:

أ. الـ PBB الاستباقي (Proactive PBB)

يحاكي هذا النهج التعلم الميتا (Meta-learning) الضمني.

المرحلة 1 (مجموعة التدريب): يتم تدريب النموذج على مزيج من خسارة تقريرية (تعلم نص التعليمات) وخسارة تنفيذ (تعلم حل المشكلات بناءً على التعليمات والأمثلة) لمجموعة من تعليمات التدريب ( $S_{train}$ ). هذا يؤسس ارتباطاً عاماً بين تمثيلات التعليمات والسلوكيات.
المرحلة 2 (مجموعة التقييم): يتعرض النموذج لتعليمات تقييم جديدة ( $S_{eval}$ $S_{e v a l}$ ) عبر الخسارة التقريرية فقط (بدون أمثلة تنفيذ).
- الآلية: نظرًا لأن النموذج تعلم عملية الربط في المرحلة 1، فإن تحديثات الاشتقاق (Gradients) الناتجة عن مجرد قراءة التعليمات الجديدة في المرحلة 2 تقوم بـ "ترجمة" السلوك إلى الأوزان.

ب. الـ PBB اللاحق (Retroactive PBB)

يعطي هذا النهج الأولوية لاكتساب المعرفة التقريرية أولاً.

المرحلة 1 (جميع التعليمات): يتم تدريب النموذج على كامل مجموعة التعليمات ( $S_{train} \cup S_{eval}$ ) باستخدام الخسارة التقريرية فقط. يتعلم النموذج بناء وصرف التعليمات ولكنه لا يستطيع تنفيذها بعد.
المرحلة 2 (تنفيذات التدريب): يتم تدريب النموذج على أمثلة التنفيذ لمجموعة التدريب ( $S_{train}$ $S_{t r ain}$ ) باستخدام خسارة التنفيذ.
- الآلية: تقوم اشتقاقات التنفيذ بتحديث البارامترات المشتركة، مما يؤدي فعلياً إلى "تنشيط" المعرفة التقريرية الكامنة التي تم اكتسابها في المرحلة 1، مما يسمح للنموذج بتعميم التنفيذ على مجموعة التقييم ( $S_{eval}$ ) حتى بدون إشراف مباشر لتلك التعليمات المحددة.

3. الإعداد التجريبي

قام المؤلفون بتقييم PBB عبر مجالين اصطناعيين ومجال واحد من العالم الحقيقي:

التنفيذ الخوارزمي (Python):
- الحساب العشوائي: 1,000 دالة Python مُولدة اصطناعياً (تدفق تحكم + حسابات).
- Leetcode: 702 مسألة خوارزمية من العالم الحقيقي.
- الشفرات (Ciphers): شفرات إزاحة مبتكرة (Alice, Bob, Kevin) لاختبار التعميم خارج التوزيع (OOD).
القواعد الصورية (Formal Grammars):
- توليد جمل متوافقة مع 200 قواعد خالية من السياق (CFGs) فريدة ذات خصائص نمطية متنوعة (ترتيب الكلمات، المعدلات).
النماذج: Qwen3 (4B, 8B, 14B)، Llama-3 (1B, 3B, 8B)، و GPT-4o.
المقارنة المرجعية (Baselines): تمت المقارنة مع تقنية "تبسيط الخوارزميات" (Algorithm Distillation - AD) والضبط الدقيق الخاضع للإشراف (SFT) القياسي.

4. النتائج الرئيسية

أ. كفاءة عالية في العينات

تعليمية واحدة $\approx$ 100 مثال: في مجال الحساب العشوائي، حقق التدريب على تعليمات واحدة فقط (عبر المرحلة 2 من Proactive PBB) دقة تنفيذ تضاهي التدريب على ما يصل إلى 100 أثر تنفيذ (أزواج المدخلات والمخرجات).
يثبت هذا أن PBB يمكنه استبدال كميات هائلة من بيانات العرض التوضيحي بتعليمات رمزية موجزة.

ب. فعالية المناهج التعليمية

الـ PBB الاستباقي (Proactive PBB): حقق أعلى أداء. بالنسبة لنموذج Qwen3-14B، وصل إلى 37% دقة في سلوكيات الاختبار غير المرئية، بينما أدى التدريب على التعليمات أو الأمثلة بشكل منفصل إلى أداء يقارب الصفر.
الـ PBB اللاحق (Retroactive PBB): كان ناجحاً أيضاً ولكنه أقل فعالية عموماً من الاستباقي. ومن الجدير بالذكر أن التعلم المعزز (RL/GRPO) في المرحلة 2 من الـ PBB اللاحق تفوق بشكل كبير على الـ SFT، مما أدى إلى تعميم أسرع.

ج. التنفيذ الضمني والتركيب

التنفيذ الضمني: استطاعت النماذج المدربة بـ PBB تنفيذ الخوارزميات دون استخدام سلسلة الأفكـاة (CoT). لقد قامت بتشفير الإجراء بأكمله في أوزانها، مما سمح لها بإجراء عمليات متعددة الخطوات ضمنياً خلال عملية التمرير الأمامي (Forward Pass).
التركيب (Composition): استطاعت النماذج تركيب تعليمات مدربة بشكل مستقل (على سبيل المثال، تنفيذ def Blorp(x): Zibble(Snurg(x))) حتى لو لم يتم تدريبها صراحة على الدالة المركبة، مما أظهر قدرة ناشئة على التفكير التركيبي.

د. التمثيل هو الأهم

الكود > اللغة الطبيعية: التعليمات المقدمة كـ كود مصدر Python تم تعلمها بفعالية أكبر بكثير من الأوصاف المكافئة لغوياً. يشير هذا إلى أن النماذج اللغوية الكبيرة لديها انحياز استقرائي أقوى لهياكل الكود.
تعزيز التلقين (Prompt Augmentation): كان تضمين قوالب سياقية متنوعة (مثل "Write a function that...") ضرورياً لعمل PBB بفعالية.

هـ. تصحيح الانحياز والتعميم خارج التوزيع (OOD)

في مهمة الشفرات (Ciphers)، فشلت النماذج المدربة على بيانات عرض توضيحي منحازة (منحازة لقيم إزاحة محددة مثل ROT13) في التعامل مع الإزاحات غير المرئية.
تصحيح PBB: النماذج المدربة عبر Proactive PBB على كود الشفرات (المرحلة 2) تعلمت الدالة العامة للمدخلات، مما أدى إلى أداء قوي عبر جميع قيم الإزاحة، وهو ما صحح فعلياً الانحياز الموجود في بيانات العرض التوضيحي.

و. الامتثال للقواعد (Grammar Compliance)

نجح PBB في "برمجة" النماذج لتوليد نصوص متوافقة مع قواعد CFG جديدة. أنتجت النماذج جملًا صالحة فور تلقينها دون الحاجة لـ CoT، مما يثبت أنها استوعبت القواعد النحوية.

5. الأهمية والآثار المترتبة

تنسيق البيانات: تشير النتائج إلى أن البيانات التي تحتوي على قواعد تقريرية (كود، مواصفات رسمية) ليست مجرد نصوص سلبية، بل يمكنها فعلياً "برمجة" السلوكيات في النماذج. وهذا يتطلب تنسيقاً دقيقاً لتجنب السلوكيات غير المقصودة.
السلامة: التعليمات الموجودة في بيانات التدريب يمكن أن تستدعي سلوكيات قابلة للتنفيذ عند الاستنتاج دون تلقين صريح. وهذا يشكل خطراً أمنياً إذا تم تضمين تعليمات ضارة أو خبيثة في بيانات التدريب المسبق.
الكفاءة: يوفر PBB مساراً لتعلم عالي الكفاءة في العينات، مما قد يقلل من تكاليف الحوسبة والبيانات المطلوبة لتعليم النماذج مهارات جديدة.
التوسع (Scaling): يظهر النهج اتجاهات توسع إيجابية مع حجم النموذج والبيانات، مما يشير إلى أنه استراتيجية قابلة للتطبيق لتطوير النماذج الرائدة مستقبلاً.

الخاتمة

تثبت هذه الورقة أن النماذج اللغوية الكبيرة يمكنها استيعاب معرفة إجرائية قابلة للتنفيذ من تعليمات تقريرية من خلال مناهج مهيكلة (PBB). ومن خلال معاملة التعليمات كـ "برامج" يمكن ترجمتها إلى أوزان عبر الانتشار العكسي، يمكن للنماذج تعلم سلوكيات معقدة من تعليمات واحدة، والتعميم على متغيرات غير مرئية، وتركيب المهارات، مما يتحدى الفكرة القائلة بأن بيانات العرض التوضيحي ضرورية تماماً لاكتساب السلوك.