🤖 machine learning

Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning

تتقصى هذه الورقة البحثية الاستدلال التركيبي المستمر في نماذج المحولات (Transformers) باستخدام إطار عمل LEGO الموسع، كاشفةً أنه في حين تفشل نماذج BERT ذات التغذية الأمامية بسبب الحلول المختصرة المتجذرة، تُظهر نماذج ALBERT المتكررة أداءً فائقاً من خلال تعلم استراتيجيات "حلقة التكرار" (for-loop) الخوارزمية التي يمكن تعزيزها بشكل أكبر عبر التدريب عبر الخبرات.

المؤلفون الأصليون: William T. Redman, Erik C. Johnson, Brian Robinson

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: William T. Redman, Erik C. Johnson, Brian Robinson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية حل سلسلة من الألغاز. هذه الألغاز ليست عشوائية، بل هي تنويعات على نفس المنطق الأساسي. على سبيل المثال، قد يطلب منك لغز ما تدوير مثلث، واللغز التالي يطلب منك قلبه، واللغز الثالث يطلب منك القيام بكليهما. الهدف هو معرفة ما إذا كان بإمكان الروبوت تعلم "منطق" اللغز الأول واستخدامه فوراً لحل اللغز الثاني والثالث، دون أن ينسى كيفية حل اللغز الأول.

تبحث هذه الورقة البحثية في كيفية تعامل نوعين شائعين من "أدمغة" الذكاء الاصطناعي (يُطلق عليهما BERT و ALBERT) مع هذا النوع من التعلم. وجد الباحثون أنه بينما تعد نماذج الذكاء الاصطناعي هذه ذكية للغاية، إلا أنها غالباً ما تسلك "طرقاً مختصرة ذهنية" تجعلها سيئة في تعلم أشياء جديدة لاحقاً.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. نوعا المتعلمين

اختبر الباحثون نموذجين:

BERT: فكر فيه كـ مصور فوتوغرافي. ينظر إلى الصورة كاملة دفعة واحدة ويحاول حفظ التفاصيل المحددة لتلك الصورة الواحدة. إنه سريع جداً وجيد في التعرف على الأنماط في اللحظة الراهنة، لكنه لا يفهم حقاً "العملية" التي صُنعت بها الصورة.
ALBERT: فكر فيه كـ مبرمج. بدلاً من مجرد حفظ الصورة، يتعلم مجموعة من التعليمات (مثل حلقة تكرارية في كود برمجي) يمكن تكرارها لحل المشكلة. إنه يفهم "الآلية" الكامنة وراء اللغز.

2. فخ "الطريق المختصر"

عندما تم تعليم النموذجين اللغز الأول (لنسمه "اللغز أ")، أبديا أداءً جيداً. ومع ذلك، عندما قدم الباحثون "اللغز ب" (الذي كان مشابهاً جداً ولكن مختلف قليلاً)، ظهرت مشكلة.

BERT (المصور الفوتوغرافي): تعلم طريقاً مختصراً. أدرك قائلاً: "مهلاً، إذا نظرت فقط إلى أول دليل في اللغز، يمكنني تخمين الإجابة لهذا النوع المحدد من الألغاز". لم يتعلم المنطق الفعلي، بل حفظ "خدعة" نجحت مع اللغز (أ).
- النتيجة: عند مواجهة اللغز (ب)، أصيب BERT بالارتباك. ولأنه كان يعتمد على خدعة خاصة باللغز (أ)، لم يستطع التكيف. كما أنه نسي تماماً كيفية حل اللغز (أ) بمجرد أن بدأ في تعلم اللغز (ب). وهذا ما يسمى "النسيان الكارثي".
ALBERT (المبرمج): تعلم الخوارزمية. استنتج قائلاً: "أوه، أحتاج إلى أخذ الحالة الحالية، وتطبيق قاعدة، ثم الانتقال إلى الخطوة التالية". هذا يشبه تعلم "حلقة For Loop" (تعليمات برمجية تكرر إجراءً ما).
- النتيجة: لأن ALBERT تعلم "المنهج" بدلاً من خدعة محددة، استطاع تطبيق ذلك المنهج على اللغز (ب) بشكل أسرع. وقد أظهر ما يسمى "النقل الأمامي"، مما يعني أنه استخدم ما تعلمه من اللغز (أ) لتسريع تعلم اللغز (ب).

3. الحجم مهم (ولكن ليس بالطريقة التي تظنها)

حاول الباحثون تكبير النماذج (إضافة المزيد من الطبقات، مثل إضافة غرف أكثر إلى منزل).

بالنسبة لـ ALBERT: كلما زاد الحجم كان أفضل. المزيد من "الغرف" يعني قدرته على صقل خوارزميته والتحسن أكثر في نقل المعرفة.
بالنسبة لـ BERT: جعل الحجم الأكبر الأمر أسوأ أو غير مستقر. نظرًا لأن BERT يعتمد على الطرق المختصرة، فإن جعل النموذج أكثر تعقيداً منح لديه المزيد من الطرق للوقوع في العادات السيئة. لم يستطع تعميم تعلمه على ألغاز جديدة.

4. إصلاح "إعادة التشغيل" (Memory Replay)

عانى كلا النموذجين من النسيان الكارثي — أي عندما يتعلمان اللغز الجديد، يمسحان ذاكرة اللغز القديم تماماً.

لإصلاح ذلك، استخدم الباحثون "مخزن إعادة التشغيل" (Replay Buffer). تخيل طالباً، بينما يدرس لاختبار رياضيات جديد، يحتفظ ببعض البطاقات التعليمية من الاختبار القديم على مكتبه ليُلقي نظرة عليها بين الحين والآخر.

النتيجة: حقق هذا نتائج مذهلة. من خلال عرض جزء ضئيل (1% فقط) من البيانات القديمة أثناء تعلم البيانات الجديدة، منعوا النسيان. استطاع كل من BERT و ALBERT تذكر الألغاز القديمة أثناء تعلم الألغاز الجديدة.

5. العقبة الأخيرة: دمج الألغاز

الاختبار النهائي لـ "الاستدلال التركيبي" هو ما إذا كان بإمكان الذكاء الاصطناعي مزج وقواعد الألغاز المختلفة لحل لغز جديد ومعقد يجمع بينها جميعاً.

المشكلة: حتى مع وجود "مخزن إعادة التشغيل" الذي يساعدهم على التذكر، واجه كلا النموذجين صعوبة في دمج القواعد. كان بإمكانهما تذكر اللغز (أ) واللغز (ب) بشكل منفصل، لكنهما لم يستطيعا بسهء نسج القواعد معاً لحل لغز هجين.
الفرق: وجد الباحثون طريقة لمساعدة ALBERT على النجاح في ذلك. إذا علموا ALBERT باستخدام استراتيجية حيث يتم "خياطة" الألغاز القديمة والجديدة معاً ببطء أثناء التدريب (بدلاً من إبقائها منفصلة)، استطاع ALBERT تعلم كيفية دمجها.
الحدود: استراتيجية "الخياطة" هذه لم تنجح مع BERT. لأن BERT كان قد رسخ بالفعل طريقة تفكيره القائمة على "الاختصارات" خلال التدريب الأولي، لم يكن بإمكانه تعلم دمج القواعد لاحقاً. لقد كان متشبثاً بطرقه الخاصة.

الخلاصة

تخلص الورقة البحثية إلى أنه بينما تعد نماذج الذكاء الاصطناعي مثل BERT و ALBERT قوية، إلا أن لديها عيباً خفياً: فهي تميل إلى تعلم "الغش" (الاختصارات) بدلاً من المنطق العميق.

ALBERT أفضل في تعلم المنطق العميق (الـ "For Loop")، مما يساعده على تعلم مهام جديدة ذات صلة بشكل أسريد.
BERT يعلق في الخدع السطحية، مما يجعله سيئاً في التكيف مع المواقف الجديدة ويسبب له نسيان المهام القديمة.

تشير الدراسة إلى أنه لجعل الذكاء الاصطناعي قادراً حقاً على التعلم المستمر (التعلم للأبد دون نسيان)، نحتاج إلى الابتعاد عن النماذج التي تعتمد على الاختصارات والتوجه نحو بنيات مصممة لفهم "الخوارزميات" الكامنة وراء العالم.

ملخص تقني: الحلول المختصرة التي تتعلمها نماذج المحولات (Transformers) تعيق الاستدلال التركيبي المستمر

بيان المشكلة

تتناول هذه الورقة فجوة حرجة في فهم كيفية أداء الشبكات العصبية من نوع "المحولات" (Transformers) في سياق التعلم المستمر (CL) ضمن إطار الاستدلال التركيبي. وبينما أظهرت المحولات نجاحاً في تحديد العلاقات الخاصة بالمدخلات وأداء المهام التركيبية على مجموعات البيانات الثابتة، فإن قدرتها على الاستفادة من التمثيلات المتعلمة لاكتساب خبرات جديدة ومرتبطة دون حدوث "النسيان الكارثي" لا تزال غير مدروسة بشكل كافٍ. وتحديداً، يبحث المؤلفون فيما إذا كانت هذه النماذج قادرة على تطوير استراتيجيات حوسبة عامة (تشبه التفكير التناظري البشري) أو ما إذا كانت تعتمد على حلول "مختصرة" غير قابلة للتعميم تعيق قدرتها على نقل المعرفة عبر المهام المتسلسلة.

المنهجية

قام المؤلفون بتوسيع إطار عمل LEGO (Zhang et al., 2022) لتعلم المساواة والعمليات الجماعية (Learning Equality and Group Operations) إلى إطار عمل LEGO المستمر.

تصميم المهمة: تتضمن مهمة LEGO حل عمليات مجموعات متسلسلة ( $a_t = a_{t-1} * x_t$ ) ضمن بنية مجموعة (تحديداً مجموعة التماثل $D_3$ ). وتُعتبر المهمة بمثابة انتقال في رسم بياني موجه.
الإعداد المستمر: يتم تفكيك مجموعة $D_3$ إلى ثلاث "تجارب تبديل-قلب" (flip-flop experiences) متميزة، كل منها محدد بـ "مجموعة فرعية" معينة (مثل $\{x_1, x_4\}$ ، $\{x_1, x_5\}$ ، $\{x_1, x_6\}$ ). يتم تدريب النماذج بالتتابع على هذه التجارب. ومن الأهمية بمكان أنه بمجرد انتقال النموذج إلى تجربة جديدة، فإنه لا يتلقى أي مدخلات من التجارب السابقة، مما يختبر النقل الأمامي (تعلم مهام جديدة بشكل أسرع) والحفاظ على الأداء (تجنب النفسیان الكارثي).
النماذج: تقارن الدراسة بين BERT (وهو نموذج محول تغذوي أمامي نموذجي) و ALBERT (وهو متغير متكرر مع مشاركة الأوزان عبر الطبقات).
التحليل المعماري: قام المؤلفون بتغيير المعلمات الفائقة للنموذج (عدد طبقات الإخفاء ورؤوس الانتباه) بشكل منهجي لتحديد الحد الأدنى من البنيات القادرة على حل المهمة. كما قاموا بتحليل أنماط الانتباه الذاتي لتحديد الطبيعة الميكانيكية للحلول المتعلمة (على سبيل المثال: حلقات خوارزمية مقابل حلول مختصرة).
التدخلات: تقيم الدراسة فعالية مخازن إعادة التشغيل (حفظ 1% من البيانات السابقة) و التدريب التدريجي (دمج بيانات التجربة الماضية والحالية معاً) للتخفيف من النسيان وتمكين التركيب عبر التجارب.

المساهمات الرئيسية

إطار عمل LEGO المستمر: قدم المؤلفون نموذجاً اصطناعياً محكماً للتحقيق المنهجي في قدرات التعلم المستمر للمحولات، مع التركيز بشكل خاص على الاستدلال التركيبي.
التباين المعماري: تكشف الدراسة أن الخيارات المعمارية (التغذية الأمامية مقابل الهياكل المتكررة/المشاركة في الأوزان) تؤثر بشكل متفاوت على التعميم والنقل الأمامي. تُظهر نماذج BERT أداءً غير متسق مع زيادة الحجم، بينما تُظهر نماذج ALBERT علاقة أوضح بين السعة والأداء.
التفسير الميكانيكي للفشل/النجاح: من خلال تحليل أنماط الانتباه، حدد المؤلفون أن ALBERT يتعلم حلاً خوارزمياً عاماً يشبه حلقة "For loop"، بينما يتعلم BERT حلولاً مختصرة تفشل في التعميم على التسلسلات الأطول أو التجارب الجديدة.
حدود إعادة التشغيل: توضح الورقة أنه بينما يمكن لمخازن إعادة التشغيل التخفيف من النسيان الكارثي، إلا أنها غير كافية لتمكين الاستدلال التركيبي عبر التجارب. فقط نماذج ALBERT هي التي تستفيد من التدريب على البيانات المدمجة تدريجياً لتحقيق تركيب حقيقي عبر التجارب.

النتائج

1. الأداء على LEGO المستمر

النقل الأمامي: تُظهر نماذج ALBERT نقلاً أمامياً قوياً، حيث تحقق دقة عالية في تجارب "التبديل-القلب" الجديدة بعدد أقل من دورات التدريب (epochs). أما نماذج BERT فتظهر نقلاً أمامياً ضعيفاً، وغالباً ما تتطلب دورات تدريبية أكثر للوصول إلى الدقة النهائية وتفشل في التعميم على أطوال تسلسل أطول من مجموعة التدريب.
النسيان الكارثي: تُظهر كل من نماذج BERT و ALBERT نسياناً كارثياً شبه كامل (ينخفض الأداء إلى ~0%) في التجارب السابقة عند التدريب على تجارب جديدة، دون تدخل.
التعميم: تتعمم نماذج ALBERT بشكل جيد على التسلسلات الأطول (مثل $a_5, a_6$ ) عندما يتم تدريبها على تسلسلات أقصر ( $a_4$ ). بينما تفشل نماذج BERT عموماً في التعميم لما يتجاوز طول تسلسل التدريب.

2. التحليل الميكانيكي (أنماط الانتباه)

ALBERT (الحل العام): تُظهر أنماط الانتباه في نماذج ALBER الدنيا البسيطة بصمة تشبه "For loop". حيث تنتبه الرموز (tokens) في بند معين بشكل أساسي إلى الرموز في البند السابق، مما يؤدي إلى تحديث الحالة بشكل منهجي. ويتم الحفاظ على هذا النمط وتعزيزه عبر التجارب.
BERT (الحل المختصر): تُظهر نماذج BERT بصمة "مختصرة" حيث يعزل الانتباه الذاتي رمز مدخل مشترك واحد في البند الأول لجميع رموز المخرجات. هذا الحل يترسخ مبكراً في التدريب ويستمر حتى عند تقديم تجارب جديدة، مما يمنع النموذج من تعلم التركيب التكراري الضروري.

3. تأثير حجم البنية

ALBERT: يتناسب الأداء (دقة المهمة، التعميم، النقل الأمامي) طردياً مع عدد طبقات الإخفاء (يتطلب 4 طبقات على الأقل للنجاح).
BERT: لا يضمن زيادة حجم النموذج (مثل 12 طبقة) أداءً أفضل وقد يؤدي إلى عدم استقرار التدريب. لا توجد علاقة واضحة بين حجم النموذج والنقل الأمامي أو التعميم بالنسبة لـ BERT.

4. استراتيجيات التخفيف

مخازن إعادة التشغيل (Replay Buffers): نجح حفظ 1% فقط من البيانات السابقة في التخفيف من النسيان الكارثي لكلا النموذجين مع الحفاظ على النقل الأمامي. ومع ذلك، فإن إعادة التشغيل الساذجة (حفظ أمثلة منفصلة) تفشل في تمكين التركيب عبر التجارب.
التدريب التدريجي/المدمج: التدريب على بيانات تجمع بين تجارب الماضي والحالي ("التبديل-القلب التدريجي") ينقذ أداء ALBERT، مما يسمح له بالاقتراب من أداء النموذج المدرب على المهمة الكاملة. هذه الاستراتيجية تفشل بالنسبة لـ BERT، حيث يصبح الحل المختصر مترسخاً أثناء التدريب الأولي ولا يمكن إلغاؤه أو تصحيحه عن طريق البيانات المدمجة.

الأهمية والادعاءات

تدعي الورقة أن الانحياز الاستقرائي (Inductive Bias) للمحولات المتكررة (تحديداً مشاركة الأوزان في ALBERT) أفضل حالاً في الاستدلال التركيبي المستمر من البنيات القياسية ذات التغذية الأمامية (BERT).

الحلول المختصرة كعائق: يجادل المؤلفون بأن "الحلول المختصرة" التي يتعلمها BERT ليست مجرد مشكلة في الأداء، بل هي عائق أساسي أمام التعلم المستمر في المهام التركيبية. هذه الاختصارات تترسخ وتمنع النموذج من اكتساب الاستراتيجيات الخوارزمية العامة المطلوبة للنقل الأمامي والتركيب عبر التجارب.
ميزة التكرار: توفر الحوسبة التي تشبه "For loop" والتي يتعلمها ALBERT آلية للتعميم والنقل الأمامي، مما يشير إلى أن الهياكل المتكررة (أو آليات مشاركة الأوزان) قد تكون حاسمة لتطوير استراتيجيات حوسبة مرنة في الشبكات العصبية.
حدود استراتيجية التدريب: تسلط الدراسة الضوء على أنه بينما يمكن لإعادة التشغيل البسيطة إصلاح النسيان، إلا أنها لا تحل مشكلة التركيب عبر التجارب. إن الاستدلال التركيبي الحقيقي في التعلم المستمر قد يتطلب استراتيجيات تدريب تدمج البيانات صراحة عبر التجارب، وهو اكتشاف يشير إلى أن طرق إعادة التشغيل التوليدية قد تكون اتجاهاً مثمراً للبحوث المستقبلية، خاصة لنماذج مثل ALBERT.

يخلص المؤلفون إلى أنه بينما يمكن للمحولات النجاح في المهام التركيبية الثابتة والمعقدة، فإن قدرتها على التعلم المستمر والتركيب عبر تجارب جديدة تضعف بشدة بسبب الاستراتيجيات الحوسبية المحددة (الاختصارات مقابل الخوارزميات) التي تتقارب نحوها، وهي استراتيجيات تتأثر بشدة بالخيارات المعمارية.