Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic
تكشف هذه الورقة أن نماذج المحولات (transformers) تتعلم المهارات الحسابية من خلال "تكوينية مهشمة" (shattered compositionality) غير بشرية مدفوعة بالارتباط، بدلاً من القواعد الإجرائية المتسلسلة، مما يؤدي إلى أخطاء خلط مميزة وضعف في المتانة يستمر رغم توسيع النماذج أو الإشراف عبر المسودة (scratchpad supervision).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية حل لغز ما. في عالم الذكاء الاصطناعي، تُسمى هذه الروبوتات "نماذج اللغات الكبيرة" (LLMs). إنها تشبه الطلاب المتحمسين للغاية الذين قرأوا كل كتاب تقريبًا في المكتبة. وهي مشهورة بقدرتها على كتابة القصص، وتصحيح الأخطاء البرمجية، وحتى حل المسائل الرياضية التي تبدو وكأنها تنتمي إلى كتاب مدرسي للمرحلة الثانوية. ولكن إليك المشكلة: مجرد قدرة الطالب على الحصول على درجة "امتياز" في اختبار تجريبي لا يعني أنه يفهم حقًا قواعد اللعبة. إذا قمت بتغيير الاختبار قليلًا — رب Tamًا بإضافة رقم إضافي واحد أو إعادة ترتيب الكلمات — فقد يصاب الطالب فجأة بالذعر ويفشل بطرق غريبة وغير متوقعة. يطلق العلماء على هذا الأمر اسم "الهشاشة" (Brittleness). إنه يشبه بيتًا من الورق يبدو مثاليًا حتى تهب نسمة هواء خفيفة.
لفهم سبب حدوث ذلك، ينظر الباحثون إلى كيفية تعلم هذه النماذج مهارات جديدة. عادةً، نأمل أن تتعلم مثل البشر: خطوة بخطوة، ببناء أساس قوي قبل الانتقال إلى المستوى التالي. على سبيل المثال، عند تعلم جمع الأرقام، يتعلم الإنسان أن يبدأ من النهاية (خانة الآحاد)، ويتعامل مع أي "عمليات حمل" (حيث يصبح الرقم كبيرًا جدًا بالنسبة لمكان واحد)، ثم ينتقل إلى العشرات، والمئات، وهكذا. هذه طريقة تفكير منطقية وهرمية. ولكن ماذا لو تعلم الروبوت القواعد بترتيب مختلف تمامًا؟ ماذا لو تعلم الأرقام الكبيرة المخيفة أولاً والأرقام الصغيرة لاحقًا، أو حاول تعلم كل شيء دفعة واحدة؟ يغوص هذا البحث في هذا الغموض، مستخدمًا ألغازًا رياضية بسيطة لمراقبة كيف تنمو هذه العقول الرقمية مهاراتها بالفعل، كاشفًا أنها قد تكون تسلك طريقًا مختصرًا يبدو كأنه تعلم، لكنه ليس تمامًا مثل الفهم البشري.
اللغز المحطم: كيف يتعلم الذكاء الاصطناعي الرياضيات بالعكس
في هذه الدراسة، قرر الباحثون في جامعة ويسكونسن-ماديسون التوقف عن التخمين والبدء في المراقبة. قاموا بتدريب نماذج ذكاء اصطناعي صغيرة وبسيطة (تُسمى "ترانسفورمرز") على مهام حسابية اصطناعية — باختصار، جعلهم يتدربون على جمع وضرب الأرقام مرارًا وتكرارًا. ولكن بدلًا من مجرد التحقق مما إذا كانوا سيحصلون على الإجابة الصحيحة في النهاية، شاهدوا عملية التعلم بالحركة البطيئة، رقمًا تلو الآخر. أرادوا رؤية كيف استنتجت هذه النماذج القواعد.
ما وجدوه كان يشبه مراقبة طفل يحاول ارتداء زوج من الأحذية بالبدء بالأربطة أولًا، ثم محاولة معرفة أين تذهب أصابع القدمين. اكتشف الباحثون أن نماذج الذكاء الاصطناعي هذه لا تتعلم الرياضيات كما يفعل البشر. فبدلًا من البدء من الأسفل (خانة الآحاد) والعمل صعودًا، غالبًا ما تعلمت هذه النماذج الأرقام الأعلى أولاً.
تخيل أنك تجمع أربعة أرقام كبيرة معًا. سينظر الإنسان إلى خانة الآحاد، ويجمعها، ويحمل الزائد إلى خانة العشرات، وهكذا. أما الذكاء الاصطناعي، فقد بدا وكأنه يتجاهل خانة الآحاد تمامًا في البداية. لقد ركز على خانات الآلاف والمئات، وتعلم تلك الأرقام بدقة بينما ظلت خانة الآحاد في حالة فوضى. كان الأمر كما لو أن النموذج يحاول تخمين الحجم الإجمالي للكومة قبل أن يعرف حتى عدد العناصر الفردية الموجودة فيها. يطلق الباحثون على هذه الظاهرة اسم "التكوينية المحطمة" (Shattered Compositionality). وهذا يعني أن النموذج يحاول بناء بيت من الورق، لكنه يضع السقف على الأرض ويأمل أن يلحق به الأساس لاحقًا.
اختصار "الارتباط"
لماذا قد يقوم ذكاء اصطناعي فائق الذكاء بفعل شيء سخيف كهذا؟ تشير الورقة البحثية إلى أن الإجابة تكمية في كيفية نظر الذكاء الاصطناعي إلى بيانات التدريب الخاصة به. يتعلم البشر الرياضيات من خلال فهم "السبب" و"النتيجة": "إذا أضفت هذين الرقمين من خانة الآحاد، سأحصل على عشرة، لذا يجب أن أحمل واحدًا إلى الخانة التالية". أما الذكال الاصطناعي، فيبدو وكأنه يلعب لعبة "المطابقة الإحصائية". ينظر إلى البيانات ويتساءل: "أي الأرقام تظهر معًا عادةً؟".
وجد الباحثون أن الأرقام الأعلى في الإجابة غالبًا ما ترتبط ارتباطًا قويًا بالأرقام الأعلى في الأرقام المدخلة، بغضًا عما يحدث في الأرقام الأدنى. إنه نمط قوي وسهل الملاحظة. يتشبث الذكاء الاصطناعي بهذا النمط السهل أولاً لأنه الإشارة الأكثر وضوحًا في البيانات. إنه مثل محقق يرى سيارة مشتبه به ويفترض فورًا أنه مذنب لأن لديه سيارة حمراء، متجاهلاً كل الأدلة الأخرى. يتعلم الذكاء الاصطناعي قاعدة "السيارة الحمراء" (الأرقام العالية) أولاً لأنها أسهل ارتباط يمكن العثه. وفقط لاحقًا، بمجرد إتقانه للأرقام العالية، يحاول فهم القواعد المعقدة والفوضوية للأرقام الأدنى.
لإثبات ذلك، أجرى الباحثون تجربة "تخريبية". أخذوا بيانات التدريب وخلطوا أرقام خانة الآلاف، مما جعلها عشوائية. فجأة، لم يستطع الذكاء الاصطناعي تعلم الأرقام الأدنى على الإطلاق؛ لقد علق. أثبت هذا أن الذكاء الاصطناعي لم يكن يتعلم قواعد الرياضيات بترتيب منطقي؛ بل كان يعتمد على الأرقام العالية لفتح بقية اللغز. بدون الأرقام العالية، انهار عملية التعلم بأكملها.
فوضى التعلم المتوازي
تصبح المشكلة أكثر تعقيدًا عندما يحاول الذكاء الاصطناعي تعلم مهارات متعددة في نفس الوقت. في مهام مثل فرز الأرقام أو مقارنتها، يحاول الذكاء الاصطناعي تعلم قواعد مختلفة بالتوازي. إنه يشبه طالبًا يحاول تعلم ركوب الدراجة، والتلاعب بالكرات (الجوغليج)، وعزف البيانو في آن واحد. أحيانًا، تتداخل هذه المهارات مع بعضها البعض.
وجد الباحثون أنه عندما يتعلم الذكاء الاصطناعي هذه المهارات في وقت واحد، فإنه يخلق "أخطاء خلط" (Mixing Errors). تخيل أنك تقوم بفرز قائمة أسماء. سيتحقق الإنسان من طول الاسم أولاً، ثم الحرف الأول، ثم الثاني. أما الذكاء الاصطناعي، فقد يرتبك؛ قد يأخذ الحرف الأول من اسم ما والحرف الأخير من اسم آخر، ويقوم بدمجهما لتكوين كلمة جديدة لا معنى لها. تسمي الورقة البحثية هذه الأخطاء "أخطاء الخلط". إنه كطباخ تعلم تقطيع البصل وتقطيع الجزر بشكل منفصل، ولكن عندما يُطلب منه صنع سلطة، فإنه يضع البصل بالخطأ في وعاء الجزر والجزر في وعاء البصل، مما ينتج مزيجًا غريبًا وغير قابل للأكل.
هذا التعلم المتوازي يخلق نظامًا هشًا. إذا طلبت من الذكاء الاصطناعي حل مشكلة تختلف قليلاً عما رآه في التدريب — مثل إضافة رقم واحد إضافي إلى القائمة — فإنه غالبًا ما ينهار. المهارات التي تعلمها بالتوازي تبدأ في التصارع مع بعضها البعض، وينتج النموذج إجابات ليست سوى فوضى مختلطة من المدخلات.
هل يجعل الحجم الأكبر أو الذكاء الأكبر الأمر أفضل؟
قد تفكر: "حسنًا، ربما تكون النماذج الصغيرة هي المرتبكة فقط. ماذا عن نماذج الذكاء الاصطناعي العملاقة والقوية للغاية التي نراها في الأخبار؟ أو ماذا لو أعطيناها 'مسودة' (Scratchpad) لكتابة أفكارها، كما يفعل البشر؟"
لقد اختبر الباحثون هذا أيضًا. قاموا بتدريب نماذج أكبر بكثير (تصل إلى 100 مليون معلمة/parameter) وحتى قاموا بضبط نموذج ضخم مدرب مسبقًا (Pythia-1B) على هذه المهام الرياضية. كما حاولوا إعطاء النماذج "مسودة" حيث يمكنها كتابة خطوات المسألة الرياضية قبل إعطاء الإجابة النهائية.
النتيجة؟ لم يتغير شيء.
حتى النماذج الضخمة تعلمت الأرقام بالترتيب الخاط เอ. وحتى النماذج المزودة بمسودات لا تزال تعطي الأولوية للأرقام العالية أولاً وتواجه صعوبة في الأرقام الأدنى. ساعدت المسودات النماذج على الحصول على الإجابة الصحيحة بشكل أسرع، لكنها لم تعالج أسلوب التعلم الأساسي. كانت النماذج لا تزال تأخذ "اختصار الارتباط" بدلاً من تعلم المنطق الحقيقي خطوة بخطوة للرياضيات. يشير هذا إلى أن مجرد جعل الذكاء الاصطناعي أكبر أو إعطائه المزيد من الأدوات لا يجعله يفكر تلقائيًا مثل البشر. يبدو أن "التكوينية المحطمة" هي سمة جوهرية لكيفية تعلم هذه النماذج من البيانات، وليست مجرد خلل في نموذج صغير محدد.
الخلاصة
ترسم هذه الورقة صورة لذكاء اصطناعي قادر بشكل مذهل ولكنه مختلف عنا جوهريًا. يمكنه حل المشكلات التي تبدو كرياضيات بشرية، لكنه يفعل ذلك بمجموعة مختلفة من القواعد الداخلية. إنه لا يتبع خوارزمية منطقية خطوة بخطوة؛ بل يتبع خريطة من الأنماط الإحصائية. عندما تكون هذه الأنماط مثالية، يتألق الذكاء الاصطناعي. ولكن عندما تتغير هذه الأنماط ولو قليلًا — عندما تكون المشكلة مختلفة قليلًا أو البيانات فوضوية — يتسبب أسلوب التعلم "المحطم" للذكاء الاصطناعي في تعثره.
الباحثون لا يقولون إن الذكاء الاصطناعي معطل أو عديم الفائدة. هم يقولون إننا بحاجة إلى فهم كيف يتعلم لنتمكن من الوثوق به بشكل أفضل. إذا أردنا أن يكون الذكاء الاصطناعي موثوقًا في العالم الحقيقي، حيث المشكلات نادرًا ما تكون مثالية والبيانات دائمًا متغيرة، فنحن بحاجة إلى معرفة كيفية تعليمه بناء مهاراته في تسلسل هرمي مستقر يشبه البشر، بدلًا من تركه يتعلم في اندفاع متوازٍ وفوضوي. وحتى ذلك الحين، قد يتعين علينا توخي الحذر عندما نطلب من هؤلاء الطلاب الرقميين حل مشكلة تختلف قليلًا عن تلك التي تدربوا عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.