How Large Language Models Get Stuck: Early structure with persistent errors
تتقصى هذه الورقة كيف أن النماذج اللغوية الكبيرة المدربة على مجموعة بيانات BabyLM غالباً ما تفشل في تعلم قواعد نحوية محددة لأن الانحيازات الخاطئة المبكرة، والمدفوعة بإحصاءات ثنائية الكلمات (bigram) مضللة، تصبح متجذرة وتستمر طوال عملية التدريب، مما يعيق التعلم الفعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طفلاً صغيراً جداً، ولكنه ذكي للغاية، كيف يتحدث. أنت تريد منه أن يتعلم قواعد النحو المعقدة، ليس فقط عبر حفظ الكلمات، بل عبر فهم البنية العميقة للجمل.
هذه الورقة البحثية تشبه مذكرات مفصلة لعملية التدريس تلك. لقد راقب الباحثون نموذج لغة ضخم (LLM) — وهو نوع من الذكاء الاصطناعي يتنبأ بالكلمة التالية في الجملة — وهو يتعلم من مجموعة بيانات "BabyLM" (وهي مجموعة أصغر وأكثر سهولة في الإدارة، تحتوي على 100 مليون كلمة، صُممت لتكون أشبه بالتعرض اللغوي المبكر للطفل مقار بالمكتبات الضخمة التي تستخدمها الأنظمة المتقدمة).
إليك قصة ما وجدوه، مشروحة ببساطة:
1. "النافذة الحرجة" للتعلم
فكر في تدريب الذكاء الاصطناعي مثل طاقم بناء يبني ناطحة سحاب.
- الأيام الأولى: في البداية تماماً، يقوم الطاقم بوضع الأساسات. إنهم يحددون الشكل الأساسي للمبنى.
- الاكتشاف: وجد الباحثون أن الذكاء الاصطناعي يتخذ قراراً حاسماً في وقت مبكر جداً (حوالي الخطوة رقم 5,000 من تدريبه). في هذه اللحظة، يقرر كيفية التعامل مع أنواع محددة من القواعد النحوية.
- المشكلة: بالنسبة لثلث قواعد النحو تقريباً، يخطئ الذكاء الاصطناعي في تحديدها منذ البداية. إنه يبني "أساساً خاطئاً" لهذه القواعد المحددة. وبمجرد وضع هذا الأساس، يستمر الذكاء الاصطناعي في تعزيز هذا الخطأ طوال فترة تدريبه. إنه "يعلق" في خطأ ما.
2. "فخ الثنائيات" (المحلي مقابل العالمي)
لماذا يعلق الذكاء الاصطناعي؟ يقترح المؤلفون نظرية تسمى "فرضية الثنائيات" (Bigram Hypothesis).
تخيل أن الذكتا الاصطناعي سائح في مدينة أجنبية.
- عادة "الثنائيات" (Bigram): في البداية، ينتبه السائح فقط إلى الكلمتين المتجاورتين مباشرة. يفكر: "أوه، كلمة 'go' عادة ما يتبعها 'to'، لذا فإن 'go to' يجب أن تكون عبارة جيدة".
- الفخ: أحياناً، تبدو الكلمتان المتجاورتان رائعتين، لكن الجملة بأكملها تكون بلا معنى.
- مثال: ".Patrick is about to talk to" (هذا يبدو سلساً محلياً لأن "about" و "to" غالباً ما تأتيان معاً).
- الواقع: الجملة في الحقيقة مكسورة. النسخة الصحيحة هي ".Patrick is irritating to talk to" (باتريك مزعج في التحدث إليه).
- الخطأ: لأن "about" كلمة شائعة جداً وتظهر كثيراً قبل "to"، فإن "الخريطة المحلية" للذكاء الاصطناعي (الثنائية) تخبره أن الجملة المكسورة هي في الواقع الجملة الجيدة. ولأن الذكاء الاصطناعي يتعلم هذا مبكراً، فإنه يبني عادة اختيار الجملة "السلسة محلياً" ولكن "الخاطئة عالمياً". الأمر يشبه طالباً يحفظ أن قول "I seen" يبدو أفضل من "I saw" لأنه يسمعها كثيراً في الكلام العامي، ولا يتعلم أبداً تصحيحها.
3. نوعا المتعلمين
قام الباحثون بتصنيف اختبارات القواعد الـ 67 المختلفة إلى ثلاث مجموعات بناءً على كيفية تعلم الذكاء الاصطناعي لها:
- مجموعة "الصواب المبكر" (المتعلمون السريعون): في حوالي نصف الاختبارات، فهم الذكاء الاصطناعي القاعدة فوراً. رأى النمط، وبنى الأساس الصحيح، ولم ينظر إلى الوراء. كانت هذه عادة قواعد بسيطة حيث تتطابق الكلمات المحلية مع القاعدة العالمية (مثل: "The cat" مقابل "The cats").
- مجموعة "العالق مبكراً" (المتعلمون المضللون): في حوالي ثلث الاختبارات، وقع الذكاء الاصطنال في "الفخ المحلي" (الثنائية) وقرر أن هذا هو القاعدة. بنى أساساً خاطئاً واستمر في ارتكاب نفس الخطأ، حتى بعد رؤية آلاف الأمثلة. ويشمل هذا قواعد معقدة مثل "قيود الجزر" (Island Constraints) (القواعد المتعلقة بمكان تحريك الكلمات حول بعضها في الجملة).
- مجموعة "المزهرون المتأخرون" (المتعلمون البطيئون): مجموعة صغيرة من الاختبارات حيث كان الذكاء الاصطناعي مرتبكاً في البداية، لكنه فهم الأمر في النهاية لاحقاً أثناء التدريب.
4. لماذا يهم هذا؟
تجادل الورقة البحثية بأنه لا ينبغي لنا فقط الاستمرار في تدريب هذه الأنظمة لفترات أطول وأطول، على أمل أن "تفهمها" في النهاية. إذا علقوا في قاعدة خاطئة في أول 15% من تدريبهم، فقد لا يتعلمونها أبداً، بغض النظر عن كمية البيانات التي تغذيهم بها.
الحل؟
يقترح المؤلفون أننا بحاجة إلى تغيير كيفية تعليمهم خلال تلك النافذة المبكرة الحرجة. بدلاً من مجرد تركهم يتعلمون من البيانات الخام (حيث تنتشر فخاخ الثنائيات في كل مكان)، قد نحتاج إلى التدخل مبكراً لتوجيههم بعيداً عن تلك الفخاخ المحلية ونحو القواعد العالمية الأعمق للغة.
الخلاصة
نماذج اللغة الضخمة ليست "غبية" عندما تفشل؛ بل هي متعلمة كفؤة تعرضت للخداع مبكراً. لقد تعلمت طريقاً مختصراً (النظر إلى كلمتين فقط فقط) نجح في الأشياء البسيطة ولكنه أدى بها إلى الضلال في الأشياء المعقدة. لجعلها أكثر ذكاءً، نحتاج إلى الإمساك بها قبل أن تبني تلك الاختصارات الخاطئة، وليس بعد أن تنتهي من الدورة التدريبية بأكملها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.