Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?
تُثبت هذه الورقة أن ضعف الكفاءة اللغوية الشكلية للنماذج اللغوية الكبيرة في ظواهر محددة غالباً ما يكون ناتجاً عن ندرة البيانات بدلاً من القيود الهيكلية، حيث يؤدي حقن كمية ضئيلة من البيانات الاصطناعية المستهدفة في النماذج الصغيرة إلى تحسين أدائها بشكل ملحوظ في معظم المهام النحوية الصعبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت صغير، ذكي جداً، كيف يتحدث الإنجليزية ببراعة. أعطيته مكتبة تحتوي على تريليونات الكتب (الإنترنت) وقلت له: "اقرأ كل شيء وتعلم كيف تتوقع الكلمة التالية".
بعد قراءة كل تلك الكتب، أصبح الروبوت فصيحاً للغاية. يمكنه كتابة الشعر، وإلقاء النكات، وإجراء محادثات تبدو تماماً كبشر. ومع ذلك، إذا سألته سؤالاً نحوياً محدداً وصعباً، فقد يفشل فشلاً ذريعاً—وأحياناً يخطئ أكثر مما لو كان يخمن عشوائياً.
هذه الورقة البحثية تطرح سؤالاً بسيطاً: هل يفشل الروبوت لأن دماغه (بنيته) معطل، أم أنه يفشل لمجرد أنه لم يقرأ ما يكفي من الأمثلة المحددة لتلك القاعدة الصعبة؟
اللغز: نظرية "الصفحة المفقودة"
نظر الباحثون في روبوت قياسي (نموذج ذكاء اصطناعي صغير يسمى GPT-2) ووجدوا أنه كان سيئاً للغاية في 9 ألغاز نحوية محددة. وحتى بعد إطعامه المزيد والمزيد من الكتب، استمر في الفشل في هذه الألغاز نفسها.
تساءلوا: هل عقل الروبوت غير قادر على فهم هذه القواعد؟ أم أن المكتبة صدف وأنها تفتقر إلى الصفحات التي تشرحها؟
لاختبار ذلك، قرروا لعب لعبة "التدريس المستهدف".
التجربة: "حقنة السحر" بنسبة 1%
بدلاً من إعطاء الروبوت مليون كتاب إضافي عشوائي، قاموا بشيء دقيق للغاية:
- الإعداد: أخذوا مجموعة بيانات تدريب قياسية (100 مليون كلمة).
- الحقن: قاموا بإزالة 1% فقط من تلك البيانات واستبدالها بـ نصوص اصطناعية (قصص من صنع الكمبيوتر) مصممة خصيصاً لتتضمن قواعد النحو التسعة الصعبة التي كان الروبوت يفشل فيها.
- اللمسة المبتكرة: تأكدوا من أن هذه القصص الجديدة تبدو وتسمع مثل الكتابة البشرية الحقيقية (مقالات إخبارية، قصص، رسائل بريد إلكتروني)، حتى لا يرتبك الروبوت. لقد حرصوا فقط على أن تظهر "القواعد الصعبة" في هذه القصص الجديدة بشكل أكثر تكراراً مما يحدث في الحياة الطبيعية.
فكر في الأمر هكذا: إذا كان طالب يفشل في الرياضيات لأنه لم يرَ سوى 5 أمثلة فقط على "القسمة المطولة" في كتابه المدرسي، فأنت لست بحاجة لإعطائه مليون كتاب مدرسي جديد. أنت تحتاج فقط لإعطائه ورقة عمل واحدة تحتوي على 50 مسألة قسمة مطولة إضافية.
النتائج: لحظة "الاستنارة"
كانت النتائج مفاجئة ومثيرة:
- السحر يعمل: بالنسبة لـ 8 من أصل 9 ألغاز نحوية صعبة، ارتفع أداء الروبوت بشكل صاروخي. أحد الألغاز المحددة، حيث كان الروبوت يحصل على 20% فقط (وهو أسوأ من رمي العملة المعدنية)، قفز إلى ما يقرب من 70% صحيحة بعد رؤية ذلك القدر الضئيل من البيانات الإضافية.
- لم يحدث ضرر: لم ينسَ الروبوت كيف يفعل الأشياء الأخرى. ظلت مهاراته اللغوية العامة كما هي أو حتى تحسنت قليلاً. لم "يرتبك" بسبب الممارسة الإضافية.
- الحالة العنيدة الوحيدة: كانت هناك قاعدة نحوية واحدة (تسمى principle_A_c_command) ظل الروبوت يفشل فيها، حتى مع المساعدة الإضافية. وهذا يشير إلى أنه بالنسبة لبعض القواعد المعقدة جداً، قد يحتاج الروبوت إلى نوع مختلف من الأدمغة أو حتى المزيد من البيانات بخلاف مجرد دفعة الـ 1%.
الخلاصة الكبرى: الأمر يتعلق بـ "قائمة الطعام"، وليس بـ "الطاهي"
تخلص الورقة إلى أن المشكلة ليست في "دماغ" الروبوت (البنية). فالروبوت قادر على تعلم هذه القواعد. المشكلة كانت أن "قائمة الطعام" (بيانات التدريب) لم تكن تحتوي على ما يكفي من تلك الأطباق المحددة.
التشبيه:
تخيل طاهياً بارعاً في طهي شريحة اللحم ولكنه سيء في صنع السوشي.
- التفكير القديم: "يداه معطلتان. لا يمكنهما أبداً تعلم صنع السوشي."
- ما وجدته هذه الورقة: "الطاهي لم يُعطَ قط قطعة من السمك النيء أو لفافة من ورق الأعشاب البحرية ليتدرب عليها! أعطه القليل من مكونات السوشي، وسوف يتقنها فوراً."
لماذا هذا مهم؟
هذا خبر جيد لمستقبل الذكاء الاصطناعي. فهو يشير إلى أننا لسنا بحاجة بالضرورة لبناء روبوتات ضخمة ذات تريليونات المعلمات تقرأ الإنترنت بأكمله لجعلها تفهم اللغة البشرية تماماً.
بدلاً من ذلك، يجب أن نركز على تنظيم بيانات أفضل. إذا أردنا للذكاء الاصطناعي أن يفهم القواعد النحوية المعقدة، أو المنطق، أو العلوم، فيجب أن نتأكد من أن بيانات التدريب هي نظام غذائي متوازن وعالي الجودة يتضمن أمثلة كافية لتلك المفاهيم المحددة، بدلاً من مجرد إلقاء المزيد والمزيد من البيانات العشوائية عليه.
باختصار: الروبوت ليس غبياً؛ هو فقط احتاج إلى كتاب مدرسي أفضل. وأحياناً، تكون صفحة واحدة مستهدفة في ذلك الكتاب المدرسي هي كل ما يتطلبه الأمر لإصلاح المشكلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.