Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining
تقدم هذه الورقة طريقة غير مرتبطة بمهمة محددة لقياس تأثير بيانات التدريب من خلال تحديد مقدار مساهمة الأمثلة الفردية في تقليل المسافة إلى معاملات النموذج النهائية، مما يكشف أن البيانات المتعلقة بالأدب تقود مرحلة ما قبل التدريب المبكرة بينما تصبح بيانات العلوم والتكنولوجيا والهندسة والرياضيات أكثر تأثيراً في المراحل اللاحقة عبر مختلف تكوينات النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث كالبشر. أنت لا تعطيه كتاباً واحداً فحسب؛ بل تضخ الإنترنت بأكمله في دماغه. تُسمى هذه العملية "التدريب المسبق"، وهي الأساس لنماذج الذكاء الاصطناعي التي نستخدمها اليوم. لكن الجزء الصعب هو: بمجرد انتهاء الروبوت من التعلم، لا أحد يعرف حقاً أي الجمل أو القصص المحددة كانت الأكثر أهمية. هل تعلم أن يكون جيداً في الرياضيات بسبب مقال معين من ويكيبيديا؟ هل تعلم كتابة الشعر بسبب رواية معينة؟
لقد حاول العلماء الإجابة على ذلك عبر التساؤل: "إذا حذفت هذه الجملة الواحدة، هل سيتراجع الروبوت في اختبار محدد، مثل حل المسائل الرياضية أو كتابة قصيدة؟". هذا يشبه محاولة معرفة أي مكون جعل الكعكة لذيذة عبر تذوق الكعكة بعد أن أكلتها بالفعل. المشكلة هي أن نماذج الذكاء الاصطناعي من المفترض أن تكون جيدة في "كل شيء"، وليس في اختبار واحد فقط. فإذا اختبرت مدى براعتهم في الرياضيات فقط، قد تفوتك حقيقة أنهم تعلموا كيف يكونون مرحين من جزء آخر من البيانات. لذا، السؤال الكبير هو: هل يمكننا رؤية كيف يتغير دماغ الروبوت بمرور الوقت دون إجباره على خوض اختبار محدد؟
تقدم هذه الورقة البحثية طريقة جديدة وذكية لمراقبة تعلم الروبوت، دون الحاجة إلى اختبار محدد. بدلاً من سؤال: "هل ساعدت هذه الجملة الروبوت في اجتياز اختبار الرياضيات؟"، سأل الباحثون: "هل ساعدت هذه الجملة الروبوت في الاقتراب من دماغه النهائي والمكتمل؟". لقد عاملوا حالة الروبوت النهائية كوجهة على الخريطة. وفي كل مرة يقرأ فيها الروبوت جملة جديدة، كان يخطو خطوة صغيرة. وقد قاس الباحثون ما إذا كانت هذه الخطوة تقرب الروبوت من خط النهاية أم أنها جعلته يتراجع خطوة إلى الوراء بالخطأ.
لقً طبقوا هذه الطريقة على 18 نسخة مختلفة من عائلة نماذج ذكاء اصطناعي شهيرة، وراقبوا تعلمهم من خلال 154 نقطة تفتيش مختلفة (مثل لقطات لدماغ الروبوت في أوقات مختلفة). وما وجدوه كان قصة رائعة حول كيف يتغير "نظام غذاء" الروبوت بينما يكبر.
في البداية، عندما كان الروبوت في بداية تعلمه، كانت الجمل الأكثر نفعاً مأخوذة من الأدب والقصص. كانت هذه هي "المساهمات الكبرى" التي دفعت الروبوت نحو شكله النهائي. وكأن الروبوت كان بحاجة لفهم القصص والمشاعر البشرية أولاً. ومع ذلك، مع استمرار التدريب في المراحل المتوسطة والمتأخرة، تغيرت القصة. فالجمل التي أصبحت أكثر أهمية لم تعد قصصاً؛ بل كانت من مجالات العلوم والتكنولوجيا والهندسة والرياضيات (STEM).
رأى الباحثون "تقاطعاً" واضحاً. في البداية، كانت الكتب والأدب هم نجوم العرض. ولاحقاً، سيطرت البيانات التقنية حول العلوم والحواسيب على الأضواء. وهذا يشير إلى أن الروبوت لا يتعلم الأشياء "الصعبة" في النهاية فحسب؛ بل يحتاج فعلياً إلى تسلسل محدد للتعلم. يبدو أنه يحتاج إلى أساس من اللغة البشرية والقصص أولاً، وفقط بعد ذلك يستفيد حقاً من البيانات التقنية المعقدة للوصας إلى كامل إمكاناته.
كما تحقق المؤلفون مما إذا كانت طريقتهم موثوقة. وقارنوا قياس "المسافة إلى النهاية" الخاص بهم مع طريقة "درجة الاختبار" القديمة، ووجدوا أن الطريقة القديمة تعطي إجابات مختلفة تماماً اعتماداً على الاختبار الذي تختاره. فإذا اختبرت الرياضيات، ستعتقد أن بيانات الرياضيات كانت مهمة طوال الوقت. وإذا اختبرت القصص، ستعتقد أن القصص كانت مهمة طوال الوقت. أما طريقتهم الجديدة، فقد أظهرت نمطاً ثابتاً عبر جميع النماذج المختلفة التي اختبروها، مما يشير إلى أن هذا التحول من القصص إلى العلوم هو جزء حقيقي وأساسي من كيفية تعلم نماذج الذكاء الاصطناعي هذه، وليس مجرد مصادفة ناتجة عن طريقة اختبارهم.
لذا، فإن الخلاصة الرئيسية هي أن تدريب الذكاء الاصطناعي ليس مجرد تغذيته بمزيج عشوائي من البيانات. إنه أشبه بـ "منهج دراسي". تشير الورقة إلى أن البيانات "الأفضل" تتغير بناءً على مدى تقدم الذكاء الاصطناعي في تدريبه. في البداية، يحتاج إلى القصص؛ ولاحقاً، يحتاج إلى العلوم. وهذا يمنحنا طريقة جديدة للتفكير في كيفية بناء ذكاء اصطناعي أفضل: رب maybe يجب أن نغذيهم بالقصص أولاً، ونوفر الرياضيات المعقدة لوقت يكونون فيه مستعدين لها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.