daVinci-LLM:Towards the Science of Pretraining
تستفيد ورقة دا فينشي-إل إل إم (daVinci-LLM) من مزيج فريد بين الموارد ذات النطاق الصناعي والحرية البحثية الكاملة لإرساء علم منهجي ومفتوح بالكامل للتدريب المسبق، مقدمةً إطار "الداروينية البيانية" (Data Darwinism)، ومثبتةً من خلال دراسات استقصائية مكثفة أن عمق المعالجة، واستراتيجيات النطاق التكيفية، والتوازن التركيبي، هي محددات حاسمة لقدرة النموذج إلى جانب حجم البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث daVinci-LLM، مترجمة إلى لغة بسيطة مع تشبيهات إبداعية.
المشكلة الكبرى: "الصندوق الأسود" للذكاء الاصطنا�طناعي
تخيل عالم الذكاء الاصطناعي وكأنه مسابقة طبخ ضخمة.
- الطهاة الكبار (الشركات التجارية): يمتلكون مطابخ هائلة، ومكونات غير محدودة، وأفضل الأفران. لكنهم يحتفظون بوصفاتهم السرية داخل خزنة مغلقة. هم يقدمون لك الطبق النهائي فقط (نموذج الذكاء الاصطناعي) ولا يخبرونك كيف صنعوه، أو ما هي المكونات التي استخدموها، أو لماذا مذاقه هكذا.
- طهاة المنازل (الباحثون الأكاديميون): لديهم الحرية في التجربة وتدوين كل خطوة من خطوات الطبخ. لكنهم لا يملكون سوى موقد صغير وبعض البيض. لا يمكنهم إعداد مأدبة كبيرة بما يكفي لمنافسة الطهاة الكبار.
النتيجة: لدينا ذكاء اصطناعي لذيذ المذاق، لكننا لا نفهم كيف نجعله أفضل. نحن عالقون في مرحلة التخمين.
الحل: تجربة "المطبخ المفتوح"
قرر فريق daVinci-LLM (تعاون بين SII وSJTU وGAIR) بناء مطبخ يمتلك كلاً من المعدات الصناعية الضخمة للطهاة الكبار والحرية الكاملة لطهاة المنازل.
لم يكتفوا بإصدار كعكة جاهزة؛ بل أصدروا كتاب الطبخ بالكامل، وقائمة التسوق، والأطباق المتسخة، وحتى التجارب الفاشلة حيث احترقت الكعكة. كان هدفهم تحويل تدريب الذكاء الاصطناعي من "فن غامض" إلى علم حقيقي.
السر الخفي: "داروينية البيانات"
يعتقد معظم الناس أن جعل الذكاء الاصطناعي أكثر ذكاءً يعني فقط تغذيته بمزيد من الكتب. يقول فريق daVinci: "لا، الأمر يتعلق بجودة الطعام، وليس فقط بالكمية."
لقد أنشأوا نظاماً يسمى "داروينية البيانات" (Data Darwinism)، وهو يشبه مرشحاً (فلتر) مكوناً من 10 مستويات لمكوناتهم (البيانات). فكر في الأمر كتحضير وجبة:
- L0-L2 (جولة التسوق والفرز): يقومون بجمع البيانات الخام من الإنترنت (مثل شراء الخضروات الخام). يغسلون الأوساخ ويرمون الأشياء التالفة (تصفية النصوص الرديئة).
- L3 (اختبار المذاق): يستخدمون روبوتاً ذكياً لتذوق الطعام وتحديد ما إذا كان صالحاً للأكل حقاً، بدلاً من مجرد النظر إلى الملصق التعريفي.
- L4 (تنقية الطاهي): هذه هي الخطوة السحرية. بدلاً من تقديم الخضروات الخام فقط، يقوم الطاهي (ذكاء اصطناعي قوي) بتقطيعها، وإزالة القشرة الصلبة، وترتيبها بشكل جميل على الطبق. يأخذون الأوراق العلمية الفوضوية وصعبة القراءة ويعيدون كتابتها لتكون واضحة ومنطقية، دون تغيير الحقائق.
- L5 (درس الطاهي الرئيسي): هذا هو المستوى الأعلى. لا يقوم الذكاء الاصطناي بتنظيف الطعام فحسب؛ بل يصنع دروساً جديدة. يأخذ مسألة رياضية معقدة ويكتب شرحاً تعليمياً خطوة بخطوة حول كيفية حلها، لملء الفجوات التي قد يتخطاها البشر.
الاكتشاف: وجدوا أن استخدام خطوات "الطاهي الرئيسي" هذه (L4 وL5) جعل نموذجهم الصغير (3 مليار بارامتر) يؤدي بشكل يضاهي النماذج الأكبر بكثير (7 مليار بارامتر). الجودة هزمت الكمية.
خطة التدريب: رحلة من مرحلتين
تدريب الذكاء الاصطناعي يشبه تربية طفل. لا يمكنك تعليمه التفاضل والتكامل قبل أن يتعلم العد. استخدم الفريق منهجاً ذا مرحلتين:
المرحلة الأولى: "الروضة" (الأساس العام)
- الهدف: تعليم النموذج التحدث، والقراءة، وفهم العالم.
- الطريقة: قاموا بتغذيته بمزيج ضخم من النصوص العامة من الإنترنت، والبرمجة، والعلوم.
- التحول المفاجئ: لاحظوا أن النموذج تعلم "الحقائق العامة" بسرعة كبيرة (مثل طفل يتعلم الأبجدية)، لكنه استمر في التحسن في "الاستنتاج المنطقي" (مثل حل الألغاز) لفترة طويلة. لذا قاموا بتعديل النظام الغذائي في منتصف الطريق، عبر تغذيته بمحتوى يركز أكثر على المنطق (البرمجة والعلوم) وأقل على الدردشة العشوائية من الإنترنت.
المرحلة الثانية: "الجامعة" (تعزيز الاستنتاج)
- الهدف: تحويل الطفل الذكي إلى عبقري في حل المشكلات.
- الطريقة: توقفوا عن تغذيته بالقصص العشوائية وبدأوا بتغذيته بأزواج (سؤال وجواب - QA).
- التشبيه: تخيل أنك تدرس لاختبار ما.
- المرحلة الأولى كانت قراءة الكتاب المدرسي بالكامل.
- المرحلة الثانية هي حل الامتحانات التجريبية.
- بدأوا بمزيج من الامتحانات التجريبية والقراءة (30% سؤال وجواب)، ثم رفعوا النسبة إلى 70% من الامتحانات التجريبية.
- النتيجة: تعلم النموذج التفكير خطوة بخطوة. انتقل من كونه جيداً في الرياضيات إلى كونه بارعاً في الرياضيات، مع الحفاظ على معرفته العامة.
الاكتشافات الكبرى (ما تعلموه)
من خلال أكثر من 200 تجربة (تجربة وصفات مختلفة ورؤية ما يفشل منها)، توصلوا إلى ثلاث قواعد ذهبية:
- المعالجة العميقة > البيانات الضخمة: تنظيف وتكرير بياناتك (L4/L5) أقوى من مجرد صب المزيد من البيانات الخام على النموذج. إنه يشبه تناول طعام خارق عالي المغذيات مقابل تناول جبل من الطعام غير الصحي.
- التكيف أو الموت: المهارات المختلفة تنمو بسرعات مختلفة. إذا استمررت في تقديم نفس مزيج البيانات، سيتوقف النموذج عن التعلم. يجب عليك تغيير الوصفة مع زيادة ذكاء النموذج.
- التوازن هو المفتاح: إذا غذيت النموذج بمسائل الرياضيات فقط، فسوف ينسى كيفية كتابة الشعر. إذا غذيته بالقصص فقط، فلن يستطيع حل الرياضيات. يجب موازنة التدريب "المتخصص" مع التدريب "العام" لتجنب "النسيان الكارثي" (حيث يصبح الذك^ الاصطناعي ذكياً في شيء واحد ولكنه يصبح غبياً في كل شيء آخر).
النتيجة النهائية
النتيجة هي daVinci-LLM-3B.
- هو نموذج صغير (3 مليار بارامتر).
- هو مفتوح (يمكن للجميع رؤية كيف تم صنعه).
- أداؤه يضاهي النماذج الأكبر بكثير (مثل OLMo-3 الذي يمتلك 7 مليارات بارامتر) في الرياضيات، والبرمجة، والعلوم.
لماذا هذا مهم؟
هذه الورقة البحثية هي هدية للعالم أجمع. فمن خلال إظهار كيف فعلوا ذلك بالضبط، أثبتوا أنك لا تحتاج لأن تكون شركة بمليارات الدولارات لبناء ذكاء اصطناعي عالمي المستوى. أنت فقط بحاجة إلى علم جيد، وبيانات نظيفة، وحرية في التجربة.
لقد حولوا "الصندوق الأسود" لتدريب الذكاء الاصطناعي إلى نافذة واضحة وشفافة، مما يسمح لأي شخص بالتعلم، والتحسين، والبناء على عملهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.