💬 NLP

Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time

تقدم الورقة البحثية OP-Mix، وهو خوارزمية موحدة وفعالة لخلط البيانات تستخدم استيفاء المهايئ منخفض الرتبة لمحاكاة الخلطات المرشحة عبر دورة حياة تدريب النموذج اللغوي بأكملها، محققةً أداءً يقارب المستوى الأمثل مع تقليل الحوسبة بشكل كبير مقارنة بالطرق الحالية الخاصة بكل مرحلة.

المؤلفون الأصليون: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إعداد الحساء المثالي. لديك في مخزنك مجموعة متنوعة من المكونات: بعضها حار، وبعضها حلو، وبعضها ترابي، وبعضها حامض. الهدف هو معرفة مقدار كل مكون بدقة لخلطه معاً لصنع أفضل حساء ممكن.

في عالم الذكاء الاصطناعي (وتحديداً النماذج اللغوية الكبيرة)، هذه "المكونات" هي أنواع مختلفة من البيانات (مثل المسائل الرياضية، أو منشورات ريديت، أو المقالات الطبية). و"الحساء" هو نموذج الذكاء الاصطناعي نفسه. وتسمى عملية تحديد كمية كل نوع من البيانات لاستخدامها بـ خلط البيانات (Data Mixing).

المشكلة: الطريقة القديمة بطيئة وجامدة

تقليدياً، كان تحديد الخليط المناسب يشبه محاولة طهي مليون نسخة مختلفة من الحساء في مطبخ تجريبي صغير قبل الالتزام بالقدر الكبير.

مشكلة النموذج البديل (The Proxy Problem): كان الباحثون يدربون نماذج اختبار صغيرة ورخيصة (نماذج بديلة) على خلطات مختلفة لتخمين أي منها سيعطي أفضل نتيجة للنموذج الضخم والمكلف. لكن هذه النماذج الصغيرة كانت تتصرف بشكل مختلف عن النموذج الكبير، مما يؤدي إلى تخمينات سيئة.
مشكلة "المرة الواحدة" (The "One-Time" Problem): معظم الطرق كانت تعمل فقط في المرحلة الأولى من التدريب (التدريب المسبق). وبمجرد أن ينتهي النموذج من تعلم الأساسيات ويحتاج لتعلم مهارات جديدة (مثل الإجابة على الأسئلة)، فإن وصفات الخلط القديمة لا تعمل. إذا وصلت بيانات جديدة (مثل سجلات طبية جديدة)، لم يكن بإمكانك إضافةها إلى الخليط بسهًا دون البدء من جديد أو نسيان ما تعلمته بالفعل.

الحل: OP-MIX (الخليط القائم على السياسة - On-Policy Mix)

يقدم المؤلفون OP-MIX، وهي طريقة جديدة تعمل بمثابة "متذوق ذكي" يعمل طوال حياة الذكاء الاصطناعي، من يومه الأول في التعلم وحتى مرحلة الصقل النهائي.

إليك كيف يعمل OP-MIX باستخدام تشبيه إبداعي:

1. "متذوقو LoRA" (الطهاة الصغار)

بدلاً من بناء مطبخ تجريبي كامل (نموذج بديل منفصل) لكل مكون جديد، يستخدم OP-MIX ما يسمى بـ LoRA (التكيف منخفض الرتبة).

التشبيه: تخيل أن لديك طاهياً ماهراً (نموذج الذكاء الاصطناعي الرئيسي). عندما تريد اختبار مكون جديد (مجموعة بيانات جديدة)، فأنت لا توظف مطعماً كاملاً جديداً. بدلاً من ذلك، تعطي الطاهي الماهر مئزراً صغيراً وخفيف الوزن (محول LoRA) يعلمه فقط كيفية التعامل مع هذا المكون الجديد تحديداً.
الفائدة: هذه المآزر رخيصة وسريعة الصنع للغاية. وهي تظل "قائمة على السياسة" (on-policy)، مما يعني أنها مرتبطة مباشرة بأسلوب الطاهي الماهر الحالي، لذا فهي تعطي توقعاً أكثر دقة لكيف سيكون طعم الحساء النهائي.

2. خدعة "الخلط" (الاستكمال - Interpolation)

بمجرد أن يحصل الطاهي على هذه المآزر الصغيرة للمكونات المختلفة، لا يحتاج OP-MIX إلى طهي الحساء فعلياً ليرى ما سيحدث.

التشبيه: تخيل أن لديك خلاطاً سحرياً. يمكنك أخذ "ملف النكهة" للمئزر الخاص بـ "الرياضيات" وملف النكهة للمئزر الخاص بـ "التاريخ" وخلطهما رياضياً بنسب مختلفة (مثلاً 30% رياضيات، 70% تاريخ).
السحر: نظرًا لظاهرة تسمى الاتصال النمطي الخطي (Linear Mode Connectivity) (وهي طريقة فنية تعني أن هذه النماذج تمتزج بسلاسة دون أن تنكسر)، يمكن للذكاء الاصطناعي التنبؤ بأداء خليط بنسبة 50/50 بمجرد دمج المئزرين رياضياً. إنه يشبه التنبؤ بطعم كوكتيل جديد عبر خلط ملفات النكهة للمشروبين رياضياً، دون الحاجة لصب المشروب فعلياً.

3. المطبخ "المستمر" (التعلم الدائم)

الاختراق الأكبر هو أن OP-MIX يعمل طوال الوقت.

الطريقة القديمة: إذا وصل مكون جديد (مثل نوع جديد من بيانات البرمجة)، كانت الطرق القديمة تقول: "لا يمكننا خلط هذا؛ وصفتنا محددة"، أو "نحتاج إلى بدء مطبخ تجريبي كامل جديد".
طريقة OP-MIX: عندما تصل بيانات جديدة، تقوم فقط بصنع مئزر جديد لها. ثم تستخدم الخلاط السحري لمعرفة كيفية خلط هذا المئزر الجديد مع جميع المآزر القديمة التي تملكها بالفعل. أنت لا ترمي المعرفة القديمة أبداً؛ بل تقوم فقط بتعديل النسب.

لماذا هذا مهم (النتائج)

تزعم الورقة البحثية أن OP-MIX يغير قواعد اللعبة لثلاثة أسباب:

إنه شامل (Universal): يعمل في التدريب الأولي (Pretraining)، والمرحلة المتوسطة (Midtraining)، والضبط الدقيق للتعليمات (Instruction Tuning). لا تحتاج إلى أدوات مختلفة لمراحل مختلفة؛ أداة واحدة تفعل كل شيء.
إنه فعال: يستخدم 95% أقل من قوة الحوسبة مقارنة ببعض الطرق الموجودة للتعلم المستمر. فبدلاً من إعادة تدريب النموذج بالكامل أو تشغيل مطابخ تجريبية مكلفة، فإنه يقوم فقط بخلط المآزر خفيفة الوزن.
يمنع "النسيان": في عالم الذكاء الاصطناعي، غالباً ما يؤدي تعلم أشياء جديدة إلى جعل النموذج ينسى الأشياء القديمة (النسيان الكارثي). OP-MIX ممتاز في الحفاظ على النكهات القديمة في الحساء مع إضافة نكهات جديدة، حيث يؤدي أداءً يقارب أداء إعادة تدريب النموذج بالكامل من الصفر ولكن بجزء ضئيل جداً من التكلفة.

الخلاصة

يغير OP-MIX نظرتنا لتدريب الذكاء الاصطناعي من سلسلة من المراحل المنفصلة (ابدأ، توقف، أعد التشغيل) إلى عملية واحدة مستمرة. إنه يتعامل مع خلط البيانات ليس كقرار يتم اتخاذه لمرة واحدة، بل كمحادثة مستمرة بين النموذج والبيانات، باستخدام اختصارات ذكية وخفيفة الوزن لإيجال الوصفة المثالية في كل مرة يُضاف فيها مكون جديد إلى المخزن.

ملخص تقني: OP-MIX (الخلط في السياسة المتبعة - On-Policy Mix)

1. بيان المشكلة

يعد خلط البيانات — وهي عملية تحديد توزيع الاحتمالات الأمثل عبر نطاقات البيانات المختلفة أثناء تدريب النماذج اللغوية (LM) — عاملاً حاسماً في جودة النموذج. ومع ذلك، تواجه طرق خلط البيانات الحالية قيوداً كبيرة في سياق دورة حياة النموذج اللغوي الكاملة:

افتراضات النطاقات الثابتة: تفترض معظم الطرق وجود مجموعة ثابتة من نطاقات البيانات، مما يؤدي إلى الفشل في معالحة واقع التعلم المستمر حيث تصل مجموعات بيانات جديدة (مثل مجموعات بيانات ضبط التعليمات) بشكل ديناميكي.
الاعتماد على نماذج وسيطة خارج السياسة (Off-Policy Proxies): غالباً ما تقوم النهج الحالية بتدريب نماذج "وسيطة" أصغر ومنفصلة على خلطات مرشحة لاستقراء الأداء. وهذا أمر مكلف حوسبياً، ويتوسع بشكل سيء مع زيادة عدد النطاقات، ويعاني من انزياح التوزيع لأن ديناميكيات تعلم النموذج الوسيط تختلف عن النموذج المستهدف، خاصة في مراحل التدريب اللاحقة (التدريب المتوسط، وضبط التعليمات).
تجزئة دورة الحياة: لا يوجد خوارزمية موحدة تعمل بفعالية عبر مراحل ما قبل التدريب، والتدريب المتوسط المستمر، وضبط التعليمات المستمر.

تفترض الورقة أن خلط البيانات هو في الأساس مشكلة اتخاذ قرار عبر الإنترنت (Online Decision-Making) تتطلب حلاً موحداً واحداً قادراً على التكيف مع البيانات المتطورة دون الاعتماد على نماذج وسيطة منفصلة.

2. المنهجية: OP-MIX

يقترح المؤلفون OP-MIX (الخلط في السياسة المتبعة)، وهو خوارزمية لتقدير نسب خلط البيانات المثلى من خلال الاستفال من رؤيتين جوهريتين لتجنب الانفجار التوافقي لعمليات التدريب والتباعد في النماذج الوسيطة خارج السياسة.

الآليات الجوهرية

النماذج الوسيطة في السياسة المتبعة عبر LoRA: بدلاً من تدريب نماذج صغيرة منفصلة، يقوم OP-MIX بتدريب محول (Adapter) من نوع التكيف منخفض الرتبة (LoRA) لكل نطاق بيانات مباشرة من النموذج الأساسي الحالي. يضمن هذا بقاء النموذج الوسيط "في السياسة المتبعة" (On-Policy)، مما يعكس ديناميكيات التعلم وحالة المعلمات الفعلية للنموذج الذي يتم تدريبه.
الاستيفاء الخطي لمحاكاة الخلط: لمحاكاة خلطات البيانات المختلفة دون إعادة التدريب، يقوم OP-MIX بالاستيفاء الخطي لأوزان محولات LoRA المدربة. وبالاستناد إلى النتائج الحديثة المتعلقة بالاتصال النمطي الخطي (Linear Mode Connectivity)، تفترض الطريقة أن سطح الخسارة لخلط النماذج الكاملة يمكن تقريبه عبر استيفاء محولات LoRA. يسمح هذا للخوارزمية بتقييم الخلطات المرشحة عبر عمليات تمرير أمامي (Forward Passes) رخيصة بدلاً من عمليات تدريب كاملة.

سير عمل الخوارزمية

في خطوة تعلم مستمر حيث تصل $K$ من النطاقات الجديدة:

تدريب المحول (Adapter Training): تدريب محول LoRA واحد لكل نطاق جديد ( $D_{m+k}$ ) ومحول "قديم" واحد ( $D_{old}$ ) يمثل خليط جميع النطاقات السابقة، وجميعها يتم تهيئتها من النموذج الأساسي الحالي $\theta_{base}$ .
الاستيفاء والتقييم: أخذ عينات من نقاط الاستيفاء $\alpha$ في $K$ -simplex. تكوين محولات مدمجة عبر الجمع الخطي لأوزان LoRA: $\theta_{\alpha} = \alpha_{old}\theta_{old} + \sum \alpha_{k}\theta_{D_{m+k}}$ . تقييم خسارة كل نطاق لهذه المحولات المدمجة.
الانحدار والتحسين: ملاءمة نموذج انحدار لوغاريتمي-خطي للخسائر التي تم تقييمها لتقدير سطح خسارة سلس عبر مسار الاستيفاء. حل مشكلة تحسين منتظمة لإيجاد أوزان الخلط المثلى $\alpha^*$ التي تقلل من الخسارة المقدرة (بالإضافة إلى حد تنظيم التباعد في KL تجاه توزيع سابق).
التدريب النهائي: تطبيق أوزان الخلط المثلى المحسوبة على النموذج الأساسي لعملية التدريب الكاملة.

3. المساهمات الرئيسية

تدعي الورقة ثلاث مساهمات رئيسية:

أول خوارزمية عالمية لخلط البيانات: OP-MIX هي أول طريقة قادرة على توسيع خلطات البيانات لنطاقات جديدة مع تجنب النماذج الوسيطة المنفصلة في آن واحد. وهذا يتيح الخلط المستمر مع تطور البيانات، مما يلغي الحاجة إلى خوارزيات خاصة بكل مرحلة.
الأداء الأفضل (SOTA) عبر دورة الحياة: تحقق نسخة واحدة من OP-MIX أداءً هو الأفضل في فئته في مراحل ما قبل التدريب، والتدريب المتوسط المستمر، وضبط التعليمات المستمر، مما يثبت أن المراحل المتميزة لا تتطلب استراتيجيات خلط متميزة.
الكفاءة في التعلم المستمر: في مرحلة ضبط التعليمات المستمرة، يضاهي OP-MIX أداء تقنية التقطير الذاتي في السياسة المتبعة (On-policy self-distillation) (وهي تقنية تعلم مستمر متطورة) مع استخدام 95% أقل من الحوسبة. كما يظهر أيضاً أن خلط البيانات وأهداف التدريب (مثل التقطير الذاتي) هما محوران متعامدان للتحسين يمكن الجمع بينهما لتحقيق مكاسب أكبر.

4. النتائج التجريبية

قيم المؤلفون OP-MIX عبر ثلاث مراحل باستخدام نماذج تتراوح أحجامها من 150 مليون إلى 7 مليارات معلمة.

ما قبل التدريب (Pretraining): يحسن OP-MIX متوسط الإرباك (Perplexity) بنسبة 6.3% مقارنة بالتدريب بدون خلط (تقليل المخاطر التجريبية - ERM). وهو يضاهي أداء أفضل خط أساس (MergeMix) مع استخدام 14% أقل من الحوسبة ويتفوق على OLMix بنسبة 5-6% عبر جميع المقاييس.
التدريب المتوسط المستمر (Continual Midtraining): يضاهي OP-MIX تقريباً أداء إعادة التدريب الكامل (خط الأساس "Skyline") مع استخدام ما يصل إلى 66% أقل من الحوسبة. كما أنه يخفف بشكل كبير من النسيان الكارثي مقارنة بضبط التعليمات القياسي وخطوط الأساس القائمة على إعادة تشغيل البيانات الثابتة.
ضبط التعليمات المستمر (Continual Instruction Tuning): عند تطبيقه على Qwen2.5-7B-Instruct، يحقق OP-MIX أداءً مماثلاً لتقنية التقطير الذاتي لضبط التعليمات (SDFT) مع 95% أقل من الحوسبة. ويؤدي الجمع بين OP-MIX وSDFT إلى أفضل النتائج الإجمالية (61.9% دقة)، مما يؤكد تأثيرهما التآزري.
حد الكفاءة: عبر جميع الإعدادات، يتفوق OP-MIX على خطوط الأساس الموجودة (Pareto-dominates)، محققاً أداءً أفضل أو مساوياً بتكاليف حوسبية (FLOPs) أقل تماماً.

5. الأهمية والادعاءات

تجادل الورقة بأن التقسيم التقليدي لتدريب النماذج اللغوية إلى مراحل متميزة (ما قبل التدريب، التدريب المتوسط، الضبط الدقيق) هو تقسيم اصطناعي. يقترح OP-MIX رؤية موحدة حيث يكون التدريب عبارة عن عملية مستمرة واحدة للتعلم من البيانات.

من خلال استغلال LoRA والاتصال النمطي الخطي، يحول OP-MIX خلط البيانات التكيفي من بحث غير مكلف حوسبياً يتم خارج نطاق الإنترنت إلى عملية خفيفة الوزن وقابلة للتكرار يمكن تنفيذها كلما وصلت بيانات جديدة. ويخلص المؤلفون إلى أن هذا النهج يتغلب على العائقين الرئيسيين للعمل السابق: عدم القدرة على دمج مجموعات بيانات جديدة والاعتماد على نماذج وسيطة خارج السياسة تتباعد عن ديناميكيات النموذج المستهدف.

ملاحظة: تقر الورقة بوجود قيود، وتحديداً أن التجارب توقفت عند 530 مليون معلمة في ما قبل التدريب/التدريب المتوسط و7 مليارات في ضبط التعليمات، مما يترك سلوك الطريقة عند المقاييس الضخمة (70B+) غير مؤكد. كما تشير إلى أن سلوك الطريقة مع عدد كبير جداً من النطاقات (10-100) لم يتم توصيفه بعد.