🤖 machine learning

Improving MLLM Training Efficiency via Stage-Aware Sparsity

تقترح الورقة البحثية مخطط التدريب المتناثر (STS)، وهو إطار عمل مدرك للمراحل يعمل على تحسين كفاءة تدريب النماذج اللغوية الكبيرة متعددة الوسائط من خلال ضغط الرموز المرئية ديناميكيًا أثناء مرحلة المحاذاة وتخطي الطبقات الزائدة عن الحاجة أثناء ضبط التعليمات لمعالجة المصادر المتفاوتة للوفرة الحسابية.

المؤلفون الأصليون: Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري ولكنه جائع جداً (الذكاء الاصطناعي) كيف يفهم الصور والكلمات معاً. هذا الطالب هو "نموذج لغوي كبير متعدد الوسائط" (MLLM). المشكلة هي أن تعليم هذا الطالب مكلف وبطيء للغاية لأن الطالب يحاول النظر إلى كل بكسل في الصورة وقراءة كل طبقة من كتابهم المدرسي، حتى عندما تكون معظم هذه المعلومات مجرد ضجيج أو تكرار.

تقترح الورقة البحثية طريقة تدريب جديدة تسمى STS (مخطط التدريب المتناثر). فكر في STS ليس كخدعة واحدة، بل كـ استراتيجية تدريب ذكية مكونة من مرحلتين تغير نهجها بناءً على ما يتعلمه الطالب حالياً.

إليك كيف يعمل الأمر، مقسماً إلى تشبيهات بسيطة:

المشكلة الجوهرية: "الكثير من الضجيج"

عند تدريب هذه النماذج من الذكاء الاصطناائي، هناك أمران يضيعان الكثير من الوقت:

التكرار البصري: قد تحتوي الصورة على 10,000 بكسل، لكن 8,000 منها هي مجرد سماء زرقاء أو خلفية فارغة. يستهلك الذكاء الاصطناعي طاقة في معالجة السماء الفارغة دون جدوى.
تكرار الطبقات: لدى الذكاء الاصطناعي العديد من "طبقات التفكير" (مثل فصول الكتاب). في بداية التدريب، لا يحتاج الذكاء الاصطناعي لقراءة كل فصل لتعلم الأساسيات.

تجادل الورقة بأن هذه الأجزاء "المضيعة للوقت" ليست هي نفسها في كل مرحلة من مراحل التعلم. فما يهدر الوقت في البداية يختلف عما يهدر الوقت في النهاية.

الحل: خطة تدريب من مرحلتين

صمم المؤلفون نظاماً يغير التكتيكات بناءً على مرحلة التدريب، تماماً مثل المدرب الذي يغير التمارين الرياضية اعتماداً على ما إذا كان الرياضي في مرحلة الإحماء أو في مرحلة المنافسة.

المرحلة الأولى: "فلتر الصور" (محاذاة الوسائط)

الموقف: في الب başية، يتعلم الذكاء الاصطناعي كيفية ربط الصور بالكلمات. جزء "اللغة" في الذكاء الاصطناعي يكون مجمداً (فهو لا يتعلم كلمات جديدة بعد)، لكنه يغرق في تفاصيل الصور الكثيرة.
التشبيه: تخيل أنك تعرض على طالب فيلماً بدقة 4K لتشرح له قصة. الطالب يشعر بالارتباك بسبب العدد الهائل من الإطارات.
الحل (ضاغط الرموز البصرية): بدلاً من عرض الفيلم كاملاً، يستخدم المدرب (STS) فلترًا ذكياً. يقوم بمسح سريع للصورة ويقول: "مهلاً، هذا الجزء مجرد سماء زرقاء، تخطاه. هذا الجزء وجه إنسان، احتفظ به".

هو يتخلص من الأجزاء المملة والمتكررة من الصورة قبل أن ينظر إليها الذكاء الاصطناعي حتى.
هذا يوفر كمية هائلة من الطاقة في البداية.

المرحلة الثانية: "القارئ الماهر" (ضبط التعليمات)

الموقف: الآن أصبح الذكاء الاصطناعي يعرف كيف يرى الصور، وحان الوقت ليتعلم كيفية اتباع التعليمات المعقدة والدردشة. جزء "اللغة" في الذكاء الاصطناعي أصبح الآن نشطاً ويتعلم.
التشبيه: تخيل أن الطالب يقرأ كتاباً مدرسياً سميكاً. في البداية، يحتاجون لقراءة كل كلمة لفهم الأساسيات. ولكن مع مرور الوقت وتطور ذكائهم، يبدأون في إدراك: "أنا أعرف بالفعل الفصل الأول والثاني؛ يمكنني فقط القراءة السريعة لهما والتركيز على الأشياء الجديدة والصعبة في الفصل العاشر".
الحل (متخطّي الطبقات الديناميكي): يخبر المدرب الذكاء الاصطناعي: "لهذا الدرس المحدد، لست بحاجة لاستخدام كامل طاقتك الذهنية. يمكنك تخطي الطبقات الأولى من التفكير والقفز مباشرة إلى الطبقات الأعمق".

مع استمرار التدريب وازدياد ذكاء الذكاء الاصطناعي، يجعلهم المدرب يقرؤون المزيد من الطبقات مرة أخرى تدريجياً.
هذا يمنع الذكاء الاصطناعي من القيام بتمارين ذهنية غير ضرورية على أشياء يفهمها بالفعل.

النتيجة: أسرع، أكثر رشاقة، ولا يزال ذكياً

اختبرت الورقة البحثية هذا "التدريب من مرحلتين" على عدة نماذج مختلفة للذكاء الاصطناعي. وهذا ما وجدوه:

توفير هائل: استخدم الذكاء الاصطناعي قدرة حوسبة أقل (FLOPs) بنسبة 17% تقريباً للتدريب. هذا يشبه إنهاء ماراثون في وقت أقل بنسبة 17%.
لا يوجد انخفاض كبير في الذكاء: رغم تخطي الكثير من العمل، لا يزال الذكاء الاصطناعي يحصل على 97% إلى 99% من درجات الاختبار التي كان سيحصل عليها لو قام بكل العمل.
نهج متوازن: وجدت الورقة أنه إذا استخدمت "فلتر الصور" فقط أو "القارئ الماهر" فقط، فلن تكون النتائج جيدة بنفس القدر. أنت بحاجة إلى عمل كلا الاستراتيجيتين معاً في الأوقات المناسبة للحصول على أفضل توازن بين السرعة والذكاء.

باخت-الاختصار

تقول الورقة البحثية: "لا تعامل عملية تدريب الذكاء الاصطناعي كأنها مسيرة واحدة طويلة ومملة. عاملها كرحلة ذات تضاريس مختلفة. عندما ينظر الذكاء الاصطناعي إلى الصور، ساعده على تجاهل ضجيج الخلفية. وعندما يتعلم الذكاء الاصطناعي التحدث، اسمح له بتخطي الفصول التي يعرفها بالفعل. ومن خلال القيام بذلك، يمكننا تدريب نماذج ذكاء اصطناعي فائقة الذكاء بشكل أسرع بكثير دون أن يفقدوا عقولهم".

ملخص تقني: تحسين كفاءة تدريب نماذج اللغات الكبيرة متعددة الوسائط عبر التناثر الواعي بالمرحلة

بيان المشكلة

أظهرت نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) قدرات كبيرة، لكنها تعاني من عمليات تدريب غير فعالة. ينبع عدم الكفاءة هذا من مصدرين أساسيين للزيادة (Redundancy):

الزيادة في البيانات: تُدخل المدخلات متعددة الوسائط مئات الرموز البصرية (Visual Tokens) لكل عينة، والعديد منها يساهم بشكل هامشي في التنبؤات النهائية.
الزيادة في المعلمات (Parameters): تحتوي بنيات المحولات (Transformer) العميقة على عشرات الطبقات، ومع ذلك ليست كل الطبقات بالضرورة بالغة الأهمية طوال عملية التدريب بأكمله.

تعالج الطرق الحالية للكفاءة هذه القضايا بشكل مستقل (مثل ضغط الرموز أو تخطي الطبقات) وتتعامل مع الزيادة كخاصية ثابتة. ومع ذلك، يجادل البحث بأن أنماط الزيادة هي معتمدة على المرحلة (Stage-dependent). فخلال مرحلة محاذاة الوسائط (Modality Alignment)، غالبًا ما يكون نموذج اللغة (LLM) مجمدًا، وتكون نقطة الاختناق هي معالجة تسلسلات الرموز البصرية الضخمة. وعلى العكس من ذلك، خلال مرحلة ضبط التعليمات (Instruction Tuning)، يتم تحديث معلمات نموذج اللغة بنشاط، وتنتقل نقطة الاختناق إلى العبء الحسابي لطبقات المحول العميقة. إن التعامل مع الزيادة كخاصية ثابتة يؤدي إلى مقايضات غير مثالية بين الكفاءة والأداء.

المنهجية: مخطط التدريب المتناثر (STS)

يقترح المؤلفون مخطط التدريب المتناثر (STS)، وهو إطار عمل موحد يكيف استراتيجيات التناثر لتناسب الاختناقات الحسابية المحددة لمراحل التدريب المختلفة. يتكون STS من مكونين متكاملين:

1. ضاغط الرموز البصرية (VTC) – المرحلة الأولى: محاذاة الوسائط

يُطبق خلال مرحلة محاذاة الوسائط حيث يكون نموذج اللغة (LLM) مجمدًا ويتم تحديث جهاز الإسقاط (Projector) فقط.

الوظيفة: تقليل طول الرموز البصرية ( $T_v$ ) قبل دخولها إلى نموذج اللغة لتخفيف الزيادة في البيانات.
الآلية: تقوم دالة اختيار $C$ برسم خريطة من $T_v \in \mathbb{R}^{b \times n \times d}$ إلى تسلسل مضغوط $T_v' \in \mathbb{R}^{b \times n' \times d}$ (حيث $n' < n$ ).
استراتيجيات الاختيار:
- العينات المنتظمة (Uniform Sampling): اختيار بخطوة ثابتة للحفاظ على الهياكل الدلالية العالمية.
- العينات العشوائية (Random Sampling): تُدخل العشوائية لتحسين المتانة.
- الموجهة بالتعليمات (Instruction-Guided): تستخدم تشابه جيب التمام (Cosine Similarity) بين الرموز البصرية والنصية لاستبعاد المعلومات البصرية غير ذات الصلة.
التنفيذ: يتبنى البحث العينات المنتظمة كاستراتيجية افتراضية، حيث وجد أنها توفر التوازن الأفضل في الأداء عبر المهام مقارنة بعدم استقرار العينات العشوائية أو التحيز في الاختيار الموجه بالتعليمات.

2. متخطي الطبقات الديناميكي (LDS) – المرحلة الثانية: ضبط التعليمات

يُطبق خلال مرحلة ضبط التعليمات حيث يتم تحديث معلمات نموذج اللغة (LLM).

الوظيفة: تخطي طبقات فك التشفير (Decoder Layers) غير الضرورية ديناميكيًا لتقليل تحديثات المعلمات والعبء الحسابي.
الآلية: بالنسبة للطبقة $l$ عند خطوة التدريب $e$ ، يتم تحديث الحالة المخفية كـ $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$ ، حيث $z_l$ هو متغير بيرنولي يتم التحكم فيه بواسطة احتمال التخطي $p_l(e)$ .
صياغة الاحتمال: يجمع احتمال التخطي بين عاملين:
- التلاشي القائم على الخطوات (Step-based Decay): يعتمد على اتجاه التقارب من "الخشن إلى الناعم". في بداية التدريب، تكون التدرجات خشنة، مما يسمح بمعدلات تخطي أعلى. يتلاشى الاحتمال تربيعيًا مع تقدم التدريب: $\alpha (\frac{E-e}{E})^2$ .
- التعديل القائم على العمق (Depth-based Adjustment): إدراكًا لأن الطبقات الضحلة تستخرج الميزات بفعالية أكبر من الطبقات العميقة، يتم تعديل الاحتمال بواسطة عمق الطبقة $l$ : $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$ .
الإعداد الافتراضي: وجد المؤلفون أن $\alpha=0.5$ و $\epsilon=0.5$ يوفران أفضل توازن بين الكفاءة وأداء المهمة.

المساهمات الرئيسية

تحليل الزيادة المعتمدة على المرحلة: يكشف العمل أن الزيادة في تدريب MLLM ليست ثابتة؛ فالزيادة في البيانات تهيمن على محاذاة الوسائط، بينما تهيمن الزيادة في المعلمات على ضبط التعليمات.
إطار عمل موحد (STS): يقترح إطار تدريب متناثر واعي بالمرحلة يعمل على نمذجة أنماط الزيادة المتطورة صراحةً، مطبقًا التناثر على مستوى الرموز أثناء المحاذاة والتناثر على مستوى الطبقة أثناء الضبط.
التحقق التجريبي: يثبت من خلال تجارب مكثفة أن STS يقلل التكاليف الحسابية بشكل كبير مع الحفاظ على دقة عالية عبر مختلف بنيات MLLM.

النتائج التجريبية

قيم المؤلفون STS على خمسة نماذج MLLM (متغيرات LLaVA, Mipha, Phi-2, MoE-LLaVA) عبر معايسات تشمل GQA, VQAv2, SQA, POPE, و MME.

الكفاءة: حقق STS متوسط تقليل في العمليات الحسابية (FLOPs) بنسبة تزيد عن 15%. وتحديدًا، انخفضت نسبة العمليات الحسابية النظرية بالنسبة للنموذج الأساسي إلى حوالي 82.2%.
الأداء: حافظت الطريقة على 96.9% إلى 99.7% من دقة النموذج الأساسي في المتوسط.
- أظهرت مقاييس المتانة (POPE) والتقييمات الشاملة (MME) تدهورًا طفيفًا للغاية.
- أظهرت المهام الموجهة نحو الإدراك (GQA, VQAv2) انخفاضات أكثر وضوحًا قليلاً (حوالي 2-3 نقاط)، ومع ذلك، في بعض الحالات (مثل SQA على LLaVA)، تفوق STS على النموذج الأساسي، مما يشير إلى تأثيرات تنظيم ضمنية محتملة.
دراسات الاستئصال (Ablation Studies):
- VTC: أثبتت العينات المنتظمة أنها أكثر متانة من العينات العشوائية أو الموجهة بالتعليمات.
- LDS: أدت القيم المتطرفة للمعلمات الفائقة $\alpha$ (معدل التخطي) و $\epsilon$ (تباين العمق) إلى انحياز النموذج نحو قدرات محددة. حقق الإعداد المتوازن ( $\alpha=0.5, \epsilon=0.5$ ) أفضل مقايضة.
- الإطار المشترك: استخدام VTC و LDS معًا وفر مقايضة أفضل بين الكفاءة والأداء مقارنة باستخدام أي من المكونين بشكل منفصل.

الأهمية والادعاءات

يزعم البحث أن STS يقدم حلاً عمليًا وقابلاً للتوسع لتحسين كفاءة MLLM. من خلال نقل التركيز من تقليل الزيادة الثابتة إلى نهج واعي بالمرحلة، يعالج إطار العمل الاختناقات المحددة لمراحل التدريب المختلفة دون الحاجة إلى تغييرات معمارية معقدة. ويؤكد المؤلفون أن STS قابل للتطبيق على نطاق واسع في بنيات MLLM المتنوعة ويحقق تدريبًا أسرع مع حد أدنى من فقدان الأداء، مما يجعله استراتيجية قابلة للتطبيق لتقليل الحواجز الحسابية في تدريب النماذج متعددة الوسائط واسعة النطاق.