🤖 AI

Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models

تقدم هذه الورقة ML-FOP-SOAP، وهو إطار تحسين من الدرجة الثانية يتميز بتصحيح التباين متعدد المستويات والإسقاط الفيشري-المتعامد لحل مشكلة تنافس الأنماط في النماذج متعددة الوسائط ذاتية الانحدار، مما يتيح تدريبًا مستقرًا للدفعات الكبيرة ويحسن بشكل كبير كلاً من كفاءة العينات وسرعة وقت التنفيذ مقارنة بـ AdamW.

المؤلفون الأصليون: Yishun Lu, Wes Armour

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yishun Lu, Wes Armour

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب واحد ليكون رساماً عالمياً وشاعراً بارعاً في آن واحد. أنت تريد من هذا الطالب أن ينظر إلى صورة ويكتب قصة عنها، أو يقرأ قصة ويرسم المشهد. هذا هو ما تفعله نماذج الذكاء الاصطناعي "متعددة الوسائط" (multimodal) الحديثة: فهي تحاول فهم الصور والنصوص في وقت واحد.

ومع ذلك، حددت الورقة البحثية التي أعدها "لو وآرمور" (Lu and Armour) مشكلة رئيسية: الطالب يشعر بالارتباك لأن المادتين تتحدثان لغات مختلفة.

المشكلة: الطالب "الصاخب" مقابل الطالب "الهادئ"

في عملية تدريب الذكاء الاصطناعي، يكون جزء "الرسم" (الصور) مثل طالب صاخب وفوضوي جداً يصرخ بإجابات ضخمة وغير منظمة. أما جزء "الشعر" (النص) فهو مثل طالب هادئ ودقيق يعطي إجابات صغيرة ومحددة للغاية.

عندما يحاول المعلم (خوارزمية الكمبيوتر) حساب متوسط إجاباتهما لتحديد ما يجب تعلمه لاحقاً، فإن الطالب الصاخب يغطي على صوت الطالب الهادئ. ينتهي الأمر بالذكاء الاصطناعي بأنه يصبح جيداً جداً في توليد صور فوضوية، لكنه ينسى كيف يفهم النصوص بشكل صحيح. وهذا ما يسمى بـ "منافسة الوسائط" (Modality Competition).

الطريقة القديمة: المعلم السيئ

تستخدم معظم نماذج الذكاء الاصطناعي طريقة تعليم قياسية تسمى AdamW. ويشبه المؤلفون ذلك بمعلم يستمع فقط إلى حجم صوت الطلاب.

لأن طالب الصور صاخب جداً، يفكر المعلم: "حسناً، سنركز بالكامل على الرسم!"
وهكذا يتم تجاهل طالب النصوص الهادئ، ويفشل الذكاء الاصطناعي في تعلم التوازن الذي يحتاجه.

الحل الجديد: معلم أكثر ذكاءً

يقترح المؤلفون إطار عمل تعليمي جديد وأكثر ذكاءً يسمى ML-FOP-SOAP. وهم يقسمونه إلى ثلاث حيل ذكية:

1. نظارات "الرتبة الثانية" (SOAP)

أولاً، ينتقلون إلى نوع أفضل من النظارات يسمى SOAP.

التشبيه: بدلاً من مجرد الاستماع إلى مستوى الصوت، ينظر هذا المعلم إلى شكل واتجاه الإجابات.
النتيجة: يدرك المعلم أن طالب الصور الصاخب يصرخ في اتجاه فوضوي، بينما يشير طالب النصوص الهادئ إلى اتجاه قيم جداً. يتوقف المعلم عن الانخداع بحجم الصوت ويبدأ في احترام الاتجاه. يساعد هذا الذكاء الاصطناعي على تعلم كلتا المهارتين بشكل أفضل من ذي قبل.

2. سماعات "إلغاء الضجيج" (FOP)

حتى مع النظارات الأفضل، لا يزال المعلم يعاني لأن ضجيج طالب الصور قوي جداً لدرجة أنه قد يدفع أفكار طالب النصوص بعيداً عن المسار.

التشبيه: يضيف المؤلفون إسقاط فيشر المتعامد (Fisher-Orthogonal Projection - FOP). فكر في هذا كنوع من سماعات إلغاء الضجيج الخاصة.
كيف يعمل: إنه يستمع إلى الفرق بين الطالبين. إذا كان طالب الصور يصرخ بشيء يتعارض مع طالب النصوص، يستخدم المعلم السماعات لـ إلغاء ذلك التعارض المحدد دون إسكات الطالب تماماً.
النتيجة: يمكن للذكاء الاصطناعي الآن تعلم الرسم وكتابة الشعر دون أن يفسد أحدهما الآخر. إنه يحقق "تحسيناً باريتو" (Pareto improvement)، مما يعني أنه يصبح أفضل في كلا المهمتين في وقت واحد، بدلاً من المقايضة بينهما.

3. الزووم "التلسكوبي" (ML-FOP)

يتطلب تدريب هذه النماذج النظر في كميات هائلة من البيانات في وقت واحد (مثل 8,192 مثالاً في المرة الواحدة). إذا حاول المعلم تحليل كل تفصيل صغير في هذه المجموعة الضخمة من البيانات، فسيشعر بالإرهاق ويصبح بطيئاً.

التشبيه: يستخدم المؤلفون استراتيجية "الطي الهرمي متعدد المستويات" (Multi-Level Hierarchical Folding). تخيل أنك تنظر إلى غابة؛ بدلاً من عد كل ورقة شجر (وهو أمر يستغرق وقتاً طويلاً)، تنظر أولاً إلى الغابة بأكملها، ثم تقرب النظر (Zoom in) لتنظر إلى بعض الأشجار، ثم تقرب النظر لتنظر إلى بعض الأغصان.
كيف يعمل: تلتقط هذه الطريقة الاختلافات "الخشنة" بين الطلاب بسرعة، ثم تقرب النظر لالتقاط التفاصيل "الدقيقة" فقط عند الضرورة.
النتيجة: يمكن للمعلم التعامل مع مجموعات ضخمة من البيانات دون أن يتعب أو يتباطأ.

النتائج

عندما اختبر المؤلفون هذه الطريقة الجديدة على نماذج ذكاء اصطناعي حقيقية (تسمى Janus و Emu3)، وجدوا ما يلي:

تعلم أسرع: تعلم الذكاء الاصطناعي نفس القدر من المواد بسرعة أكبر بمقدار 1.4 مرة (من حيث كمية البيانات المستخدمة) وأنهى التدريب بسرعة أكبر بمقدار 1.5 مرة في الوقت الفعلي مقارنة بالمعيار القديم.
توازن أفضل: لم يتحسن الذكاء الاصطناعي في شيء واحد فحسب؛ بل أصبح أفضل في فهم النصوص وتوليد الصور في آن واحد.
جاهز للبيانات الضخمة: لقد عملت الطريقة بشكل مثالي حتى عندما كان حجم الفصل الدراسي ضخماً (8,192 طالباً)، وهو الموقف الذي كانت تفشل فيه الطرق القديمة وتتوقف عن العمل عادةً.

باختًا: توضح الورقة البحثية أنه من خلال استخدام طريقة أذكى للاستماع إلى الأجزاء "الصاخبة" و"الهادئة" من الذكاء الاصطناعي، ومن خلال استخدام تقنية خاصة لإلغاء خلافاتهم، يمكننا تدريب نماذج ذكاء اصطناعي قوية، أسرع، وأكثر استقراراً، وأفضل في القيام بكل شيء في وقت واحد.

ملخص تقني: تصحيح التباين متعدد المستويات من الدرجة الثانية لمنافسة الأنماط في النماذج متعددة الوسائط

بيان المشكلة

أدى توحيد توليد الصور وفهم النصوص تحت نموذج واحد للتنبؤ بالرمز التالي بنظام التراجع الذاتي (Autoregressive) إلى ظهور تحدٍ حرج يُعرف باسم منافسة الأنماط (Modality Competition). هذا التقارب المعماري، رغم أنه يتيح نماذج تأسيسية متعددة الوسائط سلسة، إلا أنه يتسبب في عدم استقرار شديد أثناء التدريب المسبق. وتكمن المشكلة الجوهرية في التباين المتغاير للتدرجات (Gradient Heterogeneity): حيث تتضمن الأهداف البصرية عادةً أخطاء تنبؤ عالية الأبعاد ومنتشرة مكانياً ذات تباين عالٍ، بينما تتركز الأهداف النصية في فضاء دلالي مدمج ذي تباين أقل.

تحت تأثير المحسنات القياسية من الدرجة الأولى مثل AdamW، والتي تعتمد على تقديرات العزوم القطرية، يؤدي هذا التباين الهندسي إلى مسار تحسين غير مثالي. فالمحسن يفشل في نمذجة بنية التغاير المعقدة غير القطرية بين الوسائط. ونتيجة لذلك، تمارس الأنماط ذات التباين المتدرج الأكبر (البصرية عادةً) تأثيراً غير متناسب على تحديثات المعلمات، مما يؤدي إلى كبح الإشارات النصية الكثيفة دلالياً ولكنها أقل تبايناً. وينتج عن ذلك مقايضة حيث يؤدي تحسين التوليد البصري غالباً إلى تدهور الفهم النصي، والعكس صحيح. علاوة على على ذلك، فإن توسيع نطاق هذه النماذج إلى أحجام دفعات عالمية فائقة الضخامة (مثل 8192) يفاقم هذه المشكلات، حيث تفشل طرق تصحيح التباين القياسية التي تُطبق فقط عند حدود التراكم الخشنة في الحفاظ على الاختلافات الدقيقة للتدرجات.

المنهجية

يقترح المؤلفون إطار عمل ML-FOP-SOAP، وهو إطار تحسين من الدرجة الثانية مصمم لتثبيت المحاذاة متعددة الوسائط من خلال تصحيح التباين متعدد المستويات. تعتمد المنهجية على ثلاث ركائز:

1. التمهيد من الدرجة الثانية باستخدام SOAP

لمعالجة قيود طرق الدرجة الأولى، يستفيد البحث من محسن SOAP. بخلاف Shampoo، الذي يستخدم عزوم الدرجة الثانية غير المركزية المعرضة للقيم المتطرفة البصرية في المراحل المبكرة، يقوم SOAP بإسقاط التدرجات في قاعدة متجهة ذات قيم ذاتية مائلة وتطبيق تطبيع متكيف لكل إحداثي. يوفر هذا بديلاً فعالاً من حيث الذاكرة وقوياً للدرجة الطبيعية ( $P(g) \approx F^{-1}g$ )، مما يلتقط الانحناء المحلي دون التكلفة الباهظة للذاكن المرتبطة بعكس مصفوفة معلومات فيشر (FIM) الكاملة.

2. الإسقاط المتعامد مع فيشر (FOP)

بينما يوفر SOAP أساساً مستقراً، فإنه لا يحل تماماً مسألة المقايضة بين الوسائط. لذا قدم المؤلفون الإسقاط المتعامد مع فيشر (FOP) لتحييد الصراعات بين الوسائط بشكل نشط.

الآلية: بدلاً من تطبيق التمهيد فقط على متوسط تدرج الدفعة، يعمل FOP على فروق التدرجات ( $g_{diff}$ ) بين الدفعات الصغيرة (micro-batches) ضمن نافذة التراكم.
الإسقاط: يقوم ببناء تقريب متري أمامي خفيف الوزن $M(v) \approx Fv$ باستخدام الحالات الداخلية لممهد الموتر. يتم إسقاط متجه الفرق عمودياً على اتجاه الهبوط المتوسط ( $g_{avg}$ ) في الفضاء الريماني المحدد بواسطة مترية فيشر.
النتيجة: يعزل هذا الإجراء التباين الصرف بين الوسائط ( $g_{diff}^\perp$ ) دون التدخل في مسار التحسين الأساسي. يجمع اتجاه التحديث النهائي بين متوسط التدرج وهذا المتبقي الواعي بالتباين، مما يؤدي فعلياً إلى توسيع فضاء البحث بما يتجاوز الفضاء الفرعي أحادي البعد لمتوسط الدفعة.

3. الطي الهرمي متعدد المستويات (ML-FOP)

لجعل FOP قابلاً للتطبيق تحت تراكم تدرجات ضخم (مطلوب لأحجام دفعات مثل 8192)، يقترح المؤلفون آلية الطي الهرمي متعدد المستويات المستوحاة من نموذج مونت كارلو متعدد المستويات (MLMC).

الاستراتيجية: بدلاً من تطبيق الإسقاطات عند كل خطوة صغيرة (مما يسبب عبئاً زمنياً كبيراً) أو فقط عند حدود النافذة (مما يؤدي لفقدان المعلومات الدقيقة)، تقوم الطريقة بتقسيم نافذة التراكم إلى تسلسل هرمي ثنائي.
التنفيذ: يقوم بدمج لقطات تراكمية خفيفة الحساب بشكل تكراري لإعادة بناء المتوسطات على مستوى القطاعات. تتم معالجة هذه الملخصات متعددة المقاييس صعوداً باستخدام عامل FOP. تلتقط هذه الطريقة التباين الدقيق بين الوسائط عبر التسلسل الهرمي للتراكم مع تقليل التكلفة الحسابية.

المساهمات الرئيسية

التحسين من الدرجة الثانية لمنافسة الأنماط: يوضح البحث بشكل منهجي أنه بينما تعاني طرق الدرجة الأولى (AdamW) وطرق الدرجة الثانية غير المركزية القياسية (Shampoo) من القيم المتطرفة البصرية الشديدة، فإن محسن SOAP يضع أساساً قوياً للمحاذاة متعددة الوسائط.
التحكم في التباين عبر FOP: تقديم آلية الإسقاط المتعامد مع فيشر الواعية هندسياً والتي تسقط فروق التدرجات عمودياً على مسار الهبوط الأساسي. هذا يلغي المقايضة التقليدية بين الفهم النصي والتوليد البصري، محققاً تحسينات "باريتو" صارمة.
كفاءة ML-FOP: استراتيجية طي هرمي مبتكرة تتيح تصحيح التباين تحت تراكم تدرجات ضخم دون تكلفة حسابية باهظة، مما يحافظ على التباين متعدد المقاييس داخل الخطوة الواحدة.
اختبار حجم الدفعة الفائق: التحقق من إطار العمل على بنيات موحدة (Janus و Emu3) بمقياس حجم دفعة عالمي قدره 8192، وهو نظام تعاني فيه المحسنات الحالية من تدهور كارثي.

النتائج التجريبية

أُجريت التجارب على نماذج Janus-400M و Emu3-600M المدربة على مجموعات بيانات LLaVA-3M و LLaVA-12M المدمجة.

كفاءة العينات: مقارنة بـ AdamW، يحسن إطار ML-FOP-SOAP كفاءة العينات بنسبة تصل إلى 1.4 ضعف. على سبيل المثال، في Janus-400M، يصل إلى عتبات التقارب عند ~3.1 مليار رمز مقارنة بـ 4.5 مليار رمز لـ AdamW.
وقت التنفيذ (Wall-Clock Time): يسرع المنهج عملية التدريب من البداية للنهاية بنسبة تصل إلى 1.5 ضعف (على سبيل المثال، تقليل وقت التدريب من 8.3 ساعة إلى 5.5 ساعة لـ Janus-400M).
توازن الأنماط: تُظهر منحنيات الخسارة المنفصلة لمهام (الصورة-إلى-النص I2T) و (النص-إلى-الصورة T2I) أنه بينما يحسن SOAP القياسي توليد T2I، فإنه غالباً ما يستقر عند حد معين في I2T. نجح ML-FOP-SOAP في دفع كلا الخسارتين للأسفل في آن واحد، محققاً تحسينات "باريتو" صارمة.
القابلية للتوسع: عند حجم دفعة عالمي قدره 8192، يعاني AdamW و SOAP القياسي من استقرار مبكر. وحده ML-FOP-SOAP يحافظ على مسار هبوط مستمر، مما يظهر استقراراً قوياً في أنظمة الدفعات الضخمة.

الأهمية والادعاءات

يزعم البحث تقديم محسن قوي لتوسيع النماذج التأسيسية متعددة الوسائط. تكمن أهميته في نقل حل مشكلة منافسة الأنماط من التعديلات المعمارية (مثل المشفرات المنفصلة) إلى البنية التحتية للتحسين نفسها.

يؤكد المؤلفون أنه من خلال دمج التمهيد من الدرجة الثانية مع تصحيح التباين الواعي بـ "فيشر"، يمكننا:

تثبيت تدريب النماذج الموحدة ذات التراجع الذاتي ضد عدم التطابق الهندسي المتأصل بين التدرجات البصرية والنصية.
حل المقايضة بين الوسائط، مما يسمح بالتحسين المتزامن في مهام التوليد والفهم.
تمكين التدريب بأحجام دفعات غير مسبوقة (8192) دون التدهور الكارثي الذي تشهده المحسنات القياسية، مما يحسن استغلال الأجهزة على مجموعات وحدات معالجة الرسومات الحديثة.

يشير العمل إلى أنه بالنسبة للتدريب المسبق المستقبلي واسع النطاق متعدد الوسائط، فإن اختيار المحسن لا يقل أهمية عن بنية النموذج، حيث توفر الطرق الواعية بالتباين ومن الدرجة الثانية مساراً ضرورياً للنمو المستقر والفعال.