💻 computer science

MergeMix: A Unified Augmentation Paradigm for Visual and Multi-Modal Understanding

يقترح MergeMix نموذج تعزيز موحداً يجسّر الفجوة بين الضبط الدقيق الخاضع للإشراف والتعلم المعزز من خلال الاستفيد من تقنية Mixup القائمة على الرموز (token-based Mixup) لتوليد صور متوافقة سياقياً وتحسين هوامش التفضيل، مما يعزز قابلية التوسع والكفاءة والتعميم للنماذج اللغوية الكبيرة متعددة الوسائط.

المؤلفون الأصليون: Xin Jin, Siyuan Li, Siyong Jian, Kai Yu, Huan Wang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xin Jin, Siyuan Li, Siyong Jian, Kai Yu, Huan Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث MergeMix، مترجم إلى لغة يومية بسيطة مع استخدام بعض التشبيهات الإبداعية.

الصورة الكبيرة: تعليم الذكاء الاصطناعي كيف "يرى" و"يفكر" بشكل أفضل

تخيل أنك تحاول تعليم طالب ذكي جداً ولكنه عنيد قليلاً (نموذج ذكاء اصطناعي) كيف يفهم العالم. لديك طريقتان رئيسيتان لتعليمه:

طريقة "الكتاب المدرسي" (الضبط الدقيق الخاضع للإشراف - SFT): تظهر له صورة وتخبره بالإجابة الصحيحة، فيقوم بحفظها. هذه الطريقة مستقرة، لكنها مملة، وقد يكتفي الطالب بحفظ الكتاب دون فهم المفهوم حقاً.
طريقة "اختبار التذوق" (التعلم المعزز - RL): تعرض عليه إجابتين، وتسأله أيهما أفضل، وتمنحه مكافأة إذا اختار الإجابة الصحيحة. هذه الطريقة رائعة لتعلم الفروق الدقيقة، لكنها مكلفة، بطيئة، وأحياناً يرتبك الذكاء الاصطناعي بسبب "المكافآت" ويبدأ في الغش.

المشكلة: تعاني نماذج الذكاء الاصطناعي الحالية في الموازنة بين هاتين الطريقتين. فهي إما تحتاج إلى الكثير من المساعدة البشرية (الكتاب المدرسي) أو تكون غير مستقرة ومكلفة للغاية (اختبار التذوق).

الحل: يقترح المؤلفون MergeMix. فكر في MergeMix كأنه خلاط مطبخ لبيانات تدريب الذكاء الاصطناعي. بدلاً من مجرد عرض صورة خام أو إجابة خام، يقوم MergeMix بأخذ صورتين مختلفتين، ويمزجهما معاً بطريقة ذكية، لينتج صورة "مختلطة" مع إجابة "مختلطة". هذا يجبر الذكاء الاصطناعي على تعلم جوهر الأشياء، وليس مجرد الخلفية.

كيف يعمل MergeMix: تشبيه "الخلاط الذكي"

1. المكونات: دمج الرموز (خدعة "التكتل")

عندما ينظر الذكاء الاصطناعي إلى صورة، فإنه يفككها إلى آلاف القطع الصغيرة التي تسمى "الرموز" (Tokens). عادةً ما تكون العديد من هذه القطع مكررة وغير ضرورية (مثل 50 قطعة من السماء الزرقاء).

الطريقة القديمة: إذا أردت خلط صورتين، قد تقطع مربعاً من إحداهما وتلصقه في الأخرى (مثل عملية فوتوشوب سيئة). هذا غالباً ما يفسد الصورة.
طريقة MergeMix: قبل الخلط، يستخدم MergeMix تقنية تسمى دمج الرموز (Token Merging). تخيل أن لديك كيساً من الكرات الزجاجية؛ بدلاً من النظر إلى كل كرة على حدة، تقوم بتجميع المتشابه منها (كل الكرات الحمراء تتكتل معاً، وكل الزرقاء تتكتل معاً).
- هذا ينتج نسخة "مكثفة" من الصورة تحتفظ بالتفاصيل المهمة وتتخلص من الضجيج.
- السحر: لأن الذكاء الاصطناعي قام بالفعل بتجميع الأشياء المتشابهة، فعندما يخلط صورتين، فإنه يخلط المفاهيم (مثل جزء "وجه الباندا") بدلاً من مجرد بكسلات عشوائية.

2. الوصفة: إنشاء "الخاسر" و"الرابح"

الآن، يحتاج الذكاء الاصطناعي لتعلم تفضيل الإجابات الجيدة على السيئة. ينشئ MergeMix سيناريو تدريب بشخصيتين:

الرابح (الصورة الأصلية): صورة نظيفة ومثالية لباندا. يعرف الذكاء الاصطناعي أن الإجابة هي "باندا".
الخاسر (الصورة المختلطة): صورة تم فيها دمج الباندا مع كلب (باستخدام طريقة التكتل الذكية). الصورة تبدو غريبة نوعاً ما—ربما للباندا أذنا كلب أو ذيل كلب.
- يُسأل الذكاء الاصطناعي: "ما هذا الحيوان؟"
- الدرس: يتعلم الذكاء الاصطناعي أن "الرابح" (الباندا النقي) هو إجابة أفضل وأوضح من "الخاسر" (الباندا-الكلب المختلط).

3. لوحة النتائج: "نسبة الخلط" كـ مكافأة

هذا هو الجزء الذكي. في كثير من أنظمة الذكاء الاصطناعي، تحتاج إلى إنسان لينظر إلى "الخاسر" ويقول: "هذا خطأ بنسبة 20%". وهذا يستغ-رق وقتاً طويلاً جداً.

يقوم MergeMix بذلك تلقائياً. فهو يستخدم نسبة الخلط (Mixing Ratio) (مقدار الكلب الذي تم دمجه في الباندا) كدرجة تقييم داخلية.

إذا كانت الصورة 90% باندا و10% كلب، يعرف الذكاء الاصطناعي أنها صحيحة في معظمها.
إذا كانت 50/50، يعرف الذكاء الاصطناعي أنه في حالة ارتباك شديد.
التشبيه: تخيل مفتاح تحكم (Dimmer) لدرجة "الخطأ". كلما زاد خلط الصور، أصبحت الإجابة الصحيحة "باهتة" أكثر. يتعلم الذكاء الاصطناعي ضبط ثقته بناءً على مفتاح التحكم هذا، دون الحاجة إلى إنسان لتقييم كل اختبار.

لماذا يعد هذا أمراً هاماً؟

1. الكفاءة (تشبيه "الوجبات السريعة" مقابل "الطعام الفاخر")

التعلم المعزز التقليدي يشبه الطعام الفاخر: يستغ-رق وقتاً طويلاً، ويكلف الكثير من المال، ويتطلب طباخاً (بشرياً) لتذوق كل طبق.
أما MergeMix فهو يشبه الوجبات السريعة: سريع، رخيص، ويمكنك صنع آلاف الوجبات "المختلطة" في الوقت الذي يستغرقه صنع وجبة فاخرة واحدة. تُظهر الورقة البحثية أنه يتدرب بشكل أسرع ويستهلك طاقة حوسبة أقل مع تحقيق نتائج أفضل.

2. القوة والمتانة (تشبيه "مقاومة الطقس")

إذا دربت الذكاء الاصطناعي فقط على صور قطط مثالية ومشمسة، فقد يفشل عندما يرى قطة تحت المطر أو قطة ترتدي قبعة.
لأن MergeMix ينشئ صوراً مختلطة غريبة (قطة بذيل كلب، أو سيارة بأوراق شجر)، فإنه يجبر الذكاء الاصطناعي على تعلم ماهية "القطة" حقاً، بغض النظر عن الخلفية أو التشوهات الغريبة. الأمر يشبه تدريب جندي في محاكاة تتضمن طيناً ومطراً وضباباً، حتى لا يصاب بالذعر عندما تصبح المعركة الحقيقية فوضوية.

3. سد الفجوة

إنه يأخذ استقرار طريقة "الكتاب المدرسي" (SFT) وقوة تعلم التفضيلات في طريقة "اختبار التذوق" (RL) ويمزجهما في عملية واحدة سلسة.

ملخص في جملة واحدة

MergeMix هو تقنية تدريب ذكية تخلط الصور معاً مثل "السموذي"، مستخدمةً "وصفة" الخلط لتعليم نماذج الذكاء الاصطناعي تلقائياً كيفية التمييز بين الإجابات الجيدة والسيئة، مما يجعلها أكثر ذكاءً، وسرعة، وموثوقية دون الحاجة إلى إنسان لتقييم كل اختبار.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MergeMix: نموذج تعزيز موحد للفهم البصري ومتعدد الوسائط".

1. بيان المشكلة

تتطلب النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) المواءمة مع التفضيلات البشرية والمهام المحددة، وهو ما يتم تحقيقه عادةً من خلال الضبط الدقيق الخاضع للإشراف (SFT) أو التعلم التعزيزي (RL).

محدودية الـ SFT: رغم استقراره، يعتمد SFT بشكل كبير على التوسيمات البشرية عالية الجودة، ويفتقر إلى النمذجة الصريحة للتفضيلات النسبية بين المخرجات، وغالبًا ما يعاني من ضعف في التعميم.
محدودية الـ RL (مثل RLHF): الطرق القائمة على التعلم التعزيزي أكثر وعيًا بالتفضيلات، لكنها تتطلب تكلفة حوسبة عالية، وتحتاج إلى تدريب نماذج مكافأة منفصلة (والتي قد تُدخل انحيازًا)، وتعاني من عدم استقرار التدريب.
الفجوة: تعتمد طرق تعزيز البيانات الحالية لبناء أزواج التفضيلات (مثل SeVa) غالبًا على عمليات تعزيز عشوائية (مثل القص العشوائي RandomCrop) أو اختيار النماذج السلبية الصعبة (hard-negative selection). تفتقر هذه النهج إلى التحكم في جودة العينات "الخاسرة" (غير المفضلة) وتفشل في إقامة رابط مباشر وقابل للتفسير بين شدة التعزيز وإشارة التفضيل.

يتساءل المؤلفون: هل من الضروري اقتراح تقنيات معقدة جديدة، أم يمكن إعادة زيارة وتكييف طرق تعلم الآلة الكلاسيكية (مثل Mixup) بفعالية لسيناريو النماذج متعددة الوسائط لسد الفجوة بين SFT وRL؟

2. المنهجية: MergeMix

MergeMix هو نموذج تدريب موحد يربط بين SFT وRL من خلال توليد أزواج تفضيل عبر تعزيز مبتكر يعتمد على دمج الرموز (Token Merge-based Mixup). يعمل النموذج في سيناريوهين: تصنيف الصور وفهم النماذج متعددة الوسائط (MLLM).

أ. الآلية الجوهرية: دمج الرموز لخلط الصور

على عكس طرق Mixup التقليدية التي تستخدم أقنعة ثابتة أو قصًا عشوائيًا، يستخدم MergeMix دمج الرموز (ToMe) لتوليد عينات مختلطة:

دمج الرموز (Token Merging): تتم معالجة الصورة المدخلة عبر محول رؤية (ViT) حيث تُستبدل طبقات الانتباه بـ ToMeAttention. يقوم هذا بدمج الرموز ذات الدلالات المتشابهة في تمثيلات مدمجة، مما يخلق تسلسل رموز مكثف ( $Z_K$ ) وخريطة مصدر ( $S$ ) تحافظ على العلاقات المكانية.
استعادة الانتباه (Attention Recovery): لإعادة بناء قناع كامل الدقة، تستخدم الطريقة استراتيجية المطابقة الناعمة ثنائية الأطراف (BSM). تقوم بتوسيع خريطة الانتباه المدمجة مرة أخرى إلى طول الرموز الأصلي مسترشدة بخريطة المصدر. هذا يتجنب فقدان المعلومات المرتبط بأخذ العينات من نوع Top-K الجشع.
توليد القناع (Mask Generation): يتم إنشاء قناع ثنائي ( $M$ ) بناءً على درجات الانتباه المستعادة من أعلى- $K$ . يحدد هذا القناع الأجزاء التي تأتي من الصورة "المصدر" والأجزاء التي تأتي من الصورة "الهدف".
إعادة قياس الملصقات (Label Re-scaling): الابتكار الرئيسي هو سياسة إعادة القياس (Re-scaling Policy). نسبة الخلط ( $\lambda$ ) ليست مجرد معلمة فائقة، بل يتم تعديلها ديناميكيًا بناءً على عدد الرموز المدمجة وقيم القناع. يتم نمذجتها باستخدام توزيع غاوسي لضمان أن الملصق المختلط ( $\hat{y}$ ) يعكس بدقة المحتوى المعلوماتي للصورة المختلطة ( $\hat{x}$ ).

ب. نموذج تدريب موحد للنماذج متعددة الوسائط (MLLMs)

يحول MergeMix عملية التعزيز إلى إطار عمل لتعلم التفضيلات:

بناء أزواج التفضيل:
- الفائز ( $y_+$ ): الصورة "النظيفة" الأصلية واستجابتها.
- الخاسر ( $y_-$ ): الصورة "المختلطة" (المعززة) واستجابتها.
دالة الخسارة (Loss Function): تجمع الطريقة بين هدفين:
1. خسارة SFT ( $L_{SFT}$ ): خسارة الإنتروبيا المتقاطعة القياسية على البيانات النظيفة للحفاظ على المواءمة.
2. خسارة Mixed SimPO ( $L^{Mix}_{SimPO}$ ): خسارة تحسين التفضيل القائمة على SimPO (تحسين التفضيل البسيط).
  - تشجع الخسارة النموذج على تخصيص احتمالية أعلى لـ "الفائز" مقارنة بـ "الخاسر".
  - هامش التفضيل الناعم (Soft Preference Margin): تُستخدم نسبة الخلط ( $\hat{\lambda}$ ) كـ هامش تفضيل ناعم ( $\gamma = 1 - \hat{\lambda}$ ).
  - المنطق: نسبة $\hat{\lambda}$ العالية (تشابه عالٍ بين المختلط والأصلي) تعني مهمة تمييز "أصعب"، لذا يتم تقليل الهامش. نسبة $\hat{\lambda}$ المنخفضة (عدم تشابه عالٍ) تعني مهمة "أسهل"، لذا يتم زيادة الهامش لفرض تمييز تفضيل أوضح.

3. المساهمات الرئيسية

التعزيز القائم على دمج الرموز: قدم طريقة تعزيز بيانات مبتكرة تستخدم ToMe لتوليد صور مختلطة ذات مناطق عنقودية. هذا يحافظ على الميزات السياقية بشكل أفضل من القناع العشوائي ويسمح بإعادة قياس دقيقة للملصقات.
نموذج موحد لـ SFT-RL: اقترح إطار عمل للتدريب القائم على التفضيل حيث تعمل العينات المعززة كعينات "خاسرة". من خلال ربط نسبة الخلط بهامش التفضيل في خسارة SimPO، تحقق الطريقة تحسينًا تكيفيًا دون الحاجة إلى نموذج مكافأة منفصل.
الكفاءة والقابلية للتوسع: تقلل الطريقة بشكل كبير من التكاليف الحسابية (FLOPs) عبر دمج الرموز أثناء التدريب مع الحفاظ على الأداء أو تحسينه. كما توفر بديلًا مستقرًا لـ RLHF.

4. النتائج التجريبية

قيم المؤلفون MergeMix على مهام تصنيف الصور ومعايسات فهم النماذج متعددة الوسائط (MLLM).

تصنيف الصور:
- مجموعات البيانات: CIFAR-100، ImageNet-1K، Stanford-Cars، CUB200، FGVC-Aircrafts.
- الأداء: حقق MergeMix نتائج حالة الفن (SOTA) عبر نماذج ViT المختلفة (DeiT, ViT).
  - في CIFAR-100 مع DeiT-Small، حقق دقة 78.68% (متفوقًا على TransMix بنسبة +2.51%).
  - في Stanford-Cars، وصل إلى 89.42% (DeiT-S) و 92.20% (ViT-B).
- الكفاءة: في ImageNet-1K، حقق MergeMix دقة 80.71% مع إنتاجية قدرها 1591.66 رمز/ثانية، متفوقًا على TransMix مع تقليل FLOPs بمقدار 0.68G.
- المعايرة (Calibration): أظهر MergeMix خطأ معايرة متوقع (ECE) متفوقًا، مما يشير إلى معايرة ثقة أفضل مقارنة بطرق mixup الأخرى.
معايسات النماذج متعددة الوسائط (MLLM):
- النماذج: LLaVA-7B/13B و Qwen2.5-VL-Instruction.
- المهام: الإجابة على الأسئلة البصرية (VQAv2, GQA, VizWiz)، الاستدلال (MMMU, MathVista)، والفهم العام (MMBench, POPE).
- الأداء:
  - LLaVA: حسن MergeMix متوسط درجة المعيار بمقدار +0.83% عن SFT القياسي و +1.27% عن خط الأساس Vanilla LLaVA. حافظ على أداء قوي حتى عند تقليل رموز الرؤية إلى 25%.
  - Qwen2.5-VL: حقق مكسبًا متوسطًا قدره +2.88% عن خط الأساس.
- المتانة: أظهرت الطريقة معايرة قوية وقللت من الهلوسة في مهام الإجابات القصيرة (POPE, GQA) مقارنة بالخطوط الأساسية.

5. الأهمية

سد الفجوة: نجح MergeMix في توحيد استقرار SFT مع الوعي بالتفضيلات الخاص بـ RL، مما يلغي الحاجة إلى تدريب نموذج مكافأة مكلف.
كفاءة البيانات: من خلال توليد عينات "خاسرة" عالية الجودة وقابلة للتحكم عبر دمج الرموز، فإنه يعظم فائدة بيانات التدريب دون الحاجة إلى توسيم بشري إضافي.
الكفاءة الحسابية: يقلل دمج الرموز من التكلفة الحسابية للتدريب والاستدلال (تقليل FLOPs، زيادة الإنتاجية)، مما يجعله قابلًا للتوسع بشكل كبير للنماذج الضخمة.
القابلية للتفسير: يوفر استخدام نسبة الخلط كوكيل مباشر لقوة التفضيل آلية قابلة للتفسير لتعلم التفضيلات، مما يتناقض مع الطبيعة "الصندوق الأسود" للعديد من إشارات مكافأة RL.

في الختام، يثبت MergeMix أن إعادة زيارة تقنيات التعزيز الكلاسيكية باستخدام استراتيجيات ضغط الرموز الحديثة يمكن أن تؤدي إلى نموذج قوي، فعال، ومستقر لمواءمة النماذج متعددة الوسائط.