ZAYA1-VL-8B Technical Report

بناءً على التقرير الفني المقدم، إليكم ملخصاً مفصلاً لورقة ZAYA1-VL-8B البحثية.

بيان المشكلة

لقد تطورت نماذج الرؤية واللغة (VLMs) بسرعة كبيرة، ومع ذلك لا تزال هناك عدة تحديات قائمة قبل أن يمكن اعتبارها ناضجة تماماً. وتشمل هذه التحديات الهلوسة في النماذج، والتكاليات الحسابية العالية للمدخلات عالية الدقة، والصعوبات في النشر الفعال. ومن القيود المعمارية المحددة التي حددتها الورقة هي أن نماذج VLMs القياسية غالباً ما توجه رموز الرؤية واللغة عبر معلمات نموذج متطابقة، مما يجبر التمثيلات المشتركة على خدمة نمطين بخصائص إحصائية مختلفة جوهرياً. يمكن أن يؤدي هذا إلى حدوث تداخل، لا سيما في معماريات خليط الخبراء (MoE) حيث يتم تعلم توجيه الخبراء بشكل أساسي من البيانات اللغوية. بالإضافة إلى ذلك، فإن الاستخدام القياسي لأقنعة الانتباه السببي (causal attention masks) لرموز الصور يعد أمراً غير مثالي لأن رقع الصور (image patches) تفتقر إلى ترتيب متأصل من اليسار إلى اليمين، مما يمنع بشكل تعسفي الرقع المبكرة من الانتباه للرقع اللاحقة ويحد من القدرة على التقاط البنية البصرية العالمية. علاوة على ذلك، يعتمد النظام البيئي بشكل كبير على النماذج المملوكة أو البيانات الاصطناعية المستخلصة منها، مما يحد من إمكانية إعادة الإنتاج والوضوح في المكونات التي تقود الأداء.

المنهجية

يقدم المؤلفون ZAYA1-VL-8B، وهو نموذج رؤية ولغة (VLM) مدمج مبني على نموذج اللغة الخاص بهم بنظام خليط الخبراء (MoE) وهو ZAYA1-8B-A1B. يتكون النموذج من 9.2 مليار معلمة إجمالية مع 1.4 مليار معلمة نشطة (بما في ذلك مشفر الرؤية). تدمج البنية أربعة مكونات رئيسية: نموذج لغوي كبير (LLM) يعتمد على فك التشفير فقط (decoder-only)، ومشفر رؤية (يعتمد على Qwen2.5-VL)، ومعالج صور مسبق، ومهايئ رؤية (vision adapter).

تفصل الورقة ابتكارين معماريين رئيسيين صُمما لمعالجة قيود مشاركة المعلمات والقناع السببي:

1. مهايئات LoRA الخاصة بالرؤية: بدلاً من إضافة خبراء جدد إلى عمود فقري من نوع MoE (مما يزيد من حجم النموذج ومتطلبات البيانات)، قام المؤلفون بدمج مهايئات التكيف منخفض الرتبة (LoRA) في الأوزان الخطية لوحدات الانتباه وMLP داخل الـ LLM. يتم تفعيل هذه المهايئات فقط عند تمرير رموز الرؤية إلى الـ LLM. يتم تدريبها جنباً إلى جنب مع الأوزان القياسية خلال مرحلة التدريب الرئيسية، بدءاً من الصفر مع حد لتقليل الوزن (weight decay term) لمنع الانحراف عن مسارات النصوص. وهذا يزيد من القدرة النوعية لكل نمط دون زيادة حجم النموذج بشكل كبير.
2. الانتباه ثنائي الاتجاه فوق رموز الصور: قام المؤلفون بإزالة القناع السببي لرموز الرؤية ضمن طبقات انتباه الـ LLM. يسمح هذا بانتباه ثنائي الاتجاه كامل بين جميع رموز الرؤية، مما يستعيد التماثل المكاني ويحاذي نمط انتباه الرموز البصرية داخل الـ LLM مع نمط مشفر الرؤية. تحتفظ رموز النصوص بالقناع السببي القياسي.

مسار التدريب:
يتبع التدريب منهجاً تعليمياً متعدد المراحل:

• المحاذاة (Alignment): تدريب مهايئ الرؤية فقط على بيانات وصف الصور منخفضة الدقة (LLaVA-ReCap-558K) مع تجميد الـ LLM.
• التدريب المسبق (Pretraining): التدريب المشترك لجميع المعلمات على 30 مليون عينة متعددة الوسائط. تقدم هذه المرحلة قالب دردشة جديد وتزيد تدريجياً من سقف دقة الصورة من 0.8 ميجابكسل إلى 6.3 ميجابكسل.
• توسيع التضمين (Embedding Expansion): توسيع طبقة تضمين الـ LLM لاستيعاب الرموز الخاصة بمهام التحديد (bounding boxes and points) مع إبقاء بقية النموذج ثابتاً.
• ضبط التعليمات (Instruction Tuning): تدريب شامل (end-to-end) على 20 مليون عينة نصية ومتعددة الوسائط منسقة، مع إدخال بيانات التحديد في شكل صناديق محيطة ونقاط.

يستخدم مسار التدريب خط أنابيب بيانات تدفق كامل (fully streaming) مع حزم تسلسل فعالة وقناع انتباه مصمم بعناية (بما في ذلك قناع المحادثة) للتعامل مع أطوال التسلسل غير المتجانسة وتحقيق أقصى استفادة من استخدام وحدة معالجة الرسومات (GPU).

المساهمات الرئيسية

1. إثبات جدوى نماذج MoE: تثبت الورقة أن نموذج الـ MoE المخصص الخاص بهم (ZAYA1-8B-A1B) قادر على تشغيل VLM قوي، مما يظهر أن فوائد نماذج MoE في اللغة تنتقل بسلاسة إلى مهام الـ VLM.
2. آليات معمارية مبتكرة: تقديم مهايئات LoRA الخاصة بالرؤية والانتباه ثنائي الاتجاه فوق رموز الصور كآليات خفيفة الوزن لمعالجة تداخل الأنماط وقيود القناع السببي، مما يوفر نهجاً جديداً لتوسيع نماذج MoE LLM إلى نماذج VLM.
3. الكفاءة والأداء: يظهر ZAYA1-VL-8B أداءً قوياً لكل عملية استدلال (FLOP) وكفاءة في العينات من حيث عدد رموز التدريب.
4. الإطلاق مفتوح المصدر: تم جعل النموذج، ونقاط تفتيش التدريب، وكود الاستدلال متاحة علناً لمجتمع البحث.

النتائج

تم تقييم ZAYA1-VL-8B عبر مجموعة متنوعة من الاختبارات المعيارية التي تغطي فهم المستندات، والإدراك، والاستنتاج، والعد، والتحديد.

• الاختبارات العامة: يحقق النموذج أداءً تنافسياً مع النماذج الأساسية الرائدة مثل Molmo2-4B وInternVL3.5-4B. كما يتفوق على نماذج تشمل Qwen2.5-VL-3B وPLM-3B وMolmoE-8B في اختبارات فهم الصور، والاستنتاج، والعد (مثل AI2D، وChartQA، وDocVQA، وCountBenchQA).
• اختبارات التحديد (Grounding): في اختبار Point-Bench، حقق ZAYA1-VL-8B متوسط درجة 58.0، مساوياً لـ MolmoE-8B-A1B ومتفوقاً على النماذج الكثيفة الأصغر مثل Qwen3-VL-2B. وفي اختبار RefCOCO، حقق متوسطاً عاماً قدره 84.3، مما يضعه في موقع تنافسي بين النماذج ذات المعلمات النشطة الأكثر بكثير.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن الانتباه ثنائي الاتجاه لرموز الصور يحسن مهام فهم المستندات والصور، بينما تحقق مهايئات LoRA الخاصة بالرؤية تحسينات واضحة في الأداء مقارنة بالنماذج المرجعية بدون مهايئات.

الأهمية

تدعي الورقة أن ZAYA1-VL-8B يثبت أن العمود الفقري المصمم جيداً بنظام MoE، مقترناً بمسار فعال للبيانات، يمكن أن يشغل VLM عالي القدرة بجزء بسيط من الحوسبة النشطة وميزانية البيانات مقارنة بالنماذج المماثلة. ومن خلال جعل النموذج مفتوح المصدر، يهدف المؤلفون إلى توفير أساس عملي لمجتمع البحث، وتقديم رؤية كاملة للمكونات التي تدفع الأداء القوي. تشمل الاتجاهات المستقبلية المذكورة دمج multimodal RoPE مباشرة في عمود الـ LLM الفقري وتوسيع نطاق مجموعة تدريب فهم الفيديو.